KNPの性能調査

4.4節で学習データを拡張すると提案手法は「が」「がも」のマクロ平均が下るという結果となった. これは学習データに追加したKNPを用いたデータに誤りが含まれていたことが考えられる. そこでガ格の「も」とヲ格の「も」において, KNPがどのくらいの性能で正しく格解析を行えているのかを調査した.

毎日新聞91年の1年分をKNP4.01で格解析を行い, 「がも」「をも」と判定された箇所を含む文をそれぞれランダムに10文ずつ取り出し人手で評価を行った. 人手で評価を行った結果を表4.15に示す. それぞれの人手判定で不正解であった文を以下に示す. また, 下線部分は, 対象の助詞が含まれている文節である.

[

l]KNPが「がも」と判定した箇所での誤り例

• 対ソ支援もこの枠内で考えていこうという姿勢だ.
• ２人は「一緒に入場行進もやらせてもらいたいぐらい」と開会式に心をはせた.

[

l]KNPが「をも」と判定した箇所での誤り例

• 野村証券のある営業マンは「株価が高値を続けていた当時は, 野村が推奨した株は必ず値段が上がるという神話があった. 自分たちも価格は野村がつくる, と信じてそれをプライドに株を売りまくった.それを株価操作と言われると……」と言葉を濁した.
• この時点で多国籍軍筋は, 戦争で打撃を受けたイラク軍には反政府運動を乗り切る力はないとの見方を流し, 米当局者もフセイン政権は数カ月で崩壊すると予測した.
• これだけなら絵はくそ面白くもないが, ちゃんと中心はずしも心得ていた.

表4.15より, KNPの正解率は「がも」は8割, 「をも」は7割という結果を得た. それぞれの誤りの文を見ると, 「がも」の場合はガ格でなくヲ格, 「をも」の場合はヲ格でなくガ格という判定が正しいと思われる. また, 「をも」の最後の誤りの文は, 「中心はずし」という単語を正しく認識できなかったことによる間違いである.

KNPの格解析に誤りが含まれていることがわかった. これが, 提案手法「がも」の学習データを拡張した際のマクロ平均の低下の 理由の一つである可能性がある.

表: KNPが「がも」「をも」と判定した箇所での正解率

	「がも」	「をも」
正解率	0.8 (8/10)	0.7 (7/10)