992018 構造的類似文の自動検出と縮退方法^{計算機工学講座池原研究室尾高智大}

1 はじめに

機械翻訳などの自然言語処理において、使用頻度の高い表現や定型的な言い回しなどを収集した日本語共起表現辞書が必要とされている。しかし、辞書に登録する表現を人手で抽出することは、膨大なデータを扱うため困難である。そこで計算機によって自動的に抽出する方法が考えられてきている。従来の方法として、 N-gram 統計処理を応用した連鎖共起表現や離散共起表現を抽出する手法 [1] が提案され、応用した研究も行われている。しかし大規模コーパスからの抽出は、コーパスがなかったためにまだ行われていなかった。しかし電子辞書や新聞記事データ等が出回るようになり、それを基に収集することが可能になった [2]。そこで本研究では、 [1] の手法を用いて大規模コーパスから重文複文の構造パターンの抽出を試みる。

2 構造パターンの抽出

本研究では、パターンを抽出する方法として、 N-gram を応用した文字列抽出法 [1] を使用する。 [1] の方法を以下に説明する。

2.1 連鎖共起 N-gram 抽出方法

連鎖共起 N-gram 抽出方法 [1] とは、複数文中に２回以上の出現回数を持つ連続した文字列を抽出する方法である。

2.2 離散共起 N-gram 抽出方法

離散共起 N-gram 抽出方法 [1] とは、原文データの離れた場所に現れ、共起する二つ以上の文字列の組合わせを抽出する方法である。文字列が一部重なって共起しても抽出する方法を弱抑制型、重ならないものだけを抽出する方法を強抑制型という。

3 抽出実験

3.1 連鎖共起 N-gram による抽出実験

本研究では単語単位での抽出を行う。本実験において連鎖共起 N-gram による抽出実験は、調査対象を単語数が５、７、９以上で構成される単語列で行い、品詞を置き換えた場合についても調査をする。単語列が単語数５以下からなる列は文型パターンを成す抽出が少ないため除外した。

3.2 離散共起 N-gram による抽出実験

離散共起 N-gram による抽出は以下の３つの種類で行う。

実験条件 1) 弱抑制型で文字列の組み合わせ数３実験条件 2) 弱抑制型で文字列の組み合わせ数４実験条件 3) 強抑制型で文字列の組み合わせ数３

3.3 品詞の置き換え

本研究では品詞の置き換えを以下の５つの種類で行う。置き換え A) 品詞の置き換えなし置き換え B) 名詞→ N 置き換え C) 名詞→ N ＆動詞→ V 置き換え D) 名詞→ N ＆「N の N」→ N ＆「NN…」

→ N ＆「形容詞+N」→ N 置き換え E) 置き換え D ＆動詞→ V

3.4 精度調査方法

本研究では重文複文を収集した CREST 例文約９万文 [2] について N-gram を応用した文字列抽出法 [1] を行い、出力データから頻度の多い上位１００データを対象に、手作業により重文複文のパターンであるかを調査する。

4 実験結果

4.1 連鎖共起 N-gram による実験結果

連鎖共起 N-gram による抽出実験を行った。抽出した成功パターン例を表１に示す。表１の/は単語境界線を意味する。

表１:連鎖共起 N-gram においての抽出成功パターン例

成功パターン実験条件
/に/なる/と/思い/ます単語数５の A
/N/は/N/の/ある/N/だ単語数７の B
/V/て/N/を/V/  単語数５の C

次に連鎖共起 N-gram による全抽出種類数を表２に示す。

表２:連鎖共起データの全抽出種類数

単語数置き換え A 置き換え B 置き換え C 置き換え D 置き換え E
５以上  4,698  40,259  77,562  33,792  64,562
７以上  1,031  11,784  38,374  9,194  30,523
９以上  252  2,401  10,900  2,165  8,403

表２より、単語数を増やすことで全抽出種類数が下がることが示された。次に連鎖共起 N-gram による調査結果を表３に示す。

表３:連鎖共起データの調査結果

単語数置き換え A 置き換え B 置き換え C 置き換え D 置き換え E
５以上 21 ％ (21)  2 ％ (2)  57 ％ (57)  14 ％ (14)  63 ％ (63)
７以上 45 ％ (45)  9 ％ (9)  89 ％ (89)  49 ％ (49)  93 ％ (93)
９以上 57 ％ (57) 46 ％ (46) 100 ％ (100) 69 ％ (69) 100 ％ (100)

表３より、置き換え B を行うと抽出精度が悪くなったが、置き換え C では抽出精度が良くなっていた。

4.2 離散共起 N-gram による実験結果

離散共起 N-gram による抽出実験を行った。抽出成功パターン例を表４に示す

表４:離散共起 N-gram においての抽出成功パターン例

成功パターン実験条件
夏休みに〜へなり〜たいと思う  1 の A
彼に払うべき〜を払った〜上に礼を 3 の A

次に離散共起 N-gram による全抽出種類数を表５に示す。

表５:離散共起データの全抽出種類数

実験条件置き換え A 置き換え B 置き換え C 置き換え D 置き換え E
1  913  1,805  1,935  1,105  1,291
2  1,259  4,281  4,077  1,702  2,268
3  13  5  3  9  4

表５より、強抑制による全抽出種類数が極めて少なくなることが示された。次に離散共起データの調査結果を表６に示す。

表６:離散共起データの調査結果

実験条件置き換え A 置き換え B 置き換え C 置き換え D 置き換え E
1  29 ％ (29) 10 ％ (10) 30 ％ (30) 19 ％ (19) 41 ％ (41)
2  34 ％ (34) 14 ％ (14) 37 ％ (37) 29 ％ (29) 46 ％ (46)
3 35 ％ (5) 60 ％ (3) 100 ％ (3) 66 ％ (6) 100 ％ (4)

表６より、品詞の置き換えによる精度の傾向は同じであった。しかし強抑制では全抽出種類数は少ないものの抽出精度は高かった。

5 考察

5.1 品詞置き換えについての考察

表２、表４より動詞を置き換えることによりパターン抽出精度が向上した。しかし抽出したパターンから意味まで理解するのは、動詞は文の中心となる品詞であるため困難である。表２、表４より名詞を置き換えることでパターン抽出精度が悪くなった。置き換え後の抽出データの大半が「N は N の NN に」等の名詞句の抽出であった。そのため品詞の置き換え D を行うことで精度が向上した。

5.2 離散共起 N-gram における強抑制についての考察

表４より強抑制による全抽出種類数が少なかった。原因は本研究で使用したコーパスが一般的に用いられる重文複文を集めたものであり、１文を構成する単語数が少ないため、単語単位での実験を行う際に、離散共起の強抑制の抽出条件を満たせず、対象文となれないためと考えている。

6 おわりに

本研究では、各品詞の置き換えを行い N-gram 抽出法 [1] を用いて、大規模コーパスから重文複文の構造パターンの抽出を行った。実験の結果、品詞の置き換えにおいては文の意味を残すことを考慮すると、本研究では名詞や連続した名詞を置き換える「置き換え D」が最も効率良くパターンを抽出できた。離散共起表現においては、強抑制による実験においてパターンの抽出種類数が少なくなり、思うような結果を得られなかった。新たな単語単位での抽出法の考案と、コーパスの充実化が必要である。

参考文献

[1] 池原、白井、河岡：大規模コーパスから連鎖型および離散型の共起表現の自動抽出法, 情報処理学会論文誌 Vol.36(1995)

[2] 村上、池原、徳久：日本語英語の文対応の対訳データベースの作成, 「言語、認識、表現」第７回年次研究会,(2002 年 11 月)