022026 結合価パターンを用いた仮名漢字変換候補の選択_{計算機工学講座池原研究室吉田真司}

1 はじめに

現在, 仮名漢字変換において高い変換精度を誇る手法として, 単語連鎖確率を用いた手法 [1],[2] がある. しかし, 文の意味的な関係を考慮しておらず, 同音異義語の仮名漢字変換での誤変換が問題となる.

これに対し, 文の意味解析を用いた仮名漢字変換の手法としては, 連語共起情報を意味素で記述しその関係を調べる方法 [3], 単文内で用言の格フレームを用い, 意味的整合性から変換する方法 [4] などが挙げられる. ただし, 意味素の体系を適切に設定することや, 一貫性のある格フレームを大規模に構築することが困難であった. しかし, 近年, 網羅性の高い意味的辞書として結合価パターン [5] が作成された事により, 意味解析を用いる手法が現実味を帯びてきた.

そこで, 本研究では, 単語連鎖確率を用いた仮名漢字変換の候補文に対し, 結合価パターンを用いた候補選択を行う手法を実現する.

2 仮名漢字変換アルゴリズム

2.1 アルゴリズムの概要

単語連鎖確率を用いた仮名漢字変換は, 確からしい順に変換候補を大量に出力することができる. 変換候補に対し, 結合価パターンを用いる事で, 意味的な適切性を判定できる. よって, 両者を統合したアルゴリズムを作成する. (手順 1:候補作成) 入力された平仮名文に対して, 単語連鎖確率を用いた仮名漢字変換を行い, 出現確率の高い上位 32 文の変換候補を作成する. (手順 2:文法的に不適切な文の削除) 候補文を形態素解析し, 品詞間の接続関係に誤りのある候補文を削除する. (手順 3:意味的に不適切な文の削除) 意味的に解釈出来ない候補文を削除する.

• 格要素と用言の意味的関係に基づく削除

• 格要素自体の正しさに基づく削除 (手順 4:慣用表現の優先) 慣用表現のパターンが当たる候補文の優先順位を最上位とする. (手順 5:補欠選択)(手順 2) および (手順 3) で全ての候補が削除された場合は, 出現確率の最も高い候補文を選択する.

2.2 単語連鎖確率を用いた変換候補作成

(手順 1) では, 文献 [2] の単語連鎖確率を用いた仮名漢字変換を行う. 具体的にはまず, 入力文を単語列に分割する. そして, 単語列で隣接する単語間の連鎖確率を計算し, その組み合せから出現確率を求める. 次に出現確率の高い文から順に, 候補として出力する. ここで, 日本語語彙大系から約 35 万語の単語辞書を, EDR コーパス約 20 万文から接続辞書をそれぞれ作成した.

2.3 文法的に不適切な文の削除

(手順 2) では,ALT-JAWS を用いた形態素解析を行う. 解析エラー時の出力を利用して品詞間の接続関係に誤りのある候補文を削除する.

2.4 意味的に不適切な文の削除 2.4.1 結合価パターン

結合価パターンは, 用言と格要素間に意味的な制約を発生させる. 意味的な制約を利用して意味的に誤りのある文を削除できる. 結合価パターンには一般表現と慣用表現があり, 一般表現は意味属性で, 慣用表現は字面で, それぞれ格要素に制約を発生させる.

(例) 一般表現:N1(3 主体) が N2 (4 人) を絞る

慣用表現:N1(4 人) が\underline{知恵}を絞る日常的な文では, 慣用表現の読みと同じになるような漢字

の使い方はしないのが普通であるので, 慣用表現のパターンが当てはまる候補文は, 優先的に選択する事が妥当である.

2.4.2 意味的に不適切な文の削除条件

(手順 3) において, 候補を採用する条件は「候補文の全格要素と用言の間の意味的結束性が正しい事」である. 一部でも格要素の結束性が確認できない候補文は候補から削除する.

ところで, 実際の文には結合価パターンの制約を受けない任意格が存在するため, 結合価パターンだけでは, 全ての格要素の結束性が確認できない. さらに, 本研究の現状では, 格要素を構成する名詞が名詞句である場合, 名詞句の主名詞にしか一般名詞意味属性による制約が働かない.

そこで, 本研究では, 任意格を判定する為に, 任意格のルールベースを用いる. 名詞句の問題については, 単語辞書, および, 接続辞書を用いて, 確認をとる.

任意格のルールベースは, 例文より任意格要素を集めて作成する. 任意格要素を判定するルールは, 名詞部分を一般名詞意味属性で制約し, かつ, 使用可能な格助詞を指定する.

2.4.3 意味的に不適切な文の判定

以下の段階をへて意味的に不適切な文を候補から削除する.

(1. 態による格助詞の変換) 結合価パターンは能動態で定義される. 候補文が能動態でない場合，文献 [6] の格助詞変換規則に従い，パターンマッチングの為の格助詞を補足する.

(2. 結合価パターンのマッチング) まず候補文の用言で結合価パターンを [5] より検索する. 次に結合価パターンの規定する格助詞と一致する格要素を候補文から全て抽出し, 格要素への意味属性制約を検査する. ここで, 格助詞が一致するにも関わらず, 意味属性制約が満たされないならば, その結合価パターンは適用しない. なお, 結合価パターンの規定する格助詞が候補文で必ずしも使われる必要はない. マッチする結合価パターンが見つからないならば, 候補文を削除する.

(3. 任意格の検査) (2) の段階で検査されなかった格要素は, 任意格ルールベースで検査する. 不適切な格要素が 1 つでもある場合, 候補文を削除する.

(4. 名詞句の検査) (2) および (3) の段階で検査された格要素が名詞句ならば, 名詞句を構成する単語間の接続関係を接続辞書により確認する. 未知の接続を含む名詞句であるならば, 候補文を削除する.

3 評価実験

3.1 評価実験の目的と方法

本研究では, 以下の 3 つの実験を行う. (実験 1) 本手法の動作の確認, および, 任意格のデータベース作成を目的とする. 接続辞書に用いた EDR コーパスの単文集を対象とする. (実験 2) 同音異義語に対する結合価パターンの効果の調査を目的とする. IPAL 動詞辞書, および,IPAL 名詞辞書に登録された, 多義のある基本動詞, および, 基本名詞から作成した単文集を対象とする. (実験 3) 実際の文に対する結合価パターンの効果の調査を目的とする. 毎日新聞 95 年度記事の単文集を対象とする.

ただし, 本研究では未知語が含まれる文を対象外とする. よって, 単語辞書に含まれている単語で構成された例文 100

[figure: 文を用いる.; 3.2 評価基準; 評価は, 正解文との完全一致を正解とする基準, および, 人; 手で正解文を見比べて判定する基準の 2 つを設けた. 人手; の判定で, 仮名漢字の表記の正しさが絶対的には定まらない; こと, 語義選択が元々不可能である場合があることに対処す; る. 例えば, 人手での判定によると, 「復習に時間を掛ける」; と「復讐に時間を掛ける」はいずれも正解となる.; 3.3 実験結果; 実験結果はアルゴリズムの各段階での効果を比べるため,; 手順ごとに N-best を求め, 集計する. 実験 1 から実験 3 の; 結果を表 1 から表 4 に示す. 各手順の上段は完全一致, 下段; は人手による判定の結果である.; 表 1:実験 1 の結果 (クローズドテスト); 手順; 候補数; 1 位; 〜4 位; 〜16 位; 〜32 位; (手順 1) 完全一致 83% 95%  98%  98%; のみ 人手判定 96% 98%  100%  100%; (手順 4) 完全一致 66% 79%  80%  80%; まで人手判定 83% 85%  85%  85%; 全手順完全一致 79% 93%  94%  94%; 人手判定 96% 99%  99%  99%; 表 2:実験 2 の結果 (同音異義語の動詞を含む文); 手順; 候補数; 1 位; 〜4 位; 〜16 位; 〜32 位; (手順 1) 完全一致 34% 55%  72%  73%; のみ人手判定 55% 74%  88%  88%; (手順 4) 完全一致 35% 50%  54%  54%; まで人手判定 58% 65%  67%  67%; 全手順完全一致 44% 62%  68%  68%; 人手判定 67% 78%  83%  83%; 表 3:実験 2 の結果 (同音異義語の名詞を含む文); 手順; 候補数; 1 位; 〜4 位; 〜16 位; 〜32 位; (手順 1) 完全一致 36% 63%  77%  82%; のみ人手判定 58% 83%  94%  98%; (手順 4) 完全一致 37% 60%  66%  67%; まで人手判定 67% 80%  82%  83%; 全手順完全一致 42% 69%  79%  81%; 人手判定 73% 89%  95%  97%; 表 4:実験 3 の結果 (毎日新聞記事); 手順; 候補数; 1 位; 〜4 位; 〜16 位; 〜32 位; (手順 1) 完全一致 52% 76%  82%  87%; のみ人手判定 64% 79%  86%  91%; (手順 4) 完全一致 40% 57%  57%  57%; まで人手判定 55% 60%  60%  60%; 全手順完全一致 58% 77%  78%  81%; 人手判定 73% 81%  83%  86%; 4 考察; 4.1 各実験の結果について; 実験 1 の「(手順 1) のみ」の結果より, 本手法の動作が正; 常に行われたことがわかる.; 実験 2 の同音異義語の動詞を含む文での結果において, 「(手; 順 1) のみ」と「(手順 4) まで」の結果の比較では, 正解率に; 多少の向上が見られる. 「全手順」を行った場合は, 格段に; 正解率が上昇している.]

実験 2 の同音異義語の名詞を含む文での結果では, 手順を踏まえるに従って正解率が上昇している. この結果より, 本手法は同音異義語の名詞に特に効果があることがわかる.

実験 3 では, 「(手順 4) まで」では結合価パターンの効果が見られないものの, 「全手順」を行う事で, 正解率が上昇した. よって, 実際の文に対しても結合価パターンは効果があることがわかる.

4.2 削除誤りについて

(手順 1）から (手順 4) への段階で「〜32 位」の正解率の差より, 正解するはずの候補文が, 本手法で削除されてしまった量がわかる. その原因を, 表 5 にまとめる. 表 5:結合価パターンによって正解文が全て削除された原因

原因件数
(1) 用言に対応する名詞の意味属性が足りない 10
(2) 任意格を解析できない  7
(3) 対応する結合価パターンが存在しない  5
(4) 接続辞書に名詞の接続が見あたらない  4
(5) 格変化規則が対応できない  3
(6) 形態素解析で平仮名部分の解析ができない 2

(1),(2),(3),(4) についてはデータベースの拡充が必要となる. (5) は, 具体的には, 二重主格への対応がうまくとれていないということである. (6) は解析エラー部分を再度漢字変換する等の手法が必要になると思われる.

次に, 「(手順 4) まで」における「1 位」と「〜32 位」の正解率の差より, 誤り文が削除できなかった量がわかる. 実験 3 における原因を表 6 にまとめる.

表 6:結合価パターンで誤り文を削除できなかった原因

原因件数
(1) 同音異義語の意味属性による誤り 3
(2) 名詞句の意味解析の誤り  3
(3) 任意格のみで構成されたための誤り 2

(1) は, 結合価パターンの意味属性の制約がうまく働いていないことが原因である. (2) は, 具体的には「の格」部分の誤りである. 名詞句の内部に対する意味解析が必要である.

(3) は, 候補文が任意格のみで構成されていたため, 用言に関わらず文を削除しなかったことが原因である.

5 おわりに

実験結果より, 単語連鎖確率を用いた仮名漢字変換の候補文に対して, 結合価パターンを用いた候補選択を行った場合,1 位の正解率については, 動詞, 名詞試験文において, それぞれ 12%,15%の精度向上を, また, 実際の文においても 9%の変換精度向上が見られた. よって, 本手法の有効性が示された. さらに精度向上を目指すためには, 任意格や結合価パターンのデータベースの拡充や, 副詞や修飾語に対応した結合価パターンの対応手法が必要となると思われる.

参考文献

[1] 村上：漢字かなの TRIGRAM をもちいたかな漢字変換方法, 情報処理学会第 43 回全国大会,7H-3,Vol.3,pp.287-288(1991)

[2] 森, ほか 3 名：確率的モデルによる仮名漢字変換, 情報処理学会論文誌,Vol.40,No.7,pp.2946-2953(1999)

[3] 本間, 山階, 小橋：連語解析を用いたべた書きかな漢字変換, 情報処理学会論文誌,Vol.27,No.11,pp.1062-1067(1986)

[4] 大島, ほか 3 名：格文法によるかな漢字変換の多義解消, 情報処理学会論文誌,Vol.27,No.7,pp.679-687(1986)

[5] 池原, ほか 7 名：日本語語彙大系, 岩波書店 (1997)

[6] 吉田, 池原, 村上：入力文に対する結合価パターン対の選択方法について, 言語処理学会第 8 回年次大会発表論文集,pp.299-302(2001)

[7] 吉田, ほか 3 名：結合価パターンを用いた仮名漢字変換候補の選択, 言語処理学会第 10 回年次大会, 発表予定 (2004)