概要

1

目次

1 はじめに 3

2 仮名漢字変換アルゴリズム 4 2.1 アルゴリズムの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 単語連鎖確率を用いた変換候補作成 . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3 結合価パターンを利用した意味的非文の削除 . . . . . . . . . . . . . . . . . . . . 6

2.3.1 結合価パターン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3.2 適合条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.3 非文の削除例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3 評価実験 9 3.1 評価実験の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2 評価実験の方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.3 評価基準 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.3.1 評価例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.4 実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4 考察 14

5 おわりに 15

1 はじめに

現在, 仮名漢字変換において高い変換精度を誇る手法として, 単語連鎖確率を用いた仮名漢字変換 [1] がある. しかし, 文の意味的な関係を考慮しておらず, 同音異義語の仮名漢字変換での誤変換が問題となる.

これに対し, 文の意味解析を用いた仮名漢字変換の手法としては, 連語共起情報を意味素で記述し, その関係を調べる方法 [2], 単文内で用言の格フレームを用い, 意味的整合性から変換する方法 [3] などが挙げられる. ただし, 意味素の体系を適切に設定する事や, 一貫性を持った格フレームを大規模に構築する事が困難である. しかし, 近年, 網羅性の高い意味的辞書として結合価パターン [4] が作成された事により, 意味解析を用いる手法が現実味を帯びてきた.

そこで, 本研究では, 単語連鎖確率を用いた仮名漢字変換 [1] の候補文に対し, 結合価パターンを用いた候補選択を行う手法を提案し, 本手法での変換精度と問題点を議論する.

2 仮名漢字変換アルゴリズム

2.1 アルゴリズムの概要

仮名漢字変換は以下の手順で行う. (1:文の入力) 平仮名で文を入力する. (2:候補作成) 単語連鎖確率を用いた仮名漢字変換により生起確率の高い上位 32 文を候補とする. (3:文法的非文の削除) 候補文を ALT-JAWS で形態素解析し, 解析エラーが出た文を削除する. 品詞間の接続関係を検査し, 未知語等, 不明確な単語混じりの文を削除する. また, 副詞や修飾語の誤変換の検出も狙う. (4:意味的非文の削除) 意味的に間違いのある文を 2 段階で削除する. (4-1:格要素と用言の関係による削除) 結合価パターンを用いて, 用言と格要素の合致が認められない文を削除する. (4-2:格要素内の接続関係による削除) 格要素の名詞部分が正しいかどうかを接続辞書, 単語辞書で調べる. 接続の無い複合名詞, または単語辞書に無い名詞は削除する. 結合価パターンが正しくない名詞を当てていた場合, 削除する事が可能になる. (5:慣用表現の優先) 慣用表現のパターンが当たる候補文の優先順位を最上位とする. (6:補欠選択) 手順 (4-2) までの段階で全ての候補が削除された場合は, 生起確率の最も高い文を選択する.

2.2 単語連鎖確率を用いた変換候補作成

手順 (2) では, 文献 [1] の単語連鎖確率を用いた仮名漢字変換を行う. 具体的にはまず, 入力文を単語列に分割する. そして, 単語列の単語の組み合わせの連鎖確率を計算し, 生起確率の最も高い文を出力する. ここで, 日本語語彙大系から単語辞書を, EDR コーパスから接続辞書をそれぞれ作成した.

2.3 結合価パターンを利用した意味的非文の削除

2.3.1 結合価パターン

結合価パターンは, 用言と格要素間に意味的な制約を発生させ、文の意味を解析する事が出来る. 結合価パターンの名詞の意味属性を調べる為, 一般名詞意味属性体系を用いる. 一般名詞意味属性体系とは, 単語の意味により名詞を体系的に分類, 整理した語彙集である.

結合価パターンには一般表現と慣用表現があり, 一般表現は意味属性, 慣用表現は字面で文の意味を解析する. 例を表 1 に示す.

表 1:結合価パターンの一例 (一般表現と慣用表現)

\begin{matrix}一般 & N1(3 主体) が N2 (4 人) を絞る \\ 慣用 & N1(4 人) が知恵を絞る \end{matrix}

仮名漢字変換において結合価パターンを用いると, 意味的な制約を利用して候補を絞る事が出来る. また, 慣用表現は使用用途が限定されている為, 正しくパターンが当てはまった場合には, 文の意味はほぼ慣用表現のパターンに準拠する為, 優先的に選択する事が出来る.

2.3.2 適合条件

結合価パターンで文を照合する際, 問題が発生する.

まず, 結合価パターンの格要素全てが入力文に対応する訳ではないという事が挙げられる. 実際の文では, 基本的に省略が発生する為, 結合価パターンの格要素全てを入力文に対応させる事が出来ない. そこで, 入力文の格要素が全て結合価パターンによって解釈される場合は, 文の意味全てを正しく解釈出来る事とする.

しかしながら, 逆に入力文の格要素全てが結合価パターンに対応しない場合がある. これは, 結合価パターンで規定された必須格の他に, 自由に文に組み込める任意格があるからである. 任意格は, 結合価パターンで解析する事が出来ない. よって, 本研究では, 任意格に対応する為に, 任意格データベースを作成する.

そして, 表層格が態によって変化する問題がある. 結合価パターンは能動態で登録されているので, 別の態についてのパターンが必要となる. これには文献 [6] の格変化規則を用いる事で対処する.

2.3.3 非文の削除例

正解:復習に時間を掛ける。入力：フクシュウニジカンヲカケル。 1 複州に時間を掛ける。 2 復讐に時間を掛ける。 3 復習に時間を掛ける。・・・ 32 復習に次官を駆ける。ここで, 結合価パターンに適合しない文は削除. 1 復讐に時間を掛ける。 2 復習に時間を掛ける。・・・この様に, 結合価パターンは意味的に正しい候補を絞り込む.

3 評価実験

3.1 評価実験の目的

本研究では, 以下の 3 つの実験を行う. (実験 1) 単語連鎖確率を用いた仮名漢字変換の動作確認と任意格の定義 (実験 2) 同音異義語に対する結合価パターンの効果を調査 (実験 3) 実際の文に対する結合価パターンの効果を調査

(実験 1) では, 接続辞書に用いた EDR コーパスにおける単文を対象にテストを行う. (実験 1) で, 結合価パターンが実際の文にどのように作用するかを調査する. そして, 結合価パターンで解析出来ない部分の任意格について, 解析が出来るようにする為に任意格データベースの作成を行う.

(実験 2) の目的は, 問題に挙げた同音異義語に対する結合価パターンの効果を調べる事にある. 実験には,IPAL 動詞辞書及び IPAL 名詞辞書に登録された, 多義のある基本動詞, 名詞文を用いる.

(実験 3) の目的は, 意図的に作成した文だけでなく, 実際の文での効果を調査する事である. 実験には, 毎日新聞９５年度記事の単文を用いる.

3.2 評価実験の方法

評価実験は, 各例文につき単文 100 文を選択し, 実験を行う. ただし, 結合価パターンの性質上, 意味属性が不明となる未知語については取り扱う事が出来ないので, 単語辞書に含まれている単語の入った例文を選択する.

また, 結合価パターンで対処できない任意格については, 任意格データベースを作成する事により, データベース内の任意格については対応出来るようにする.

3.3 評価基準

評価は, 文章を完全に再現出来ているか, 人の目で見て正しい仮名漢字混じり文になっているかの 2 種類で行う.

人の目で見た場合というのは, 「復習に時間を掛ける」と「復讐に時間を掛ける」のようにどちらの表記も一般的に使われていると判断した場合は, 文章を再現していなくとも正解とするという事である.

3.3.1 評価例

前述した, 「復習に時間を掛ける」という文の場合, 正解:復習に時間を掛ける。 1 復讐に時間を掛ける。 2 復習に時間を掛ける。・・・この場合, 第 1 位の候補「復讐に時間を掛ける」が結合価パターンに当てはまる. 文を完全に

は再現していないが, 意味的に正しいので正解となる. 逆に, 「復習に時間を掛ける」が最も上位の候補だった場合は, 文を完全に再現し, 意味的にも正しい文となる.

3.4 実験結果

表 1:クローズテスト

候補数 1 4 16 32
確率 (再)  84 ％ 95 ％ 98 ％ 98 ％
確率 (人)  96 ％ 98 ％ 100 ％ 100 ％
手順 (7) まで (再) 70 ％ 82 ％ 83 ％ 83 ％
手順 (7) まで (人) 86 ％ 88 ％ 88 ％ 88 ％
手順 (8) まで (再) 80 ％ 93 ％ 94 ％ 94 ％
手順 (8) まで (人) 96 ％ 99 ％ 99 ％ 99 ％

表 2:動詞文同音異義語テスト

候補数 1 4 16 32
生起確率 (再) 36 ％ 56 ％ 72 ％ 73 ％
生起確率 (人) 57 ％ 76 ％ 88 ％ 88 ％
手順 (7) まで (再) 35 ％ 48 ％ 52 ％ 52 ％
手順 (7) まで (人) 57 ％ 63 ％ 66 ％ 66 ％
手順 (8) まで (再) 46 ％ 63 ％ 69 ％ 69 ％
手順 (8) まで (人) 69 ％ 79 ％ 84 ％ 84 ％

表 3:名詞文同音異義語テスト

候補数 1 4 16 32
生起確率 (再) 38 ％ 63 ％ 77 ％ 82 ％
生起確率 (人) 59 ％ 83 ％ 94 ％ 98 ％
手順 (7) まで (再) 39 ％ 60 ％ 65 ％ 66 ％
手順 (7) まで (人) 67 ％ 79 ％ 81 ％ 82 ％
手順 (8) まで (再) 44 ％ 69 ％ 79 ％ 81 ％
手順 (8) まで (人) 74 ％ 89 ％ 95 ％ 97 ％

表 4:毎日新聞オープンテスト

候補数 1 4 16 32
生起確率 (再) 52 ％ 76 ％ 81 ％ 86 ％
生起確率 (人) 63 ％ 78 ％ 85 ％ 90 ％
手順 (7) まで (再) 40 ％ 54 ％ 54 ％ 54 ％
手順 (7) まで (人) 53 ％ 57 ％ 57 ％ 57 ％
手順 (8) まで (再) 61 ％ 79 ％ 81 ％ 84 ％
手順 (8) まで (人) 74 ％ 83 ％ 86 ％ 89 ％

（（再）は文を完全に再現した正答率, （人）は人の目で見ての正答率を表す）

4 考察

実験結果より, 結合価パターンは単体でも同音異義語に対し有効な事が分かる. また, 全ての結果において, 生起確率を併用する事で, 大幅な仮名漢字変換精度の向上を見込める事が分かった. しかし, 実際の文においては, 結合価パターン単体では対処しきれない問題がある. 毎日新聞オープンテストの結果より, 原因別に表 5 にまとめた.

表 5:正しい文を取得出来なかった場合

原因件数
(1) 全ての候補が削除 32
(2) 上位 32 候補に正解文が入らない 10
(3) 用言, 名詞の取得ミス 3
(4) 結合価パターン範囲外の格要素 2

(1) の問題は, 対応する結合価パターンが存在しなかった場合, 形態素解析で平仮名文の解析が出来なかった場合, 任意格データベース以外の任意格が出現した場合, 複合名詞の接続確認が出来なかった場合が原因である. データベースを拡充し, 平仮名混じりの文に対応する手法が必要となる. (2) の問題は, 更に候補を増やすか単語連鎖確率計算自体の精度を上げる必要がある.

(3) の問題は, 文脈を考えたり, 副詞や修飾語等を考慮する必要がある. また, 結合価パターン自体の意味属性の追加が必要となる. (4) の問題は, 名詞句に対する手法が必要となる.

5 おわりに

実験結果より, 単語連鎖確率を用いた仮名漢字変換の候補文に対して, 結合価パターンを用いた候補選択を行った場合, 動詞, 名詞試験文において, それぞれ 12 ％,15 ％の精度向上を確認出来た. また, 実際の文においても 11 ％の変換精度向上が見られた. よって、仮名漢字変換における同音異義語の選択において, 結合価パターンは効果がある事が示された. さらに精度向上を目指す為には, 任意格に対する解析や, 結合価パターンの追加等が必要になると思われる.

参考文献

[1] 森信介, ほか 3 名：確率的モデルによる仮名漢字変換, 情報処理学会論文誌,Vol.40,No.7,pp.2946-2953(1999)

[2] 本間, 山階, 小橋：連語解析を用いたべた書きかな漢字変換, 情報処理学会論文誌,Vol.27,No.11,pp-1062-1067(1986)

[3] 大島, ほか 3 名：格文法によるかな漢字変換の多義解消, 情報処理学会論文誌,Vol.27,No.7,pp.679-687(1986)

[4] 池原, ほか 7 名：日本語語彙大系, 岩波書店 (1997)

[5] 元永, 池原, 村上：意味的共起関係を用いた同音異義語のかな漢字変換, 鳥取大学大学院工学研究科知能情報工学専攻修士論文 (2000)

[6] 高橋, 吉村, 首藤：単文内での共起情報を用いたべた書きかな漢字変換, 情報処理学会論文誌,Vol.36,No.6,pp.998-1006(1996)

[7] 吉田, 池原, 村上：入力文に対する結合価パターン対の選択方法について, 言語処理学会第 8 回年次大会発表論文集,pp.299-302(2001)

[8] 村上, 佐伯, 徳久, 池原：結合価パターンを用いた音声認識, 情報科学技術フォーラム (FIT-2003), 第 2 分冊 F-024,pp.255-256(2003)