０ 0 2 0 5 4

クロストーク音声認識

計算機工学講座 池原研究室 安田誠

1 はじめに

本研究におけるクロスト−クとは、男女 2 話者が別々の孤立単語を同時に発声する状況を想定している。従来の研究において、クロストーク音声認識を扱う研究は困難が予想されるため、あまり行われていなかった^{[1]}。そこで、本研究では従来手法によるクロストーク音声認識の精度を調査し、今後の研究のための基礎データを作成する。また、モーラ情報を考慮することでピッチ成分を効率的に用いることができ、単語音声認識率が向上すると報告されている^{[2]}。このことから、本研究ではクロストーク音声認識にもモーラ情報が有効であると仮定して実験を行う。 2 モーラとアクセント

モーラとは仮名文字単位に相当するもので、単語の仮名文字の個数をモーラ数、単語の仮名文字の位置をモーラ位置とし、それらをまとめてモーラ情報と定義する。また、アクセントとは発音の高低を指し、本研究ではモ−ラ情報にアクセント情報を付加して使用する。音声認識で用いられているケプストラムは低次にフォルマント情報、高次にピッチ情報を各々含み、相互作用があると知られている。そのため、フォルマント情報のみを使用していた従来の音声認識にはピッチ成分の影響がある。しかし、最近の研究で単語のモーラ位置、モーラ数、アクセント型が決まればピッチ周波数がほぼ決まり、この関係を利用することでピッチの影響を分離できることが知られている^{[3]}。そこで本研究ではモーラ情報とアクセント情報を使用し、クロスト−ク音声音声認識における認識精度を調査する。 3 特徴パラメータ

本研究では音声の特徴パラメータに MFCC と FBANK の 2 種類を使用し、認識率の比較を行う。 4 評価実験

音声データベースとして、 ATR の単語発話データベース Aset(1 話者につき 5240 単語) 男女各 2 名を使用する。 5240 単語を奇数番、偶数番に分け、奇数番を学習データとする。また、男女二話者を選び、それぞれの偶数番音声 2620 単語からランダムに 1 単語ずつ抽出し、重ね合わせることで作成した 2620 単語のクロストーク音声を実験データとする。 4.1 実験条件

本実験では、認識に HTK ツール^{[4]} を使用し、実験環境を表 1 にまとめる。また、音素 HMM の混合ガウス分布には Diagonal を使用する。 HMM には以下の 4 つのモデルを特徴パラメータ毎に用意し、その中でクロストーク音声認識に最も有効な手法を調査する。

1. 従来手法のモデル

2. 1 にモ−ラ情報を考慮したモ−ラモデル

3. 2 にアクセントを考慮したモ−ラアクセントモデル

4. 1 に音素の隣接情報を考慮したトライフォンモデル

表 1: 実験条件

MFCC  FBANK
基本周波数  16kHz
分析窓  Hamming 窓
分析窓長  25ms
フレ−ム周期  10ms
音響モデル  3 ループ 4 状態・半連続分布型
stream 数  1
特徴パラメータ MFCC 12 次 FBANK 24 次
+Δ MFCC 12 次 +Δ FBANK 24 次

4.2 実験結果

表 2、 3 に MFCC 及び FBANK の認識結果を示す。尚、評価は男性話者と女性話者の認識率の平均とする。

表 2: 実験結果 (MFCC)

基本モーラモーラトライフォン

アクセント

モデルモデルモデルモデル
mau+ftk 21.04% 21.99%  17.08%  21.07%
mau+faf 22.54% 22.49%  17.79%  21.49%
mms+ftk 20.40% 21.44%  15.84%  20.52%
mms+faf 29.10% 29.97%  21.36%  22.87%
全体平均 23.27% 23.97%  18.01%  21.48%

表 3: 実験結果 (FBANK)

基本モーラモーラトライフォン

アクセント

モデルモデルモデルモデル
mau+ftk 13.11% 13.30%  10.54%  5.12%
mau+faf 10.79% 10.08%  7.75%  6.07%
mms+ftk 11.22% 12.60%  9.18%  5.92%
mms+faf 15.46% 15.25%  11.42%  10.15%
全体平均 12.69% 12.55%  9.72%  6.65%

実験の結果、特徴パラメータ MFCC において、モーラ情報のみを考慮した場合に最も認識率が高く、 23.97%であった。 4.3 人手による聴取実験

計算機による認識率と比較するため、 2 種類のクロストーク音声に対して、人手による聴取実験を行い、男女を同時に認識した場合の認識率を求めた。尚、被験者は男性 1 名である。その結果、平均 68.75%が得られた。従って、人手による聴取実験と比較すると計算機による認識率は非常に低いと分かる。また、人手と計算機 (MFCC モ− ラモデル) の結果を比較し、差が見られた場合の具体例を表 4 に示す。結果として、 2 話者の子音が重なる音は人手でも認識できず、それ以外ならば男女どちらかは概ね認識できた。

表 4: 認識結果例

計算機で認識できたが、人手で聞き取れなかった例

正解 (男性/女性) 潜む (hisomu) くすぶる (kusuburu)
計算機の結果潜む (○)  苦痛 (kutsuu)
聴取実験結果競う (kisou)  薬 (kusuri)

人手で聞き取れたが、計算機で認識できなかった例

正解 (男性/女性) 似合う (niau) 作物 (sakumotsu)
起算気の結果付き合う (tsukiau)  三月 (saNgatsu)
聴取実験結果似合う (○)  作物 (○)

5 まとめ

本研究では、男女 2 話者が別々の単語を同時に話したと仮定し、従来手法を用いた場合の認識精度を調査した。その結果、 FBANK よりも MFCC を用いた方が認識率が高く、 MFCC においてモーラ情報を使用することで認識率に改善が見られた。しかし、人手による聴覚実験と比較すると認識率が非常に低い。今後の方針として、今回得られた結果を基礎資料としてスペクトルサブストラクション等の雑音抑制に使用されている手法の適用や、合成音声による学習、 3 次元 Viterbi による認識等を行っていきたい。

参考文献

[1] 中野:クロストーク孤立単語音声認識，鳥取大学大学院工学研究科修士論文， (2002)

[2] 谷口，他:モーラ情報を用いたフィルタバンクによる孤立単語認識，信学技報， SP2002-131， pp.63-68(2002-12)

[3] 妹尾，他:モーラ情報を用いた単語音声認識の検討，信学技報， SP2002-130， pp.55-61(2002-12)

[4] Seve Young， etc:HTK Ver3.2 reference manual,2002 Cambridge University