０１２０２１

クロストーク孤立単語音声認識

計算機工学講座 池原研究室 中野晃

1 はじめに

本研究においてクロストーク音声とは，同一話者が別々の孤立単語を同時に話す状況を想定している．一般的に音声認識においてケプストラムがパラメータとして用いられている．しかしクロストーク音声において，パラメータとしてケプストラムを用いると不安定になると考え，本研究では FBANK を用いた．また， FBANK はモーラ数，モーラ位置を考慮することでピッチ成分を効率的に用いることができ，音声認識率が向上するとことが報告されている^{[?]}．

そこで本研究では，クロストーク音声の認識において， FBANK パラメータにモーラ情報を組み合わせて使用することが，有効ではと考えた．

2 特徴パラメータ

本研究において，音声の特徴パラメータにフィルタバンク対数パワー (以下 FBANK) を使用する．そして比較のため一般的に使用されているメル周波数ケプストラム係数 (以下 MFCC) を使用する．

2.1 FBANK

FBANK は音声周波数に対して FFT スペクトルを求め，メル分割されたフィルタに通しその対数パワーを求めたもので特徴パラメータにフォルマント成分及びピッチ成分が含まれる． FBANK は混合ガウス分布に Fullcovariance を用いた場合 MFCC よりも認識率が高いことが知られている^{[?]}．本実験では基本周波数 16KHz の音に対して 24 次のメルスケールフィルタを用いる．

2.2 MFCC

MFCC は音声周波数に対して FFT スペクトルを求め，メルスケール上に等間隔に配置された帯域フィルタバンクの出力を抽出する．そして，対数変換を行い逆フーリエ変換することにより得られるケプストラム係数である．高次においてピッチ成分，低次においてフォルマント成分が見られ，通常は低次のフォルマント成分が使用される．本研究では 24 次の FBANK で分析した後， 12 次の MFCC を用いる．

3 モーラ情報の利用

モーラとは，仮名文字単位に相当し，単語の仮名文字の個数をモーラ数，単語の仮名文字の位置をモーラ位置とし，それらをまとめてモーラ情報と定義する．

単語のモーラ位置，モーラ数が決まれば，ピッチ周波数がほぼ決まることが知られている．したがって FBANK においてモーラ情報を使用することで，ピッチ成分を使用して認識することができると考えられる^{[?]}．

4 評価実験

4.1 クロストーク音声の作成

音声データベース (以下 DB) として， ATR の単語発話 DB Aset(1 話者につき 5240 単語) 男女各 3 名を使用する． 5240 単語を奇数番、偶数番に分け，奇数番を学習データとする．偶数番音声 2620 単語においてランダムに 2 単語抽出し， 2 つの音声を重ね合わせて 1310 単語を作成する．具体的な作成方法を図??に示す．

4.2 実験条件

本実験では HTK^{[?]} を使用して実験を行う．特徴パラメータに FBANK と MFCC を使用する．また，音素ＨＭＭの混合ガウス分布には Full-covariance を使用する．

図 1: 音素 HMM，クロストーク音声作成手順

MFCC と FBANK において，モーラ情報を使用した場合と使用しない場合の計 4 種類で実験を行う．詳細を表 ??に示す．

表 1: 実験条件

基本周波数  16kHz
分析窓  Hamming 窓
分析窓長  20ms
フレーム周期  5ms
音響モデル  3 ループ 4 状態

半連続分布型

stream 数  3
特徴パラメータ MFCC 12 次 FBANK 24 次
Δ MFCC 12 次Δ FBANK 24 次
対数パワー 1 次対数パワー 1 次
Δ対数パワー 1 次Δ対数パワー 1 次
学習ＤＢ  2620 単語
評価ＤＢ  1310 単語

4.3 評価方法

通常クロストーク音声の認識では重ね合わせる前の音声両方をそれぞれ認識する必要がある．本研究では重ね合わせる前の 1 つの音声の一方が正しく認識できているか評価する．

4.4 実験結果

4.4.1 FBANK と MFCC の比較

FBANK と MFCC のモーラ無しでの実験結果を表?? に示す．

表 2: 実験結果 (MFCC と FBANK の比較)

話者  MFCC  FBANK
mau 28.2%(369/1310) 29.8%(390/1310)
mmy 28.7%(376/1310) 30.4%(398/1310)
mtk 30.2%(396/1310) 29.5%(387/1310)
faf  26.4%(346/1310) 28.4%(372/1310)
ftk  30.1%(394/1310) 31.4%(411/1310)
fyn 28.2%(370/1310) 30.3%(397/1310)
平均 28.6%(2251/7860) 30.0%(2355/7860)

この表から特徴パラメータには MFCC よりも FBANK を用いた場合の方が認識率が高いことが分かる．

4.4.2 モーラ情報を使用した場合の比較

また FBANK， MFCC においてモーラ無しの結果とモーラ有りの比較をそれぞれ表??，表??に示す．

表 3: 実験結果 (FBANK モーラ有無)

話者モーラ無しモーラ有り
mau 29.8%(390/1310) 27.0%(354/1310)
mmy 30.4%(398/1310) 29.8%(391/1310)
mtk 29.5%(387/1310) 29.8%(391/1310)
faf  28.4%(372/1310) 28.9%(379/1310)
ftk  31.4%(411/1310) 32.4%(425/1310)
fyn 30.3%(397/1310) 30.6%(401/1310)
平均 30.0%(2355/7860) 29.8%(2341/7860)

表 4: 実験結果 (MFCC モーラ有無)

話者モーラ無しモーラ有り
mau 28.2%(369/1310) 26.0%(340/1310)
mmy 28.7%(376/1310) 30.1%(394/1310)
mtk 30.4%(398/1310) 30.2%(396/1310)
faf  26.4%(346/1310) 28.5%(373/1310)
ftk  30.1%(394/1310) 32.1%(421/1310)
fyn 28.2%(370/1310) 29.4%(385/1310)
平均 28.7%(2253/7860) 29.4%(2309/7860)

これらの表の結果よりモーラ情報を使用した場合 MFCC では改善が見られたが， FBANK ではわずかに低い結果となった．

4.4.3 男性女性の差

表??において男女平均での比較を表??に示す．また MFCC においてモーラ情報を使用した場合の男女平均での結果を表??に示す．

表 5: 実験結果 (男女平均 FBANK モーラ有無)

話者モーラ無しモーラ有り
男性平均 29.9%(1175/3930) 28.9%(1136/3930)
女性平均 30.0%(1180/3930) 30.7%(1205/3930)

表 6: 実験結果 (男女平均 MFCC モーラ有無)

話者モーラ無しモーラ有り
男性平均 29.0%(1141/3930) 28.8%(1130/3930)
女性平均 28.2%(1110/3930) 30.0%(1179/3930)

女性話者においてモーラ情報を用いた場合認識率に改善が見られた．男性話者においては逆に認識率に低下が見られた．

5 考察 5.1 モーラ情報による改善

話者は ftk でパラメータは FBANK を用いた場合において，モーラ情報を用いることで認識率が改善された単語について一部を表??に示す．また，モーラ情報を用いることで逆に認識できなくなった単語例を表??に示す．

モーラ情報は母音特に連続母音，音素欠落に対して改善が見られた．逆にモーラ情報を用いた場合，「厳密」と認識できていたものが，「快活」と認識できず，「管轄」と

表 7: 改善された単語 (ftk)

重ね合わせた音声モーラ無し (誤) モーラ有り (正)
要する＋大層よそ要する
後ろ＋馬今ごろ後ろ

表 8: 誤認単語 (ftk)

重ね合わせた音声モーラ無し (正) モーラ有り (誤)
見合わせる＋平ら見合わせる知らせる
快活＋厳密厳密管轄

認識されるような現象が見られた．

5.2 人手による聴取実験

話者 faf を用いて聴取実験を行い計算機による認識率と比較した．結果を表??に示す. なお，被験者は男性 1 名である．人手による聴取実験結果と比較すると計算機による認識率は低い結果となった．なお，人手でも認識できない音は，声の大きさ，テンポが同じような単語の組合わせであった．逆に異なっていれば両方または片方はなんとか聞き取れた．モーラ情報を使用した FBANK において人手によって聞き取れたが，計算機による認識ができなかった例を表 ??に示す．逆に計算機では認識できたが，人手によって聞き取れなかった例を表??に示す．

表 9: 人手による聴取実験結果^{話者認識率 (%) mau 73%(961/1310) faf 69%(907/1310)}

表 10: 計算機で認識できなかった例 (faf)

重ね合わせた音声人手計算機
住まい＋切り住まい (○) 機械 (×)
残業＋態と残業 (○) 頑丈 (×)

表 11: 人手で聞き取れなかった例 (faf)

重ね合わせた音声人手計算機
看板＋七つかなばん (×)  看板 (○)
落ち着き＋知れるおしれつき (×) 落ち着き (○)

6 まとめ

本研究では， 1 話者が別々の単語を同時に話したと仮定して孤立単語を作成し，従来手法を用いることでどの程度認識できるか調査した．特徴パラメータに FBANK を用いることで MFCC より良い結果が得られた．また女性話者においてはモーラ情報を使用することで認識率に改善が見られた．しかし，人手による聴覚実験と比較すると認識率が低い．今後の課題としてモーラ情報の扱い方や，学習方法について新たな手法を取り入れるなど改善の余地がある．

参考文献

[1] 妹尾，村上，池原:モーラ情報を用いた単語音声認識の検討，信学技報， SP2002-130， pp.55-61(2002-12)

[2] 谷口，村上，池原:モーラ情報を用いたフィルタバンクによる孤立単語認識，信学技報， SP2002-131， pp.63-68(2002-12)

[3] HTK Ver2.2 reference manual,1997 Cambridge University