\documentclass[a4paper,12pt]{jarticle}
\usepackage[dvips]{graphicx}

\def\maru#1{{\ooalign{\hfil#1\/\hfil\crcr\raise.167ex\hbox{\mathhexbox20D}}}}
%\usepackage{layout}
%\usepackage{graphicx}
%\pagestyle{empty}

\voffset=3mm

% left margin
\oddsidemargin=2mm

% width length
\setlength{\textwidth}{39zw}

% height length
\setlength{\textheight}{38\baselineskip}
\addtolength{\textheight}{\topskip}

\footskip=10mm

\title{\bf\hspace{-30mm}982033\hspace{30mm}クロストーク音声認識}
\author{\hspace*{89mm}計算機工学講座 \ \  池原研究室 \ \  安田 誠}
\date{}

\makeatletter
 \renewcommand{\theequation}{%
   \thesection.\arabic{equation}}
  \@addtoreset{equation}{section}
 \makeatother
\begin{document}

\setlength{\baselineskip}{20pt}
\setcounter{page}{0}

\section*{概要}
 本研究におけるクロスト−クとは, 男女2話者が別々の孤立単語を同時に発声す
る状況を想定している.  


従来の研究において, クロストーク音声認識を扱う研究は困難が予想されるため, 
あまり行われていなかった.  
%ところで、
%マイクロフォンアレイを利用し雑音を除去して認識する方法がある。\cite{yamada}
%この方法は、入力信号に対し、雑音モデルと音響モデルを3次元
%Viterbiで最適解を得て認識結果としている。この方法をクロストーク音声認識に
%用いた場合、入力信号に対し2人の話者の音響モデルの最適解を得ることで
%同時に認識できる可能性がある。
%本研究では、この方法を用いる前の基礎データとして、
そこで, 本研究では
従来手法によるクロストーク音声認識の精度を調査し, 
今後の研究のための基礎データを作成する.  

また, モーラ情報を考慮することでピッチ成分を効率的に用いること
ができ、単語音声認識率が向上すると報告されている.  
このことから, 
本研究ではクロストーク音声認識にもモーラ情報が有効であると仮定して実験を
行う.  


モーラとは仮名文字単位に相当するもので、単語の仮名文字の個数をモーラ数, 
単語の仮名文字の位置をモーラ位置とし, 
それらをまとめてモーラ情報と定義する.   
また、アクセントとは発音の高低を指し, 
本研究ではモ−ラ情報にアクセント情報を付加して使用する.  


音声認識で用いられているケプストラムは
低次にフォルマント情報, 高次にピッチ情報を各々含み, 
相互作用があると知られている.  
そのため, 
%従来の音声認識にはフォルマント情報のみが使用されていたため、
フォルマント情報のみを使用していた従来の音声認識には
ピッチ成分の影響がある.  
しかし, 最近の研究で単語のモーラ位置, モーラ数, アクセント型が決まれば
ピッチ周波数がほぼ決まり, この関係を利用することで
ピッチの影響を分離できることが知られている.  

そこで本研究ではモーラ情報とアクセント情報を使用し, 
クロスト−ク音声音声認識における認識精度を調査する.  


加えて, 計算機による認識率と比較するため, 人手による聴取実験を行う.  


その結果, FBANKよりもMFCCを用いた方が認識率が高く, 
MFCCにおいてモーラ情報を使用することで認識率に改善が見られた.  
しかし, 人手による聴覚実験と比較すると認識率が非常に低いという結果が得ら
れた.  



\clearpage

\tableofcontents
\clearpage

\listoffigures
\clearpage

\listoftables
\clearpage

\pagenumbering{arabic}

\section{はじめに}
会議や緊急時の災害現場など, 様々な場面において, 複数の話者が同時に, 違う声
の大きさで発話したとき, 
計算機を用いて全ての話者の音声を認識できるシステムの実現が望まれる.  
しかし, そのようなシステムの実現は困難である.
このようなシステムの初歩として, 
クロストーク音声認識があげられる.このクロストーク音声とは, 2話者が同時に
発声する状況を想定している.  
しかし, 過去の研究において, クロストーク音声認
識は困難さが予想されるためにあまり行われていなかった\cite{nakano}.  
そこで本研究では, 
まず, クロストーク音声を男女2話者が別々の孤立単語を同時に発
話する状況と想定する.   
そして, 手始めとして従来手法によるクロストーク
音声認識の評価実験を行い, 今後の研究のための基礎データを作成する.


音声信号には主にフォルマントとピッチの2つの情報が含まれている.  
これらを分離するためにケプストラム分析が用いられる.ケプストラム分析にお
いて低次にフォルマント成分,高次にピッチ成分が抽出される.  音声認識におい
て, 
一般的にケプストラムがパラメータとして用いられ, 
これには低次のフォルマント成分のみが含まれている.  
しかし, ケプストラムは高次のピッチ成分の影響を受けることが知られている.  


その一方で, ピッチ周波数とモーラ数, モーラ位置に依存関係が存在することが
知られている.  
また,最近の研究で単語のモーラ位置, モーラ数, アクセント型が決まればピッチ
周波数がほぼ決まり, この関係を利用することでピッチ成分を効率的に用いる
ことができると報告されている.  


そこで本研究では, モーラ情報とアクセント情報を使用し, クロストーク音声認
識における認識精度を調査する.  また, モーラ情報の有効性を確認するため, 
音素の隣接情報を考慮したトライフォンモデルでの認識も行う.  
その後, 計算機の認識率と比較するため人手による聴取実験を行う.  

結果として, 特徴パラメータにはFBANKよりもMFCCを用いた方が認識率が高く, 
MFCCモーラモデルにおいて認識率が最も高くなった.  しかし, 計算機の認識率は
聴取実験と比較して非常に低いという結果が得られた.
\newpage

\section{HMMによる音声認識}

\subsection{音声認識の歴史}
人間は,日常のコミュニケーションの大半を音声を介して行う.  
人と計算機のインターフェースを人にとって容易かつ自然なものにするには
音声メディアの利用と情報処理技術にかかっている.  
特に, 計算機による音声認識技術が中核を担うことになる.  


研究の歴史的な流れとして, 1970年前後に, 日本で動的計画法に基づく時間軸
非線型伸縮アルゴリズム(DTW)や線形予測分析(LPC)などの, 現在でも音声認識技術
の基礎となっている分野の先端的な研究がなされた.  その後, 1980年代に,現在の
音声認識アルゴリズムの基本となっている統計的な時系列モデルの隠れマルコフモ
デル(HMM)の研究が米国で始められた.  HMMは,その統計的アルゴリズムの高い学習
能力と認識性能により, 広く使われるようになってきている.  

\newpage

\subsection{音響分析}
\subsubsection{特徴抽出}
音声認識を行うためには,まず, 音声区間の検出を行うことが必要である.そして
尤度(y｜w)を計算するには, 音声区間の時系列データyの表現形式を決定する必要
がある.  音声波形そのものを用いたのでは情報量が多過ぎ, 波形の位相情報は伝送
系や録音系によって変わりやすい上, 人間による音声の知覚にはほとんど寄与し
ない.  このことから,位相情報はむしろ取り除いたほうがよい.  このため,音声波か
ら一定周期毎に短時間スペクトル(密度)を抽出して用いることが多い.現在短時
間スペクトル分析の手法としては, 手結行フィルタ群を用いる方法,FFTを用いて
直接的にスペクトルを計算する方法,相関関数を用いる方法, およびLPC分
析を基礎とする方法の4種類にわけることができる.\cite{hurui}  

\subsubsection{FBANK}
帯域フィルタは,ハードウェアによる実時間分析の実現が容易なため, 古くから用
いられている.  人の聴覚は, 悪との高さに関して, メル(mel)尺度と呼ばれる対数に
近い非線型の特性を示し, 低い周波数では細かく, 高い周波数では新井周波数分解
能力を持つ.  


FBANKは音声周波数に対してFFTスペクトルを求め, メル分割されたフィルタに通
し, その対数パワーを求めたもので, 特徴パラメータにフォルマント成分及びピッ
チ成分が含まれる.  


FBANKは混合ガウス分布にFull-covarianceを用いた場合にMFCCよりも認識率が高
いことが知られている\cite{taniguti}.  


本研究において, 基本周波数16KHzの音に対してFBANK24次+ΔFBANK24次の形で
用いる.  

\newpage

\subsubsection{MFCC}
FFTによって計算されたそのままのスペクトルの類似度を用いることも可能であ
るが, スペクトルの微細構造はピッチ等の影響を受けて不安定なため, これを平滑
化したスペクトラル崩落を用いることが多い.  この平滑化の手法として良く知ら
れているものにケプストラムによる方法がある.  


MFCCは, まず音声周波数に対してFFTスペクトルを求め,メルスケール上に等間隔に配置
された帯域フィルタバンクの出力を抽出する.  そして, 対数変換を行い, 逆フーリ
エ変換することにより得られるケプストラム係数である.  


高次においてピッチ成分, 低次においてフォルマント成分が見られ, 通常は扱いや
すさの観点から低次のフォルマント成分が使用される.  これは, 言い換えれば声道
特性のみを用いていることになる.  


本研究ではMFCC12次+ΔMFCC12次の計24次の形で用いる.  

\newpage

\subsection{HMM}
\subsubsection{HMMとは}
HMM(隠れマルコフモデル)とは, 外から観測できるものがモデルによって生成され
た出力データ系列だけであって,一般にモデルの内部の状態とその遷移の様子は
外から見られないことから付けられた呼称である.  


音声パターンは時系列の形で表され, 様々な原因により変動がある.  音響パラメー
タの時系列は変動分を含み, このようなパターンの確率的な性質はHMMによって精
密に表現できると考えられている.  HMMは非定常信号源を定常信号源の連結で表
す.  

\subsubsection{HMMと音声認識の問題}
入力音声パターンをIフレームの時系列として, 
$X = x_1, x_2, ・・・, x_I$
と表す.  


音声認識の問題は, Xを観測して最もよくマッチする単語列
$W = w_1, w_2, ・・・, w_N$
を見つけ出す問題として単純化できる.  Nは単語列における単語数を表す．


このように問題を設定すると, 音声認識はP(W｜X)を最大にする単語列Wを見つけ
出す問題となる.  


音声認識に用いられるHMMは, left-to-right型で1つの初期状態と1つの最終状態
がある構造が多い.  ベイキス(Bakis)モデルと呼ばれる型の例を図1%\ref{bakis}
に示す.  

\begin{figure}[h]
\begin{center}
\includegraphics{bakis.eps}
\caption{ベイキス型HMMの例}
\label{fig:bakis}
\end{center}
\end{figure}

\newpage

図1の状態遷移のアークに付けられた数値$a_{ij}$は, 状態$q_i$から状態$q_j$への遷移確
率を表し, 状態数を$S$とすると$S×S$の行列で表現できる.  音声パターンには, 時間
的に非可逆性の性質があるので, $i>j$なら$a_{ij}＝0$である.  角状態$q_i$の初期確率を
$π_i$で表し, 最終状態の集合を$F$で表す.  


$b_{ij}(y)$は状態$q_i$から状態$q_j$への遷移で, スペクトルパターンyが観測(出力)さ
れる観測(出現)確率を表し, ${b_{ij}(y)}$を出現確率行列と呼ぶ.出現するスペクト
ルパターンに関しては, 連続値として表す場合(連続分布, 連続HMM)と, 有限個(K個)
のシンボルの組合せで表現する場合(離散分布モデル,離散HMM)がある.  
図1%\ref{bakis}
における数値例は, 離散分布モデルで出力符号ベクトルを${a, b}$の2つに限り,図の
[\ ]内にそれぞれの出現確率を示している.  この例の場合, 遷移確率行列は以
下のようになり, $π_1 = 1, π_i = 0(i > 1), F = {q_3}$である.

\begin{equation}
$Ａ = (a_{ij}) = $
\left[
\begin{array}{ccc}
$0.4$ & $0.4$ & $0.2$ \\
$0.0$ & $0.5$$ & $0.2$ \\
$0.0$ & $0.0$$ & $0.4$ \\
\end{array}
\right]
\end{equation}


実際の音声認識に用いるHMMにおいては, 対象に応じて適切に状態数やモデル構造
(遷移構造)を決定し, スペクトルパターンの表現法(離散分布モデルの場合はその
種類K, 連続分布モデルの場合はそのモデル化の方法)を決定する必要がある.  

\newpage

\subsubsection{HMM法の利点と問題点}
HMMが音声認識において有利な点を以下に示す.  

\begin{itemize}
\item 個人差や調音結合, 発声法(強さ, 速さ, 明瞭さ)等による音声パターンの変
      動を確率モデルで捉え, 統計的処理で対処できる.  
\item 従って, 統計理論や情報理論/確率仮定論による理論展開がしやすい.  
\item 比較的簡単なモデルのパラメータ推定法が知られている.  
\item 言語レベルの処理も音響処理部と同様に確率モデルで表現できるため, 両
      者を統合しやすい.  
\item 認識時の計算量は比較的少ない.  
\end{itemize}


HMMが音声認識における問題点を以下に示す.  

\begin{itemize}
\item モデルの設計法が確立されていないため, 試行錯誤的/ノウハウ的要素が強
      い.  
\item HMMのパラメータ推定に多量の学習用サンプルを必要とし, 計算量も多い.  
\item 音声の過渡的パターンの表現力に乏しい.  
\item 時系列パターンの２時点におけるパターンの壮観が考慮できない.  
\end{itemize} 

\newpage

\subsection{認識アルゴリズム}
$y = {y_1, y_2, ・・・, y_T}$を観測(出力)系列とする.  具体的には, スペクトルや
ケプストラムの時系列である.  このとき,各HMMモデルによってyが生起する確率
(尤度)P(y｜M)(MはHMMによって表現される単語や音素に対応)を求め, 最大確率
(最大尤度)を与えるモデルを選出しこれを認識結果とする.  図2%\ref{rec_arg}
に単語HMMを用いた認識方法を示す.  


\begin{figure}[h]
\begin{center}
\includegraphics{rec_arg.eps}
\caption{単語HMMを用いた単語音声認識の方法}
\label{fig:rec_arg}
\end{center}
\end{figure}

$q = {q_{i0}, q_{i1}, ・・・, q_{iT}}$を状態遷移行列(ただし$q_{iT} \in F)$とすれば, 
\begin{equation}
$P(y｜M) ＝ \sum_{i_0, i_1, …, i_T}P(y｜q, M)・P(q｜M)$
\end{equation}
と表すことができる.そして一般的に$P(y｜M)$の値は, トレリスアルゴリズムで求め
られる.  

フォワード変数$α(i, t)$を定義し, 符号ベクトル$y_t$を出力して状態$q_t$に
ある確率とすれば, $i = 1, 2, ・・・, S$とおいて, 以下の式を得る.  
\begin{equation}
$α(i, t) ＝ \sum_{j}α(j, t-1)・α_{ji}・b_{ji}(y_t)(t-1, 2, ・・・, T)・π_i(t=0)$
\end{equation}
これを計算し, 最後に以下を求めれば良い.  
\begin{equation}
$P(y｜M) = \sum_{i,q \in F}α(i,T)$
\end{equation}

\newpage

\subsubsection{Viterbiアルゴリズム}
Viterbiアルゴリズムは, モデルの最適な状態遷移行列(際的経路)と, この経路上
での確率を求めるアルゴリズムである． 


$P(y｜M)$を厳密に求めないで, 近似的に, モデルMが符号ベクトル系列$y$を出力する
ときの, 最も可能性の高い状態系列上での出現確率を用いることを考える.  この出
現確率(尤度)は, 各遷移での確率値を対数変換しておくことにより, 加算と大小判
定のみからなるDP演算によって高速に求めることができる.  対数を用いた計算な
ので, トレリス法を用いる場合に比べ, 計算値のダイナミックレンジが小さくて
すみ, アンダーフローの問題が解消できる.  また, 計算量が少ないにもかかわ
らず, 
音声認識性能はトレリス法とほとんど変わらないことが実験的に確認されている
\cite{hurui}.  


Viterbiアルゴリズムは, 本実験においてHMMの初期モデル作成と認識に使用され
ている.  

\newpage

\subsubsection{Baum-Welchアルゴリズム}
Baum-Welchアルゴリズムとは, 学習データの尤度を最大にするようにパラメータ
を学習する方法で, 基本的にはgradient学習によってパラメータを収束させる方
法である.  

学習用音声として, $N$個の観測シンボル系列
${y_1^T(n) = y_1, y_2, ・・・,y_T(n)}_{n=1}^N$が与えられたとして, 以下の
式を考える.  
\begin{equation}
$Π_{n=1}^{N}P(y_1^T(n)｜π_i, a_{ij}, b_{ij}(k))$ 
\end{equation}
これを最大化するパラメータセット${π_i, a_{ij}, b_{ij}(k)}$ は, 次のような
Baum\_Welchアルゴリズムによって推定することができる.  


バックワード変数$β(i< t)$を, 時刻$t$に状態$q_i$にあって, 以後観測シンボル
$y_{t+1}^T$を出力する確率, $γ(i, j, t)$ を, モデルMが$y_i^T$を出力する場合に
おいて, 時刻$t$に状態$q_i$から$q_j$へ遷移し,シンボル$y_t$を出力する確率と定義す
る.   このとき, 以下の関係が得られる.  
\begin{equation}
$β(i, T) = $
$\Biggl\{$
\begin{array}{cc}
$1$ & $q_i \in F$ \\
$0$ & $q_i \not\in F$ \\
\end{array}
\end{equation}

\begin{equation}
$β(i, t) = \sum_{j}a_ij・b_ij(y_t)・β(j, t+1)$
\end{equation}

\ \ \ \ \ $(t=T, T-1, ・・・, 1;i=1, 2, ・・・, S)$

\begin{equation}
$γ(i, j, t) + \frac{α(i, t-1)・a_{ij}・b_{ij}(y_t)・β(j, t)}{P(y_1^T｜M)}$
\end{equation}

これらを用いて, パラメータ$π_i, a_ij, b_{ij}(k)$ を, 次
の再推定のくり返しによって求める.
\begin{equation}
$π_i = \frac{\sum_{j}γ(i, j, 1)}{\sum_{i}\sum_{j}γ(i, j, 1)}$
\end{equation}

\begin{equation}
$a_ij = \frac{\sum_{t=1}^{T}α(i, t-1)・a_{ij}・b_{ij}(y_t)・β(j,t)}{\sum_{t}α(i, t)・β(i, t)}$
\ \ \ \ \ $= \frac{\sum_{t}γ(i, j, t)}{\sum_{t}\sum_{j}γ(i, j, t)}$
\end{equation}

\begin{equation}
$b_{ij}(k) = \frac{\sum_{t,y_t=k}γ(i, j, t)}{\sum_{t}γ(i, j, t)}$
\end{equation}

実際には, すべての学習用サンプルに関してこの計算を行ってから, パラメータを
１回更新する, というサイクルを値が収束するまでくり返して, パラメータの値
を決定する.  
Baum-Welchアルゴリズムは, HMM初期モデルの再推定に使用されている.  

\newpage

\section{評価モデル}
特定話者の単語の発声において, 単語のモーラ数, モーラ位置, アクセント型が
決まれば単語によらず, ピッチ周波数はほぼ一定であることが知られている.  
モーラ情報とピッチ周波数の依存関係を利用することで, 
フォルマントを示すケプストラムの低次の
項に対するピッチの影響を分離でき, これにより認識率の改善が期待できる.


それをふまえ, 基本モデル, 基本モデルにモーラ情報を考慮したモーラモデル, 
モーラモデルにアクセントを考慮したモーラアクセントモデル, 
また, モーラ情報の有効性と比較するため, 従来の音声認識で有効とされるトラ
イフォンモデルの計4種類のHMMモデルを用意する.  

\subsection{モーラモデル}
モーラとは仮名文字単位に相当し, 単語の仮名文字の個数をモーラ数, 仮名文字
の位置をモーラ位置とし, それらをまとめてモーラ情報と定義する.    


本研究ではデータベースの音声ラベルファイルに含まれる母音, 促音, 撥音をモー
ラ情報使って分類する.  
具体的には母音, 促音, 撥音の後に2桁の数字でモーラ位置, さらに2桁の数字で
モーラ数を付け加えて分類する.  
比較のため, 分類例を他のモデルの分類例とともに表1%\ref{label}
に示す. 

\begin{table}[h]
\begin{center}
\caption{ラベル付けの例}
\label{table:label}
\begin{tabular}{|cccccc|} \hline
基本ラベル & t & e & i & sh & i \\ \hline
モーラ & t & e0104 & i0204 & sh & i0303 \\ \hline
モーラアクセント & t & e0401000 & i0402001 & sh & i0303001 \\ \hline
トライフォン & pau-t+e & t-e+i & e-i+sh & i-sh+i & sh-i+pau \\ \hline 
\end{tabular}
\end{center}
\end{table}


音声ラベルが'”teishi”の場合, 単語のモーラ数は3なので, 母音, 促音, 撥音の後
方にそれぞれのモーラ位置, モーラ数03の順につける.  
また, 3番目と5番目のiはモーラ位置が異
なるため異なった音素として扱う.  

\clearpage

\subsection{モーラアクセントモデル}
本研究において, アクセントとは発音の高低を指し, 
モーラ情報にアクセント情報を付加する形で使用する.  
具体的には, モーラモデルの後に2桁の数字で高低の推移を示すアクセント型,
その次に,1桁の数字で高低情報を追加し, 分類する.
尚, 高低情報は低ければ0, 高ければ1として表す.  

表1の例では, 低い状態で始まり, 一度高くなった後は下がらない, 
という推移形式の0型であり, 最後の1桁の数字でその音素の高低を示している.  

\subsection{トライフォンモデル}
トライフォンモデルとは前後の音素との隣接情報を考慮したモデルである.  
このモデルは従来の音声認識において有効な手法とされるため, モーラ情報との
比較対象として使用する.  

具体的には, ある音素に対し, その前に前状態の音素, 後に次状態の音素を付加
する形で分類する.  

尚, 表1の例にあるpauは無音を表す.  
\newpage

%\subsection{トライフォン}



%\newpage

\section{評価実験}
2話者分の単語データベース(以下DB)から, 偶数番をランダムに1単語ずつ抽出し, 
合成することでクロストーク音声を作成する.  
次に, 同単語DBの偶数番を学習データとして話者毎にHMMを作成し, 
話者毎に音声認識を行うことでクロストーク音声を認識する.  
クロストーク音声認識の手順を図3%\ref{nagare}
に示す.  

\begin{figure}[h]
\begin{center}
\includegraphics{nagare.eps}
\caption{クロストーク音声認識の手順}
\label{fig:nagare}
\end{center}
\end{figure}
\newpage

\subsection{クロストーク音声の作成}
本研究において, クロストーク音声とは男女2話者が別々の孤立単語を同時に話
す状況を想定している.  音声データベース(以下DB)として, ATRの単語発話DB
Aset(1話者につき5240単語)男女各2名(男性:mau, mms  ,  女性:ftk, faf)を使用す
る.  5240単語を奇数番, 偶数番に分け, 奇数番を学習データとする.  2話者分の偶数
番2620単語からランダムに1単語ずつ抽出し, 2つの音声を重ね合わせてクロストー
ク音声2620単語を作成する.  発話時間の長さの違いは考慮せず, 発話時間の長い方
にあわせる.  


\subsection{実験条件}
本実験では認識にHTKを使用し, 実験環境は表2%\ref{jouken}
にまとめる.  
特徴パラメータにはMFCCとFBANKを使用する.  また, 
音素HMMの混合ガウス分布にはDiagonal-covarianceを使用する.  MFCCとFBANKにお
いて,基本モデル, モーラモデル, モーラアクセントモデル, トライフォンモデル
の4種のHMMモデルを用意し, 計8種類で実験を行う.  
本研究では, パラメータを一定とするため, 半連続型で基本モデルを作成する.  
そして, 初期モデルが重要なため, 基本モデルからモーラモデル, モーラアクセ
ントモデル, トライフォンモデルを作成する.    

\begin{table}[h]
\begin{center}
%\footnotesize
%\scriptsize
%\tiny
\caption{実験条件}
\label{table:jouken}
%\vspace{-1mm}
\begin{tabular}{|c|c|c|}\hline
 & MFCC & FBANK \\ \hline
基本周波数 &  \multicolumn{2}{c|}{16kHz} \\ \hline
分析窓 & \multicolumn{2}{c|} {Hamming窓 }\\ \hline
分析窓長 & \multicolumn{2}{c|} {25ms} \\ \hline
フレ−ム周期 & \multicolumn{2}{c|} {10ms} \\ \hline
音響モデル & \multicolumn{2}{c|} {3ループ4状態・半連続分布型} \\ \hline
stream数 & \multicolumn{2}{|c|}{1} \\ \hline
%混合ガウス分布 & \multicolumn{2}{|c|}{Diagonal} \\ \hline
特徴パラメータ & MFCC 12次 & FBANK 24次 \\
 & +ΔMFCC 12次 & +ΔFBANK 24次 \\ \hline
\end{tabular}
\end{center}
\end{table}

\newpage

\subsection{評価方法}
通常, クロストーク音声の認識では重ね合わせる前の音声両方をそれぞれ認識す
る必要がある.  


本研究では組み合わる前の2つの音声それぞれの認識率の平均を求め, さらにモデ
ル毎の平均を比較する.  


\newpage

\subsection{実験結果}
\subsubsection{MFCCとFBANKの比較}
MFCCとFBANKの実験結果の比較を表3%\ref{M-F}
に示す.  

\begin{table}[h]
\begin{center}
%\footnotesize
%\tiny
%\scriptsize
\caption{実験結果(MFCCとFBANKの比較)}
\label{table:M-F}
\begin{tabular}{|c||c|c|}\hline
モデル & MFCC & FBANK \\ \hline \hline
基本モデル & 23.3\% & 12.7\% \\ \hline
モーラモデル & 24.0\% & 12.6\% \\ \hline 
モーラアクセントモデル & 18.0\% & 9.7\% \\ \hline
トライフォンモデル & 21.5\% & 6.7\% \\ \hline
\end{tabular}
\end{center}
\end{table}


この表から, 特徴パラメータにはFBANKよりもMFCCを用いた方が
認識率が高いことがわかる.  
また, モーラモデルを用いた場合, MFCCでは認識率が改善され, 本実験において
最も認識率が高くなっているが, FBANKでは基本モデルよりも認識率が低下している.  
そして, モーラアクセントモデル, トライフォンモデルではMFCC, FBANKともに
認識率の低下が見られた.  


\newpage

\subsubsection{MFCCの詳細}
MFCCの結果の詳細を表4%\ref{M}
に示す.  

\begin{table}[h]
\begin{center}
\caption{MFCCの認識結果}
\label{table:M}
\begin{tabular}{|c||c|c|c|c|} \hline
\multicolumn{5}{|c|}{mau+ftk} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mau & 22.91\% & 25.39\% & 20.62\% & 25.89\% \\ \hline
ftk & 19.17\% & 18.59\% & 13.55\% & 16.15\% \\ \hline
平均 & 21.04\% & 21.99\% & 17.08\% & 21.07\% \\ \hline 

\multicolumn{5}{|c|}{mau+faf} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mau & 8.82\% & 9.51\% & 7.29\%  & 10.00\% \\ \hline
faf & 36.27\% & 35.47\% & 28.29\%  & 32.99\% \\ \hline
平均 & 22.54\% & 22.49\% & 17.79\%  & 21.49\% \\ \hline

\multicolumn{5}{|c|}{mms+ftk} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mms & 20.08\% & 20.47\% & 15.20\% & 18.71\% \\ \hline
ftk & 20.73\% & 22.41\% & 16.49\% & 22.34\% \\ \hline
平均 & 20.4\% & 21.44\% & 15.84\% & 20.52\% \\ \hline

\multicolumn{5}{|c|}{mms+faf} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mms & 3.89\% & 4.05\% & 3.13\% & 4.85\% \\ \hline
faf & 45.32\% & 45.90\%  & 38.60\% & 40.9\% \\ \hline
平均 & 29.10\% & 29.97\% & 21.36\% & 22.87\% \\ \hline

\multicolumn{5}{|c|}{全体の平均} \\ \hline
 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
平均 & 23.27\% & 23.97\% & 18.01\% & 21.48\% \\ \hline
\end{tabular}
\end{center}
\end{table}

表より, 組み合わせにより認識率にばらつきが見られるが, 
全体の平均を見た場合, モーラ情報を使用することで, 
若干ながら認識率の改善が見られる.  
しかし, アクセントを考慮した場合は全パターンで認識率が低下した.  
トライフォンもでるでは, 音量差が小さいパターンでは認識率が改善されたが,
逆に音量差が大きいパターンでは認識率が低下し, 全体として基本モデルよりも
認識率が低下している.    

尚, MFCCモーラモデルの認識結果の一部を付録として付ける.  
\newpage

\subsubsection{FBANKの詳細}
FBANKの実験結果の詳細を表5%\ref{F}
に示す.  

\begin{table}[h]
\begin{center}
%\footnotesize
\caption{FBANKの認識結果}
\label{table:F}
\begin{tabular}{|c||c|c|c|c|} \hline
\multicolumn{5}{|c|}{mau+ftk} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mau & 19.55\% & 20.35\% & 17.22\% & 5.12\% \\ \hline
ftk & 6.68\% & 6.26\% & 3.86\% & 3.86\% \\ \hline
平均 & 13.11\% & 13.30\% & 10.54\% & 4.49\% \\ \hline \hline

\multicolumn{5}{|c|}{mau+faf} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mau & 6.99\% & 6.38\% & 5.23\% & 3.97\% \\ \hline
faf & 14.59\% & 13.78\% & 10.27\% & 8.17\% \\ \hline
平均 & 10.79\% & 10.08\% & 7.75\% & 6.07\% \\ \hline \hline

\multicolumn{5}{|c|}{mms+ftk} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mms & 15.04\% & 15.69\% & 12.29\% & 7.87\% \\ \hline
ftk & 7.41\% & 7.52\% & 6.07\% & 3.97\% \\ \hline
平均 & 11.22\% & 11.6\% & 9.18\% & 5.92\% \\ \hline \hline

\multicolumn{5}{|c|}{mms+faf} \\ \hline
話者 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
mms & 3.63\% & 3.17\% & 2.02\% & 1.95\% \\ \hline
faf & 27.29\% & 27.33\% & 21.83\% & 18.35\% \\ \hline
平均 & 15.46\% & 15.25\% & 11.42\% & 10.15\% \\ \hline \hline

\multicolumn{5}{|c|}{全体平均} \\ \hline
 & 基本 & モーラ & モーラアクセント & トライフォン \\ \hline
平均 & 12.64\% & 12.55\% & 9.72\% & 6.65\% \\ \hline
\end{tabular}
\end{center}
\end{table}

表より, モーラモデルで若干認識率が改善されたパターンがあるものの, どのモ
デルでも基本モデルと比較して認識率の低下が見られた.  
下が見られた.  

尚, FBANK基本モデルの認識結果の一部を付録として付ける.  
\newpage

\section{考察}
\subsection{特徴パラメータによる不具合}
クロストーク音声認識では, 片方の話者を認識する際, もう片方の話者の音声が
雑音となってしまう.  FBANKはパラメータにピッチ成分を含むため, MFCCよりも
影響が大きくなってしまい, 認識率に差が現れたと考えられる.  

しかし, 本研究では特徴パラメータにDiagonalを使用したが, 
FBANKはFull-covaqrianceを
用いた方が認識率が高いことが知られている.  


このことから, Full-covarianceを用いた再実験を行うことでFBANKの認識率改善
が見込まれる.  

\newpage

\subsection{モーラ情報による改善}
MFCCモーラモデルを用いた場合に, 話者mauと話者ftkの組合せの内, 
話者mauで改善が見られた単語の一部を表6%\ref{Mplus}
, 話者mmsと話者fafの組合せの内, 話者fafで改善が見られた単語の一部を表
7%\ref{mmfaM/fo}
に示す.  逆に認識できなくなっ
た単語例を表8%\ref{Mmin}
, 表9に%\ref{mmfaM/fx}
示す.  

\begin{table}[h]
\begin{center}
\caption{改善された単語例(mau+ftk/mau)}
\label{table:Mplus}
\begin{tabular}{|c|c|c|} \hline
組み合わせた音声 & 基本 & モーラモデル \\ \hline
質問(shitsumoN) + (shimeN) & 注文(choumeN) & 質問(shitsumoN) \\ \hline
辞表(jihyou) + 活動(katsudou) & 事故(jiko) & 辞表(jihyou) \\ \hline
災難(sainaN) + 実演(jitsuen) & 海岸(kaigaN) & 災難(sainaN) \\ \hline
\end{tabular}
\end{center}

\end{table}
\begin{table}[h]
\begin{center}
\caption{改善された単語例(mms+faf/faf)}
\label{table:mmfaM/fo}
\begin{tabular}{|c|c|c|} \hline
組み合わせた音声 & 基本 & モーラモデル \\ \hline
落とす(otosu) + 植物(shokubutsu) & 国立(kokuritsu) & 植物(shokubutsu) \\ \hline
新年(shiNneN) + 投票(touhyou) & 根拠(koNkyo) & 投票(touhyou) \\ \hline
誘う(sasou) + 拾う(hirou) & 潜む(hisomu) & 拾う(hirou)  \\ \hline
\end{tabular}
\end{center}
\end{table}

\clearpage

\begin{table}[h]
\begin{center}
\caption{誤認識するようになった単語例(mau+ftk/mau)}
\label{table:Mmin}
\begin{tabular}{|c|c|c|} \hline
組み合わせた音声 & 基本 & モーラモデル \\ \hline
探す(sagasu) + 祭日(saijitsu) & 探す(sagasu) & 剥す(hagasu) \\ \hline
潜る(moguru) + のこぎり(nokogiri) & 潜る(moguru) & 申し込む(moushikomu) \\ \hline
駆けつける(kaketsukeru) + 率(ritsu) & 駆けつける(kaketsukeru) & 受け付ける(uketsukeru) \\ \hline
\end{tabular}
\end{center}
\end{table}


\begin{table}[h]
\begin{center}
\caption{誤認識するようになった単語例(mms+faf/faf)}
\label{table:mmfaM/fx}
\begin{tabular}{|c|c|c|} \hline
組み合わせた音声 & 基本 & モーラモデル \\ \hline
追い抜く(oinuku) + 行方(yukue) & 行方(yukue) & 湯気(yuge) \\ \hline
遺言(yuigoN) + 伝える(tsutaeru) & 伝える(tsutaeru) & 使える(tsukaeru) \\ \hline
真似(mane) + いつも(itsumo) & いつも(itsumo) & 以後(igo) \\ \hline
\end{tabular}
\end{center}
\end{table}



モーラ情報を使用することで, 母音, 促音, 撥音が連続する場合に対して改善さ
れた例が多く見られた.  
逆に, 基本モデルで認識できていた単語が, 同一の音素を持つ別の単語として認識さ
れる現象が見られた.  

\newpage


\subsection{人手による聴取実験}
計算機による認識率と比較するため, 話者mauと話者ftk, 話者mmsと話者fafの2
種類のクロストーク音声に対して人手による聴取実験を行った.  結果を表10%\ref{hear}
に示す.  
尚, 被験者は男性1名である． 

\begin{table}[h]
\begin{center}
\caption{聴取実験の認識率}
\label{table:hear}
\begin{tabular}{|c||c|c|c|} \hline
組合せ & 男性話者のみ認識 & 女性話者のみ認識 & 男女両方を認識 \\ \hline
mau+faf & 84.23\% & 79.0\% & 67.09\% \\ \hline 
mms+faf & 76.1\% & 92.63\% & 70.41\% \\ \hline
平均 & 80.12\% & 85.81\% & 68.75\% \\ \hline
\end{tabular}
\end{center}
\end{table}

人手による聴取実験と比較すると, 計算機による認識率は非常に低い結果となっ
た． 


また, 人手でも認識できない音は, 2話者の子音が重なる音の組合せであった.  
逆に, 音が重ならなければ人手では概ね認識できた.  
話者mauと話者ftkのクロストーク音声に関して, 人手と計算機(MFCCモーラモデ
ル)での認識結果の比較を表11, 12%\ref{KoHx}
に示す.  

\begin{table}[h]
\begin{center}
%\footnotesize
%\tiny
%\scriptsize
\caption{例：計算機で認識, 人手で誤認識}
\label{table:KoHx}
\begin{tabular}{|c||c|c|} \hline 
正解(男性/女性) & 潜む(hisomu) & くすぶる(kusuburu) \\ \hline
計算機の結果 & 潜む(○) &  苦痛(kutsuu) \\ \hline 
聴取実験結果 & 競う(kisou) & 薬(kusuri) \\ \hline \hline
正解(男性/女性) & 訴える(uqtaeru) & 快活(kaikatsu) \\ \hline
計算機の結果 & 訴える(○) & 快活(○) \\ \hline
聴取実験結果 & 訴える(○) & 解決(kaiketsu) \\ \hline \hline
正解(男性/女性) & 性質(seishitsu) & 対決(taiketsu) \\ \hline
計算機の結果 & 平日(heijitsu) & 対決(○) \\ \hline
聴取実験結果 & 性質(○) & 締結(teiketsu) \\ \hline
\end{tabular}
\end{center}
\end{table}

計算機で認識できたが, 人手で聞き取れなかった例には, 音素が重なる組合せであっ
た.  この場合, 人手では子音を混同してしまうことが多くなり, 結果として誤
認識してしまっていた.  また, このとき音量差が大きいと, 片方の音が全く聞こ
えないという場合も見られた.  

\newpage
\begin{table}[h]
\begin{center}
%\footnotesize
%\tiny
%\scriptsize
\caption{例：人手で認識, 計算機で誤認識}
\label{table:KxHo}
\begin{tabular}{|c||c|c|} \hline
正解(男性/女性) & 似合う(niau) & 作物(sakumotsu) \\ \hline
計算機の結果 & 付き合う(tsukiau) & 三月(saNgatsu) \\ \hline
聴取実験結果 & 似合う(○) & 作物(○) \\ \hline \hline
正解(男性/女性) & 窮屈(kyuukutsu) & 全長(zenchou) \\ \hline
計算機の結果 & 流暢(ryuuchou) & 現象(geNshou) \\ \hline
聴取実験結果 & 窮屈(○) & 現象(geNshou) \\ \hline \hline
正解(男性/女性) & 適当(tekitou) & 頭(kasira) \\ \hline
計算機の結果 & 太鼓(taiko) & 頭(○) \\ \hline
聴取実験結果 & 適当(○) & 欠片(kakera) \\ \hline
\end{tabular}
\end{center}
\end{table}

人手で認識できたが, 計算機で認識できなかったものには, 音が重なっていない
ものが多く見られた.  
この場合, 計算機では最初と最後の音素はある程度認識しているが, そ
の途中の音素を認識できず, 結果として誤認識となっている.  
逆に, 人手では概ね認識することができた.  

\newpage

\section{結言}
本研究では, 男女2話者が別々の単語を同時に話したと仮定し, 従来手法を用いる
ことでどの程度認識できるか調査した.  


その結果, 特徴パラメータにMFCCを用いることでFBANKより良い結果が得られた.  
また, MFCCにおいてモーラ情報を使用することで認識率に改善が見られた.  
しかし, 人手による聴取実験と比較すると認識率が非常に低い.  


今後の課題として, Full-covarianceでの認識, 音量差を調整した状態での
認識率調査があげられる.  
また,今後の方針として, 今回得られた結果を基礎資料としてスペクトルサブスト
ラクション等の雑音抑制に使用されている手法の適用や, 合成音声による学習, 3
次元Viterbiによる認識等を行っていきたい.  

\newpage

\section{謝辞}
最後に, 本研究において御指導を賜わりました 池原 悟 教授, 村上 仁一 助教
授, 
徳久 雅人 助手, ならびに本学大学院生の石田 隆浩氏, 加藤 琢也氏に厚く御礼
を申し上げるとともに, 計算機C研究室のみなさまの多大なる御協力に感謝の意を
表します.  

\newpage

\begin{thebibliography}{99} \hline
\vspace{2mm}
\bibitem{nakano}中野 晃:クロストーク孤立単語音声認識，
鳥取大学大学院工学研究科修士論文，(2002)
\bibitem{taniguti}谷口 勝則，他:モーラ情報を用いた
フィルタバンクによる孤立単語認識，信学技報，SP2002-131，pp.63-68(2002-12)
\bibitem{seo}妹尾 貴宏，他:モーラ情報を用いた単語音声認識の検討，
信学技報，SP2002-130，pp.55-61(2002-12)
\bibitem{htk}Steve Young，etc:HTK Ver3.2 reference manual,2002 Cambridge University 
\bibitem{hurui}古井:音声情報処理,森北出版株式会社
\end{thebibliography}


\end{document}