\documentclass[final,a4paper,twocolumn,10pt]{jarticle}
%\usepackage{layout}
\usepackage{graphicx}
\pagestyle{empty}

\setlength{\topmargin}{0pt}  % ヘッダまでのマージン:0pt
\setlength{\headheight}{0pt} % ヘッダの大きさ:0pt
\setlength{\headsep}{0pt}    % ヘッダから本文まで:0pt
\setlength{\hoffset}{0pt}    % 左右マージン
\setlength{\voffset}{0pt}    % 上下マージン
\setlength{\marginparwidth}{0pt}
\setlength{\marginparsep}{72pt}
\setlength{\footskip}{72pt}
\setlength{\textheight}{701pt} % テキスト全体の高さ
\setlength{\textwidth}{453pt}  % テキスト全体の幅
\setlength{\columnsep}{8mm}  % 各カラムの間のスペース
\setlength{\oddsidemargin}{0pt}

\setlength{\abovecaptionskip}{-10pt} % 図とキャプションの間を狭める
\setlength{\floatsep}{0pt} % 図の後ろのスペースを狭める0->-1
\setlength{\intextsep}{10pt} %図と本文との距離 デフォルトは12pt 10->9

\makeatletter
  \def\setcaption#1{\def\@captype{#1}}
  \renewcommand{\section}{\@startsection
    {section}%
    {1}%
    {\z@}%
    {0.3\baselineskip}%               changed!               
    {0.2\baselineskip}%  changed!
    %{\reset@font\centering\bfseries}}  
	{\reset@font\bfseries}
   }
  \renewcommand{\subsection}{\@startsection
    {subsection}
    {2}
    {\z@}%
    {0.3\baselineskip}%               changed!
    {0.2\baselineskip}%  changed!
    {\reset@font\bfseries}}

 \def\@cite#1#2{$^{\mbox{\scriptsize[{#1\if@tempswa, #2\fi}]}}$}
    % 参考文献表示を上付き文字に
  \makeatother

%\makeatletter
  % jarticle.cls より，section,subsectionの再定義
%  \renewcommand{\section}{\@startsection
%    {section}%
%    {1}%
%    {\z@}%
%    {0.3\baselineskip}%               changed!               
%    {0.2\baselineskip}%  changed!
   % {\reset@font\centering\bfseries}}  
%	{\reset@font\bfseries}}
%  \renewcommand{\subsection}{\@startsection
%    {subsection}
%    {2}
%    {\z@}%
%    {0.3\baselineskip}%               changed!
%    {0.2\baselineskip}%  changed!
%    {\reset@font\bfseries}}

%    \def\@cite#1#2{$^{\mbox{\scriptsize[{#1\if@tempswa, #2\fi}]}}$}
    % 参考文献表示を上付き文字に
%\makeatother


\begin{document}
\small
% タイトル
\twocolumn[
 \flushleft{\large \tt ０１２０２１}
 \center{\bf
    \vspace{-10mm} % 数字とタイトルの高さ合わせ．2行タイトル専用 1行では不要 
    \Large クロストーク孤立単語音声認識}
 \flushright{\bf \large 計算機工学講座　池原研究室　中野 晃}
\vspace{1cm}
]

% 本文
%\vspace{-3mm}
\section{{\normalsize はじめに}}

%\small
本研究においてクロストーク音声とは，同一話者が別々の孤立単語を同時に話す状況を想定している．
一般的に音声認識においてケプストラムがパラメータとして用いられている．
しかしクロストーク音声において，パラメータとしてケプストラムを用いると不安定になると考え，
本研究ではFBANKを用いた．
また，FBANKはモーラ数，モーラ位置を考慮することでピッチ成分を効率的に用いることができ，
音声認識率が向上するとことが報告されている\cite{taniguti}．

そこで本研究では，クロストーク音声の認識において，FBANKパラメータにモーラ情報を組み合わせて使用することが，
有効ではと考えた．

\section{{\normalsize 特徴パラメータ}}
本研究において，音声の特徴パラメータにフィルタバンク対数パワー(以下FBANK)を使用する．
そして比較のため一般的に使用されているメル周波数ケプストラム係数(以下MFCC)を使用する．

%
%\vspace{-10mm}
\subsection{{\normalsize FBANK}}
FBANKは音声周波数に対してFFTスペクトルを求め，メル分割されたフィルタに通し
その対数パワーを求めたもので特徴パラメータにフォルマント成分及びピッチ成分が含まれる．
FBANKは混合ガウス分布にFull-covarianceを用いた場合MFCCよりも認識率が高いことが知られている\cite{taniguti}．
本実験では基本周波数16KHzの音に対して24次のメルスケールフィルタを用いる．
\subsection{{\normalsize MFCC}}
MFCCは音声周波数に対してFFTスペクトルを求め，メルスケール上に等間隔に配置された帯域フィルタバンクの出力を
抽出する．そして，対数変換を行い逆フーリエ変換することにより得られるケプストラム係数である．
高次においてピッチ成分，低次においてフォルマント成分が見られ，通常は低次のフォルマント成分が使用される．
本研究では24次のFBANKで分析した後，12次のMFCCを用いる．

\section{{\normalsize モーラ情報の利用}}
モーラとは，仮名文字単位に相当し，単語の仮名文字の個数をモーラ数，単語の仮名文字の位置をモーラ位置とし，
それらをまとめてモーラ情報と定義する．

単語のモーラ位置，モーラ数が決まれば，ピッチ周波数がほぼ決まることが知られている．%(図\ref{fig:mora})．
したがってFBANKにおいてモーラ情報を使用することで，
ピッチ成分を使用して認識することができると考えられる\cite{taniguti}．

%\cite{seosotu}．

%\begin{figure}[htb]
%  \begin{center}
%     \includegraphics{mora.eps}
%  \end{center}
% \caption{5モーラ語2,800件のピッチ周波数の平均値と分散}
% \label{fig:mora}
%\end{figure}

\section{{\normalsize 評価実験}}
\subsection{クロストーク音声の作成}
音声データベース(以下DB)として，ATRの単語発話DB Aset(1話者につき5240単語)男女各3名を使用する．
5240単語を奇数番、偶数番に分け，奇数番を学習データとする．偶数番音声2620単語においてランダムに2単語抽出し，
2つの音声を重ね合わせて1310単語を作成する．具体的な作成方法を図\ref{fig:howto}に示す．\\

\begin{figure}[htb]
  \begin{center}
     \scalebox{.9}{\includegraphics{howto-exe2.eps}}
%\includegraphics{howto-exe2.eps}
  \end{center}
  \caption{音素HMM，クロストーク音声作成手順}
  \label{fig:howto}
\end{figure}

\vspace{-5mm}

\subsection{{\normalsize 実験条件}}
本実験ではHTK\cite{htk}を使用して実験を行う．
特徴パラメータにFBANKとMFCCを使用する．また，音素ＨＭＭの混合ガウス分布には
Full-covarianceを使用する．MFCCとFBANKにおいて，モーラ情報を使用した場合と使用しない場合の計4種類で実験を行う．
詳細を表\ref{table:jyoken}に示す．\\

\begin{table}[h]
\begin{center}
\footnotesize
%\small
 \caption{実験条件}
\label{table:jyoken}
\begin{tabular}{c|c|c}\hline
 \multicolumn{1}{c|} {基本周波数} & \multicolumn{2}{c}{16kHz} \\
 \multicolumn{1}{c|} {分析窓}        & \multicolumn{2}{c} {Hamming窓 }\\ 
 \multicolumn{1}{c|} {分析窓長}      & \multicolumn{2}{c} {20ms} \\ 
 \multicolumn{1}{c|} {フレーム周期}  & \multicolumn{2}{c} {5ms} \\ 
 \multicolumn{1}{c|} {音響モデル}    & \multicolumn{2}{c} {3ループ4状態} \\
 \multicolumn{1}{c|} { }             & \multicolumn{2}{c}{半連続分布型} \\
 \multicolumn{1}{c|}{stream数}      & \multicolumn{2}{c}3 \\ \hline
 特徴パラメータ         & MFCC 12次 & FBANK 24次 \\
                        & ΔMFCC 12次 &ΔFBANK 24次 \\
                        & 対数パワー 1次  &対数パワー 1次   \\
                        & Δ対数パワー 1次 &Δ対数パワー 1次   \\ \hline 
 \multicolumn{1}{c|} {学習ＤＢ}    & \multicolumn{2}{c}{2620単語} \\
  \multicolumn{1}{c|} {評価ＤＢ}    & \multicolumn{2}{c}{1310単語} \\\hline
\end{tabular}
\end{center}
%\vspace{-6mm}
\end{table}

%
%\vspace{-8mm}
\subsection{{\normalsize 評価方法}}
通常クロストーク音声の認識では重ね合わせる前の音声両方をそれぞれ認識する必要がある．
本研究では重ね合わせる前の1つの音声の一方が正しく認識できているか評価する．
%認識率の計算式を式(\ref{eq:ninsiki})に示す．\\
%\begin{equation}
%認識率(\%)=\frac{重ね合わせる前音声どちらかとして認識した単語数}{１３１０単語}\times100 \label{eq:ninsiki}
%\end{equation}

\subsection{{\normalsize 実験結果}}
\subsubsection{{\normalsize FBANKとMFCCの比較}}
FBANKとMFCCのモーラ無しでの実験結果を表\ref{table:MF}に示す．\\
%MFCCとFBANKではFBANKを用いた場合の方が高い認識率が得られた．\\
%モーラ無しはモーラ情報を使用せずに音素ＨＭＭの学習，認識を行った結果，モーラ有りはモーラ情報を使用した結果を示す．
%MFCCにおいて男性話者平均ではモーラ無し29.08\%，モーラ有り28.75\%，
%女性話者平均ではモーラ無し28.57\%，モーラ有り30.00\%となった．
%FBANKにおいては男性話者平均ではモーラ無し30.22\%，モーラ有り28.70\%となり，
%女性話者平均ではモーラ無し30.02\%，モーラ有り30.66\%となった．

\begin{table}[h]
\begin{center}
 %\footnotesize
\small 
\caption{実験結果(MFCCとFBANKの比較)}
\label{table:MF}
\begin{tabular}{|c|c|c|}\hline
話者 &MFCC & FBANK\\\hline
 mau & 28.2\%(369/1310) & 29.8\%(390/1310) \\  \hline
 mmy & 28.7\%(376/1310) & 30.4\%(398/1310) \\  \hline
 mtk & 30.2\%(396/1310) & 29.5\%(387/1310) \\  \hline
 faf & 26.4\%(346/1310) & 28.4\%(372/1310) \\  \hline 
 ftk & 30.1\%(394/1310) & 31.4\%(411/1310) \\  \hline
 fyn & 28.2\%(370/1310) & 30.3\%(397/1310) \\  \hline
平均 & 28.6\%(2251/7860)& 30.0\%(2355/7860) \\  \hline
\end{tabular}
\end{center}
\end{table}
この表から特徴パラメータにはMFCCよりもFBANKを用いた場合の方が認識率が高いことが分かる．

\vspace{-4mm}
\subsubsection{{\normalsize モーラ情報を使用した場合の比較}}
またFBANK，MFCCにおいてモーラ無しの結果とモーラ有りの比較をそれぞれ表\ref{table:FM}，表\ref{table:MFCCmora}に示す．\\

%またFBANKにおいて女性話者ではモーラ情報を用いた場合の方が高い認識率が得られた．\\
\begin{table}[h]
\begin{center}
 %\footnotesize
\small 
\caption{実験結果(FBANKモーラ有無)}
\label{table:FM}
\begin{tabular}{|c|c|c|}\hline
話者 &モーラ無し &モーラ有り\\\hline
 mau & 29.8\%(390/1310) & 27.0\%(354/1310) \\  \hline
 mmy & 30.4\%(398/1310) & 29.8\%(391/1310) \\  \hline
 mtk & 29.5\%(387/1310) & 29.8\%(391/1310) \\  \hline
 faf & 28.4\%(372/1310) & 28.9\%(379/1310) \\  \hline 
 ftk & 31.4\%(411/1310) & 32.4\%(425/1310) \\  \hline
 fyn & 30.3\%(397/1310) & 30.6\%(401/1310) \\  \hline
平均 & 30.0\%(2355/7860) & 29.8\%(2341/7860) \\ \hline
\end{tabular}

\vspace{5mm}
\caption{実験結果(MFCCモーラ有無)}
\label{table:MFCCmora}
\begin{tabular}{|c|c|c|}\hline
話者 &モーラ無し &モーラ有り\\\hline
 mau & 28.2\%(369/1310) & 26.0\%(340/1310) \\ \hline
 mmy & 28.7\%(376/1310) & 30.1\%(394/1310) \\ \hline
 mtk & 30.4\%(398/1310) & 30.2\%(396/1310) \\ \hline
 faf & 26.4\%(346/1310) & 28.5\%(373/1310) \\ \hline
 ftk & 30.1\%(394/1310) & 32.1\%(421/1310) \\ \hline
 fyn & 28.2\%(370/1310) & 29.4\%(385/1310) \\ \hline
平均 & 28.7\%(2253/7860) & 29.4\%(2309/7860) \\ \hline
\end{tabular}

\end{center}
\end{table}
これらの表の結果よりモーラ情報を使用した場合MFCCでは改善が見られたが，FBANKでは
わずかに低い結果となった．\\

%%%%%%
\vspace{-10mm}
\subsubsection{{\normalsize 男性女性の差}}
表\ref{table:FM}において男女平均での比較を表\ref{table:danjyo}に示す．またMFCCにおいてモーラ情報を使用した場合
の男女平均での結果を表\ref{table:mfccdanjyo}に示す．\\

\begin{table}[h]
\begin{center}
% \footnotesize
\small
 \caption{実験結果(男女平均FBANKモーラ有無)}
\label{table:danjyo}
\begin{tabular}{|c|c|c|}\hline
話者 &モーラ無し &モーラ有り\\\hline
 男性平均 & 29.9\%(1175/3930) & 28.9\%(1136/3930) \\  \hline
 女性平均 & 30.0\%(1180/3930) & 30.7\%(1205/3930) \\  \hline
 \end{tabular}

\vspace{5mm}
 \caption{実験結果(男女平均MFCCモーラ有無)}
\label{table:mfccdanjyo}
\begin{tabular}{|c|c|c|}\hline
話者 &モーラ無し &モーラ有り\\\hline
 男性平均 & 29.0\%(1141/3930) & 28.8\%(1130/3930) \\  \hline
 女性平均 & 28.2\%(1110/3930) & 30.0\%(1179/3930) \\  \hline
 \end{tabular}



\end{center}
\end{table}


女性話者においてモーラ情報を用いた場合認識率に改善が見られた．男性話者においては逆に認識率に低下が見られた．\\
%このことから，今後FBANKにおいてモーラ情報の扱いに何らかの改善が必要である．\\

\section{{\normalsize 考察}}
\subsection{{\normalsize モーラ情報による改善}}
話者はftkでパラメータはFBANKを用いた場合において，
モーラ情報を用いることで認識率が改善された単語について一部を表\ref{table:kai}に示す．
また，モーラ情報を用いることで逆に認識できなくなった単語例を表\ref{table:dame}に示す．\\
\begin{table}[h]
\begin{center}
 \footnotesize
%\small
 \caption{改善された単語(ftk)}
\label{table:kai}
\begin{tabular}{|c|c|c|}\hline
重ね合わせた音声&モーラ無し(誤)&モーラ有り(正)\\ \hline
要する＋大層&よそ&要する \\ \hline
後ろ＋馬&今ごろ&後ろ \\ \hline
%\end{tabular}
%\end{center}
%\end{table}

%\begin{table}[h]
%\begin{center}
% \footnotesize
%\small 
\end{tabular}
\vspace{10mm}
\caption{誤認単語(ftk)}
\label{table:dame}
\begin{tabular}{|c|c|c|}\hline
重ね合わせた音声&モーラ無し(正)&モーラ有り(誤)\\ \hline
見合わせる＋平ら & 見合わせる&知らせる \\ \hline
快活＋厳密&厳密&管轄 \\ \hline
\end{tabular}
\end{center}
\end{table}


モーラ情報は母音特に連続母音，音素欠落に対して改善が見られた．
逆にモーラ情報を用いた場合，「厳密」と認識できていたものが，「快活」と認識
できず，「管轄」と認識されるような現象が見られた．\\

%しかし，一部の音声においては悪影響したものもみられた．モーラ情報を用いた場合，母音に対して子音の学習データが
%十分でない場合があるためではないかと推測される．

\subsection{{\normalsize 人手による聴取実験}}
話者fafを用いて聴取実験を行い計算機による認識率と比較した．
結果を表\ref{table:hito}に示す.なお，被験者は男性1名である．
人手による聴取実験結果と比較すると計算機による認識率は低い結果となった．\\
なお，人手でも認識できない音は，声の大きさ，テンポが同じような単語の組合わせであった．
逆に異なっていれば両方または片方はなんとか聞き取れた．\\
モーラ情報を使用したFBANKにおいて人手によって聞き取れたが，
計算機による認識ができなかった例を表\ref{table:kahi}に示す．
逆に計算機では認識できたが，人手によって聞き取れなかった例
を表\ref{table:damepo}に示す．\\

%\vspace{20mm}

\begin{table}[h]
\begin{center}
 \footnotesize
%\small
 \caption{人手による聴取実験結果}
\label{table:hito}
\begin{tabular}{|c|c|}\hline
話者&認識率(\%)\\ \hline
mau&73\%(961/1310)\\ \hline
faf&69\%(907/1310)\\ \hline
\end{tabular}
\end{center}
\end{table}

%約$45\%$の認識率しか得られていない．



\begin{table}[h]
\begin{center}
 \footnotesize
%\small
\caption{計算機で認識できなかった例(faf)}
\label{table:kahi}
\begin{tabular}{|c|c|c|}\hline
重ね合わせた音声&人手&計算機\\ \hline
住まい＋切り&住まい(○)&機械(×) \\ \hline
残業＋態と&残業(○)&頑丈(×) \\ \hline
\end{tabular}

\vspace{10mm}
\caption{人手で聞き取れなかった例(faf)}
\label{table:damepo}
\begin{tabular}{|c|c|c|}\hline
重ね合わせた音声&人手&計算機\\ \hline
看板＋七つ&かなばん(×)&看板(○) \\ \hline
落ち着き＋知れる&おしれつき(×)&落ち着き(○)\\ \hline
\end{tabular}
\end{center}
\end{table}

\section{{\normalsize まとめ}}
本研究では，1話者が別々の単語を同時に話したと仮定して孤立単語
を作成し，従来手法を用いることでどの程度認識できるか調査した．
特徴パラメータにFBANKを用いることでMFCCより良い結果が得られた．
また女性話者においてはモーラ情報を使用することで
認識率に改善が見られた．
しかし，人手による聴覚実験と比較すると認識率が低い．
今後の課題としてモーラ情報の扱い方や，学習方法について
新たな手法を取り入れるなど改善の余地がある．
% 参考文献一覧
%
\begin{thebibliography}{99}
%\bibitem{seosotu}妹尾貴宏，村上仁一，前田智広，池原悟:モーラ情報を用いた単語音声認識の研究，信学技報，ＳＰ2001-45，(2001-08)
\bibitem{seo}妹尾，村上，池原:モーラ情報を用いた単語音声認識の検討，信学技報，SP2002-130，pp.55-61(2002-12)
\bibitem{taniguti}谷口，村上，池原:モーラ情報を用いたフィルタバンクによる孤立単語認識，信学技報，SP2002-131，pp.63-68(2002-12)
%\bibitem{mizusawa}水澤，村上，東田:音節波形接続による単語音声合成，信学技報，sp99-2(1999)
\bibitem{htk}HTK Ver2.2 reference manual,1997 Cambridge University 
\end{thebibliography}


\end{document}

%\begin{figure}[htb]
%  \begin{center}
%     \includegraphics{system.eps}
%  \end{center}
%  \caption{能動制御システムの概略図}
%  \label{fig:air}
%\end{figure}

%図番号を書くらしい・・・図~\ref{fig:air}に示す．

%参考文献番号表示する\cite{shuron}．
