\documentclass[final,a4paper,twocolumn,9pt]{jarticle}
%\usepackage{layout}
\usepackage{graphicx}
\pagestyle{empty}

\setlength{\topmargin}{0pt}  % ヘッダまでのマージン:0pt
\setlength{\headheight}{0pt} % ヘッダの大きさ:0pt
\setlength{\headsep}{-1pt}    % ヘッダから本文まで:0pt
\setlength{\hoffset}{0pt}    % 左右マージン
\setlength{\voffset}{0pt}    % 上下マージン
\setlength{\marginparwidth}{0pt}
\setlength{\marginparsep}{72pt}
\setlength{\footskip}{72pt}
\setlength{\textheight}{720pt} % テキスト全体の高さ
\setlength{\textwidth}{453pt}  % テキスト全体の幅
\setlength{\columnsep}{5mm}  % 各カラムの間のスペース
\setlength{\oddsidemargin}{0pt}

\setlength{\abovecaptionskip}{-9pt} % 図とキャプションの間を狭める
\setlength{\floatsep}{-1pt} % 図の後ろのスペースを狭める0->-1
\setlength{\intextsep}{9pt} %図と本文との距離 デフォルトは12pt 10->9

\makeatletter
  \def\setcaption#1{\def\@captype{#1}}
  \renewcommand{\section}{\@startsection
    {section}%
    {1}%
    {\z@}%
    {0.2\baselineskip}%               changed!               
    {0.2\baselineskip}%  changed!
    %{\reset@font\centering\bfseries}}  
	{\reset@font\bfseries}
   }
  \renewcommand{\subsection}{\@startsection
    {subsection}
    {2}
    {\z@}%
    {0.3\baselineskip}%               changed!
    {0.2\baselineskip}%  changed!
    {\reset@font\bfseries}}

 \def\@cite#1#2{$^{\mbox{\scriptsize[{#1\if@tempswa, #2\fi}]}}$}
    % 参考文献表示を上付き文字に
  \makeatother

\begin{document}
\small
% タイトル
\twocolumn[
 \flushleft{\large \tt ０0 2 0 5 4}
 \center{\bf
    \vspace{-10mm} % 数字とタイトルの高さ合わせ．2行タイトル専用 1行では不要 
    \Large クロストーク音声認識}
 \flushright{\bf \large 計算機工学講座　池原研究室　安田 誠}
\vspace{1cm}
]

%1
\section{はじめに}
\vspace{-1mm}
 本研究におけるクロスト−クとは、男女2話者が別々の孤立単語を同時に発声す
る状況を想定している。
従来の研究において、クロストーク音声認識を扱う研究は困難が予想されるため、
あまり行われていなかった\cite{nakano}。
%ところで、
%マイクロフォンアレイを利用し雑音を除去して認識する方法がある。\cite{yamada}
%この方法は、入力信号に対し、雑音モデルと音響モデルを3次元
%Viterbiで最適解を得て認識結果としている。この方法をクロストーク音声認識に
%用いた場合、入力信号に対し2人の話者の音響モデルの最適解を得ることで
%同時に認識できる可能性がある。
%本研究では、この方法を用いる前の基礎データとして、
そこで、本研究では
従来手法によるクロストーク音声認識の精度を調査し、
今後の研究のための基礎データを作成する。
また、モーラ情報を考慮することでピッチ成分を効率的に用いること
ができ、単語音声認識率が向上すると報告されている\cite{taniguti}。
このことから、
本研究ではクロストーク音声認識にも
モーラ情報が有効であると仮定して実験を行う。

%2
\vspace{-1mm}
\section{モーラとアクセント}
\vspace{-1mm}
モーラとは仮名文字単位に相当するもので、単語の仮名文字の個数をモーラ数、
単語の仮名文字の位置をモーラ位置とし、
それらをまとめてモーラ情報と定義する。 
また、アクセントとは発音の高低を指し、
本研究ではモ−ラ情報にアクセント情報を付加して使用する。
音声認識で用いられているケプストラムは
低次にフォルマント情報、高次にピッチ情報を各々含み、
相互作用があると知られている。
そのため、
%従来の音声認識にはフォルマント情報のみが使用されていたため、
フォルマント情報のみを使用していた従来の音声認識には
ピッチ成分の影響がある。
しかし、最近の研究で単語のモーラ位置、モーラ数、アクセント型が決まれば
ピッチ周波数がほぼ決まり、この関係を利用することで
ピッチの影響を分離できることが知られている\cite{seo}。
そこで本研究ではモーラ情報とアクセント情報を使用し、
クロスト−ク音声音声認識における認識精度を調査する。

\vspace{-1mm}
\section{特徴パラメータ}
\vspace{-1mm}
 本研究では音声の特徴パラメータにMFCCとFBANKの2種類を使用し、
認識率の比較を行う。

%3
\vspace{-1mm}
\section{評価実験}
\vspace{-1mm}
音声データベースとして、ATRの単語発話データベースAset(1話者につき5240単語)
男女各2名を使用する。
5240単語を奇数番、偶数番に分け、奇数番を学習データとする。
また、男女二話者を選び、それぞれの偶数番音声2620単語からランダムに1単語ず
つ抽出し、重ね合わせることで作成した2620単語の
クロストーク音声を実験データとする。

\vspace{-1mm}
\subsection{実験条件}
\vspace{-1mm}
 本実験では、認識にHTKツール\cite{htk}を使用し、実験環境を
 表\ref{table:jouken}にまとめる。
また、音素HMMの混合ガウス分布にはDiagonalを使用する。
HMMには以下の4つのモデルを特徴パラメータ毎に用意し、
その中でクロストーク音声認識に最も有効な手法を調査する。
%\vspace{-1mm}
\footnotesize
\\
\vspace{-1mm}
1. 従来手法のモデル\\
\vspace{-1mm}
2. 1にモ−ラ情報を考慮したモ−ラモデル\\
\vspace{-1mm}
3. 2にアクセントを考慮したモ−ラアクセントモデル\\
\vspace{-1mm}
4. 1に音素の隣接情報を考慮したトライフォンモデル\\
\small

\vspace{-1mm}
\begin{table}[h]
\begin{center}
%\footnotesize
\scriptsize
%\tiny
\caption{実験条件}
\label{table:jouken}
%\vspace{-1mm}
\begin{tabular}{|c|c|c|}\hline
 & MFCC & FBANK \\ \hline
基本周波数 &  \multicolumn{2}{c|}{16kHz} \\ \hline
分析窓 & \multicolumn{2}{c|} {Hamming窓 }\\ \hline
分析窓長 & \multicolumn{2}{c|} {25ms} \\ \hline
フレ−ム周期 & \multicolumn{2}{c|} {10ms} \\ \hline
音響モデル & \multicolumn{2}{c|} {3ループ4状態・半連続分布型} \\ \hline
stream数 & \multicolumn{2}{|c|}{1} \\ \hline
%混合ガウス分布 & \multicolumn{2}{|c|}{Diagonal} \\ \hline
特徴パラメータ & MFCC 12次 & FBANK 24次 \\
 & +ΔMFCC 12次 & +ΔFBANK 24次 \\ \hline
\end{tabular}
\end{center}
\end{table}

\vspace{-3mm}

\vspace{-1mm}
\subsection{実験結果}
\vspace{-1mm}
 表\ref{table:M}、\ref{table:F}にMFCC及びFBANKの認識結果を示す。
尚、評価は男性話者と女性話者の認識率の平均とする。
\newpage

\vspace{3mm}
\begin{table}[h]
\begin{center}
\footnotesize
%\tiny
%\scriptsize
\caption{実験結果(MFCC)}
\label{table:M}
\vspace{-1mm}
\begin{tabular}{|c||c|c|c|c|}\hline
 & 基本 & モーラ & モーラ & トライフォン \\
 & & & アクセント & \\
 & モデル & モデル & モデル & モデル \\ \hline
mau+ftk & 21.04\% & 21.99\% & 17.08\% & 21.07\% \\ \hline
mau+faf & 22.54\% & 22.49\% & 17.79\% & 21.49\% \\ \hline
mms+ftk & 20.40\% & 21.44\% & 15.84\% & 20.52\% \\ \hline
mms+faf & 29.10\% & 29.97\% & 21.36\% & 22.87\% \\ \hline \hline
全体平均 & 23.27\% & 23.97\% & 18.01\% & 21.48\% \\ \hline
\end{tabular}
\end{center}
\end{table}

\vspace{-1mm}

\begin{table}[h]
\begin{center}
\footnotesize
%\scriptsize
%\tiny
\caption{実験結果(FBANK)}
\label{table:F}
\vspace{-1mm}
\begin{tabular}{|c||c|c|c|c|}\hline
 & 基本 & モーラ & モーラ & トライフォン \\
 & & & アクセント & \\
 & モデル & モデル & モデル & モデル \\ \hline
mau+ftk & 13.11\% & 13.30\% & 10.54\% & 5.12\% \\ \hline
mau+faf & 10.79\% & 10.08\% & 7.75\% & 6.07\% \\ \hline
mms+ftk & 11.22\% & 12.60\% & 9.18\% & 5.92\% \\ \hline
mms+faf & 15.46\% & 15.25\% & 11.42\% & 10.15\% \\ \hline \hline
全体平均 & 12.69\% & 12.55\% & 9.72\% & 6.65\% \\ \hline
\end{tabular}
\end{center}
\end{table}
\vspace{-3mm}
 実験の結果、特徴パラメータMFCCにおいて、モーラ情報のみを考慮した場合
に最も認識率が高く、23.97\%であった。

%4
\vspace{-1mm}
\subsection{人手による聴取実験}
\vspace{-1mm}
 計算機による認識率と比較するため、2種類のクロストーク音声に対し
て、人手による聴取実験を行い、男女を同時に認識した場合の認識率を求めた。
%その結果を表\ref{table:hear}に示す。
尚、被験者は男性1名である。その結果、平均68.75\%が得られた。
従って、人手による聴取実験と比較すると計算機による認識率は非常に
低いと分かる。
また、
人手と計算機(MFCCモ−ラモデル)の結果を比較し、差が見られた場合の具体例を
表\ref{table:exe}に示す。
結果として、2話者の子音が重なる音は人手でも認識できず、
それ以外ならば男女どちらかは概ね認識できた。

%\vspace{-1mm}
\begin{table}[h]
\begin{center}
\footnotesize
%\tiny
%\scriptsize
\caption{認識結果例}
\label{table:exe}
\vspace{-1mm}
\begin{tabular}{|c||c|c|} \hline 
\multicolumn{3}{|c|}{計算機で認識できたが、人手で聞き取れなかった例} \\ \hline 
正解(男性/女性) & 潜む(hisomu) & くすぶる(kusuburu) \\ \hline
計算機の結果 & 潜む(○) &  苦痛(kutsuu) \\ \hline 
聴取実験結果 & 競う(kisou) & 薬(kusuri) \\ \hline
\multicolumn{3}{|c|}{人手で聞き取れたが、計算機で認識できなかった例} \\ \hline
正解(男性/女性) & 似合う(niau) & 作物(sakumotsu) \\ \hline
起算気の結果 & 付き合う(tsukiau) & 三月(saNgatsu) \\ \hline
聴取実験結果 & 似合う(○) & 作物(○) \\ \hline
\end{tabular}
\end{center}
\end{table}
\vspace{-4mm}

%5
\vspace{-3mm}
\section{まとめ}
\vspace{-1mm}
本研究では、男女2話者が別々の単語を同時に話したと仮定し、
従来手法を用いた場合の認識精度を調査した。
その結果、FBANKよりもMFCCを用いた方が認識率が高く、
MFCCにおいてモーラ情報を使用することで認識率に改善が見られた。
しかし、人手による聴覚実験と比較すると認識率が非常に低い。
%課題として、話者ごとの音量差の扱い方の検討する必要がある。
今後の方針として、今回得られた結果を基礎資料として
スペクトルサブストラクション等の雑音抑制に使用されている手法の適用や、
合成音声による学習、3次元Viterbiによる認識等を行っていきたい。

%\footnotesize
\scriptsize
\begin{thebibliography}{99}
%\vspace{-1mm}
%\bibitem{seo}妹尾，村上，池原:モーラ情報を用いた単語音声認識の検討，
%信学技報，SP2002-130，pp.55-61(2002-12)
%\vspace{-1mm}
%\bibitem{taniguti}谷口，村上，池原:モーラ情報を用いた
%フィルタバンクによる孤立単語認識，信学技報，SP2002-131，pp.63-68(2002-12)
%\vspace{-1mm}
%\bibitem{yamada}山田，他:
%"適応型アレーを用いた3次元ビタビ探索に基づくハンズフリー音声認識",
% 情報処理学会論文誌,Vol.40,No.2,pp.460-468,(1999-2).
\vspace{-1mm}
\bibitem{nakano}中野:クロストーク孤立単語音声認識，
鳥取大学大学院工学研究科修士論文，(2002)
\vspace{-1mm}
\bibitem{taniguti}谷口，他:モーラ情報を用いた
フィルタバンクによる孤立単語認識，信学技報，SP2002-131，pp.63-68(2002-12)
\vspace{-1mm}
\bibitem{seo}妹尾，他:モーラ情報を用いた単語音声認識の検討，
信学技報，SP2002-130，pp.55-61(2002-12)
\vspace{-1mm}
\bibitem{htk}Seve Young，etc:HTK Ver3.2 reference manual,2002 Cambridge University 
\end{thebibliography}


\end{document}




