\documentclass[10pt,a4j,twocolumn]{jsarticle}

\usepackage{mycaption}
\usepackage{amssymb}
\usepackage{float}
%\usepackage{caption}
\usepackage[dvips]{graphicx}
\usepackage{ascmac}
\usepackage{fancybox}



\renewcommand{\baselinestretch}{0.7} % 行間 0.645

\setlength{\floatsep}{0pt}   % 図の後ろのスペースを狭める0->-1
\setlength{\intextsep}{-4pt} % 図と本文との距離 デフォルトは12pt 10->9

\setlength{\leftmargini}{1.9zw} % リスト環境(Lv1)のインデント

% ===========================
% Caption of Figure & Table
% ===========================
\setlength{\abovecaptionskip}{ 0.8zw}
\setlength{\belowcaptionskip}{-3mm} % -3mm

\makeatletter
  % ====================================
  % Section, SubSection, SubSubSection
  % ====================================
  \renewcommand{\section}{\@startsection
    {section}%
    {1}%
    {\z@}%
    {0.3\baselineskip}%  changed!
    {0.1\baselineskip}%  changed!
    {\normalfont\large\headfont}}
  
  \renewcommand{\subsection}{\@startsection
    {subsection}%
    {2}%
    {\z@}%
    {0.2\baselineskip}%  changed!
    {0.1\baselineskip}%  changed!
    {\normalfont\normalsize\headfont}}

  \renewcommand{\subsubsection}{\@startsection
    {subsubsection}%
    {3}%
    {\z@}%
    {0.1\baselineskip}%  changed!
    {0.1\baselineskip}%  changed!
    {\normalfont\normalsize\headfont}}

  % ====================================
  % Caption Font
  % ====================================
%  \renewcommand{\captionfont}{\footnotesize\rmfamily}

  % ====================================
  % Title
  % ====================================
  \renewcommand{\@maketitle}{%
    \newpage\null
    % \vskip 2em
    \begin{center}%
      \let\footnote\thanks
      {\LARGE \@title \par}%
      %\vskip 1.5em
      \vspace{3mm}
      {\large
        %\lineskip .5em
        \begin{tabular}[t]{c}%
          \@author
        \end{tabular}\par}%
      %\vskip 1em
      %{\large \@date}%
    \end{center}%
    %\par\vskip 1.5em
    \vspace{4mm}
    %\ifvoid\@abstractbox\else\centerline{\box\@abstractbox}\vskip1.5em\fi
  }
  
  \renewcommand{\headfont}{\bfseries}



\title{\bf \hspace{-48mm}  012058 \hspace{3.6zw} 木に基づく状態共有を利用した
 \\
波形接続型音声合成法の検討}
\author{\hspace{117mm}計算機工学講座Ｃ \hspace{1.1zw}山形 亮}
\date{}

\renewcommand{\thepage}{}

\begin{document}
% ====================================
% Page Setting(A4:210mmx297mm)
% ====================================
\setlength{\voffset}{-1in}         %垂直方向のオフセット
\setlength{\hoffset}{-1in}         %水平方向のオフセット
\setlength{\topmargin}{18mm}       %オフセットからヘッダまでのマージン
\setlength{\headheight}{0mm}       %ヘッダの高さ
\setlength{\headsep}{0mm}          %ヘッダと本文領域の間の高さ
\setlength{\topskip}{0mm}          %本文領域内の本文開始位置までの高さ
\setlength{\oddsidemargin}{20mm}   %奇数ページのマージン
\setlength{\evensidemargin}{20mm}  %偶数ページのマージン
\setlength{\textwidth}{168mm}      %文章領域の幅
\setlength{\textheight}{257mm}     %文章領域の高さ
\setlength{\footskip}{0mm}         %文章領域の終わりからフッタの終わりまでの高さ
\setlength{\marginparsep}{0mm}     %本文領域と傍注の間の幅
\setlength{\marginparwidth}{0mm}   %傍注の幅
\setlength{\marginparpush}{0mm}    %傍注間の高さ
\setlength{\columnsep}{4mm}        %コラム間の幅
\setlength{\columnseprule}{0mm}    %コラム間の線の幅
\setlength{\columnwidth}{82mm}     %コラムの幅
% ====================================
\maketitle
\makeatother

\vspace{-3.5mm}

\section{はじめに}
%\vspace{-1mm}
音声合成の手法の一つとして波形接続型音声合成がある ．
この手法は録音音声から音節単位で波形素片を
取り出し，信号処理をせずに接続することで，自然性の高い
音声が合成できる．しかし，任意の一般名詞を作成しようと
するには大量の録音単語が必要である．
音声データベースとして，ATR単語発話データベースAset(5,240単語)を使用した
場合，5,240件中の470単語しか作成できない \cite{ishida}．
そこで本研究では，収録されているDBに対して木に基づくクラスタリング
\cite{young}を行い，音響パラメータが似た音節素片をグループ化する．
クラスタリングにより得られた情報を利用して
波形接続型音声合成を行うことで作成可能な単語数が飛躍的に増加する，
一方で音質の劣化が懸念される為，オピニオン評価実験及び対比較実験を
行い音質の評価を行う．

%次に波形接続型音声合成でこれを利用して音声を合成する．
%木に基づくクラスタリングでは作成可能な単語数が飛躍的に増加する，一方で
%音質の劣化が懸念される．ここで本研究では
%音質の評価を行う．
\section{波形接続型単語音声合成}

波形接続型音声合成 \cite{ishida}では，以下の条件の音節素片を接続して音声を合成する．
特徴として言語的なパラメータだけを用いて音節素片を選択し音響的なパラメータは使用しない．
そのため，自然性の高い音を合成することができる．
%1.中心の音節 \hspace{2mm}   2.直前の音素(前音素環境) \\
%3.直後の音素(後音素環境) \hspace{2mm}  4.単語のモーラ数 \\
%5.単語のモーラ位置 \hspace{2mm} 6.単語のアクセント型
%\vspace{-2mm}

\providecommand{\mist}[2][l]{\begin{tabular}{#1}#2\end{tabular}}
{ \setlength{\tabcolsep}{0.3zw} \small \begin{tabular}{ll}
\mist{ \textbullet \, 中心の音節 \\ \textbullet \,  直前の音素(前音素環境)
				 \\ \textbullet \,  直後の音素(後音素環境) }
 & \mist{ \textbullet \, 単語のモーラ数 \\ \textbullet \,  単語のモーラ位置 \\
 \textbullet \, 単語のアクセント型 }
\end{tabular} } \\
%\vspace{0.6zh}
%\vspace{-2mm}
%合成音声の例を以下に示す．なお 
%「＿\hspace{-1.2mm}｜\hspace{-1.2mm}￣
%」は音の強弱（アクセント）を表し，太字の部分が音節素片である．

%\begin{equation*}
%\begin{split}
%一帯({\tt /i/q/ta/i/})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣
%	& = 一掃({\tt {\bf /i/q}/ta/i/})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣\\
%	& + 実態({\tt /j{\bf i/q/t}a/i/})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣\\
	%& + 絶対({\tt /ze/{\bf q/ta/i}/})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣\\
	%& + 組合({\tt /ku/mi/{\bf a/i/}})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣\\
%\end{split}
%\end{equation*}


\section{木に基づく状態共有}

木に基づくクラスタリング \cite{young}は，音声認識で学習データを
効率良く使うためによく使われている．
音響的特徴が類似したtriphone HMMの状態集合に対して音声の決定木に基づいて
クラスタリングを行う．
グループ化された音節素片の情報を使うことで任意の音を合成することが可能と
なる\cite{hotta}.
\section{評価実験}
収録されたDBに対して木に基づくクラスタリングを行い，音響パラメータ的に似
た音節素
片をグループ化し，これを用いて波形接続型音声合成で合成音声を作成する．
合成した音声の品質を調べるために，同一発話の自然音声と波形接続型音声合成
で作成した音声を用意し聴覚実験を行う．


\subsection{実験データ}
本実験では音声データベースとして，ATR単語発話データベース
Aset(5,240件)を使用する．
そして，Asetに含まれる3または4モーラ語の各50音声(計100音声)
を利用する．そして以下の条件の音声を準備する．
 \\
1) 自然音声 \\
2) オリジナル合成：木に基づくクラスタリングを利用し \\
\hspace{8.8zw} ない波形接続型音声合成で作成した \\
\hspace{8.8zw} 合成音声   \\
3) クラスタリング合成：木に基づくクラスタリングを利 \\
\hspace{11.3zw}用した波形接続型音声合成で作 \\
\hspace{11.3zw}成した合成音声  \\


%\subsection{木に基づくクラスタリングを用いた合成音声}
%本研究では，前後音素環境に加えて，モーラ長，モーラ位置，アクセント型を考
%慮した質問を用いて木に基づくクラスタリングを行い，共有された音節素片
%の情報に基づいて音声合成を行う．質問の例を表１に示す．


%\begin{table}[h]
%\begin{center}
%\caption{クラスタリングの質問の例}
%\footnotesize
%\vspace{3mm}
%\begin{tabular}{|l|l|} \hline
%1 &前音素環境は鼻音であるか? \\ \hline
%2 &モーラ数は3または4で，モーラ位置は1であるか? \\ \hline
%3 &アクセント型は1，2，3のどれであるか? \\ \hline
%\end{tabular}
%\end{center}
%\end{table}

%クラスタリングされた音素素片の例として,前音素q,後音素i,モーラ数4，アクセント0型の単語
%3モーラ目の音素が``ta''の音素素片についての情報を表1に示す．
%なお，木に基づくクラスタリングの学習データにはAsetの話者fynの奇数番2620単語を用いる．
%\vspace{-10mm}

%\begin{table}[h]
%\begin{center}
%\caption{状態共有された音節素片}
%\footnotesize
%\vspace{3mm}
%\begin{tabular}{|ccccccc|} \hline

  %    音 & 前 & 後 & モーラ & モーラ &アクセ  & アクセン \\
 %     節 & 音素&音素&数&位置&ント型&トの高低 \\ \hline
 %  ta  & e & i &  4 & 3 & 3 & 高   \\ 
 %  ta  & i & i &  4 & 3 & 0 & 高   \\ 
 %  ta  & q & i &  4 & 3 & 0 & 高  \\ \hline


%\end{tabular}
%\end{center}
%\end{table}
%\vspace{-10mm}

%以下に木に基づくクラスタリングを用いた合成音声の例を示す.

%\begin{equation*}
%\begin{split}
%一帯({\tt /i/q/ta/i/})\hspace{-18mm}＿\hspace{-1.1mm}｜\hspace{-0.8mm}￣￣￣￣
%	& = 威張る({\tt {\bf /i}/ba/ru/})\hspace{-15mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣ \\
	%& = 威張る({\tt {\bf /i}/ba/ru/})\hspace{-16mm}＿\hspace{-1.1mm}｜\hspace{-0.8mm}￣￣\hspace{-0.8mm}｜\hspace{-0.8mm}＿＿ \\
	%& + 切手({\tt /ki{\bf /q}/te})\hspace{-14mm}＿\hspace{-0.9mm}｜\hspace{-0.7mm}￣￣￣ \\
	%& + めでたい({\tt /me/de/{\bf ta}/i/})\hspace{-19mm}＿\hspace{-0.8mm}｜\hspace{-0.7mm}￣￣￣\hspace{-0.6mm}｜\hspace{-0.8mm}＿ \\
	%& + 洪水({\tt /ko/o/zu/{\bf i/}})\hspace{-18mm}＿\hspace{-0.8mm}｜\hspace{-0.6mm}￣￣￣￣ \\
%\end{split}
%\end{equation*}
\vspace{-3mm}
\subsection{評価方法}
合成音声の評価のために，音声研究に関わった経験のない4名を対象に，
自然音声と合成音声をランダムにヘッドフォンから被験者に聞かせ，
オピニオン評価実験および対比較実験を行う．

%オピニオン評価では，自然に聞こえた度合を5段階(5が最も自然1が最も不自然)
%で評価するように指示する．


%対比較実験では二種類の同じ音声を続けて流し，どちらの音声が自然に聞こえる
%かを判定する．本実験では自然音声，オリジナル合成，クラスタリング合成の
%三種類の音声を全ての組合せで評価する．


\section{実験結果} 
\subsection{オピニオン評価の実験結果}
実験結果を表1に示す．オピニオン評価で3.7というそれなりの値が
得られた(評価音節数：100)．\\
%\vspace{-7mm}
\begin{table}[h]
\begin{center}
\vspace{-3mm}
\caption{オピニオン評価の結果}
%\vspace{-7mm}
%\footnotesize
\vspace{3mm}
\begin{tabular}{cc} \hline

   音声の種類  &  オピニオンスコア \\
   \hline
    自然音声   &4.9       \\ 
    オリジナル合成  &4.3       \\ 
    クラスタリング合成  &3.7   \\ \hline

\end{tabular}
\end{center}
%\vspace{-5mm}
\end{table}
%\vspace{-5mm}
\\
%表1から，オピニオン評価で3.7という自然性の高い結果が得られた．  
\vspace{-4mm}
\subsection{対比較実験の結果}
次の三通りの対比較実験を行った．(1) 自然音声とオリジナル合成， 
(2) 自然音声とクラスタリング合成， (3) オリジナル合成とクラスタリング合成，その結果を表2に示す\\
%\vspace{-8mm}
\begin{table}[h]
\begin{center}
\vspace{-3mm}
\caption{対比較実験の結果}
%\footnotesize
\vspace{3mm}
%\renewcommand{\scalebox}{0.8}\normalize
\scalebox{0.8}{
\begin{tabular}{lll} \hline
&比較対象1 & 比較対象2 \\ \hline
(1)&  自然音声 : 79.25\% & オリジナル合成 : 20.75\% \\ 
    %\hline
(2)&   自然音声 : 90.75\% & クラスタリング合成 : 9.25\% \\
(3)&   オリジナル合成 : 75.75\% & クラスタリング合成 : 24.25\% \\ \hline
\end{tabular}
}
\end{center}
\end{table}
\vspace{-1mm}



オリジナル合成とクラスタリング合成の差は自然音声とオリジナル合成との差ぐらい
である，したがってクラスタリング合成は自然性の高い音声であることがわかる．


%\vspace{-2mm}
\section{考察} 
%\subsection{オピニオン評価の解析}
波形接続型音声接続では，人手でラベリングされた情報を利用して音節素片を切り出す．
しかし，ラベルに誤りがある場合がある.このとき余分な前後の音声が入ることがある．

木に基づくクラスタリングを利用しない波形接続型音声合成では前後の音素を
考慮している為に多少前後の音があっても違和感無く音声が合成できる．
しかし，木に基づくクラスタリングを利用した合成音声では，グループ化された
音素からランダムに音を選択している為に前後環境は考慮されていない．
その結果，合成音声に違和感が生じ品質の低下に繋がったと考えている．

%\vspace{-2mm}
%\subsection{アクセントの位置}
%木に基づくクラスタリングでグループ化された音響パラメータが似た
%音節素片の中には，アクセントの高低が違うものがグループ化されている事があっ
%た．これは音質の低下を招くので本実験ではグループから除外した．

%\vspace{-2mm}
%\subsection{アクセントの問題}
%アクセントの高低は同じであるがアクセント位置が違う単語がある．
%例をあげると``約束''の``KU''と``隠す''の``KU''である.
%この二つの音節素片は木に基づくクラスタリングで音響パラメータが似ていると
%判断された，しかし，``隠す''は``KU''でアクセントが下がるために品質が
%劣化する場合がある．


%\vspace{-2mm}
\section{まとめ}
本実験では，波形接続型音声合成で任意の合成音声を作成するために音声が収録
されているＤＢに木に基づくクラスタリングを行い，クラスタリングされた音節素
片を使用した時の合成音声の音質を調査した．

聴覚実験の結果，オピニオンスコアで3.7が得られた．
クラスタリングにより条件を緩和したことで波形接続型合成音声よりも多少オピ
ニオンスコアが下がったものの自然性の高い音声が作成でき，任意の音が
作成可能であることがわかった．

今後は，木に基づくクラスタリングにアクセント位置を考慮に入れるなどの検討を行い，
より自然性の高い合成音声の作成を目指したい．
%{\large \bf 謝辞} \\
%木に基づくクラスタリングに関して計算機工学講座博士前期課程2年の堀田波星夫さ
%んに協力して頂きました．心より御礼申し上げます．
\begin{thebibliography}{99}
\footnotesize 
\bibitem{ishida} 
石田 隆浩，村上 仁一，池原 悟. ``モーラ情報とアクセント情報を用いた波形接続型
音声合成の普通名詞句への応用''，2-Q-18, pp.409-410(2003).	
%\bibitem{accent}
%``NHK 日本語アクセント辞典 新版''，NHK 出版，ISBN4-14-011112-7(1998).
\bibitem{hotta} 堀田 波星夫，村上 仁一，池原 悟. ``不特定話者における同
	音異義語音声認識''，NO. 2-1-11(2006).
\bibitem{young} S.J. Young, J.J. Odell, and P.C. Woodland. Tree-based
	state trying for high accuracy acoustic
	modelling. Proc. ICASSP, pp.307-312(1994).
%\bibitem{date}村上ほか:日本語英語の文対応の対訳データベース,「言語・認識・表現」,第7回年次研究会,2002-12
%\bibitem{atn}長尾ほか:自然言語処理,ISBM4-00-010355-5,岩波書店,1996
\end{thebibliography}
\end{document}

