例１

表の単文コーパスの日英統計翻訳において，提案手法(英辞郎)○と判断した文と，その文の自動評価結果を表に示す．

表: 提案手法(英辞郎)○と判断した例(日英翻訳 単文)

		BLEU	NIST	RIBES	METEOR
入力文	彼 は 彼女 に プロポーズ し た 。
正解文	He proposed to her .
提案手法	I proposed to her .	0.6687	1.858	0.9457	0.7292
(鳥バンク)
提案手法	He made a proposal to her .	0.0000	1.327	0.8694	0.7695
(英辞郎)

表において，METEOR以外の自動評価法において，提案手法(鳥バンク)は提案手法(英辞郎)よりも優れている． しかし，対比較評価では提案手法(英辞郎)は提案手法(鳥バンク)よりも優れている．

BLEU，NISTは正解文と出力文との語順が正しい場合にスコアが高くなる． RIBESは正解文と出力文の間の共通単語の出現順を評価する． 正解文と提案手法(鳥バンク)の出力文には ``proposed to her . " が共通している． そのため，BLEU，NIST，RIBESでは提案手法(鳥バンク)が高いスコアを出力してしまった．