表
の日英翻訳の重文複文コーパスで ``差無し" と判断した文と,その文の自動評価結果を表
に示す.
| BLEU | NIST | RIBES | METEOR | ||
| 入力文 | 試験 日 が 迫っ て 、学生 達 | ||||
| は 、 懸命 に 勉強 を し 始め | |||||
| た 。 | |||||
| 正解文 | As the exam is coming near , | ||||
| students started studying | |||||
| hard . | |||||
| 提案手法 | The day of the students , and | 0.2464 | 2.210 | 0.8429 | 0.6226 |
| (鳥バンク) | started studying hard . | ||||
| 提案手法 | The days on the test , and | 0.0000 | 1.195 | 0.4458 | 0.6242 |
| (英辞郎) | began to study hard , the | ||||
| students . |
表
において,METEOR以外のすべての自動評価法において,提案手法(鳥バンク)は提案手法(英辞郎)よりも優れている.
特に,BLEUスコアでは提案手法(鳥バンク)と提案手法(英辞郎)の差は ``0.2464"である.