評価方法

機械翻訳システムの翻訳精度を自動的に評価する手法として，事前に用意した参照文と，翻訳システムから得た翻訳文を比較する手法が一般的である．本研究では自動評価方法にBLEU[8]とNIST[9]を用いる．BLEUとNISTは共に語順の正しさで比較を行う．だたし，BLEUは4-gram，NISTは5-gramを用いる．BLEUは0から1までの間で，NISTは0から$∞$の間で評価され，語順が正しい場合に高いスコアを出す．BLEUもNISTもスコアが高いほど翻訳精度が高いことを示す．