2)人手評価

本研究では，人手評価として対比較評価を行う．対比較評価は，提案手法の出力文からランダムに評価対象の文を抽出し，評価を行う．ベースラインと提案手法の対比較評価を例に挙げ，以下に対比較評価の評価基準を示す．

a) ベースライン○

ベースラインの翻訳品質が提案手法の翻訳品質より優れている場合

b) 提案手法○

提案手法の翻訳品質がベースラインの翻訳品質より優れている場合

c) 差なし

提案手法の翻訳品質とベースラインの翻訳品質に差がない場合

d) 同一出力

提案手法の翻訳結果とベースラインの翻訳結果が同じ場合