実験結果

TDPBSMTとMosesの実験結果を，表5.2と表5.3に示す．

Table: TDPBSMTとMosesの自動評価(100文)

	BLEU	METEOR	TER
TDPBSMT	0.20	0.49	0.60
Moses	0.24	0.49	0.56

Table: TDPBSMTとMosesの人手評価結果(100文)

TDPBSMT○	26
Moses○	22
差なし	36
同一	16

表5.2，表5.3よりTDPBSMTとTDSMTの翻訳精度にほぼ差はないことが分かる．評価例を表5.4，表5.5，表5.6，表5.7，表5.8，表5.9，表5.10，表5.11，表5.12に示す．表中の下線部は評価の根拠とした部分である．

Table: TDPBSMT○とした例1

入力文	彼は机を叩いた。
TDPBSMT	He knocked on the desk.
Moses	He was on the desk.
参照文	He pounded on the desk.

表5.4のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは入力文と同様の意味が読み取れる．Mosesは動詞が入力文と食い違う．従って，TDPBSMTがMosesより優れていると判断した．

Table: TDPBSMT○とした例2

入力文	彼は顔をまともに打たれた。
TDPBSMT	He was struck straight in the face.
Moses	He was struck with the eye.
参照文	The blow struck him full in the face.

表5.5のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは入力文と同様の意味が読み取れる．Mosesは下線部の単語が入力文の意味と異なる．従って，TDPBSMTがMosesより優れていると判断した．

Table: TDPBSMT○とした例3

入力文	これは規格から外れている。
TDPBSMT	This is off the standard.
Moses	This is the standard.
参照文	This is excluded from the specifications.

表5.6のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは入力文と同様の意味が読み取れる．Mosesは入力文と意味が異なる．その原因は下線部の単語の有無である．従って，TDPBSMTがMosesより優れていると判断した．

Table: Moses○とした例1

入力文	彼女はベッドで寝返りを打った。
TDPBSMT	I turned over in bed.
Moses	She turned over in bed.
参照文	She rolled in the bed.

表5.7のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは，名詞が入力文と異なる．Mosesは入力文と同様の意味が読み取れる．従って，MosesがTDPBSMTより優れていると判断した．

Table: Moses○とした例2

入力文	りんごが枝もたわわになっている。。
TDPBSMT	The apples the branches.
Moses	The apples were heavily laden with branch.
参照文	The apple trees are heavy with fruit.

表5.8のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは動詞が存在せず，入力文の意味が読み取れない．Mosesは入力文と同様の意味が読み取れる．従って，MosesがTDPBSMTより優れていると判断した．

Table: Moses○とした例3

入力文	体重の問題を抱えている。
TDPBSMT	The weight of the problem.
Moses	I have a question of weight.
参照文	He has a weight problem.

表5.9のTDPBSMTとMosesの出力文を比較すると，TDPBSMTは動詞が存在せず，入力文の意味が読み取れない．Mosesは入力文と同様の意味が読み取れる．従って，MosesがTDPBSMTより優れていると判断した．

Table: 差なしとした例1

入力文	急ブレーキをかける。
TDPBSMT	Put on the brakes suddenly.
Moses	Place the brakes sharply.
参照文	To step on the brakes suddenly.

Table: 差なしとした例2

入力文	裁判官はその異議を却下した。
TDPBSMT	The judge dismissed objection.
Moses	The judge dismissed the dissent.
参照文	The judge overruled the objection.

Table: 差なしとした例3

入力文	その対立は深まった。
TDPBSMT	The conflict has deepened.
Moses	The conflict has grown.
参照文	The antagonism deepened.