評価に過去の発話を使用する

学習・テスト時に過去の発話を使用しなかったモデルの出力(応答)を， 過去の発話を含むモデルと同様な評価方法により評価した． すなわち，本来の発話データとその直前一発話分の発話を文脈とし， それ以前の文脈は見ずに評価する． 精度評価を表6.3.5に示す． また，出力の精度評価例を表6.3.6，表6.3.7に示す． 学習時・テスト時は，実際には過去発話は使用しておらず， 評価にのみ過去発話を使用する．

表 6.3.5: 精度評価結果(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	○	△	$\times$
低頻度語置き換え無し	0.280(56/200)	0.420(84/200)	0.300(60/200)
低頻度語全てをヌルトークン化	0.370(74/200)	0.385(77/200)	0.245(49/200)
Copyable Model	0.290(58/200)	0.400(80/200)	0.310(62/200)
品詞置き換え	0.285(57/200)	0.415(83/200)	0.300(60/200)
提案手法	0.345(69/200)	0.400(80/200)	0.255(51/200)

表 6.3.6: 出力精度評価例1(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	入出力	評価
低頻度語置き換え	発話：(何 か の 儀式 です か)
無し	eos 儀式 は 必要 だ そう です よ	△
	応答：勇気 は 必要 です ね
低頻度語全てをヌ	発話：(何 か の 儀式 です か)
ルトークン化	eos $unk_{0}$ は 必要 だ そう です よ	△
	応答：そうですね
Copyable Model	発話：(何 か の 儀式 です か)
	eos $unk_{1}$ は 必要 だ そう です よ	○
	応答：$unk_{1}$ が 多い です
品詞置き換え	発話：(何 か の 儀式 です か)
	eos $unk_{名詞}$ は 必要 だ そう です よ	○
	応答：そう だ よ ね
提案手法	発話：(何 か の 儀式 です か)
	eos $unk_{1}$ は 必要 だ そう です よ	$\times$
	応答：$unk_{1}$ が いい です ね

表 6.3.7: 出力精度評価例2(入力に過去の発話を含まないが，評価では文脈に過去の発話があるとする)

手法	入出力	評価
低頻度語置き換え	発話：(あー 私 それ より 明日 の 1限 が 心配)
無し	eos 私 1限 全部 外し た よ	○
	応答：ほんと
低頻度語全てをヌ	発話：(あー 私 それ より 明日 の 1限 が 心配)
ルトークン化	eos 私 1限 全部 外し た よ	○
	応答：そう
Copyable Model	発話：(あー 私 それ より 明日 の 1限 が 心配)
	eos 私 1限 全部 外し た よ	○
	応答：そう
品詞置き換え	発話：(あー 私 それ より 明日 の 1限 が 心配)
	eos 私 1限 全部 外し た よ	△
	応答：あー
提案手法	発話：(あー 私 それ より 明日 の 1限 が 心配)
	eos 私 1限 全部 外し た よ	○
	応答：あっ そう