入力に過去の発話を含む学習データの出力結果評価

入力に過去の発話を含んだデータで学習したモデルにおける， テスト出力結果の精度評価を表6.3.8に示す． また，出力の精度評価例を表6.3.9，表6.3.10に示す．

表 6.3.8: 精度評価結果(入力に過去の発話を含む)

手法	○	△	$\times$
低頻度語置き換え無し	0.270(54/200)	0.430(86/200)	0.300(60/200)
低頻度語全てをヌルトークン化	0.315(63/200)	0.385(77/200)	0.300(60/200)
Copyable Model	0.325(65/200)	0.375(75/200)	0.300(60/200)
品詞置き換え	0.290(58/200)	0.460(92/200)	0.250(50/200)
提案手法	0.340(68/200)	0.415(83/200)	0.245(49/200)

表 6.3.9: 出力精度評価例(入力に過去の発話を含む)

手法	入出力	評価
低頻度語置き換え	発話：何 か の 儀式 です か
無し	eos 儀式 は 必要 だ そう です よ	△
	応答：そうですね
低頻度語全てをヌ	発話：何 か の $unk_{0}$ です か
ルトークン化	eos $unk_{0}$ は 必要 だ そう です よ	△
	応答：そうですね
Copyable Model	発話：何 か の $unk_{1}$ です か
	eos $unk_{1}$ は 必要 だ そう です よ	○
	応答： $unk_{1}$ が 多い です ね
品詞置き換え	発話：何 か の $unk_{名詞}$ です か
	eos $unk_{名詞}$ は 必要 だ そう です よ	○
	応答：そう です か
提案手法	発話：何 か の $unk_{1}$ です か
	eos $unk_{1}$ は 必要 だ そう です よ	○
	応答： $unk_{1}$ が 多い です ね

表 6.3.10: 出力精度評価例(入力に過去の発話を含む)

手法	入出力	評価
低頻度語置き換え	発話：あー 私 それ より 明日 の 1限 が 心配
無し	eos 私 1限 全部 外し た よ	△
	応答：ありがとう ござい ます
低頻度語全てをヌ	発話：あー 私 それ より 明日 の 1限 が 心配
ルトークン化	eos 私 1限 全部 外し た よ	△
	応答：大丈夫 だ ね
Copyable Model	発話：あー 私 それ より 明日 の 1限 が 心配
	eos 私 1限 全部 外し た よ	$\times$
	応答： いい です
品詞置き換え	発話：あー 私 それ より 明日 の 1限 が 心配
	eos 私 1限 全部 外し た よ	△
	応答：ありがとう ござい ます
提案手法	発話：あー 私 それ より 明日 の 1限 が 心配
	eos 私 1限 全部 外し た よ	△
	応答：はい