人手での判別基準とその基準の評価

2011年度の年次大会論文(266件)の学習データ内の論文を人手で判別し, 判別基準を設定する人物一人(人物Aとする)と人物Aとは別の人物一人(人物Bとする)が人物Aの設定した判別基準を参考に人手で判別を行った. 人物Aと人物Bの合計二人の判別結果の一致率からカッパ係数を算出した. また, 人物Aが学習データにおいて人手判別したものからランダムに文章作成支援に役立っているものと役立っていないものをそれぞれ12件ずつ取り出した. その合計24件の論文を人物Bが判別基準を参考にして人手判別した. 本研究で設定した判別基準でのカッパ係数は0.67であった.

記載必要項目の判別基準を表5.2に示す. また, 表5.2では, 文章作成支援に役立つと判別したものは○, 文章作成支援に役立たないと判別したものは×としている.

表 5.2: 各記載必要項目の判別基準

項目名	判別	基準
比較	○	先行研究との比較や実験結果の比較が行わ
		れていない論文
	×	「…という手法が先行研究で挙げられてい
		る. それに対して我々は…」などの文で先
		行研究との比較が行われている論文
問題点	○	世の中の問題(研究背景)や先行研究の問題点
		についての説明が不足している(説明が不明瞭
		な)論文
	×	研究背景や先行研究の問題点について詳しく
		説明されている(説明が明瞭な)論文
目的	○	詳しく読まないと何を目的に研究を行って
		いるのかが理解できない論文(一読するだ
		けでは研究の目的が理解できない論文)
	×	詳しく読まなくても, 一読すれば研究の目的が
		何であるかが理解できる論文
例	○	具体的な例がない論文(図中も含む)
	×	具体的な例がある論文(図中も含む)