評価の手順

文章作成支援の評価は, 以下の手順で行う.

1. 5.2節で記載必要項目が欠落している論文であると判別され, ルールベースで検出されたものが文章作成支援に役立っている(その記載必要項目を補う必要がある)かを人手で判別する.
2. 1の結果から提案手法であるルールベースのF値を算出する.
3. 全ての論文をシステムの出力にした場合(全ての論文を記載必要項目が欠落している論文であると判別し, 検出した場合)をベースラインとして, ベースラインのF値を算出する.
4. 2と3で算出した結果から提案手法であるルールベースとベースラインのF値を比較し評価を行う.