RIBES

RIBES[5]は，参照文と出力文との間で，共通単語の出現順序を順位相関係数で評価を行う評価法である． 計算式を以下に示す．

64#64 9#9 65#65 (3.18)

64#64 9#9 66#66 (3.19)

67#67 9#9 68#68 (3.20)

69#69 9#9 70#70 (3.21)

ここで，71#71はスピアマンの順位相関係数であり，72#72はケンドールの順位相関係数である． 73#73は共通単語が少ない場合のペナルティである．また49#49はペナルティに対する重みとして使用され，0≦49#49≦1の値である．74#74は文の単語数であり，75#75は参照文の76#76番目の単語と出力文の76#76番目の単語の語順の差分である．
77#77は，以下の2つの単語列の共起数である．

• 出力文における，出力文のi番目の単語以降の単語列．
• 参照文における，出力文のi番目の単語以降の単語列．

78#78は，以下の2つの単語列の共起数である．

• 出力文における，出力文のi番目の単語以降の単語列．
• 参照文における，出力文のi番目の単語以前の単語列．

RIBESは，単語の出現順を順位相関係数を用いて評価することで，文全体の語順に着目することができる． なお，RIBESは0から1のスコアを出力し，スコアが大きい方が良い評価である．具体的な計算例を次のページに示す．

[

c]例 日本語文：雨 に 濡れた ため ， 彼 は 風邪 を 引い た 。
参照文：He caught a cold because he got soaked in the rain .
出力文：He got soaked in the rain because he caught a cold .

計算方法

79#79 9#9 80#80

81#81 9#9 82#82

83#83 9#9 84#84

85#85 9#9 86#86

67#67 9#9 87#87 (3.22)

64#64 9#9 88#88 (3.23)

89#89 9#9 90#90

91#91 9#9 92#92

93#93 9#9 94#94

95#95 9#9 96#96

69#69 9#9 97#97 (3.24)

64#64 9#9 98#98 (3.25)