用語と考え方

文字列の一致・分類した出現箇所・出来事

何を数えるかを示してください。同じ段落に、複数の文字列の一致や、同じ出来事を述べる複数の表現が含まれる場合があります。

同じ一行を四つの単位で数える

…一生懸命にのぼ^Aった甲斐があって…それからあのぼ^×んやり光っている…この分でのぼ^条って行けば…自分ののぼ^Aった後をつけて…よじのぼ^Bって来る…ここへまでのぼ^Aって来た…せっせとのぼ^Bって参ります…

A：犍陀多の登り　B：罪人たちの登り　条：条件　×：移動ではない

本文：story.txtの11行目（第二部の一段落）からの抜粋。Soranoha版「蜘蛛の糸」のプレーンテキスト。

件数には、単位、含めた行や箇所、本文の版を添えてください。

個々の箇所では、数え方がどう変わりますか？

箇所	文字列の一致	分類した出現箇所	出来事
`あのぼんやり光っている`（二）	一致する。`のぼ`は`あのぼんやり`の一部	移動表現ではない	なし
`この分でのぼって行けば`（二）	一致する	上昇。「起きるか示されていない」（`Uu`）。根拠は条件の`ば`	なし。犍陀多が抜け出せると予想している
`のぼれなくなってしまいました`（二）	一致する	上昇。「起きない・起きなかった」（`CT-`）。根拠は`のぼれなく`	なし。それ以上登れない
`ややしばらくのぼる中に`と`一生懸命にのぼった甲斐があって`（二）	どちらも`のぼ`に一致する	2行。上昇。「起きる・起きた」（`CT+`）	一度の登りを2回述べている

トークンは解析器が本文を区切った単位で、区切り方は解析器と辞書によって決まります。今回の移動表現には複数のトークンが含まれることがあります。

「起きるか示されていない」（Uu）は、移動が起きるかどうかを語り手が示していない、という判断です。「判断を保留」は、自分が分類を選べないときに使います。

判断できない箇所の行も削除しないでください。方向か「移動は起きる？」を判断できない場合は、該当する欄に「判断を保留」と入力し、根拠欄に理由を書いてください。

状況	対応
文脈が足りない	段落全体を読む
誰が移動するか書かれていない	主体欄を空欄にし、根拠欄に確認した表現を書く
基準を読んでも分類を選べない	「判断を保留」と入力し、基準のどこを明確にする必要があるかを書く
他の人と判断が分かれた	それぞれの判断の根拠を本文で確認する

判断を保留した行を集計から除いた場合は、除いた行数も示してください。分類の選び方で集計結果が変わる場合は、それぞれの場合の件数を示してください。

相談前に記録した分類を比べ、相談後の修正は別に残してください。

アノテーター間一致は、どう測りますか？

アノテーター間一致（IAA）は、同じ基準をどの程度一貫して適用するかを示します。単純一致率は、一致した分類の数を比較した出現箇所数で割り、項目ごとに計算します。

項目	例
方向	5件中5件が一致：100%
移動の判断	5件中3件が一致：60%

各項目で、二人とも分類を記入した行だけを比較します。保留と未記入は別に数え、二人とも保留でも判断の一致に含めません。Uuは記入した判断です。

一致が示すのは一貫性で、正しさではありません。選んだ五つの例では信頼性を確かめられません。より大きな標本ではCohenのκなどが分類の頻度から期待される偶然の一致を考慮するため、課題とアノテーター数に合う指標を選びます。