第4回:作家とモデルを比べる
2026年10月27日(火)
第3回のclass3-preparedフォルダー、宿題のCSV、保存したワークシートdh-b-movement.jsonを手元に置いてください。1節の表から作家を一人選んでください。同じ作家を二人で選んでもかまいません。
| 使うもの | 第3回まで | 今回 |
|---|---|---|
| 本文 | 「蜘蛛の糸」と芥川龍之介103作品 | 13作家の選択作品のうち、担当作家1名分 |
| 検索 | class3.lx |
class4.lx(第3回と同じ語彙素の集合に、品詞別の集計を追加) |
| 記録 | CSVの1–10行目 | CSVの11–12行目と、authors.csvと照合した担当作家の集計値 |
2. 担当作家の上下の移動を表す語彙素を数える
class4.lxは、第3回のverticalとdeixisに、品詞ごとのトークン数を数えるposを加えたものです。[...]一つが一つのトークンで、並べた[...]は連続するトークンに一致します。各定義の上のkey:行は、summarizeで件数をまとめる項目を指定します。
class4.lxの定義 |
一致するもの | 件数をまとめる項目 |
|---|---|---|
pos := []. |
すべてのトークン | upos(品詞) |
verbs := [upos=VERB]. |
品詞がVERBのトークン |
lemma(語彙素) |
vertical := [lemma in {上る, …}]. |
語彙素が集合の12語のいずれかであるトークン | lemma |
deixis := (?<verb> [upos=VERB]) [lemma=て] (?<deictic> [lemma in {来る, 行く}]). |
動詞、て、来るまたは行くの順に並ぶ三つのトークン | 動詞の語彙素と来る・行くの語彙素 |
(?<名前> ...)は、一致した部分に名前を付けて後で参照する「名前付きキャプチャ」です。deixisでは、次の二つの部分に名前を付けています。
| 名前と一致する部分 | key:で使う語彙素 |
|---|---|
verb:最初の動詞トークン |
$verb.lemma |
deictic:最後の来る・行くのトークン |
$deictic.lemma |
key: [$verb.lemma, $deictic.lemma]は、この二つの語彙素の組み合わせごとに件数をまとめます。
「走り行く」のように「て」がない複合動詞は数えますか?
deixisは、動詞・て・来る/行くが連続する三つのトークンの組を数えます。走り行くや帰り来るのような複合動詞は、コーパスの解析では一つのトークンになり、語彙素も走り行くのように一語です。そのため、deixisにも[lemma=行く]にも一致しません。
次のパターンは、語彙素が来るまたは行くで終わる一語の動詞を数えます。出来ると心行くは移動を表さないため除いています。
key: [lemma]
deixis_compound := [upos=VERB & lemma ~ /(来る|行く)$/ & lemma not in {来る, 行く, 出来る, 心行く}].
このパターンには、移動を表さない複合動詞が含まれる場合があります。解析で二つのトークンに分かれた複合動詞は数えません。
配布したコーパスでは、芥川龍之介で4件、国木田独歩で37件(deixisは188件)、泉鏡花で47件(同525件)が一致します。件数を報告するときは、どのパターンで数えたかを書き添えてください。
authors.csvは、13作家分の集計結果をまとめた表です。作家間で比較できるように、すべての集計にclass4.lxを使っています。検索する語彙素の集合も、割合を計算するときの動詞の総数の数え方も、どの作家でも同じです。
配布したclass4.lxは変更せずに使ってください。第3回に修正した語彙素の集合で検索する場合は、class4.lxをclass4-mine.lxという名前でコピーし、そのファイルを編集してください。このファイルで集計した件数には、class4-mine.lxを使ったことを書き添えてください。
ling check --patterns class4.lx
ling summarize --corpus akutagawa.lingcorpus --patterns class4.lx --top all > summary.txt
grep -w pos summary.txt | grep VERB
grep -w vertical summary.txt
grep -w vertical summary.txt | awk '{s+=$1} END {print s}'awkのコマンドは、verticalの各語彙素の件数(1列目)を合計して表示します。
verticalの件数は、語彙素が集合に含まれるトークンの数で、移動の数ではありません。芥川龍之介の「文章」(Akutagawa_R_Bunshou.md)の「肉の落ちた」は落ちるに一致しますが、誰も移動しません。次のコマンドは、落ちるの一致箇所を最初の40件まで、ファイル名、作品内の文番号、前後の本文の順に表示します。
ling matches --corpus akutagawa.lingcorpus --tsv --context 8 --limit 40 --pattern '[lemma=落ちる].' | cut -f3,5,9-作家ごとに作品の長さが違うため、件数は動詞1万語あたりの割合に直して比べます。割合は、verticalの合計をVERBの件数で割り、10000を掛けた値です。芥川龍之介の70作品では、verticalの合計406、VERB30878で、割合は131.5です。
verticalの合計、VERBの件数、割合を計算し、メモに残してください。verticalの上位3語彙素をメモに書いてください。- 担当作家の
落ちるの一致箇所から、移動を表していないものを一つ見つけ、表現とファイル名をメモに書いてください。見つからなければ、調べた箇所を書いてください。 - 三つの値を
authors.csvの担当作家の行(verbs、vertical、vertical_per_10k_verbs列)と照合してください。値が違う場合は、どのコマンドの件数が違ったかを書き出してください。
| 自分の値 | authors.csvの列 |
|---|---|
VERBの件数 |
verbs |
verticalの合計 |
vertical |
| 割合(小数第1位まで) | vertical_per_10k_verbs |
| 落ちて来る・落ちて行く(3節) | 落ちる_来る・落ちる_行く |
| 上って来る・上って行く(3節) | 上る_来る・上る_行く |
3. 来る・行くの偏りを確かめる
grep -w deixis summary.txt | grep -E '上る|落ちる|下りる'芥川龍之介の70作品では、落ちると来るの組み合わせが10件、行くとの組み合わせが1件あります。上るでは、それぞれ10件と13件です。出力に現れない組み合わせの件数は0です。
- 担当作家の四つの件数を、2節の表にある
authors.csvの列と照合してください。 落ちるが来るに偏る傾向は、担当作家でも同じですか?一文で書いてください。
4. 作品を選んで二箇所を読む
ling matches --corpus akutagawa.lingcorpus --tsv --pattern '[lemma in {上る, 落ちる, 下りる}] [lemma=て] [lemma in {来る, 行く}].' | cut -f3 | sort | uniq -c | sort -rn | head
ling matches --corpus akutagawa.lingcorpus --where '@document.title = 杜子春' --tsv --context 12 --pattern '[lemma in {上る, 落ちる, 下りる}] [lemma=て] [lemma in {来る, 行く}].' | cut -f3,5,9-1行目は、上る・落ちる・下りるのいずれか、て、来るまたは行くが順に並ぶ三つのトークンを、ファイルごとに数えます(図3)。
2行目のコマンドは、一作品の一致箇所を、ファイル名、作品内の文番号、前後の本文の順に表示します。akutagawa.lingcorpusは担当作家のコーパスのファイル名に、杜子春は選んだ作品の作品名(works.csvのtitle列)に置き換えてください。
「杜子春」には該当箇所が四つあります。国木田独歩のコーパスで該当箇所が二つ以上ある作品は「少年の悲哀」(Kunikida_D_Kodomonokanashi.md)だけです。該当箇所が二つ以上ある作品がないときは、2行目を--where '@document.title = 杜子春'なしで実行し、別々の作品から箇所を選んでください。ターミナルを使わない場合は、保存済み出力の「来る・行くの箇所」に同じ出力があります。
- 該当箇所の多い作品を一つ選んでください。二箇所を選び、それぞれを含む段落全体を読んでください。
works.csvのreader列から本文を開き、lingが表示した表現を検索してください。上の作例のリンクからは、該当する段落を直接開けます。 - 第2回と同じ三つの判断で分類し、CSVの11–12行目に追加してください。
partには作品名、expressionにはlingが表示した表現を書きます。ほかの列には、第3回の宿題の表にある値を入力してください。 - 各箇所のファイル名と文番号、誰が移動し、語り手がどこから見ているかをメモに残してください。
5. 全員の結果を比べる
authors.csvに、2・3節の値が13作家分あります。
提出ページは、2–7行目について方向と「移動は起きる?」に分けて、全員のラベルの分布、保留の数、一致率を表示します。自分のラベルが多数と異なる箇所には枠が付きます。
動詞1万語あたりの割合が最も高い作家と最も低い作家を書き出し、作品の種類や年代から考えられる理由を一つ書いてください。
落ちるが来るに偏らない作家があれば書き出してください。一致率が最も低い行を一つ選んでください。「提出された基準」の一覧から、その行の判断の違いを解消できる基準を探し、メモに書いてください。当てはまる基準がなければ、ワークシートの「修正した基準」に自分の基準を書いてください。
保存したファイルを提出ページで再提出すると、一覧は1分以内に更新されます。提出ページを開けない場合や、一覧に提出がまだない場合は、ワークシートの4節で相手の保存ファイルか配布例のワークシートと比べ、判断が分かれた行の基準をメモに書いてください。配布例との比較は一人分の一致で、全員の一致率の代わりにはなりません。比較したラベルがすべて一致した場合は、一行を選び、その判断を支える本文の表現を書いてください。
この割合は、語彙素の一致件数をもとに計算しています。集計には、移動を表さない箇所が含まれる場合があります。解析に使う辞書と、verticalに含める語彙素の選び方によっても結果は変わります。
作家による違いを説明するときは、選択作品に童話・児童文学と翻訳3作品が含まれること、初出情報に欠けている箇所があることを明記してください。
6. モデルの抽出を自分のラベルと比べる
ワークシートの7箇所について、「方向」「移動は起きる?」「主体」の分類結果を、規則、LLM(Qwen3.5-4B)、Perplexity Deciderの結果と比べます。段落から移動表現を抽出する課題では、規則、GLiNER2.5、Qwen3.5-4Bの結果を比べます。
ノートブックは保存済みの実行結果を表示するため、モデルの取得は不要です。Pythonやmarimoのダウンロードには通信が必要です。
抽出の比較ノートブック(ZIP)を展開し、notebook-theme.cssと隠しファイル.marimo.tomlを含むすべてのファイルを同じフォルダーに置いてください。そのフォルダーで次のコマンドを実行し、表示されたURLをブラウザーで開いてください。提出ページは別のタブか別のウィンドウで開いたままにし、次の手順で画面を切り替えてください。
uvx --python 3.14 marimo==0.25.0 edit --no-sandbox movement-extraction.pyuvxが認識されない場合は、先に授業のノートブックを実行するの手順でuvをインストールしてください。
- 提出ページの「規則」「Qwen」「Decider」の列で、波線の付いた箇所を一つ選んでください。波線は、その方法のラベルがいちばん多く選ばれたラベルと違う箇所に付きます。提出ページを開けない場合や、波線の箇所がない場合は、2行目
どこまでものぼって行けばか5行目下りろを選んでください。保存済みの結果では、この2行の「移動は起きる?」でQwenのラベルが配布例と異なります。 - ノートブックの画面に切り替え、「第2回のワークシートを開く」で
dh-b-movement.jsonを読み込んでください。読み込まない場合は、配布例が基準になります。 - ノートブックの「同じ箇所を分類する」で、選んだ箇所について各方法の「方向」「移動は起きる?」「主体」と根拠の表現を自分のラベルと比べ、一致した点と食い違った点を記録してください。
- 「段落から探す」で、各方法がワークシートの表現を見つけたか、ほかに何を抜き出したかを記録してください。
ノートブックは、自分のラベルと各方法の出力を比べ、一致した数を計算します。一致は判断の一貫性を示し、正しさは示しません。比較するのは7箇所だけで、規則もその箇所に合わせて書かれています。この結果から、ほかの箇所での抽出・分類の精度は判断できません。
食い違った箇所を一つ選んで段落を読み、次の表のどれに当たるかを記録してください。自分のラベルがすべての方法と一致した場合は、Qwenと配布例が食い違う2行目か5行目を使ってください。
QwenとDeciderには、語り手の立場で判断すること、否定や不能の表現では移動そのものが起きるかを判断すること、命令や条件だけでは移動が起きたとは言えないことを指示しています。規則による方法は、動詞の語尾で分類します。各方法の要約は、ノートブック末尾の「方法の違い」にあります。
ノートブックは第2回で修正した基準を表示しないため、ワークシートのファイルかメモを並べて開いてください。
| 場合 | 記録すること |
|---|---|
| 自分または配布例の基準と、モデルの基準が異なる | 二つの基準と、それぞれが当てはまる本文の表現 |
| 段落からは判断が決まらない | 判断が決まらない理由になる本文の表現 |
| どちらかが段落を読み違えた | 判断を決める本文の表現と、それが支持するラベル |
モデルを自分で実行するには?
「選んだ段落で実行」には、モデル用のライブラリを含む環境が必要です。ノートブックをいったん閉じ、同じフォルダーで次のコマンドで開き直してください。--no-sandboxで開いたままでは、「実行する」はライブラリがないためエラーになります。
uvx --python 3.14 marimo==0.25.0 edit --sandbox movement-extraction.pyこのコマンドは、初回に数百MBのライブラリを取得します。「選んだ段落で実行」に切り替えて「実行する」を押すと、ノートブックはモデルを取得して実行します。初回は数GBの取得が必要です。LinuxのNVIDIA・AMD GPUを使う手順は固有表現抽出の比較と同じで、ner-comparison.pyをmovement-extraction.pyに読み替えてください。
授業外・任意:モデルは、はい・いいえの答えにどうスコアを付ける?
marimoが公開した次の英語の資料は、はい・いいえの答えにスコアを付ける方法を示します。追加の学習が必要な方法も含みます。使うのは、Qwen3.5のベースモデル、Jev、GLiNER2です。molabのノートブックでは、各方法を、英語の段落と、はい・いいえで答える質問からなるBoolQの同じ500問で比べます。
| 資料 | 見る点 |
|---|---|
| From Qwen to Jev, How Does That Even Work?(marimo、2026年、英語):15分10秒 | 文章を生成するモデルに、はいかいいえを選ばせる方法。はい・いいえのスコアを、抽出の比較ノートブックでPerplexity Deciderが返す選択肢ごとの確率と比べてください。 |
| Encoders Are All You Need™(marimo、2026年、英語):15分19秒 | GLiNER2が、渡したラベルごとにスコアを計算する仕組み。渡すラベルと出力を比べてください。動画では段落と質問に対してはい・いいえを選び、抽出の比較ノートブックでは表現の範囲と関係を抽出します。GLiNER2.5が抽出するものは、そのノートブックの「方法の違い」に説明があります。 |
| fine tuning a jev like model(molabのノートブック、英語) | 最後の表で、各方法の正解率を、常に「はい」と答えた場合の0.596と比べてください。実行せずに、保存済みの結果、コード、説明を読んでください。 |
molabのノートブックの実行にはNVIDIAのGPUが、JevのセルにはAPIキーが必要です。このノートブックのDeciderはAnyJevの方法で、Perplexity Deciderとは別のものです。
ここでの正解率は、BoolQの正解と一致した答えの割合です。この節の7箇所と同じく、ほかの種類の本文(日本語の小説など)での性能は、この結果から判断できません。
終了時のメモ
次の五つをメモ(.txtまたは.md)に記録し、メモを提出ページで提出してください。
| 記録する項目 | 内容 |
|---|---|
| 担当作家の値 | 三つの値と四つの件数、authors.csvと一致したか(2・3節) |
| 二つの箇所 | CSVの11–12行目(4節) |
| 作家間の違い | 割合か偏りの違いを一つと、考えられる理由(5節) |
| 基準 | 判断が分かれた行と、違いを解消する基準(5節) |
| モデルとの食い違い | 一箇所と、三つの場合のどれに当たるか、根拠の表現(6節) |
終了時のメモの記入例は?
芥川龍之介のコーパスを使った記入例で、一つの読み方を示します。自分の担当作家の値と、自分の判断を記録してください。
| 記録する項目 | 記入例 |
|---|---|
| 担当作家の値 | VERB30878、vertical406、割合131.5(406÷30878×10000)。落ちて来る10、落ちて行く1、上って来る10、上って行く13。七つともauthors.csvのakutagawaの行と一致。verticalの上位3語彙素は上る117、落ちる116、下りる49。移動を表さない落ちるは腑に落ちない(Akutagawa_R_Futatsunotegami.md、文番号200)。この70作品では、落ちるは行くより来ると結び付くことが多い(10件と1件)。ただし合計11件と少ない |
| 二つの箇所 | 11,路上,登って来る,裾模様の令嬢,up,narrator,CT+,labelledと12,路上,下りて行っ,俊助,down,narrator,CT+,labelled。メモ:Akutagawa_R_Rojou.mdの箇所が5件で最も多い(「素戔嗚尊」と同数)。文番号254では、令嬢が演壇に登る。語り手は聴衆席の俊助とともに見ており、令嬢は俊助の方へ来る。文番号726では、俊助が石段を下りる。語り手は、大井のいる入口から離れていく俊助に付いて語る |
| 作家間の違い | 割合が最も高いのは国木田独歩(163.5)、最も低いのは太宰治(59.6)。考えられる理由(未確認):初出年の記録がある国木田の15作品は1897–1908年、太宰の56作品は1933–1945年で、年代による違いかもしれない。国木田のvertical164件のうち26件は「わかれ」1作品にあり、一つの作品が割合を押し上げている可能性もある。落ちるが来るに偏らない作家は太宰治(来る0件、行く3件)、岡本かの子(4件、5件)、夢野久作(4件、7件)、梶井基次郎(1件、3件)。選択作品には童話・児童文学と翻訳3作品が含まれ、初出情報に欠けている箇所がある |
| 基準 | 4行目上へ上へ一心によじのぼって来る。基準:語り手の立場で移動を分類する。「ふと気がつきますと」のように人物が気付いた形で書かれている場合は、その人物を根拠欄に書き、判断の出所は語り手のままとする |
| モデルとの食い違い | 5行目下りろ。配布例は下降、罪人たち、「起きるか示されていない」(Uu)。「同じ箇所を分類する」のQwen3.5-4Bは下降、罪人たち、「起きない・起きなかった」(CT-)で、根拠は【下りろ】。規則とDeciderはUu。場合:どちらかが段落を読み違えた。犍陀多が「下りろ。下りろ。」と喚いたことだけが書かれており、罪人たちが下りたかは述べられていないため、Uuが当たる。「段落から探す」では、規則とQwenは下りろを抽出した。GLiNER2.5は犍陀多を人物として抜き出しただけで、移動表現を抽出しなかった |
宿題:第5回の調査の問いを決める
所要時間は20–30分です。
第5回では、エージェントのコマンドと主張を、自分の調査および本文と比べます。先に自分の調査を記録してください。
- 担当作家について、コーパスの件数で答えられる問いを一つと、予想を調査の記録の「問い」「予想」の欄に書いてください。提出ページは、提出された記録の問いと予想を一覧にします。例:「この作家の選択作品では、
落ちるは行くより来ると結び付くことが多いか」。 - 問いに答えるコマンドを二つ実行し、コマンド、出力の数値、単位(トークン数、作品数、動詞1万語あたりの割合)を記録してください。ターミナルを使えない場合は、保存済みの出力を使い、READMEにあるコマンドを記録してください。件数には、自分で再実行していない保存済みの結果であることを添えてください。
- 出力から一箇所を選び、その箇所を含む段落全体を読んで、件数が示すことと示さないことを一文ずつ書いてください。
- CSV(11–12行目を含む)と調査の記録を、第5回の前に提出ページで提出してください。
調査の記録の記入例は?
芥川龍之介のコーパスで、上の例とは別の問いを使った記入例です。一つの読み方を示すもので、問い、予想、コマンド、件数は自分のものを書いてください。
grep -w deixis summary.txt | grep -F '"$verb.lemma":"上る"'
ling matches --corpus akutagawa.lingcorpus --tsv --pattern '[lemma=上る] [lemma=て] [lemma=来る].' | cut -f3 | sort -u | wc -l
ling matches --corpus akutagawa.lingcorpus --tsv --pattern '[lemma=上る] [lemma=て] [lemma=行く].' | cut -f3 | sort -u | wc -l| 調査の記録の欄 | 記入例 |
|---|---|
| 問い | akutagawa.lingcorpusの70作品では、上るは来るより行くと結び付くことが多いか |
| 検索・実行前の予想 | 落ちると同じく、来ると結び付くことが多い |
| 作品とURL | class4-akutagawa.zipの70作品(works.csvに一覧)。引用した作品は「路上」、https://soranoha.org/works/000132_000879/ |
| 版またはファイルのハッシュ | 検索はling 0.7.0。コーパスはling 0.5.0とunidic-novel-202512で、Soranohaのリリースc373bb085971c6a88d8aa1c164788c53ebf304ab501a6f5188c3077ac5482916から作成(README.txtによる) |
| コマンド・ノートブック・ツールと、その版 | 上の三つのコマンド(2節のsummarizeのコマンドの後に実行)、ling 0.7.0 |
| 数えた単位と、含めた行・箇所 | 上る+て+来る・行くのトークン列の件数と、それを一つ以上含む作品の数 |
| 結果 | 行くは13件(11作品)、来るは10件(5作品)。この70作品では上るは行くと結び付くことが多く、予想と異なる |
| 確認した箇所 | Akutagawa_R_Rojou.md、文番号794、微笑が唇に上って来る:俊助の唇に微笑が浮かぶ。上へ移動する人や物はない |
| 見落とした例、誤解を招く例 | 来るの10件のうち4件は唇に上って来る(微笑や言葉):「路上」794、「素戔嗚尊」256と1218、「保吉の手帳から」13 |
| この結果からは言えないこと | 一致には微笑や言葉も含まれるため、上へ移動する場面が何回描かれているかは、この件数からは分からない |