第3回：語彙素とパターンで本文を検索する

1. 準備済みコーパスを用意する

使うPCに、lingを使えるようにするの手順で検索ツールling（lingrep 0.5.0）を一度インストールしてください。

1. 準備済みコーパス（ZIP、約18 MB）を第2回の作業フォルダーdh-b-2026に保存し、展開してください。
2. ターミナルを開き、次のコマンドを1行ずつ実行してください。

cd dh-b-2026/class3-prepared
ling --version
ling corpus inspect story-unidic-novel.lingcorpus

準備済みコーパス（.lingcorpus）は、解析器と辞書で解析した結果を保存した本文です。lingは--corpusで辞書なしに読みます。

inspectが文書数1を表示し、最後にcomplete:を表示すれば、次の節に進めます。コマンドが見つからなければ、lingを使えるようにするの手順を行い、ling --versionをもう一度実行してください。

ling doctor
ling matches --pattern '[lemma=上る].' --context 2 --color never story.txt

2. 文字列の検索をパターンに広げる

第2回では、grep -Fで文字列そのものを検索しました。正規表現は、任意の1文字や文字の候補を記号で表す検索パターンです。-Eを付けると、grepは引数をパターンとして読みます。

grep -oE 'のぼ.' story.txt | sort | uniq -c
grep -oE 'のぼ[っりるれ]' story.txt | wc -l

パイプ（|）は、左のコマンドの出力をそのまま右のコマンドの入力にします。次の図は、1行目のコマンドに第8節で使うsort -rn | headを足し、各段階の出力を示します。

のぼんはあのぼんやりの一部で、移動表現ではありません。2行目のコマンドはのぼんを除いた11件を数えます。よじのぼっはのぼっとして11件に含まれ、複合動詞を分けて数えるには次の節の解析が必要です。

3. UniDicの解析を読み、語彙素で検索する

UniDicは、国立国語研究所が公開している形態素解析用の辞書です。解析器は本文を短単位のトークンに分け、各トークンに語彙素・品詞・活用形を付けます。今回の主な辞書は、明治・大正期の小説に合わせて整備された近現代口語小説UniDicです。

語彙素は、活用形や表記の違いをまとめたUniDicの語の見出しで、出力ではlemma列です。のぼっ・のぼり・のぼる・のぼれは語彙素上るにまとまり、よじのぼっは複合動詞攀じ登るになります。

ling tokenize --corpus story-unidic-novel.lingcorpus --tsv | less

TSVはタブで列を区切った表で、同じ表はtokens-unidic-novel.tsvにもあります。

lessでは、/に続けて文字列を入力すると検索でき、qで閉じます。のぼっとよじのぼっを探し、語彙素と品詞を確認してください。

ling check --pattern '[lemma=上る].'
ling matches --corpus story-unidic-novel.lingcorpus --pattern '[lemma=上る].' --context 2 --color never

checkは構文を検査し、matchesは一致箇所と前後2トークンを表示します。配布したstory.txtと今回の辞書では、10トークンに一致します。

第2回のgrep -oF 'のぼ'は12件、2節のパターンは11件でした。三つの差をあのぼんやりとよじのぼっから説明し、メモに残してください。

4. 同じ本文を別の解析器と辞書で読む

語彙素は辞書が決めます。ZIPには、同じ本文を次の六通りで解析した準備済みコーパスが入っています。

本文の四つの表層形は、各コーパスで次のように解析されます。

語彙素の値は辞書によって決まるため、一つの辞書に合わせて書いたパターンを、別の辞書による解析結果にそのまま適用することはできません。この本文では三つのUniDicが同じ語彙素を返しますが、別の本文では辞書の対象時代や文体によって結果が変わります。

1. 3節の[lemma=上る]でstory-ginzaとstory-spacyも検索し、件数を比べてください。配布したstory.txtでは10件・0件・2件です。
2. 攀じ登ると這い上るを一つの動詞として数えるには、どの解析器と辞書を選びますか？理由をメモに書いてください。

ling summarize --corpus story-unidic-novel.lingcorpus --patterns compare.lx --top all
ling summarize --corpus story-ginza.lingcorpus --patterns compare.lx --top all
ling summarize --corpus story-spacy.lingcorpus --patterns compare.lx --top all

5. 文字列検索が見落とした移動を探す

第2回と宿題の検索は、のぼと落ちを含む箇所だけを見つけました。語彙素と品詞を使うと、本文のすべての動詞を数えられます。class3.lxでは、名前 := パターン.が一つの定義、key: [lemma]は集計の単位を語彙素にする指定、#で始まる行は注記です。

less class3.lx
ling check --patterns class3.lx
ling summarize --corpus story-unidic-novel.lingcorpus --patterns class3.lx --top all > summary.txt
less summary.txt

verbsの表には、動詞の語彙素が件数順に並びます。配布したstory.txtでは上ると言うが各10、落ちると光るが各5です。verticalは、教員が選んだ12の語彙素の集合です。垂れるとぶら下がるは、糸と犍陀多の状態を表します。

1. verbsから上下の移動を表す語彙素をすべてメモに書き出し、のぼ・落ちの検索では見つからなかったものに印を付けてください。
2. 書き出した語彙素とverticalを比べ、加えたい語彙素か除きたい語彙素を一つ選んでください。垂れるとぶら下がるを移動表現に含めるかは、第2回で修正した基準で判断してください。
3. class3.lxの集合を変更し、checkとsummarizeを再実行して、変更の理由をメモに残してください。

6. 判断の手がかりになる語形を探す

第2回の「移動は起きる？」は、段落を読んで判断しました。命令・条件・否定の語形は、その判断の手がかりになります。

ling matches --corpus story-unidic-novel.lingcorpus --pattern '[unidic.cform ~ 命令].' --context 3 --color never
ling matches --corpus story-unidic-novel.lingcorpus --pattern '[unidic.cform ~ 仮定].' --context 3 --color never
ling matches --corpus story-unidic-novel.lingcorpus --pattern '[upos=VERB] [lemma in {ない, ぬ}].' --context 3 --color never

語形は手がかりで、判断そのものではありません。落ちてしまわなければなりませんは仮定形に一致しますが、語り手は落下を避けられないものとして述べています。unidic.cformはUniDicの出力にだけある属性で、4節の他のコーパスでは使えません。

1. 一致のうち移動表現だけを選び、ワークシートの判断と比べてください。
2. 命令・仮定・否定の語形を含まない箇所（「起きる・起きた」（CT+）の多く）を一つ選び、何を根拠に判断したかを書いてください。

7. 来る・行くで語り手の視点を読む

移動の動詞に続く来る・行くは、語り手がどこから移動を見ているかを示します。

ling matches --corpus story-unidic-novel.lingcorpus --pattern '[upos=VERB] [lemma=て] [lemma in {来る, 行く}].' --context 3 --color never

配布したstory.txtでは7件に一致します。summary.txtのdeixisには、動詞と来る・行くの組み合わせごとの件数があります。

1. 各一致について、誰が移動し、来ると行くのどちらで述べられているかを記録してください。
2. 犍陀多の登りと罪人たちの登りでは、どちらの語が使われていますか？第二部の視点はどこにありますか？ワークシートの主体の欄と、語り手の立場の判断に照らしてください。

8. 芥川の103作品に広げる

akutagawa-unidic-novel.lingcorpusは、Soranohaの芥川龍之介103作品を同じ辞書で解析した準備済みコーパスです。akutagawa-works.csvには、Soranohaの作品名・初出情報と、作品情報のsource、本文のreaderへのリンクがあります。同じパターンファイルで検索・集計し、一作品で得た観察結果が、ほかの作品にも当てはまるかを確かめてください。

ling summarize --corpus akutagawa-unidic-novel.lingcorpus --patterns class3.lx --top all > akutagawa-summary.txt
grep vertical akutagawa-summary.txt
grep deixis akutagawa-summary.txt | grep -E '上る|落ちる|下りる'

grepは保存した集計から、表の名前や語彙素を含む行だけを取り出します。

作品ごとの件数は、matchesの表形式の出力から数えます。

ling matches --corpus akutagawa-unidic-novel.lingcorpus --tsv --patterns class3.lx | grep -w vertical | cut -f3 | sort | uniq -c | sort -rn | head
ling matches --corpus akutagawa-unidic-novel.lingcorpus --where '@document.title = 杜子春' --pattern '[lemma in {上る, 落ちる, 下りる}].' --context 4 --color never

次の図は、1行目のコマンドの各段階の出力を示します。

「杜子春」では、登って来たが語彙素上るに一致します。語彙素は漢字表記の違いもまとめるため、のぼの文字列検索では見つからない箇所です。103作品の件数は、作品の長さ、発表年、辞書の判断に依存します。

1. 件数の多い作品を一つ選び、--whereでその作品の一致箇所を表示してください。二箇所を選び、それぞれを含む段落全体を読んでください。
2. 「蜘蛛の糸」と同じ三つの判断で分類し、来る・行くが誰の視点を示すかを記録してください。
3. 件数から言えることと言えないことを一つずつ書いてください。

終了時のメモ

次の五つを記録してください。第4回では同じclass3.lxを他の作家の準備済みコーパスにも使うため、class3-preparedフォルダーとsummary.txtは作業フォルダーに残してください。

宿題：見つけた三つの箇所をCSVの8–10行目として記録する

所要時間は20–30分です。第2回のワークシートは7行から増やせないため、三つの箇所はワークシートではなくCSVに書きます。この3行を含む記録に、第4回では11–12行目を追加します。第5回の根拠の課題でも、この記録を使います。

1. ワークシート7行のラベル例（CSV）を作業フォルダーに保存し、プレーンテキストのエディターで開いてください。
2. 5節で見つけた移動の語彙素から一つ、6節の一致から一つ、7節または8節の一致から一つ選び、それぞれの箇所を含む段落全体を読んでください。8節の箇所は、partに作品名を書いてください。
3. 三つの箇所を8–10行目として、同じ列で追加し、下の表の値を入れてください。
4. 各行に使ったコーパス、パターン、件数をメモに残してください。CSV、保存したワークシートのファイルdh-b-movement.json（第2回を欠席した場合は不要）、メモを第4回の前までに、提出の表の提出先に提出してください。第4回では、提出ページで2–7行目の分類を比較します。

分類の早見表：列の意味と判断の基準。