第1回:授業案内・自己紹介と本文の検索
2026年10月6日(火)
1. NLPの課題と方法
自然言語処理(NLP)と本文の分析には、次のような課題があります。出力ごとに、本文に照らして確かめることが異なります。
| 課題 | 出力の例 | 本文から確かめること |
|---|---|---|
| 文字列検索 | のぼを含む箇所 |
一致した表現が移動を表すか |
| 形態素解析・語のパターン検索 | 語の区切り、品詞、活用形をまとめた検索結果 | 解析した語の範囲が本文に合うか |
| 抽出・文章分類 | 人名の範囲や、文書に付けた分類 | 範囲と分類が基準に合うか |
| トピックモデル | 一緒に現れやすい語のまとまり | 語のまとまりを本文の話題として読めるか |
NLPとソフトウェアの変化
| 資料 | 見る範囲と問い |
|---|---|
| Andrej Karpathy:Software Is Changing (Again)(Y Combinator、2025年、英語) | 1:25–6:10の4分45秒。コードを書く、モデルを学習する、LLMに言葉で指示する、という三つの方法を比べてください。 |
| Christopher Manning:History of Natural Language Processing(Stanford CS224N、2026年、英語)。授業サイト・講義動画(2024年、YouTube) | スライド2「Four eras of NLP」。規則による方法、統計的な機械学習、深層学習の流れを確認してください。 |
- NLPでは、課題に合わせたモデルやシステムが多く使われてきました。
- 汎用の事前学習済みモデルやLLMは、複数の課題を扱えます。
- 課題ごとに求める出力の基準と評価が必要です。
任意:3Blue1BrownのLLM解説
2. 固有表現抽出:基準と方法
人名の範囲を決める
田中さんは東京で夏目漱石の『こころ』を読んだ。
- 「田中さん」の「さん」を人名に含めますか?
- 夏目漱石の名前があることから、その場にいる人物だと言えますか?
規則やモデルの結果を比べる前に、人名の範囲と、取り出す対象を揃えてください。
固有表現抽出の方法を比べる
次の方法による固有表現抽出(NER)の結果を比べてください。
| 比べる方法 | 授業で確かめる問い |
|---|---|
| 文字列・辞書・規則による検索 | 規則を読んで結果を説明できるか?別の表記や文脈を見落とさないか? |
| 固定カテゴリのNERモデル(GiNZA・BERT・RoBERTa系など) | 学習した言語・資料と今回の本文は合うか?調べたい種類が学習時のカテゴリにあるか? |
| カテゴリを指定するNERモデル(GLiNER系) | 調べたい種類を指定できるか?カテゴリの説明を変えると結果はどう変わるか? |
| 生成型LLM | 指示を変えると何が変わるか?示した引用や説明を本文から確認できるか? |
- 固有表現抽出の比較を開き、「蜘蛛の糸」の同じ四段落を、人名・地名と、神仏・罪人・刑罰の場所で比べてください。
- カテゴリの定義を読み、「極楽」が「地名」に当たるか、「刑罰の場所」に当たるかをそれぞれ判断してください。
カテゴリの変更に対応できるのは、どの方法ですか?
3. 本文を調べ、根拠を残す
読む資料
- 芥川龍之介「蜘蛛の糸」:Soranohaの本文
- Soranohaのプレーンテキスト:ブラウザーで検索する本文
- Soranohaの作品情報:作品とリリースの情報
- 青空文庫の図書カード:版、底本、入力・校正者、ダウンロード用テキスト
図書カードはこの版を「新字新仮名」としています。Soranohaの本文表示にはルビがあり、プレーンテキストにはルビや編集注記が含まれません。
検索の一致と出来事
検索で下りろが見つかったとします。実際の下降は「起きた」「起きていない」「この情報だけではわからない」のどれでしょうか?
プレーンテキストを開き、MacではCommand+F、Windows・LinuxではCtrl+Fで下りろを検索してください。見つかった箇所の前後を読み、誰が誰に何を求めているかを確認してください。そのうえで最初の予想を見直してください。
この表現は下降の命令であり、命じられた罪人たちが実際に下りたかは分かりません。「下へ向かう言葉」と「実際に起きた下降」を分けて記録してください。
数える単位の図:文字列の一致・分類した出現箇所・出来事の違い
自分で調べる:上昇と下降
この物語で、上へ向かう動きと下へ向かう動きがどのような言葉で表されているかを調べます。
- 検索する前に、上昇と下降を表しそうな語を一つずつ予想してください。
- 作品を読み、自分の検索語をプレーンテキストで試してください。迷ったら、上昇には
のぼ、下降には落ちを使ってください。 - 上昇と下降の箇所を一つずつ選び、前後の段落を読んでください。部(一・二・三)、主体、短い表現、方向を記録してください。
- 各箇所が実際の動き、仮定、否定、命令などのどれに当たるか、本文から説明してください。判断を保留した箇所は、その理由を残してください。
- ペアで一つの判断を比べてください。下の表に沿って、本文の根拠または検索語を見直してください。
| ペアの判断 | 比べること |
|---|---|
| 判断が同じ | 根拠にした本文の表現も同じかどうか |
| 判断が分かれる | 判断の違いにつながった表現や前後の文脈 |
| どちらかが判断を保留 | 判断を保留した理由 |
ペアを組めない場合は、下りろの箇所を自分でも判断し、「検索の一致と出来事」の判断(下降の命令で、実際に下りたかは示されていない)と同じ表で比べてください。その判断は一つの読み方の例です。
ブラウザーの検索は入力した文字列を探します。活用形や複合語が同じ動詞かどうかは判断しません。0件なら本文の表記を確認し、検索語を一つ変えて試してください。
Soranohaを開けない場合は、本文のコピーを使ってください。
次回に持参するメモ
今日のメモは提出せず、次回に持参してください。
| 記録する項目 | 内容 |
|---|---|
| 問いと予想 | 本文から確かめたい、範囲を絞った問いと、検索前の予想 |
| 資料と検索 | 作品のURLと使った検索語 |
| 二つの根拠箇所 | 部、主体、短い表現、方向、文脈からの判断 |
| 修正と未解決点 | 変えた検索語や解釈、その理由、まだ判断できないこと |