文字列検索のコマンド早見表(CLI)
授業用の「蜘蛛の糸」の本文story.txtに使うコマンドです。ターミナルを開く手順。最後の節「エージェントのコマンドを読む」では、第5回の記録にあるコマンドを説明します。
作業場所と入力
| コマンド | 意味 |
|---|---|
pwd |
作業中のフォルダーの場所を表示 |
ls |
フォルダーの中身を表示 |
mkdir -p dh-b-2026 |
必要に応じて作業フォルダーを作成 |
cd dh-b-2026 |
親フォルダーから作業フォルダーに移動。一度だけ実行 |
次のcurlコマンドは、作業中のフォルダーにあるstory.txtを上書きします。アノテーションは別ファイルに保存してください。
curl -fL -o story.txt https://soranoha.org/works/000092_000879/plaintext-fはHTTPエラーで停止し、-Lは転送先に追従します。-oは保存名を指定します。
検索と数える単位
| コマンド | 出力 |
|---|---|
grep --color=auto -nF 'のぼ' story.txt |
一致した行と行番号 |
grep -cF 'のぼ' story.txt |
一致した行数 |
grep -oF 'のぼ' story.txt |
出現箇所を1行ずつ表示 |
--color=autoはターミナルで一致部分を色で表示します。macOSとLinuxで使え、検索する範囲や件数は変わりません。
次のパイプは出現数を数えます。
grep -oF 'のぼ' story.txt | wc -l-Fは文字列そのものを検索します。パイプ(|)は出力を次のコマンドに渡し、wc -lは受け取った行数を数えます。曲がった引用符(‘ ’)ではなく、半角引用符(')を使ってください。各段階の出力の図。
配布本文では一致した行が5行、出現数が12件で、あのぼんやりも含みます。数える単位の図。
検索結果をファイルに保存するには?
コマンドと出力をメモに貼り付けるか、>で出力を保存してください。
grep -nF '落ち' story.txt > down.txt>は出力をdown.txtに保存し、同じ名前のファイルを置き換えます。コマンド自体もメモに残してください。
パターンで検索する
-Eを付けると、引数を正規表現のパターンとして読みます。-Fとは併用できません。
| コマンド | 出力 |
|---|---|
grep -onE 'のぼ.' story.txt |
のぼと続く1文字を、行番号付きで1件ずつ |
grep -oE 'のぼ.' story.txt | sort | uniq -c |
続く1文字ごとの件数 |
grep -oE 'のぼ[っりるれ]' story.txt | wc -l |
角括弧内のいずれかが続く出現数 |
| 記号 | 意味 |
|---|---|
. |
任意の1文字 |
[っりるれ] |
角括弧の中のいずれか1文字 |
配布本文ではのぼ.が12件(のぼん1件を含む)、のぼ[っりるれ]が11件です。
失敗時の対応
| 状況 | 対応 |
|---|---|
| ダウンロードできない | 本文のコピーを作業フォルダーにstory.txtとして保存 |
No such file |
pwdとlsで場所とファイル名を確認 |
| 続きの入力を求められる | Ctrl+Cで戻り、引用符の対を確認 |
| 一致がない | 本文の表記と照合 |
.が1文字に一致せず、出力が文字化けする |
localeの出力にUTF-8があるか確認し、ターミナルの文字コードをUTF-8にする |
Windowsでgrepが認識されない |
コマンドプロンプトやPowerShellを閉じ、WSLのUbuntuを開く |
| コマンドが使えない | lingを使えるようにするの手順を行う。第2回の宿題ではブラウザー検索も可 |
エージェントのコマンドを読む
第5回の記録(Claude CodeとCodexの応答Aと記録B)では、エージェントがいくつかのコマンドを一つのまとまりにつなげて実行しています。まとまりは左から一部分ずつ読み、各部分を下の表で確認してください。例はこれらの記録にある行で、実行する必要はありません。
ファイルとヘルプを見る
| コマンド | 意味 | 記録にある例 |
|---|---|---|
cd |
別のフォルダーに移動する。ファイルは変わらない | cd class4-akutagawa |
ls -la |
隠しファイルを含むすべてのファイルを、大きさと日時付きで表示 | ls -la class4-akutagawa |
find . -maxdepth 3 |
作業中のフォルダーとその下のフォルダーのファイルを、3階層まで表示 | find . -maxdepth 3 |
cat |
ファイル全体を表示 | cat class4.lx |
head -5、head -c 3000 |
最初の5行(指定しなければ10行)、または最初の3,000バイトだけを表示 | head -5 works.csv |
sed -n 1,60p |
1–60行目だけを表示 | ling matches –help | sed -n 1,60p |
cut -c1-600 |
各行の1–600文字目だけを残す | … –tsv –context 0 | head -3 | cut -c1-600 |
wc -l |
行数を数える | wc -l works.csv |
--help |
コマンドの使い方を表示 | ling summarize --help |
which |
プログラムのある場所を表示。なければ何も表示しない | which jq |
echo |
続く文字列を表示。エージェントは出力の区切りや見出しに使う | echo ---- |
出力を選び、形を変える
| コマンド | 意味 | 記録にある例 |
|---|---|---|
grep -E |
正規表現に一致する行だけを残す。引用符の中の|は「または」 |
grep -E 'VERB|落ちる' |
cut -d, -f1-4 |
カンマ区切りの行の1–4列目を残す。-d,がなければタブで区切る |
cut -d, -f1-4 |
awk '…' |
各行に小さなプログラムを実行する。例では、タブ区切りの1列目がdeixisの行ごとに、3列目に応じて4列目を来るか行くの合計に足し、最後の行の後にENDで合計を表示 |
awk -F'' '$1==“deixis”{ … } END{print …}' |
jq '…' |
ling … --jsonが出力するJSONの行を選び、形を変える。引用符の中の|はjqの記号で、シェルのパイプではない |
jq -r 'select(.type==“match”) | .data | …' |
python - <<'PY' … PY |
二つのPYの行の間に書いたPythonのプログラムを実行 |
python - <<'PY' |
コマンドをつなぐ
| 記号 | 意味 | 記録にある例 |
|---|---|---|
A | B |
Aの出力をBに渡す(パイプの図解) | ling corpus inspect akutagawa.lingcorpus 2>&1 | head -40 |
A; B |
Aの後にBを実行。Aが失敗してもBを実行する | cd /work; ls -la |
A && B |
Aが成功したときだけBを実行 | curl … && unzip -l class4-akutagawa.zip |
2>&1 |
エラーメッセージを出力と同じ行き先に送る | ling corpus inspect akutagawa.lingcorpus 2>&1 |
2>/dev/null |
エラーメッセージを捨てる | ls ~ 2>/dev/null |
$(…) |
この部分を、中のコマンドの出力に置き換える | file $(which ab-aozora) |
for x in a b; do … done |
doとdoneの間のコマンドを、値ごとに一回ずつ実行。$xは今の値 |
for d in 来る 行く; do … done |
"…$v…"と'…' |
二重引用符の中の$vは値に置き換わる。一重引用符の中は書いたとおりのまま |
--pattern "$v [lemma=て] [lemma=$d]." |
ファイルを作成・変更・削除する
次のコマンドはディスクに書き込みます。各まとまりでこれらを探し、エージェントが作成・変更・削除したと述べた内容と比べてください。/tmpは作業フォルダーの外にある一時用のフォルダーですが、そこに書いたファイルも作成したファイルです。
| コマンド | 書き込むもの | 記録にある例 |
|---|---|---|
> ファイル |
出力をそのファイルとして保存。同じ名前のファイルは置き換える | --json > class4-akutagawa/summary.jsonl |
2> ファイル |
エラーメッセージをそのファイルとして保存 | 2>/tmp/sum.err |
curl -o ファイル URL |
URLの内容をそのファイルとして保存 | curl -sSfL -o class4-akutagawa.zip https://… |
unzip |
ZIPの中のファイルを展開。-oは既存のファイルを確認なしで置き換える。unzip -lは中身を表示するだけで、何も書き込まない |
unzip -q class4-akutagawa.zip |
mkdir -p |
フォルダーを作成 | mkdir -p /tmp/aoz_dl |
cat > ファイル <<'EOF' … EOF |
二つのEOFの行の間をそのファイルとして保存 |
cat > /tmp/aoz_scripts/list.py <<'EOF' |
rm |
ファイルを確認なしで削除 | rm /tmp/sum.tsv /tmp/sum.err |
一つのまとまりを部分ごとに読む
Claude Codeの記録Bでは、次のまとまりで組み合わせごとの一致数と作品数を数えています。
for d in 来る 行く; do for v in '[upos=VERB]' '[lemma=落ちる]'; do echo "== $v + て + $d"; ling summarize --corpus akutagawa.lingcorpus --pattern "$v [lemma=て] [lemma=$d]." --json --by-document | jq -s '{matches: (map(select(.type=="complete"))[0].data.counters.matches_found), works: (map(select(.type=="summary")|.data.document)|unique|length)}' -c; done; done| 部分 | 働き |
|---|---|
for d in 来る 行く; do … done |
内側の部分を、$dを来る、次に行くとして2回実行 |
for v in '[upos=VERB]' '[lemma=落ちる]'; do … done |
その中で、$vをすべての動詞、次に落ちるとしてさらに2回実行。合わせて4回 |
echo "== $v + て + $d" |
== [lemma=落ちる] + て + 来るのような見出しを表示 |
ling summarize … --pattern "$v [lemma=て] [lemma=$d]." |
[lemma=落ちる] [lemma=て] [lemma=来る].のようなパターン一つを数える。--json --by-documentは件数を作品ごとのJSONの行で出力 |
| jq -s '{matches: …, works: …}' -c |
JSONの行をまとめて読み(-s)、1行で表示(-c)。matchesは一致の総数、worksは一致を含む作品の数 |
このまとまりはファイルを書き込みません。出力では、各結果の前に見出しの行があります。
== [upos=VERB] + て + 来る
{"matches":553,"works":66}
== [lemma=落ちる] + て + 来る
{"matches":10,"works":6}
== [upos=VERB] + て + 行く
{"matches":318,"works":56}
== [lemma=落ちる] + て + 行く
{"matches":1,"works":1}
matchesの単位は一致したトークンの並び、worksの単位は一致を一つ以上含む作品です。