はじめに

Natsume

Hinokiプロジェクト

URL: hinoki-project.org

Natsume: 検索画面

Natsume: 共起表現検索

Natsume: ジャンル別比較

Natsume: 例文参照

使用されている外部コーパス及びツール

• 国立国語研究所の『現代日本語書き言葉均衡コーパス』（BCCWJ）
• 辞書：CWJ版（現代日本語書き言葉用）UniDic辞書2.3.0 [@OkaUnidicCWJ220]
• 形態素解析：MeCab（0.996） [@kudo2004applying]
• 係り受け解析：CaboCha（0.69） [@CaboCha]

科学のコーパス

• 科学技術論文コーパス
  • 自然言語処理，電気，土木，化学，環境資源工学，医学
• 人文社会学論文コーパス
  • アジア研究，哲学，教育学研究，社会学評論，宗教哲学研究など
• 社会科学専門書コーパス
  • （NDC分類）社会科学，産業，総記，歴史

コーパス統計

単位

UniDicの短長

• 短単位：（lexicon-based）語彙主義的な可能性に基づく品詞体系
• 長単位：（usage-based）用法主義的な文脈に基づいて用法の曖昧性を解消

Natsumeの“単語”単位：問題定義

• Natsumeでは文節を単位として共起表現を抽出している
• 文節内では内容的な形態素と機能的な形態素が混在することが多い
• 短単位は日本語教育及び検索のニーズに最適ではない単位
• 基本的に分節の内部構造として（格助詞を介した共起表現の抽出として）内容部分と機能部分に分ける必要がある

Natsumeの“単語”単位：品詞

16品詞 → 11品詞

Natsume: 文節内の分類

1. 内容的品詞：verb, noun, adverb, adjective, preposition
2. 内容・機能両方共指せる品詞：suffix, prefix, utterance, auxiliary-verb, symbol
3. 機能的品詞：particle

[1.             + 2.]        → 2.
[X              + symbol]    → X
[symbol         + X]         → X
[X              + X]         → X
[verb           + noun]      → verb
[adjective      + noun]      → adjective
[adjective      + verb]      → adjective
[noun           + adjective] → noun
[verb           + adjective] → verb
[verb           + prefix]    → verb
[verb           + adverb]    → adverb
[auxiliary-verb + verb]      → verb
[auxiliary-verb + adjective] → adjective
[suffix         + noun]      → noun
[noun           + prefix]    → noun
[adverb         + noun]      → noun
[noun           + particle]  → noun
[noun           + symbol]    → noun

Natsume: 文節統合対象

• 〜になる
• 〜をする
• 〜に基づく／よる／対する
• 〜について

Natsume: 文節の境界線

• 「ことになっています」

• 共起対象として別れた形で考えるか1つの文型として扱うか
• 現在は対象外としているが，「つつじ機能表現辞書」が利用可能

Universal Dependencies

Universal Dependenciesにおける日本語コーパス

• 学習データの規模が以前より大幅に高まった

UDの品詞体系

UDの形態論情報

UDの係り受け体系

UD問題及び可能性

大輝らのから引用

分散表現

分散表現/Word embeddings

word2vec [@DBLP:journals/corr/abs-1301-3781]: word (単語) → vector（ベクトル）

• 意味とシンタックスを表す空間
• 共起ベースのモデルは2種類ある
  • CBOW: continuous bag-of-words
  • SG: skip-gram
• 計算はgensimを使用 [@rehurek_lrec]
• word2vecとfasttext（文字nグラムをも考慮するモデル）

Continuous Bag-Of-Words

Skip-gram

日本語単語類似度データセット

[@DBLP:journals/corr/SakaizawaK17]

• 動詞，形容詞，名詞，副詞（合計：4,429ペア）
• クラウドソーシング (Lancers) を利用して、10人のアノテータに11段階で単語ペアの類似度を評価
  • 0（類似していない） 〜 10（類似している）

分散表現の評価方法

• ジャンルごとに分散表現モデルを構築し，「日本語単語類似度データセット」で評価
• アノテータの平均類似度と分散表現モデルにおけるコサイン類似度をピアソンの積率相関係数及びスピアマン順位相関係数で評価
• 短単位（SUWと表記）とNatsumeの単位（Natsumeと表記）の差もみる

注意

• ペアの中の単語が必ずしもすべてのジャンルに存在しないために「未知語率」も合わせて計算
• 評価データには複数の短単位から構成される単語があるが，その場合は特別な処理をせず未知語として残す

結果

考察

考察

• Natsumeの単位と短単位での結果の差ははっきりしない
• ジャンル間のコーパスサイズは異なるため，正確な比較ができない
  • 科学技術論文ジャンルは規模が比較的に大きいが，評価が低い
• 学習・モデルの種類による差はジャンルによる
• 書籍ジャンルは一番高い評価（0.306）を得たが，よい結果とは言い難い（0.4以上が好ましい）
• 限定された語彙の中では韻文ジャンルでも相関が（期待より）やや高い

今後の課題

今後の課題

• 科学（分野別）用の評価データが好ましい
  • Hinokiプロジェクトで作成中の副詞と接続表現リストでの実験
• 複数のジャンルが混在する大規模コーパスのモデルを選定すると，一般的な類似度が計算可能
  • ジャンルによるモデルへの効果を図るために各ジャンルのサイズを無作為抽出法で統一比較するが可能
• Natsume検索時に入力する単語との類似語を提示するほか，共起表現での適応も検討