タグ付きコーパスの格納/検索ツール「茶器」∗
松本 裕治, 高岡 一馬, 浅原 正幸, 乾 健太郎,
奈良先端科学技術大学院大学
投野 由紀夫,
明海大学

1大谷 朗,大阪学院大学

橋本 喜代太大阪女子大学

Edson T Miyamoto,筑波大学

はじめに

森田 敏生
総和技研

で表示するシステムは，既に数多く存在する．例えば，Corpus Wizard1 や KWIC Concordance2は，英コーパスに基づく自然言語処理の進展に伴い，品語文書の単語検索を行い，KWIC 表示するシェアウェ

詞情報や統語情報，さらに詳細なタグ付きテキストアあるいはフリーウェアである．WordSmith3 は，品の蓄積が進んでいる．また，種々の統計的言語解析シ

詞タグ付きコーパスの検索/KWIC 表示を行うことがステムの進歩により，テキストに対する自動タグ付与できる．British National Corpus4には SARA-32 とがかなりの精度で行えるようになってきた．

いう品詞情報を利用した専用の検索システムが添付

タグ付きコーパスは，言語学/言語処理研究の基本され，検索結果の KWIC 表示や簡単な統計処理が可データとして資するだけでなく，統計的機械学習に基能である．しかし，品詞以上の情報を考慮したタグ付づく言語処理の高性能化のためにも貴重な資源であきコーパス検索システムは，特定のコーパス，あるる．前者のためには，柔軟な検索機能および統計解析

いは，特定の品詞体系専用であることが多い．日本を行うための加工機能を持ったタグ付きコーパス支援

語については，Text Finder, KWIC Center, KWICシステムの存在が重要である．コーパスへのタグ付与はもちろん正確であることが要求されるが，特に，Finder5など も文字列や単語の検索/KWIC 表示を行うことができる．しかし，日本語のタグ付きコーパス

後者の機械学習にとっては，コーパスのタグ付与誤りを柔軟に検索できるフリーのツールはまだないと言っは，システムの性能に直接影響を及ぼす．人手によりてよい．

長い時間と手間をかけて構築されたタグ付きコーパ

以前，我々は，品詞，文節，係り受けといった統語スであっても，一定のエラーや不整合が残されている情報をタグ付けされたコーパスを柔軟に検索するシことが知られている．また，辞書や品詞体系の変更なステムを関係データベースを利用した検索システム

ど ，タグ付けの定義そのものの変更により，コーパスとして実装した [1]．また，ド イツ語の Treebank をへの修正が必要な状況が生じることもあり，継続的な対象にした同様の提案もある [2]．我々の今回のプロ修正作業や不整合の除去は，タグ付きコーパスの利ジェクトでは，品詞，文節等のチャンク，係り受け等用者からの切実な要望である．の統語情報を含むタグ付けコーパスに対して，柔軟

本稿では，タグ付きコーパスの格納および検索をな検索機能を備えるだけでなく，各種統計解析機能や支援する目的で今年度から開始した「 茶器」という辞書とコーパスの連携，タグ付けエラーの修正などツールの開発目標と現状について説明する．の機能を持ったタグ付きコーパスの検索/管理システ
ム [3] を目指している．現在は，文字列と単語列を対2

背景および関連研究
テキストコーパス (タグ付き/タグなし ) 内の文字列や単語を検索し ，KWIC(keywords in context) 形式∗ ChaKi:Storing/Retrieving Tool for Annotated Corpora,

Yuji Matsumoto, Kazuma Takaoka, Masayuki Asahara, Kentaro Inui, Kiyota Hashimoto, Yukio Tono, Akira Ohtani, Edson T Miyamoto, Toshio Morita

象とする検索機能と簡単な単語統計機能を実装している．
1 rd.vector.co.jp/soft/dl/win95/util/se027330.html

2 www.chs.nihon-u.ac.jp/eng dpt/tukamoto/kwic.html
3 www.lexically.net/wordsmith/
4 www.natcorp.ox.ac.uk/

5 これらのツールは，Web site が今後変わることもあり，Web検索ツールで見つけることが容易であるので，ここでは表示しない．

3

タグ 付きコーパ スの 格納/検索ツール「茶器」

3.1

システムに求める機能

タグ付きコーパスの利用と作成には様々な要件が考えられる．利用については，種々の視点からコーパスの検索が可能であること，および，検索結果の加工や統計処理を行う必要が生じる．検索要求は，単語の綴りそのもの，単語の一部，単語の原形，品詞などの文法情報，および，それらを組み合わせたものを扱うことが好ましい．
タグ付きコーパス作成については，コーパス全般に渡っての整合性と，辞書や想定する品詞体系に対する整合性を維持することが重要である．例えば ，同じ 単語の同じ 用法には同じ 品詞やその他の統語情報が付与されなければならないし ，コーパスに存在す能であることが好ましい．

IV. 統語： 統語構造の部分構造を指定した検索．統語解析の結果は文法に依存して異なるので，本プロジェクトでは，単語あるいは文節 (基本句) からなる係り受け解析木を対象とし ，その部分係り受け構造を指定した検索機能を対象とする．
システムに求める機能

a. 検索： 上記タグ情報を検索要求として用いることができ，検索結果を KWIC のような形で表示する

b. 統計： 検索結果に対し，語形や品詞などの視点を指定して頻度や比率など の統計情報の提示する機
能．検索結果と周辺の他の単語やパターンとの共起に関する統計を取る機能

c. 辞書との連携： 指定した辞書に含まれない語の検出や辞書内容の変更時にタグ付きコーパスの修正をうながすための情報を提示する機能

る単語は辞書に存在する語であるべきである．実は，d. コーパスの整合性維持 コーパス中の不整合を検このような一見当たり前のことが成り立っていないこ出したり，不整合部分を一括修正する機能．とが多い．ベースとなる辞書や品詞体系等の文法情その他の要件報の見直しが，コーパスにはただちに反映されなけ

多言語対応： 特定の言語に限定せず，様々な言語のればならない．また，システムは日本語や英語を始めコーパスにも対応可能であること．現在は，日本とする様々な言語コーパスに対して利用可能であり，語と英語を対象にしている．

さらに，異なるタグ体系についても対応できるものであることが好ましい．

文法情報のカスタマイズ： 品詞体系の違いなど 文法情報を利用者が変更することができること．

本稿で紹介するのは，我々が３年間のプロジェクト

配布に対する制限： 配布が自由なソフトであることとして開発しているシステムの初年度の成果である．

が好ましい．現システムでは，フリーの関係データプロジェクトとして目指しているシステムにどのようベースシステム MySQL6をコーパスの格納と検索な機能を持たせようとしているか，その全体像につに利用しているが，その他の部分はプロジェクトいて以下に示し，次節で現状について述べる．

内で構築しており，システム全体としてもフリータグ情報の詳細度ソフトウェアとして配布する予定である．また，プI. 文字列 ：言語の構成要素となる任意の文字列，および，基本的な正規表現による検索

ラットホームとしては，利用人口の多い Windows

II. 単語： 単語の全体または一部，読み，品詞，活用情報，原形など ，単語が持つ様々な文法情報を指言語処理ツール： 残念ながら，共通に利用可能なタ定した検索III. 複合語，固有表現，文節，基本句： 複合語等チ
ャンクの全体あるいはその部分構成要素による検上で稼動するシステムとして開発している．
グ付きコーパスの数は多くない．現実の利用としては，利用者が個別に持っているタグ付きコーパ
ス，あるいは，利用者が持っている生テキストに自動タグ付与したコーパスを対象に検索や統計を取索．日本語の文節や英語の基本句などを指定したることが多いと考えられる．現時点では，茶筌 [4]検索．日本語の品詞タグ付きコーパスでは，例えと南瓜 [5] を日本語の品詞タグ付けと係り受け解析

ば，「教科書」が一語で単語と扱われているのか，「教に用いる予定であり，これらのシステムの解析出科」と「 書」に分かれているのか，利用者には事力をそのまま取り込めるように考えている．また，前にわからないかも知れない．
「 教科書」をこれら英語データのタグ付けの自動化のために，茶筌の２つの要素からなる複合語と定義することにより，英語対応と英語辞書の作成に着手している．

複合語全体と構成語の一部のいずれからも検索可

6 www.mysql.com/

図 1: 文字列検索結果の KWIC 表示

3.2

システムの現状が個々の単語を表しており，箱の中の各行が上に列挙した情報に対応している．箱はいくつでも表示

前節で挙げた諸機能のうち，現在完成しているのさせることができ，前後の文脈を指定することがは，「 タグ情報の詳細度」では，I.，II. の文字列およびできる．図 2 では，「 国会」という単語の直前に「名単語列による検索要求の指定，「 システムの機能」と詞」7を品詞の最上位分類として持つ単語が現れる

しては，a. の検索結果の KWIC による表示および b.

パターンを検索している．結果は図のように KWICの簡単な統計処理である．現在は，日本語と英語の品表示されるが，2 つの単語のいずれを KWIC の中詞タグ付きコーパスに対応しており，日本語は茶筌の心に持ってくるかは，自由に決めることができる．

出力，英語は Penn Treebank を対象に検索が可能で

KWIC には，各単語の下に品詞情報が表示されてある．検索結果のスナップショットを図 1，図 2 に示いるが，この例では，品詞の最上位の分類のみ示さした．これらの図を参照しつつ，現在のシステムの概れている (茶筌が用いている IPADIC では，最大 4要を説明する．

階層の品詞細分類が定義されている)．この表示は

1. 利用者は，まずコーパス名を指定し ，次に StringSearch(文字列検索) か Advanced Search(現在は，品詞タグ付きコーパスに対する検索) を選択する．

2. String Search(図 1) では，利用者は任意の文字列を入力して検索を行うことができる．英語に対しては大文字と小文字を区別するかど うかを選択することができる．また，文字を用いたなる簡単な正規表現 (否定はサポートしていない) による検索

oﬀ することもできるし，詳細な品詞表示を行うこともできる．上記に示した情報を KWIC に表示するかは，利用者が指定することができる．多くの情報を表示させると，各単語がが数行を占めてしまい，多くの文を表示することができない．そのような場合には，少ない情報のみを常時表示させるようにし ，各単語をマウスでポイントする毎にその単語の情報だけをポップアップ 表示するよう選択することもできる．

も可能である．図１は，「 通常国会」という文字列で RWCP コーパスを検索した場面を示しており，結果は KWIC 表示される．

3. Advanced Search(図 2) では，任意の単語列を検索対象にすることができ，各単語は，「 表層綴り」
「読み」
「発音」
「原形」
「品詞」「活用型」「活用形」(すべて正規表現を使用可) を自由に用いて，検索したい単語列を指定できる．図 2 の上半分に見える箱

両検索モード で共通の機能として次のようなものがある．

• いずれの検索モード でも，検索ヒット数が表示さ
7 品詞の分類は「名詞-固有名詞-人名-…」のようにハイフンによって階層定義される．図では最上位の品詞が「名詞」であり，それ以降は任意であることが正規表現によって記述されている．品
詞名はポップアップ メニューによって指定可能なので，品詞入力の誤りは生じにくくなっている．

図 2: 文脈を指定した単語検索結果の KWIC 表示れた後でデータベースから検索インタフェースへる．
「 茶器」のダ ウンロード と今後の予定につては，の転送が開始されるので，ヒット数が大量の場合http://cl.aist-nara.ac.jp/の「 自然言語処理のためのツール」から情報が入手可能である．

は，転送を途中で中止させて，より絞り込んだ検索要求を記述し直すことができる．

• KWIC の Center の位置で文字列ソートを行うことができる．

謝辞:• 検索結果を 1 単語ずつ左右へシフトすることができ，最初の検索要求の中心の単語から左右へ任意関する研究」(研究期間:平成 15 年度〜17 年度, 課題

本研究は，文部科学省科学技術研究補助金 基

盤研究 B「言語研究のためのコーパスの作成と利用に番号: 15300046) の支援を受けて行ったものである．の数だけ離れた単語を KWIC 表示の Center 位置へ移動することができ，そこでソートすることができる．(String Search では単語の区切りがないので，この機能はほとんど 意味がない)• KWIC の Center 要素について，何を同一視するかを指定した上で頻度統計を取ることができる．
現在の実装は，MySQL によってタグ 付きコーパスを格納し，ユーザインタフェース部は VisualC++，

MySQL への検索要求の生成と結果の表示等の処理はRuby を用いている．

参考文献[1] 工藤拓、松本裕治, “RDB を利用したタグ付きコー
パス検索支援環境の構築,” 情報処理学会自然言語処理研究会 2001-NL-144, pp.135-142, 2001.

[2] Kallmeyer, L., “A Query Tool for Syntactically Annotated Corpora,” EMNLP/VLC-2000,
pp.190-198, 2000.
[3] 浅原正幸，他, 「語長変換を考慮したコーパス管理システム」, 情報処理学会論文誌 Vol.43,No.7,pp.2091-2097, 2002.

4

おわりに

[4] 松本裕治, 「形態素解析システム『茶筌』」, 情報処理, Vol.41, No.11, pp.1208-1214, 2000.

現在開発中の，タグ付きコーパスの管理と検索を[5] 工藤拓, 松本裕治, 「チャンキングの段階適用に行う汎用のツール「 茶器」の開発指針と現状についよる日本語係り受け解析」, 情報処理学会論文誌て紹介し た．本プ ロジェクトは 3 年計画の初年度

Vol.43,No.6, pp.1834-1842, 2002.

であるが，今後，フリーソフトウェアとして適宜公開し ，利用者からのフィード バックを得る予定であ