言語処理で何が出来るか−自然言語処理技術の紹介−
言語情報研究室
言語情報研究室
言語情報研究室

１．はじめに丸元
木田
乾

聡子＊１
敦子＊２
裕子＊３

２．自然言語処理とは

昨今、コンピュータの記憶容量が膨大にな言語処理以外の分野でも、日本語を用いてり、インターネットやワープロ、パソコンがいる以上、言語処理技術を利用することで情普及するにつれて電子化された文書の量が急報の活用が容易になり、業務の効率化や新た激に増加している。これらの多くは、プログな発想を支援することが可能である。

ラミング言語などの人工言語ではなく、英語多くの文書が電子化されるようになったこ

や日本語のように人間が日常に用いている言とで、電子化された文書が大量に蓄積され未語、すなわち自然言語により記述されている。

整備のままになるという状況も見られる。

これらの活用を容易にするためには、電子化

そこで、ここでは、溢れる情報の処理・活された文書を事前に処理し、要約や構造化を用を柱に言語処理技術を簡単に紹介する。

しておく必要がある。

情報の処理に関しても、いくつかの異なっ自然言語は曖昧さや、その時々によってた技術がある。

様々な省略や言い替えがあること、さらに社・情報検索会的な常識が必要なため、コンピュータに理・情報抽出

解 さ せ る に は 高 度 な 技 術 を 要 す る。コ ン・情報集約

ピュータを用いて自然言語を処理することを情報検索については既に一般にも浸透して自然言語処理（Natural language processing）きているが、今後は、その他の技術の利用価というが、電子化文書を処理する際には自然値も高まるものと考える。それぞれ、次のよ言語処理技術が重要な役割を果たすことになうな技術である。

る。
情報検索

IBS 言語情報研究室では、自然言語処理に関する基礎研究・基盤整備などを行っている。

大量のデータを格納した巨大情報ベースか自然言語処理という語は、一般には馴染みがら必要な情報だけを選別して、その全部を許薄いが、その一部は既に一般に利用されてい容時間内に取り出すこと。文献検索や特許検る。例えば、機械翻訳・情報検索などは自然索などは既に長期にわたり利用されている。

言語処理の技術を実装したものである。こう

また、最近では、インターネットの検索エンいった自然言語処理分野の応用技術が世の中ジンでも用いられているものがあるように、に出回るようになってきている。

全文検索も一般にもよく利用されている。従

本稿では、情報の活用という観点から、い来の検索では、指定したキーワードと完全にくつかの自然言語処理技術を紹介する。

一致したデータしか見つけることが出来なかったが、最近ではあいまい検索の技術が発達し、意味的に近いものを類推して探し＊１

まるもと さとこ（研究員）＊２

きだ あつこ（研究員）＊３

いぬい ひろこ（研究員）

61
目次へ情報集約出すことも出来るようになってきた。

類似する情報を自動的にまとめる技術
情報抽出
必要な情報だけを自動的に取り出す技術例）１９９９年の報告書をテーマ別に分ける。
蓄積された報告書例）交通計画の手法に関する情報は？
蓄積された様々な知識・情報

ＩＴＳ関連論文Ａ

技術資料Ｃ例）自由回答アンケートの分類

報告書Ｂ※該当する文書を自動的に選択し、そこから必要部分だけを抽出。

収集された自由回答アンケート

渋滞に関する回答

計算機を用いて情報収集を支援する場合、大量の文書から検索要求に合致した文書を選賛成意見
道路整備に関するび出す情報検索（Information Retrieval）と、その文書をさらに加工して必要な部分を取り反対意見出す情報抽出（Information Extraction）と道路整備に関する回答がある。

※観点・目的別の分類が可能

単に文字列や単語を手がかりとした情報検テキストの自動分類：

索では、取り出される文書は、必ずしもユーザの意図にそったものとは限らない。例えば、テキストの自動分類（text categorization）

 を検索キーとして検索すると合併症の情とは、テキストを予め決められたカテゴリに報が取れてしまう可能性がある。このような与することをいう。例えば、ある新聞記事を不要な情報を排除する必要がある。また、必その内容に従って要とする情報がどの程度含まれるかという点に分類することが考えられる。自動分類の基で、様々なレベルの文書が混在している。そ本的な手続きは次のようになる。

企業合併の情報を得たい場合に、単に 合併分類する、あるいはテキストにカテゴリを付

政治経済社会など

こで、取り出した文書の中から本当に必要な・各カテゴリを予め内部表現に変換する。

情報だけを抽出する処理が求められる。これ・入力テキストを内部表現に変換する。

が情報抽出である。

・テキストと各カテゴリ間の類似度を計算する。

日本語の情報抽出の手法には、１）形態素・テキストに最も類似したカテゴリを付与

解析（予め用意した単語辞書と文法規則を用する。

いて、文から単語を切り出す処理）結果を利用するもの、２）表層文字列並びの特定のパテキストやカテゴリの表現形式や類似度のターンを認識するパターンマッチング手法で計算方式は用いるモデルによって異なる。代処理を行うもの、がある。

表的なモデルとしては、ベクトル空間モデル、確率モデル、規則に基づくモデル、のような62目次へモデルがある。

専門分野ごとに作業者を教育する必要がある、

このような自動分類の手法は、新聞記事のなどの問題がある。そこで、IBS 所内文書をように半定型的な表現で書かれたものだけで対象に、文書からキーワードを自動的に抽出なく、割合に自由な表現を取ることの多い、するシステムを構築する。

自由回答アンケートの回答などにも適用が可

３．
２ 方

５）

能である 。

法

日本語の文章は分かち書きがなされていな

IBS 言語研では、３年前から道路局・都市いため、通常、単語の切り出しには形態素解局が公募した道づくりのボイスレポートを対析を用いる。だが、報告書やテクニカルレポー

象にアンケートの自動分類に関する研究に取トなどの社内文書には一般に専門用語が多い。

り組んでいる。大規模プロジェクトには必要

そのため、形態素解析を用いると、１）辞書不可欠となっている情報公開や説明責任など登録がないと未定義語になってしまう、２）の際、意見集約・意見分類は重要であり、こ分割されて一般用語になってしまう、など処れを客観的基準をもとに自動的に行える技術理がうまく行かない場合が多い。よって、文は今後ますます重要になると考える。

字種のマッチングによってキーワードの抽出を行う。

３．技術紹介：社内文書からのキーワードの抽出においては、助詞や代名

キーワード抽出詞、接続詞など、どのような文書においてもIBS 言語研では、文書情報活用支援への言全般的によく出現する高頻度語（不要語）を語処理技術の適用を試みている。文書の有用候補から除外する。これらは、平仮名・記号性判定のキーとなる情報を提示するために、などが多い。

社内文書からキーワードを抽出した例を紹介

キーワード候補文字列の抽出する。
３．
１ 目

・漢字、カタカナ、英字、またはそれらの的組み合わせが連続した文字列を抽出する。

電子化された文書は、ますます増加の一途

例：都市計画・バリアフリー・情報バンクを辿っており、多量の文献やイントラネット・漢字が一文字の場合、動詞や形容詞の語の文書のうち、どれを読むべきかを判断する幹であることが多いため、基本的に除外のは、困難になりつつある。

する。但し、後に全文検索する方法もあるが、検索の場合、がをなど手がかりになる文字が付随していれば採用する。

自分でキーワードを入力する必要があり、適切なキーワードを思いつかなかった場合や、候補として抽出された文字列を全てキーちょっとした表記の異なりがあった場合には、ワードとする訳ではない。当該文字列が文書必要な文書を検索することが出来ない。の内容を適切に表現するかどうかの度合いをしかし、文書に既にキーワードが付与され測定し、一定の基準を満たす文字列だけをていれば、読むべき文書の発見は容易である

キーワードとする重み付けを行う。どの文書し、検索者が自分では思いつかなかったキーにもよく出現するような語は、異なる文書をワードに気づくこともある。従来、文書群に識別する手がかりにならないため、キーワーキーワードを付与する作業は人手で行われてドとしない。この重み付けには、tf・idf 法をいたが、人手によるキーワード付与には、時用いる。

間とコストがかかる、キーワード選択の基準が作業者ごとに異なるため基準が一定しない、
63

目次へ

＊＊

tf・idf 法（３）考察長岡市が取られていない、相乗りのりが脱落するなどの問題があるが、概ね＊＊文書集合中で少数の文書に偏って高頻度で出現する語をキーワードとして抽出する。

キーワードと言える語が取れている。また、

意向や検討は複数回、出現している

スコア＝tf×idf
tf（term frequency）：

が、今回の方法ではキーワードとはならない。

あるキーワードの対象文書中での出現回数

今回の実験では、各文書で抽出されたキー  idf（inverse document frequency）：

ワードが少なかった。これは、文書自体が短いことと共に、そのことにより、１）同じ語

；全文書数；そのキーワードを含む文書数の繰り返しを避ける、２）文章を簡潔にするために臨時に一語になった複合語（例：環境負荷抑制型土地利用誘導）が多い、というア

３．
３ 実

験

ブストラクトの特性に起因していると考える。

（１）実験対象

４．今後の応用例

１９９
５年度版〜１９９
８年度版までの４ヶ年分
７）８）９）１０）の IBS 研究調査実績一覧に掲載されてこのようなキーワード抽出結果を利用して、いるプロジェクト概要のうち、都市・地域研

下記のように応用することも可能である。

究室および旧都市計画・地域開発研究室のも◆専門用語辞書作成の、４６文書を対象とする。

取り出した単語のうち、形態素解析して未（２）実験結果定義語になるものを集めて専門用語辞書を作る。新語にも対応が可能である。

下記ａ）の文書から、自動的にｂ）のキーまた、こうして作成した専門用語辞書を用ワードが得られた。
ａ）抽出元文書（全文）

いて形態素解析を行うことで、より高精度の長岡市道路交通円滑化方策策定調査（平成９年）情報抽出・検索が可能になる。
◆概念ネットワークの自動生成

過年度調査につづき、長岡市中心部周辺地域での TDM 施策として、 時差出勤、 相乗り、 新規バス路線（循環バス）の利用促進の計画・推進方策を検討した。時差出勤では、市役所での試行を念頭におきつつ、様々な主体から見た時差出勤の実施意向を受け、地域内調整の枠組みを取り込んだ実施方法を提案し、相乗りでは自動車通勤者の意向から相乗りを誘導するための制度や既存の HOVレーンの改善を提案、また循環バスについては利用者意向から捉まえた利用促進策を提案した。さらに、検討結果については、市の管轄する範囲以外を含む総合策としての提案となるため、委員会を通じて関連機関や民間主体との調整を図った。



抽出したキーワードを用いて概念同士のネットワークを動的に自動生成し、関連のあるものを構造化して示す。これにより、問題解決の発想を支援する。
◆文書の自動分類
各文書のキーワードの類似度を計算することで、文書をクラスタリングすることが出来る。この方法は、自由回答アンケートの自動分類や意見集約にも利用できる。

５．おわりに情報公開、合意形成の潮流から、自由回答

の意見集約・分類は今後、需要を増すと考えｂ）キーワード（上位３語）られるし、ナレッジ・マネージメントの観点

時差出勤、相乗、循環バス

からも、職場内に蓄積された知識情報、社会64

目次へ

的に蓄積された知識からの情報抽出・活用は

５）乾裕子・村田真樹・内元清貴・井佐原均 文
末表現に着目した自由回答アンケートの自要請が高まると考える。

動分類 情報処理学会 自然言語処理研究

情報が溢れている今日、さらなる発展のた

報告 No．
１２８（１９９８）めには、情報の活用が不可欠である。付加価値のある情報を取り出す、または、大量デードによるネットワークニュース記事群の構

タの処理をする場合には、言語処理技術を利造化 言語処理学会第４回年次大会発表論用できると考える。

文集（１９９８）

１９９５年度版 （１９９６）

１）情報処理学会編 コンパクト版情報処理ハ８）計量計画研究所 IBS 研究調査実績一覧・



１９９６年度版 （１９９７）

２）長尾真・宇津呂武仁他 岩波講座マルチメ９）計量計画研究所 IBS 研究調査実績一覧・



ディア情報学４ 文字と音の情報処理 岩

１９９７年度版 （１９９８）

波書店（２０００）

１０）計量計画研究所 IBS 研究調査実績一覧・

３）馬場肇 日本語全文検索システムの構築と

７）計量計画研究所 IBS 研究調査実績一覧・

参考文献
ンドブック （１９９７）

６）内元清貴・小作浩美・井佐原均 キーワー

１９９８年度版 （２０００）

活用 ソフトバンク（１９９８）

４）徳永健伸 言語と計算５ 情報検索と言語

処理 東京大学出版会（１９９９）65

目次へ