(57)【要約】【課題】  文書データについて指定された部分に関連したビデオデータ出力による情報提示の実現。【解決手段】  第１の電子文書データを入力する入力手段と、第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手段と、提示出力制御手段により提示出力制御された第２の電子文書データの中から、第２の電子文書データのうちの一部を指定する指定手段と、入力手段に基づいて入力された第１の電子文書データ及び指定手段で指定された第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手段と、ビデオ又は静止画選択手段で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手段とを備え。【選択図】図３６
2010044767.tif 000002
【特許請求の範囲】
【請求項１】
第１の電子文書データを入力する入力手段と、
前記第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手段と、
前記提示出力制御手段により提示出力制御された前記第２の電子文書データの中から、前記第２の電子文書データのうちの一部を指定する指定手段と、
前記入力手段に基づいて入力された前記第１の電子文書データ及び前記指定手段で指定された前記第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手段と、
前記ビデオ又は静止画選択手段で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手段と
を備えた文書処理装置。
【請求項２】
前記ビデオ又は静止画選択手段において、前記入力手段に基づいて入力された前記第１の電子文書データに対応する１又は複数のビデオデータ又は静止画データを選択する場合には、前記第１の電子文書データの内容に該当する部分に関するビデオデータ又は静止画データを選択する請求項１記載の文書処理装置。
【請求項３】
前記ビデオ又は静止画出力制御手段において、前記第２の電子文書データを提示出力するエリア上に出力するか、第２のビデオ又は静止画のみを表示するエリアに提示出力するかを制御する請求項１記載の文書処理装置。
【請求項４】
前記提示出力制御手段において、複数の電子文書データのリストを提示する請求項１記載の文書処理装置。
【請求項５】
第１の電子文書データを入力する入力手順と、
前記第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手順と、
前記提示出力制御手順により提示出力された前記第２の電子文書データの中から、前記第２の電子文書データのうちの一部を指定する指定手順と、
前記入力手段に基づいて入力された前記第１の電子文書データ及び前記指定手順で指定された前記第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手順と、
前記ビデオ又は静止画選択手順で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手順と、
が行われる文書処理方法。
【請求項６】
第１の電子文書データを入力する入力手順と、
前記第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手順と、
前記提示出力制御手順により提示出力された前記第２の電子文書データの中から、前記第２の電子文書データのうちの一部を指定する指定手順と、
前記入力手段に基づいて入力された前記第１の電子文書データ及び前記指定手順で指定された前記第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手順と、
前記ビデオ又は静止画選択手順で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手順と、
を有する動作制御プログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子文書処理に関し、特に電子文書データと関連するビデオデータを出力することのできる文書処理装置に関するものである。
【背景技術】
【０００２】
従来、インターネットにおいて、ウィンドウ形式でハイパーテキスト型情報を提供するアプリケーションサービスとしてＷＷＷ（World Wide Web）が提供されている。
【０００３】
ＷＷＷは、文書の作成、公開または共有化の文書処理を実行し、新しいスタイルの文書の在り方を示したシステムである。しかし、文書の実際上の利用の観点からは、文書の内容に基づいた文書の分類や要約といった、ＷＷＷを越える高度な文書処理が求められている。このような高度な文書処理には、文書の内容の機械的な処理が不可欠である。
【０００４】
しかしながら、文書の内容の機械的な処理は、以下のような理由から依然として困難である。
第１に、ハイパーテキストを記述する言語であるＨＴＭＬ（Hyper Text Markup Language）は、文書の表現については規定するが、文書の内容についてはほとんど規定しない。第２に、文書間に構成されたハイパーテキストのネットワークは、文書の読者にとって文書の内容を理解するために必ずしも利用しやすいものではない。第３に、一般に文章の著作者は読者の便宜を念頭に置かずに著作するが、文書の読者の便宜が著作者の便宜と調整されることはない。
【０００５】
このように、ＷＷＷは新しい文書の在り方を示したシステムであるが、文書を
機械的に処理しないので、高度な文書処理をおこなうことができなかった。換言すると、高度な文書処理を実行するためには、文書を機械的に処理することが必要となる。
【０００６】
そこで、文書の機械的な処理を目標として、文書の機械的な処理を支援するシステムが自然言語研究の成果に基づいて開発されている。自然言語研究による文書処理として、文書の著作者等による文書の内部構造についての属性情報、いわゆるタグの付与を前提とした、文書に付与されたタグを利用する機械的な文書処理が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、近年のコンピュータの普及や、ネットワーク化の進展に伴い、文章処理や、文書の内容に依存した索引などで、テキスト文書の作成、ラベル付け、変更などをおこなう文書処理の高機能化が求められている。たとえば、ユーザの要望に応じた文書の要約や、文書の分類等が望まれる。
また、文書やその要約を表示する文書ビューワや表示部の形態に適した表示スタイルや、表示とともに行われる読み上げ機能、さらには文書や画像の表示と読み上げの連動など、よりユーザーにとって好適な処理が求められている。
そしてさらに、文書データに関連して動画や静止画などのビデオデータを出力することができるようにすれば、ユーザーにとって、より多様かつ高度であり、さらに的確な情報を提供できることが期待されるが、従って、各種の文書処理に加えてビデオデータとの連携化が望まれている。
【課題を解決するための手段】
【０００８】
本発明は、このような事情に鑑みて提案されたものであって、文書処理装置において提示する文書データに対応してビデオデータを出力することができるようにし、特にユーザーが指定した部分についてのビデオデータが出力されるようにすることで、ユーザーに対する的確、多様、高度な情報を提示できるようにすることを目的とする。
【０００９】
このため本発明の文書処理装置は、第１の電子文書データを入力する入力手段と、前記第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手段と、前記提示出力制御手段により提示出力制御された前記第２の電子文書データの中から、前記第２の電子文書データのうちの一部を指定する指定手段と、前記入力手段に基づいて入力された前記第１の電子文書データ及び前記指定手段で指定された前記第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手段と、前記ビデオ又は静止画選択手段で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手段とを備える。
【００１０】
前記ビデオ又は静止画選択手段において、前記入力手段に基づいて入力された前記第１の電子文書データに対応する１又は複数のビデオデータ又は静止画データを選択する場合には、前記第１の電子文書データの内容に該当する部分に関するビデオデータ又は静止画データを選択するようにする。
【００１１】
また、前記ビデオ又は静止画出力制御手段において、前記第２の電子文書データを提示出力するエリア上に出力するか、第２のビデオ又は静止画のみを表示するエリアに提示出力するかを制御するようにする。
また、前記提示出力制御手段において、複数の電子文書データのリストを提示するようにする。
【００１２】
本発明の文書処理方法は、第１の電子文書データを入力する入力手順と、前記第１の電子文書データの内容を提示する提示情報を出力制御する提示出力制御手順と、前記提示出力制御手順により提示出力された前記第２の電子文書データの中から、前記第２の電子文書データのうちの一部を指定する指定手順と、前記入力手段に基づいて入力された前記第１の電子文書データ及び前記指定手順で指定された前記第２の電子文書データのうちの一部に対応する１又は複数のビデオデータ又は静止画データを選択するビデオ又は静止画選択手順と、前記ビデオ又は静止画選択手順で選択された複数のビデオデータ又は静止画データを順次出力制御するビデオ又は静止画出力制御手順と、が行われるようにする。
【００１３】
また本発明の記録媒体は、以上のような各手順を有する動作制御プログラムが記録されているものとする。
【発明の効果】
【００１４】
以上の説明からわかるように本発明では、次のような効果が得られる。
即ち本発明の文書処理装置及び文書処理方法によれば、１又は複数の電子文書データについての提示された内容のうちの一部が指定されることにより、指定された部分に対応する１又は複数のビデオデータが出力制御されるようにしているため、文書の提示とともに、指定された部分、つまり或る文書全体もしくは文書内容のうちの一部に関連する映像などを、ユーザーに提供でき、ユーザーに対して的確で、かつ多様、高度な情報を提供できるという効果がある。
またビデオデータとしては、提供できる情報量の多い動画や、イメージを的確に伝えることのできる静止画を、それぞれ適切に用いることで、ユーザーに対する適切な情報提示が可能となる。
【００１５】
また１又は複数の電子文書データの本文又は要約文を提示して、その提示された文書の一部を指定したり、或いはキーワードで一部を指定できるようにすることで、電子文書データに対しての多様な指定が可能となる。例えば文、文節、文字などの単位で指定できる。
そしてそのように指定された文書の一部に対応して付加されているビデオ指定情報（ビデオタグ）に基づいて、１又は複数のビデオデータを選択し、出力することで、ユーザーにとって見たい部分のみのビデオデータを出力できるなど、ユーザーの要望に細かく対応できるビデオ出力が実現できる。
【００１６】
また１又は複数の電子文書データ（又はビデオデータ）のタイトル情報を提示して、そのうちの一部のタイトル情報を指定できるようにすることで、電子文書データ単位の指定やビデオデータそのものの指定が容易に実行できる。
そしてそのように指定された１又は複数のタイトル（つまり電子文書データ又はビデオデータ）に関連するビデオデータが出力されるようにしたことで、ユーザーに各電子文書データやビデオデータの内容を適切かつ簡易に提供できる。
【００１７】
さらに本発明の記録媒体によれば、本発明の文書処理方法を実現するプログラムを提供できることになり、例えば汎用のパーソナルコンピュータ等を用いて、本発明の文書処理装置を容易に実現できるようになる。これにより、一般ユーザーは容易に上記効果を享受できるものとなる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態の文書処理装置のブロック図である。
【図２】実施の形態で用いる文書構造の説明図である。
【図３】実施の形態の文章構造を表示するウインドウの説明図である。
【図４】実施の形態の手動分類処理のフローチャートである。
【図５】実施の形態のインデックス作成処理のフローチャートである。
【図６】実施の形態のエレメントの活性値の説明図である。
【図７】実施の形態の活性拡散処理のフローチャートである。
【図８】実施の形態の中心活性値更新処理のフローチャートである。
【図９】実施の形態の分類ウインドウの説明図である。
【図１０】実施の形態の閲覧ウインドウの説明図である。
【図１１】実施の形態の分類モデルの説明図である。
【図１２】実施の形態の自動分類処理のフローチャートである。
【図１３】実施の形態の自動分類のフローチャートである。
【図１４】実施の形態の語義間関連度算出処理のフローチャートである。
【図１５】実施の形態の語義間関連度の説明図である。
【図１６】実施の形態の文書読み上げ処理のフローチャートである。
【図１７】実施の形態の読み上げ用ファイル生成処理のフローチャートである。
【図１８】実施の形態のタグファイル例の説明図である。
【図１９】実施の形態のタグファイル例の説明図である。
【図２０】実施の形態の読み上げ用ファイル例の説明図である。
【図２１】実施の形態の読み上げ用ファイル例の説明図である。
【図２２】実施の形態の読み上げウインドウの説明図である。
【図２３】実施の形態の要約作成処理のフローチャートである。
【図２４】実施の形態の要約文表示処理のフローチャートである。
【図２５】実施の形態のテロップ表示処理のフローチャートである。
【図２６】実施の形態の閲覧ウインドウの表示例の説明図である。
【図２７】実施の形態の閲覧ウインドウの要約文を含む表示例の説明図である。
【図２８】実施の形態の閲覧ウインドウでのテロップ表示例の説明図である。
【図２９】実施の形態のテロップ表示動作の説明図である。
【図３０】実施の形態の閲覧ウインドウでのテロップ表示後の表示例の説明図である。
【図３１】実施の形態のタグファイル及びビデオファイルの説明図である。
【図３２】実施の形態のビデオタグ付のタグファイルの説明図である。
【図３３】実施の形態のビデオタグ付のタグファイルの説明図である。
【図３４】実施の形態のビデオタグ付のタグファイルの説明図である。
【図３５】実施の形態のビデオ出力用ファイルの説明図である。
【図３６】実施の形態のビデオ出力形態の説明図である。
【図３７】実施の形態の閲覧ウインドウからのビデオ出力処理のフローチャートである。
【図３８】実施の形態の閲覧ウインドウでのビデオ出力の説明図である。
【図３９】実施の形態の閲覧ウインドウでの文書表示状態の説明図である。
【図４０】実施の形態の閲覧ウインドウでの文書の一部指定の説明図である。
【図４１】実施の形態の閲覧ウインドウでの文書表示状態の説明図である。
【図４２】実施の形態の閲覧ウインドウでのキーワードによる文書の一部指定の説明図である。
【図４３】実施の形態の分類ウインドウからのビデオ出力処理のフローチャートである。
【図４４】実施の形態のビデオウインドウの説明図である。
【図４５】実施の形態のビデオリストウインドウからのビデオ出力処理のフローチャートである。
【図４６】実施の形態のビデオリストウインドウの説明図である。
【図４７】実施の形態の文書処理装置の機能ブロックの説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について次の順序で説明する。
１．文書処理装置の構成
２．文書データ構造
３．文書データに対する手動分類処理
３−１  処理手順
３−２  インデックス作成
３−３  文書閲覧／分類作成／分類操作
３−４  分類モデル作成／登録
４．文書データに対する自動分類処理
４−１  処理手順
４−２  自動分類
５．読み上げ処理
６．要約作成／表示処理
７．ビデオファイルの出力処理
７−１  ビデオファイル及びタグ
７−２  ビデオ出力形態
７−３  閲覧ウインドウからのビデオ出力処理
７−４  分類ウインドウからのビデオ出力処理
７−５  ビデオリストウインドウからのビデオ出力形態
８．文書処理装置の機能ブロック構成
【００２０】
１．文書処理装置の構成
本発明の実施の形態としての文書処理装置１は、図１に示すように、制御部１１およびインターフェース１２を備える本体１０と、ユーザからの入力を受けて本体１０に送る入力部２０と、外部との信号の送受信を行う通信部２１と、本体１０からの出力を表示する表示部３０と、記録媒体３２に対して情報を記録／再生する記録／再生部３１と、音声出力部３３と、ＨＤＤ（ハードディスクドライブ）３４を有している。
【００２１】
本体１０は、制御部１１およびインターフェース１２を有し、この文書処理装置１の主要な部分を構成している。
制御部１１は、この文書処理装置１における処理を実行するＣＰＵ１３と、揮発性のメモリであるＲＡＭ１４と、不揮発性のメモリであるＲＯＭ１５とを有している。
ＣＰＵ１３は、たとえばＲＯＭ１５に記録された手順にしたがって、必要な場合にはデータを一時的にＲＡＭ１４に格納して、プログラムを実行するための制御をおこなう。
この制御部１１の動作としては、詳しくはそれぞれ後述していくが、供給された文書データに関する分類処理、要約作成処理、読み上げ動作のための音声読み上げ用ファイルの生成処理、及びこれらの処理に必要な文書解析などがある。さらに、文書データに関連するビデオデータの出力制御処理も行う。そしてこれらの動作のために必要なプログラムやアプリケーションソフトが、ＲＯＭ１５や、ＨＤＤ３４、あるいは記録媒体３２に記憶されている。
なお、制御部１１が用いる文書処理プログラムは上記のようにあらかじめＲＯＭ１５に格納されたり、あるいは、記録媒体３２やＨＤＤ３４から取り込むことが考えられるが、例えば通信部２１を介してインターネット等のネットワークから、外部サーバ等が提供する文書処理プログラムをダウンロードすることも考えられる。
【００２２】
インターフェース１２は、制御部１１、入力部２０、通信部２１、表示部３０、記録／再生部３１、音声出力部３３、ＨＤＤ３４に接続される。
そしてインターフェース１２は、制御部１１の制御の下に、入力部２０からのデータの入力、通信部２１との間のデータの入出力、表示部３０へのデータの出力、記録／再生部３１に対するデータの入出力、音声出力部３３へのデータの出力、ＨＤＤ３４に対するデータの入出力の各動作を行う。具体的には制御部１１と上記各部の間でのデータの入出力のタイミングを調整したり、データの形式を変換することなどを行う。
【００２３】
入力部２０は、この文書処理装置１に対するユーザの入力を受ける部分である。この入力部２０は、たとえばキーボードやマウスにより構成される。ユーザは、この入力部２０を用い、キーボードによリキーワード等の文字を入力したり、マウスにより表示部３０に表示されている電子文書のエレメントを選択することなどができる。
なお、以下では文書処理装置１で扱う電子文書を、「文書データ」又は単に「文書」と称することにする。また「エレメント」とは文書を構成する要素であって、たとえば文書、文および語が含まれる。
【００２４】
通信部２１は、この文書処理装置１に外部からたとえば通信回線を介して送信される信号を受信したり、通信回線に信号を送信する部位である。この通信部２１は、外部から送信された１又は複数の文書等のデータを受信し、受信したデータを本体１０に送る。もちろん通信回線を介して外部装置にデータを送信することも行われる。
また、文書データに付随して、もしくは独立して、１又は複数のビデオデータ（ビデオファイル）が通信部２１により取り込まれることもある。
【００２５】
表示部３０は、この文書処理装置１の出力としての文字や画像情報を表示する部位である。この表示部３０は、たとえば陰極線管（cathode ray tube；CRT）や液晶表示装置（Liquid crystal display；LCD）などにより構成され、たとえば単数または複数のウィンドウを表示し、このウィンドウ上に文字、図形等を表示する。
【００２６】
記録／再生部３１は、例えばいわゆるフロッピーディスクのような記録媒体３２に対してデータの記録／再生を行う。
なお、ここでは記録媒体３２の例としてフロッピーディスク（磁気ディスク）を例をあげているが、もちろん光ディスク、光磁気ディスク、メモリカードなど、可搬性メディアであれば記録媒体３２の例として適用できる。そして記録／再生部３１は、メディアに応じた記録再生装置（ディスクドライブ、カードドライブなど）であればよい。
【００２７】
記録媒体３２が、文書を処理するための文書処理プログラムが記録されているものである場合は、記録／再生部３１は、その記録媒体３２から文書処理プログラムを読み出して制御部１１に供給することができる。
また記録媒体３２に文書データやビデオデータが記録されていれば、記録／再生部３１でそれを読み出して制御部１１に供給することができる。即ち文書処理装置１にとって、通信部２１による文書データ及びビデオデータの受信とは別の、文書データ及びビデオデータの入力態様となる。
さらに、制御部１１は当該文書処理装置１で処理した文書データを記録／再生部３１において記録媒体３２に記録させることもできる。
【００２８】
音声出力部３３は、文書処理装置１の出力としての文書を、読み上げ音声として出力する部位である。
即ち音声出力部３３は、制御部１１が文書情報（後述する読み上げ用ファイル）に基づいた音声合成処理により生成した音声信号が供給された際に、その音声信号の出力処理を行うことで、表示部３０とともに文書処理装置１の出力手段として機能する。
【００２９】
ＨＤＤ３４は、文書処理装置１における大容量の記録領域を提供する。ＨＤＤ３４は、制御部１１の制御に基づいて情報の記録／再生を行う。
このＨＤＤ３４は、制御部１１で実行される各種処理のためのアプリケーションプログラム、例えば音声合成のためのプログラムなどの格納するために用いられたり、例えば当該文書処理装置１に取り込まれた文書データやビデオデータ等を格納しておく部位として用いることなどが可能となる。
【００３０】
２．文書データ構造
続いて、本例における文書データの構造について説明する。本例においては、文書処理は、文書に付与された属性情報であるタグを参照しておこなわれる。本例で用いられるタグには、文書の構造を示す統語論的（syntactic）タグと、多言語間で文書の機械的な内容理解を可能にするような意味的（semantic）・語用論的タグとがある。
【００３１】
統語論的なタグとしては、文書の内部構造を記述するものがある。
タグ付けによる内部構造は、図２に示すように、文書、文、語彙エレメント等の各エレメントが互いに、通常リンク、参照・被参照リンクによりリンクされて構成されている。
図中において、白丸“○”はエレメントを示し、最下位の白丸は文書における最小レベルの語に対応する語彙エレメントである。また、実線は文書、文、語彙エレメント等のエレメント間のつながり示す通常リンク（normal link）であり、破線は参照・被参照による係り受け関係を示す参照リンク（reference link）である。
文書の内部構造は、上位から下位への順序で、文書（documemt）、サブディビジョン（subdivision）、段落（paragraph）、文（sentence）、サブセンテンシャルセグメント（subsentential segment）、・・・、語彙エレメントから構成される。このうち、サブディビジョンと段落はオプションである。
【００３２】
一方、意味論・語用論的なタグ付けとしては、多義語の意味のように意味等の情報を記述するものがある。
本例におけるタグ付けは、ＨＴＭＬ（Hyper Text Markup Language）と同様なＸＭＬ（Extensible Markup Language）の形式によるものである。
【００３３】
タグ付けの一例を次に示すが、文書へのタグ付けはこの方法に限られない。また、以下では英語と日本語の文書の例を示すが、タグ付けによる内部構造の記述は他の言語にも同様に適用することができる。
【００３４】
たとえば、“Time flies like an arrow.”という文については、下記のようなタグ付けをすることができる。＜  ＞が、文書に対して付与されたタグである。
【００３５】
＜文＞＜名詞句  語義＝“time０”＞time＜／名詞句＞
＜動詞句＞＜動詞  語義＝“fly１”＞flies＜／動詞＞
＜副詞句＞＜副詞  語義＝like０＞like＜／副詞＞  ＜名詞句＞an
＜名詞  語義＝“arrow０”＞arrow＜／名詞＞＜／名詞句＞
＜／副詞句＞＜／動詞句＞．＜／文＞
【００３６】
ここで＜文＞、＜名詞＞、＜名詞句＞、＜動詞＞、＜動詞句＞、＜副詞＞、＜副詞句＞は、それぞれ文、名詞、名詞句、動詞、動詞句、形容詞／副詞（前置詞句または後置詞句を含む）、形容詞句／副詞句、を示している。つまり文の統語構造（syntactic structure）を表している。
【００３７】
これらのタグは、エレメントの先端の直前および終端の直後に対応して配置される。エレメントの終端の直後に配置されるタグは、記号“  ／”によりエレメントの終端であることを示している。エレメントとは統語的構成素、すなわち句、節、および文のことである。
なお、語義（word sense）＝“time０”は、語“time”の有する複数の意味、すなわち複数の語義のうちの第０番目の意味を指している。具体的には、語“time”には少なくとも名詞、形容詞、動詞の意味があるが、ここでは語“time”が名詞（＝第０番目の意味）であることを示している。同様に、語“オレンジ”は少なくとも植物の名前、色、果物の意味があるが、これらも語義によって区別することができる。
【００３８】
本例では、文書データについては、図３に示すように、表示部３０上のウィンドウ１０１において、その統語構造を表示することができる。このウィンドウ１０１においては、右半面１０３に語彙エレメントが、左半面１０２に文の内部構造がそれぞれ表示されている。
【００３９】
例えば図示するようにこのウィンドウ１０１には、タグ付けにより内部構造が記述された文章「Ａ氏のＢ会が終わったＣ市で、一部の大衆紙と一般紙がその写真報道を自主規制する方針を紙面で明らかにした。」の一部が表示されている。この文書のタグ付けの例は次のようになる。
【００４０】
＜文書＞＜文＞＜副詞句  関係＝“場所”＞＜名詞句＞＜副詞句  場所＝“Ｃ市”＞
＜副詞句  関係＝“主語”＞＜名詞句  識別子＝“Ｂ会”＞＜副詞句  関係＝“所属”＞＜人名  識別子＝“Ａ氏”＞Ａ氏＜／人名＞の＜／副詞句＞＜組織名  識別子＝“Ｂ会”＞Ｂ会＜／組織名＞＜／名詞句＞が＜／副詞句＞
終わった＜／副詞句＞＜地名  識別子＝“Ｃ市”＞Ｃ市＜／地名＞＜／名詞句＞で、＜／副詞句＞＜副詞句  関係＝“主語”＞＜名詞句  識別子＝“press”  統語＝“並列”＞＜名詞句＞＜副詞句＞一部の＜／副詞句＞大衆紙＜／名詞句＞と＜名詞＞一般紙＜／名詞＞＜／名詞句＞が＜／副詞句＞
＜副詞句  関係＝“目的語”＞＜副詞句  関係＝“内容”  主語＝“press”＞＜副詞句  関係＝“目的語”＞＜名詞句＞＜副詞句＞＜名詞  共参照＝“Ｂ会”＞そ＜／名詞＞の＜／副詞句＞写真報道＜／名詞句＞を＜／副詞句＞
自主規制する＜／副詞句＞方針を＜／副詞句＞
＜副詞句  間係＝“位置”＞紙面で＜／副詞句＞
明らかにした。＜／文＞＜／文書＞
【００４１】
このようにタグ付されることで、各一対のタグ＜  ＞〜＜／  ＞によって文書の構造が表現される。
例えば＜文書＞〜＜／文書＞で１つの文書の範囲が示され、同様に＜文＞〜＜／文＞で１つの文の範囲が示される。また例えば、＜名詞句  識別子＝“Ｂ会”＞〜＜／名詞句＞により、「Ａ氏のＢ会」という部分が「Ｂ会」を識別子とする名詞句として表現される。
即ち上記タグ付により、図３の左半面１０２に示した文の内部構造が表現される。
【００４２】
さらに、この文書においては、「一部の大衆紙と一般紙」は、統語＝“並列”というタグにより並列であることが表されている。並列の定義は、係り受け関係を共有するということである。特に何も指定がない場合、たとえば、＜名詞句  関係＝ｘ＞＜名詞＞Ａ＜／名詞＞＜名詞＞Ｂ＜／名詞＞＜／名詞句＞は、ＡがＢに依存関係があることを表す。関係＝ｘは関係属性を表す。
【００４３】
関係属性は、統語、意味、修辞についての相互関係を記述する。主語、目的語、間接目的語のような文法機能、動作主、被動作者、受益者などのような主題役割、および理由、結果などのような修辞関係はこの関係属性により記述される。本例では、主語、目的語、間接目的語のような比較的容易な文法機能について関係属性を記述する。
【００４４】
また、この文書においては、“Ａ氏”、“Ｂ会”、“Ｃ市”のような固有名詞について、地名、人名、組織名等のタグにより属性が記述されている。これら地名、人名、組織名等のタグが付与されることで、その語が固有名詞であることが表現される。
【００４５】
３．文書データに対する手動分類処理
３−１  処理手順
本例の文書処理装置１では、例えば通信部２１（又は記録／再生部３１）により外部から文書データが取り込まれると、その文書データを内容に応じて分類する処理を行う。なお、以下の説明では、外部からの文書データは通信部２１を介して取り込まれるとして述べていくが、その説明は、外部からフロッピーディスク等の可搬性メディアの形態で供給され、記録／再生部３１から文書データが取り込まれる場合も同様となるものである。
【００４６】
分類処理としては、文書データ内容に応じてユーザーが手動で分類する手動分類処理と、文書処理装置１が自動的に分類する自動分類処理がある。
これらの分類処理は、後述する分類モデルに基づいて行われるわけであるが、文書処理装置１においては、初期状態では分類モデルは存在しない。そのため初期状態にある時点では、手動分類処理として、分類モデルの作成を含む分類処理が必要になる。そして、分類モデルが生成された後においては、入力された文書データに対して自動分類処理が可能となるものである。
まずここでは、最初に実行することが必要とされる手動分類処理について説明する。即ちこの手動分類処理とは、初期状態にある文書処理装置１が外部から送られた文書データを受信した際に、ユーザーの操作に基づいて、制御部１１が分類モデルの作成及び文書データの分類を行う動作となる。
【００４７】
まず手動分類処理としての全体の処理手順を図４に示す。なお、各処理ステップの詳細な処理については後述する。
【００４８】
図４のステップＦ１１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ１１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。
【００４９】
なお、文書受信時には、その文書に関連するビデオデータ（動画又は静止画データ）を含むビデオファイルが受信される場合があり（もちろんビデオデータのみの受信もあり得る）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納する。ビデオファイルに関する処理については後に詳述する。
【００５０】
ステップＦ１２では、文書処理装置１の制御部１１は、受信部２１から送られた複数の文書の特徴を抽出し、それぞれの文書の特徴情報すなわちインデックスを作成する。制御部１１は、作成したインデックスを、たとえばＲＡＭ１４又はＨＤＤ３４に記憶させる。
後述するがインデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものであり、文書の分類や検索に利用できるものである。
【００５１】
ステップＦ１３の文書閲覧は、ユーザーの必要に応じて実行される処理である。つまりユーザーの操作に応じて行われる。なお、このステップＦ１３や次のステップＦ１４は、ユーザ操作に基づく処理である。
入力された文書データに対しては、ユーザーは所要の操作を行うことにより、表示部３０の画面上で、その文書内容を閲覧することができる。
そして文書閲覧中は、ユーザーは画面上のアイコン等に対する操作により、例えば後述する要約作成などの各種処理を指示できるが、この手動分類処理に関しては、ステップＦ１４として示すように、分類項目の作成及び分類操作としての処理に進むことになる。
ステップＦ１４では、ユーザーが分類項目（なお本明細書では、分類項目のことをカテゴリともいう）を設定する操作を行うことに応じて、制御部１１は分類項目を生成／表示していく。またユーザーが文書データを、設定された分類項目に振り分けていく操作も行うことになり、それに応じて制御部１１は文書データの振り分け／表示を行うことになる。
【００５２】
ステップＦ１５では、制御部１１は、ステップＦ１４でユーザーが行った分類項目作成及び分類操作に応じて、分類モデルを作成する。
分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成されるとともに、各カテゴリに対して各文書のインデックス（ステップＦ１２で作成した各文書のインデックス）を対応づけることで、分類状態を規定するデータである。
このような分類モデルを生成したら、ステップＦ１６で、その分類モデルを登録する。即ち制御部１１は、分類モデルをたとえばＲＡＭ１４に記憶させることで登録を行う。
以上の図４の処理により、文書処理状態１が初期状態にある時に入力された１又は複数の各文書データについて、手動分類及び分類モデルの作成が行われたことになる。
この図４のステップＦ１２以下の処理について詳しく述べていく。
【００５３】
３−２  インデックス作成
ステップＦ１４では、制御部１１は入力された文書データについてインデックスの作成を行う。
まず、或る１つの文書データに対して作成されたインデックスの具体例を示す。
【００５４】
＜インデックス  日付＝“AAAA/BB/CC”  時刻＝“DD:EE:FF”  文書アドレス＝“1234”＞
＜ユーザの操作履歴  最大要約サイズ＝“100”＞
＜選択  エレメントの数＝“10”＞ピクチャーテル＜／選択＞
・・・
＜／ユーザの操作履歴＞
＜要約＞減税規模、触れず−Ｘ首相の会見＜／要約＞
＜語  語義＝“0003”  中心活性値＝“140.6”＞触れず＜／語＞
＜語  語義＝“0105”  識別子＝“Ｘ”  中心活性値＝“67.2”＞首相＜／語＞＜人名  識別子＝“Ｘ”  語  語義＝“6103”  中心活性値＝“150.2”＞Ｘ首相＜／語  ／人名＞
＜語  語義＝“5301”  中心活性値＝“120.6”＞求めた＜／語＞
＜語  語義＝“2350”  識別子＝“Ｘ”  中心活性値＝“31.4”＞首相＜／語＞
＜語  語義＝“9582”  中心活性値＝“182.3”＞強調した＜／語＞
＜語  語義＝“2595”  中心活性値＝“93.6”＞触れる＜／語＞
＜語  語義＝“9472”  中心活性値＝“12.0”＞予告した＜／語＞
＜語  語義＝“4934”  中心活性値＝“46.7”＞触れなかった＜／語＞
＜語  語義＝“0178”  中心活性値＝“175.7”＞釈明した＜／語＞
＜語  語義＝“7248”  識別子＝“Ｘ”  中心活性値＝“130.6”＞私＜／語＞
＜語  語義＝“3684”  識別子＝“Ｘ”  中心活性値＝“121.9”＞首相＜／語
＞
＜語  語義＝“1824”  中心活性値＝“144.4.”＞訴えた＜／語＞
＜語  語義＝“7289”  中心活性値＝“176.8”＞見せた＜／語＞
＜／インデックス＞
【００５５】
このインデックスにおいては、＜インデックス＞および＜／インデックス＞は、インデックスの始端および終端を、＜日付＞および＜時刻＞はこのインデックスが作成された日付および時刻を、＜要約＞および＜／要約＞はこのインデックスの内容の要約の始端および終端を、それぞれ示している。
また、＜語＞および＜／語＞は語の始端および終端を示している。
さらに例えば、語義＝“0003”は、第３番目の語義であることを示している。他についても同様である。上述したように、同じ語でも複数の意味を持つ場合があるので、それを区別するために語義ごとに番号が予め決められており、その該当する語義が番号で表されているものである。
【００５６】
また、＜ユーザの操作履歴＞および＜／ユーザの操作履歴＞は、ユーザの操作履歴の始端および終端を、＜選択＞および＜／選択＞は、選択されたエレメントの始端および終端を、それぞれ示している。最大要約サイズ＝“100”は、要約の最大のサイズが１００文字であることを、エレメントの数＝“10”は、選択されたエレメントの数が１０であることを示している。
【００５７】
この例のように、インデックスは、その文書に特徴的な、固有名詞、固有名詞以外の語義などを含むものである。
例えばこのようなインデックスを作成するステップＦ１２の処理を、図５〜図８で説明する。なお、図５は１つの文書データに対するインデックス作成処理を示しており、従って複数の文書データについて処理を行う場合は、各文書データについてこの図５の処理が行われることになる。
また図５のステップＦ３１の詳細な処理を図７に示し、さらに図７のステップＦ４３の詳細な処理を図８に示している。
【００５８】
上述した図４のステップＦ１２のインデックス作成処理としては、まず図５のステップＦ３１の活性拡散が行われる。
この活性拡散とは、文書データについて、エレメントの中心活性値を文書の内部構造に基づいて拡散することで、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。
即ち、文書を構成する各エレメントに対して初期値としての中心活性値を与えた後、その中心活性値を、文書の内部構造、具体的にはリンク構造に基づいて拡散する。
この中心活性値は、タグ付けによる内部構造に応じて決定されるので、文書の特徴の抽出等に利用されるものである。
制御部１１は、このステップＦ３１として、活性拡散を行い、活性拡散の結果として得られた各エレメントの中心活性値を、たとえばＲＡＭ１４に記憶させることになる。
【００５９】
ステップＦ３１の活性拡散について、図６〜図８で詳しく説明していく。
まずエレメントとエレメントのリンク構造の例を図６に示す。
図６においては、文書を構成するエレメントとリンクの構造の一部として、エレメントＥ１、Ｅ２の周辺を示している。Ｅ１〜Ｅ８はエレメントの例であり、この中でエレメントＥ１、Ｅ２に注目して説明する。
【００６０】
エレメントＥ１の中心活性値はｅ１であるとし、またエレメントＥ２の中心活性値はｅ２であるとする。
このエレメントＥ１，Ｅ２は、リンクＬ１２（上述した通常リンクもしくは参照リンク）にて接続されている。
リンクＬ１２のエレメントＥ１に接続する端点をＴ１２、エレメントＥ２に接続する端点をＴ２１とする。
エレメントＥ１は、さらにエレメントＥ３，Ｅ４，Ｅ５と、それぞれリンクＬ１３，Ｌ１４，Ｌ１５で接続されている。各リンクＬ１３，Ｌ１４，Ｌ１５におけるエレメントＥ１側の端点をそれぞれＴ１３，Ｔ１４，Ｔ１５とする。
またエレメントＥ２は、エレメントＥ６，Ｅ７，Ｅ８とも、それぞれリンクＬ２６，Ｌ２７，Ｌ２８で接続されている。各リンクＬ２６，Ｌ２７，Ｌ２８におけるエレメントＥ２側の端点をそれぞれＴ２６，Ｔ２７，Ｔ２８とする。
このようなリンク構造の例を用いながら、図７、図８の活性拡散処理を説明していく。
【００６１】
図７のステップＦ４１で制御部１１は、インデックス作成対象としての文書データについて活性拡散を開始するにあたり、まず文書データの全エレメントについて中心活性値の初期設定を行う。
中心活性値の初期値としては、例えば固有名詞や、ユーザーが選択（クリック）したエレメント等に高い値を与えるようにする。
また制御部１１は、参照リンクと通常リンクに関して、エレメントを連結するリンクの端点Ｔ(xx)の端点活性値を０に設定する。制御部１１は、このように付与した端点活性値の初期値を、たとえばＲＡＭ１４に記憶させる。
【００６２】
ステップＦ４２においては、制御部１１は、文書を構成するエレメントＥｉを計数するカウンタの初期化をおこなう。すなわち、エレメントを計数するカウンタのカウント値ｉを１に設定する。ｉ＝１の場合、このカウンタは、第１番目のエレメント（例えば図６のエレメントＥ１）を参照することになる。
【００６３】
ステップＦ４３においては、制御部１１は、カウンタが参照するエレメントについて、新たな中心活性値を計算する中心活性値更新処理を実行する。
この中心活性値更新処理について、エレメントＥ１についての処理を例に挙げながら、図８で詳しく説明する。
この中心活性値更新処理は、エレメントについての端点活性値を更新し、さらに更新された端点活性値と現在の中心活性値を用いて、新たな中心活性値を算出する処理となる。
【００６４】
図８のステップＦ５１では、制御部１１は、文書を構成するエレメントＥｉ（例えばこの場合Ｅ１）に一端が接続されたリンクの数を計数するカウンタの初期化をおこなう。すなわち、リンクを計数するカウンタのカウント値ｊを１に設定する。ｊ＝１の場合、このカウンタは、エレメントＥｉと接続された第１番目のリンクＬ（yy）を参照することになる。図６の例では、エレメントＥ１についての第１のリンクとして例えばリンクＬ１２を参照する。
【００６５】
ステップＦ５２で制御部１１は、参照中のリンク、つまりエレメントＥ１とＥ２を接続するリンクＬ１２について、関係属性のタグを参照することにより通常リンクであるか否かを判断する。制御部１１は、リンクＬ１２が通常リンクであればステップＦ５３に、一方リンクＬ１２が参照リンクであればステップＦ５４に処理を進める。
【００６６】
リンクＬ１２が通常リンクと判断されてステップＦ５３に進んだ場合は、制御部１１は、エレメントＥ１の通常リンクＬ１２に接続された端点Ｔ１２の新たな端点活性値を計算する処理をおこなう。
端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算し、この加算で得た値を、文書に含まれるエレメントの総数で除することにより求められる。
制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、通常リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。
【００６７】
一方、ステップＦ５２でリンクＬ１２が参照リンクであると判断され、ステップＦ５４に進んだ場合は、同じく制御部１１は、通常リンクＬ１２に接続されたエレメントＥ１の端点Ｔ１２の新たな端点活性値を計算する処理をおこなうことになるが、端点活性値の算出のための演算は次のようになる。
即ちこの場合は、端点Ｔ１２の端点活性値ｔ１２は、リンク先のエレメントＥ２の端点活性値のうち、リンクＬ１２以外のリンクに接続するすべての端点の各端点活性値（この場合Ｔ２６、Ｔ２７、Ｔ２８の各端点活性値ｔ２６、ｔ２７，ｔ２８）と、エレメントＥ２の中心活性値ｅ２を加算した値とする。（つまり除算がない点が上記通常リンクの場合と異なるものとなる）
そして制御部１１は、この様な演算を、ＲＡＭ１４から読み出した各端点活性値および各中心活性値を用いて行うことで、参照リンクと接続された端点についての新たな端点活性値を算出し、算出した端点活性値を、ＲＡＭ１４に記憶させる。つまり端点Ｔ１２の端点活性値ｔ１２を更新する。
【００６８】
このようなステップＦ５３又はＦ５４の処理を行なったら、制御部１１はステップＦ５５での判別処理を介して（判別結果がＮＯであれば）ステップＦ５７に進み、カウント値ｊをインクリメントしてステップＦ５２に戻る。
即ち続いて、カウント値ｊ＝２とされることにより、エレメントＥ１についての第２のリンク（例えばリンクＬ１３）が参照されることになるため、上記同様にステップＦ５２以降の処理でリンクＬ１３に接続される端点Ｔ１３の端点活性値ｔ１３が算出／更新されることになる。
【００６９】
ステップＦ５５では、制御部１１は、現在カウント値ｉで参照中のエレメントＥｉ（Ｅ１）について、全てのリンクについての新たな端点活性値が計算されたか否かを判別して処理を分岐するものであるため、端点活性値の更新処理は、参照中のエレメントＥｉの全ての端点活性値が更新されるまで行われる。
つまりステップＦ５７でカウント値ｊがインクリメントされながら処理が繰り返されることで、例えばエレメントＥ１については、端点Ｔ１２，Ｔ１３，Ｔ１４，Ｔ１５についてそれぞれ端点活性値ｔ１２，ｔ１３，ｔ１４，ｔ１５が更新されていき、その全てが更新された時点で、処理はステップＦ５５からＦ５６に進むことになる。
【００７０】
エレメントＥｉについての全ての端点活性値が求められたことに応じて、ステップＦ５６では、更新された端点活性値を用いて、エレメントＥｉの新たな中心活性値ｅｉを算出する。
エレメントＥｉの新たな中心活性値ｅｉは、エレメントＥｉの現在の中心活性値ｅｉとエレメントＥｉのすべての端点の新たな端点活性値の和で求められる。例えば図６のエレメントＥ１の場合は、新たな中心活性値ｅ１(new)は、
ｅ１(new)＝ｅ１＋ｔ１２＋ｔ１３＋ｔ１４＋ｔ１５
となる。
【００７１】
制御部１１は、このようにして現在カウント値ｉで参照中のエレメントＥｉの中心活性値ｅｉを算出する。そして、制御部１１は、計算した新たな中心活性値ｅｉをＲＡＭ１４に記憶させる。つまりエレメントＥｉの中心活性値ｅｉを更新する。（但しこの時点では、後述するステップＦ４５の処理で用いるため、旧中心活性値も保持しておく）
【００７２】
図７のステップＦ４３の中心活性値更新処理として、以上図８に示したような処理が行われるたら、制御部１１の処理は図７のステップＦ４４に進み、制御部１１は、文書中のすべてのエレメントについて中心活性値更新処理が完了したか否かを判断する。具体的には、制御部１１は、カウント値ｉが、文書に含まれるエレメントの総数に達したか否かを判断する。
制御部１１は、すべてのエレメントについて中心活性値更新処理が完了していないときは、ステップＦ４７に処理を進め、カウント値ｉをインクリメントしてステップＦ４３に戻る。
例えば上記のようにエレメントＥ１についての処理が終わった後であれば、カウント値ｉ＝２とされて、今度はエレメントＥ２が参照されることになる。
そしてエレメントＥ２について、ステップＦ４３の中心活性値更新処理（即ち図８の処理）が上記同様に行われる。
重複説明となるため詳細は述べないが、図６のリンク例でいえば、エレメントＥ２の場合は、図８の処理において端点Ｔ２１，Ｔ２６，Ｔ２７，Ｔ２８の各端点活性値ｔ２１，ｔ２６，ｔ２７，ｔ２８が更新された後、新たな中心活性値ｅ２(new)が、
ｅ２(new)＝ｅ２＋ｔ２１＋ｔ２６＋ｔ２７＋ｔ２８
として算出され、更新されることになる。
【００７３】
図７の処理においては、このようにステップＦ４７でカウント値ｉがインクリメントされて参照エレメントが変更されながらステップＦ４３の中心活性値更新処理が繰り返されることで、文書に含まれる全てのエレメントの中心活性値が更新されていくことになる。
【００７４】
文書中のすべてのエレメントについて中心活性値の更新が完了したときは、処理はステップＦ４４からＦ４５に進むことになる。
ステップＦ４５においては、制御部１１は、文書に含まれるすべてのエレメントの中心活性値の変化分、すなわち新たに計算された中心活性値の元の中心活性値に対する変化分について平均値を計算する。
例えば制御部１１は、ＲＡＭ１４に記憶された旧中心活性値と、更新した新たな中心活性値を、文書に含まれるすべてのエレメントについて読み出す。そして各エレメントについて新中心活性値と旧中心活性値の差分を求め、その差分の総和をエレメントの総数で除することにより、すべてのエレメントの中心活性値の変化分の平均値を計算する。
制御部１１は、このように計算したすべてのエレメントの中心活性値の変化分の平均値を、たとえばＲＡＭ１４に記憶させる。
【００７５】
続いてステップＦ４６において制御部１１は、ステップＦ４５で計算した平均値が、あらかじめ設定された閾値以内であるか否かを判断する。
そして、制御部１１は、上記平均値が閾値以内である場合は、活性拡散処理としての一連の行程を終了するが、上記平均値が閾値以内でないときには、ステップＦ４２にもどって、上述した一連の行程を再び実行する。
【００７６】
この一連の活性拡散処理は、中心活性値が高いエレメントに関連のある（リンクする）エレメントについて、その中心活性値を引き上げていく処理といえるものである。
ところが、この活性拡散を１回行うのみでは、インデックス作成処理の目的を考えたときに、本来中心活性値を引き上げられるべきエレメントの中で、中心活性値が十分に引き上げられないものが発生する場合もありうる。例えば、１回の活性拡散では、中心活性値の初期値が高く設定されたエレメントに直接リンクするエレメントについては、或る程度中心活性値が引き上げられるが、直接リンクしていないエレメントは、それがインデックスとして重要なエレメントであっても十分に中心活性値が引き上げられないことが生ずる。
そこで、ステップＦ４６の判断を介して、必要に応じて活性拡散処理を複数回行うようにすることで、全体的に中心活性値が収束されるようにし、中心活性値が引き上げられない重要なエレメントがなるべく生じないようにするものである。
なお、複数回の活性拡散で、全体的に中心活性値が収束されていくのは、活性拡散処理で更新された各エレメントの中心活性値に基づいて、さらに次の活性拡散処理で各エレメントの中心活性値が更新されていくためである。但し、このような活性拡散処理が多数回行われすぎると、全エレメントの中心活性値が収束しきってほぼ同値となるような事態となり、不適切である。
このため、ステップＦ４５，Ｆ４６の処理として、中心活性値の変化分の平均値を求めるように、その変化分に基づいて活性拡散処理の終了タイミングを判断することで、インデックス作成に好適な活性拡散が実現されることになる。
【００７７】
以上の図７、図８のような活性拡散処理（即ち図５のステップＦ３１）が完了したら、制御部１１の処理は図５のステップＦ３２に進むことになる。
ステップＦ３２においては、制御部１１は、ステップＦ３１で得られた各エレメントの中心活性値に基づいて、中心活性値があらかじめ設定された閾値を超えるエレメントを抽出する。制御部１１は、このように抽出したエレメントをＲＡＭ１４に記憶させる。
【００７８】
続いてステップＦ３３においては、制御部１１は、ステップＦ３２にて抽出したエレメントをたとえばＲＡＭ１４から読み出す。そして制御部１１は、この抽出したエレメントの中からすべての固有名詞を取り出してインデックスに加える。固有名詞は語義を持たず、辞書に載っていないなどの特殊の性質を有するので固有名詞以外の語とは別に扱うものである。なお語義とは、前述したように、語の有する複数の意味のうちの各意味に対応したものである。
各エレメントが固有名詞であるか否かは、文書に付されたタグに基づいて判断することができる。たとえば、図３に示したタグ付けによる内部構造においては、“Ａ氏”、“Ｂ会”および“Ｃ市”は、タグによる関係属性がそれぞれ“人名”、“組織名”および“地名”であるので固有名詞であることが分かる。そして、制御部１１は、取り出した固有名詞をインデックスに加え、その結果をＲＡＭ１４に記憶させる。
【００７９】
次のステップＦ３４においては、制御部１１は、ステップＦ３２にて抽出したエレメントの中から、固有名詞以外の語義を取り出してインデックスに加え、その結果をＲＡＭ１４に記憶させる。
【００８０】
以上の処理により、例えば上記した具体例のようなインデックスが生成される。即ちインデックスは、タグ付けされた文書の特徴を発見して、その特徴を配列したものとなり、その文書の特徴は、文書の内部構造に応じて拡散処理された中心活性値に基づいて判断されるものとなる。
そしてこのようなインデックスは、文書を代表するような特徴を表す語義および固有名詞を含むので、所望の文書を参照する際に用いることができる。
なお、インデックスには、文書の特徴を表す語義および固有名詞とともに、その文書がＲＡＭ１４（又はＨＤＤ３４）において記憶された位置を示す文書アドレスを含めておく。
【００８１】
３−３  文書閲覧／分類作成／分類操作
以上の図５〜図８で説明したインデックス作成処理は図４のステップＦ１２で行われるものとなる。従って図４の手動分類処理としては、続いてステップＦ１３，Ｆ１４の処理、即ち上述したようにユーザーによる閲覧及び手動分類の処理に移る。
【００８２】
上述のように、図４のステップＦ１３においては、ユーザーは表示部３０に表示される文書を閲覧することができる。
またステップＦ１４においては、ユーザーが分類項目を設定する操作や、文書データを、設定された分類項目に振り分けていく操作を行うことができる。
このステップＦ１３，Ｆ１４で行われる操作や、それに対応する制御部１１の処理及び表示部３０の表示例は以下のようになる。
【００８３】
図９、図１０は表示部３０における表示の具体例を示している。
まず図９は、詳しくは後述する分類モデルに対応した分類ウインドウ２０１の表示例である。即ち、文書分類の表示に用いられるグラフィックユーザインターフェース（graphic user interface；GUI）の具体例となる。
この分類ウィンドウ２０１には、操作用のボタン表示２０２として、画面のウィンドウの状態を初期の位置にもどすポジションリセット（position reset）ボタン２０２ａと、文書の内容を閲読するブラウザ（browser：後述する閲覧ウインドウ）を呼び出すブラウザボタン２０２ｂと、このウィンドウからの脱出（exit）ボタン２０２ｃとが表示される。
さらに、同じくボタン表示２０２として、詳しくは後述するが、この分類ウインドウ２０１から指定した文書に関するビデオ出力を実行させるためのビデオボタン２０２ｄが表示され、また、後述するビデオリストウインドウを呼び出すビデオリストボタン２０２ｅが表示される。
【００８４】
また、この分類ウィンドウ２０１は、分類モデルに対応する分類項目に応じた小ウインドウとして、文書分類エリア２０３，２０４，２０５・・・が形成される。
文書分類エリア２０３は、“他のトピックス”を表示するエリアとされる。この”他のトピックス”の文書分類エリア２０３は、まだ分類されていない文書が提示される領域となる。例えば図４のステップＦ１１で受信された各文書（つまりこれから分類しようとする文書）は、この”他のトピックス”の文書分類エリア２０３に提示される。
文書分類エリア２０４は、例えば”ビジネスニュース”に分類された文書が提示される領域となる。
文書分類エリア２０５は、例えば”政治ニュース”に分類された文書が提示される領域となる。
これら以外にも、図中で符号を付していない文書分類エリアは、それぞれ特定の分類項目に応じた文書が提示される領域となる。
【００８５】
これらの各文書分類エリア２０３，２０４・・・では、その各文書分類エリアに設定された分類項目（カテゴリ）に分類された文書が、その文書のアイコンと文書のタイトルにより提示される。タイトルがない場合には、一文の要約がタイトルとして用いられて表示される。
また各文書分類エリア２０３，２０４・・・の大きさは固定的ではなく、ユーザーがドラッグ操作などにより各文書分類エリアを区切る区切枠２１１，２１２，２１３・・・を移動させることにより、各文書分類エリア２０３，２０４・・・の面積を任意に変更させることができる。文書分類エリアの数もユーザーが任意に増減できる。
【００８６】
また各文書分類エリア２０３，２０４・・・の項目タイトル（例えば「政治ニュース」など）は、ユーザーが任意に設定、変更できるものである。
なお、この文書分類エリアの数及び各項目タイトルは、後述する分類モデルの分類項目に応じたものとなる。言い換えれば、ユーザーがこの分類ウインドウ２０１においてマウスやキーボード等による入力部２０からの操作で、文書分類エリアの設定や削除、或いは項目タイトル設定を行うことで、分類モデルの分類項目の数や項目タイトルが設定されることになる。
なお、分類ウインドウ２０１に一覧表示されている各文書データに対して、ユーザーが選択（クリック）することで、チェックマーク２１４が付される。
【００８７】
図１０は、ユーザーが文書データの内容を閲覧する閲覧ウインドウ３０１の例を示している。
例えばユーザーが、図９の分類ウインドウ２０１において或る文書をクリックして選択した状態（或る１つのタイトル（文書データ）に対してチェックマーク２１４が付された状態）としたうえで、ブラウザボタン２０２ｂをクリックすることで、制御部１１は図１０のように選択された文書を表示する閲覧ウインドウ３０１を開くようにする。
【００８８】
この閲覧ウインドウ３０１には、文書データファイルのファイル名を表示するファイル名表示部３０２、そのファイル名の文書データを表示する文書表示部３０３、文書表示部３０３に表示された文書の要約文を表示する要約表示部３０４、キーワードの入力／表示を行うキーワード表示部３０５が設けられる。
また操作用のボタン表示３０６として、要約文の作成を指示するための要約作成ボタン３０６ａ、アンドゥ操作（操作取消）を行うためのアンドゥボタン３０６ｂ、読み上げ動作を実行させるための読み上げボタン３０６ｃ、ビデオデータの表示を指示するためのビデオボタン３０６ｄ、後述するビデオリストウインドウを呼び出すビデオリストボタン３０６ｅなどが表示される。
【００８９】
この様な閲覧ウインドウ３０１において、ユーザーは文書表示部３０３に表示される文書を閲覧することができる。なお、文書の全体を表示しきれないときは、文書の一部が表示される。もちろんスクロール操作を行うことで、全文を閲覧できる。
また、ユーザーは要約作成ボタン３０６ａをクリックすることで、文書表示部３０３に表示される文書についての要約文を作成させ、要約表示部３０４に表示させることができる。
さらにユーザーは、読み上げボタン３０６ｃをクリックすることで、文書表示部３０３に表示されている文書の本文又は要約文についての読み上げを実行させることができる。
また、ユーザーはビデオボタン３０６ｄをクリックすることで、文書表示部３０３に表示されている文書の本文、または要約表示部３０４に表示されている要約文に関連するビデオデータの表示を実行させることができる。
なお、要約文作成のための制御部１１の処理、読み上げ動作についての処理、及びビデオ出力動作についての処理はそれぞれ後述する。
【００９０】
以上のような分類ウインドウ２０１、閲覧ウインドウ３０１は、図４の手動分類処理の際に限らず、ユーザーの操作に応じて随時表示部２０に表示されるものであるが、図４の手動分類処理に関していえば、ユーザーは受信した文書の種類や内容を、分類ウインドウ２０１、閲覧ウインドウ３０１で確認することができるものである。
具体的には、図４のステップＦ１１で受信された１又は複数の文書は、ステップＦ１２でのインデックス作成処理の後、図９のような分類ウインドウ２０１における”他のトピックス”の文書分類エリア２０３に表示される。
この分類ウインドウ２０１において、ユーザーは、文書分類エリア２０３に表示された各文書を手動で分類していくことになるが、例えば文書のタイトルだけ等では内容がわからない場合は、図１０の閲覧ウインドウ３０１により文書内容を確認する。そのようにユーザの必要に応じて行われる閲覧が図４のステップＦ１３の処理となる。
【００９１】
ステップＦ１４としては、ユーザーは分類ウインドウ２０１上において分類項目の追加、更新、削除等を任意に行うことができ、その操作に応じて、制御部１１は表示される文書分類エリア２０３、２０４・・・の表示態様（数、面積、タイトル等）を変更させていく。
なお、ユーザーによる分類項目（文書分類エリアのタイトル）の設定／変更は、それが後述する分類モデルに反映されることになる。
【００９２】
ユーザーは必要に応じて分類項目の設定を行った後、文書分類エリア２０３に表示されている各文書を、各文書分類エリアに振り分けていく。つまりユーザーの手動により、文書を分類する。
具体的には、”他のトピックス”の文書分類エリア２０３に表示されている文書のアイコンを、例えば入力部２０のマウスを用い、所望の分類項目（カテゴリ）に対応する文書分類エリアにドラッグすることによりおこなう。
例えばユーザーは、「スポーツ」というタイトルの文書分類エリアを設定したうえで、”他のトピックス”の文書分類エリア２０３に表示されているスポーツ関連の文書のアイコンを、“スポーツ”の文書分類エリアにドラッグするような操作を行う。
このようにして手動で分類された各文書のアイコンやタイトルは、以降、そのドラッグされた先の文書分類エリア内で表示される。
【００９３】
３−４  分類モデル作成／登録
以上のようにユーザーによる手動分類操作が行われたら、制御部１１は図４のステップＦ１５において、ユーザの分類操作に基づいた複数のカテゴリからなる分類モデルを作成する。すなわち制御部１１は、各カテゴリに分類された上記複数の文書のインデックスを集めて、分類モデルを生成する。そして、分類モデルの各カテゴリに上記複数の文書を分類する。
【００９４】
分類モデルは、文書を分類する複数の分類項目（カテゴリ）から構成される。そして各カテゴリについて、分類された文書が示されるデータ形態となる。
各文書については、上記ステップＦ１２などでインデックスが形成されるが、分類モデルは例えば図１１（ａ）に示すように、各カテゴリについて分類された文書のインデックスが対応づけられたようなデータ構造となる。
この図１１（ａ）では、カテゴリとして「スポーツ」「会社」「コンピュータ」・・・等が設定されているが、これらは上記のように分類ウインドウ２０１においてユーザーが設定した分類項目となる。なお、もちろんユーザーが設定しなくとも、予め設定されている（つまり分類ウインドウで文書分類エリアとして表示される）カテゴリがあってもよい。
そして各分類項目にはインデックスＩＤＸ１、ＩＤＸ２・・・が対応づけられるが、即ち各分類項目には、ユーザーが上記のように分類した文書のインデックスが対応づけられるものとなる。
【００９５】
各分類項目に対応づけられるインデックスは、分類ウインドウ２０１においてその分類項目の文書分類エリアに表示されている文書のインデックスである。
例えばインデックスＩＤＸ１がカテゴリ「スポーツ」に対応づけられているのは、ユーザーが、分類ウインドウ２０１において「スポーツ」をタイトルとする文書分類エリアを作成し、さらにインデックスＩＤＸ１の文書のアイコンを、その「スポーツ」をタイトルとする文書分類エリアにドラッグするという手動分類を行ったことに基づくものとなる。
【００９６】
ところで上述のように各文書のインデックスは、固有名詞、固有名詞以外の語義や文書アドレス等を含んでいる。
そして、例えば図１１（ａ）のように１つの分類項目には１又は複数のインデックスが対応づけられるが、インデックスとして固有名詞、語義、文書アドレス等が含まれるため、分類モデルは図１１（ｂ）のようにも表すことができる。
【００９７】
即ち図１１（ｂ）に示すように、分類モデルは、各カテゴリに対応するカテゴリインデックスとして、固有名詞、固有名詞以外の語義、文書アドレスの欄を有する構造となる。
そして分類モデルにおいては、各カテゴリ「スポーツ」「社会」「コンピュータ」「植物」「美術」「イベント」に対して、固有名詞“Ａ氏、・・・”、“Ｂ氏、・・・”、“Ｃ社、Ｇ社、・・・”、“Ｄ種、・・・”、“Ｅ氏、・・・”および“Ｆ氏”等の固有名詞が割り当てられる。
また、“野球（４５４６）、グランド（２３４３）、・・・”、“労働（３１１２）、固有（９８２１）、・・・”、“モバイル（２１０２）、・・・”、“桜１（１１１１１）、オレンジ１（９９１１）”、“桜２（１１１１２）、オレンジ２（９９１２）”および“桜３（１１１１３）”等の語義も各カテゴリに割り当てられる。
さらに文書アドレス“ＳＰ１、ＳＰ２、ＳＰ３、・・・”、“Ｓ０１、Ｓ０２、Ｓ０３、・・・”、“ＣＯ１、ＣＯ２、ＣＯ３、・・・”、“ＰＬ１、ＰＬ２、ＰＬ３、・・・”、“ＡＲ１、ＡＲ２、ＡＲ３、・・・”および“ＥＶ１、ＥＶ２、ＥＶ３、・・・”も各カテゴリに割り当てられる。
【００９８】
なお、“桜１”“桜２”“桜３”は、“桜”の第１の語義（１１１１１）、第２の語義（１１１１２）、第３の語義（１１１１３）を示している。また、“オレンジ１”“オレンジ２”は、“オレンジ”の第１の語義（９９１１）、第２の語義（９９１２）を示している。たとえば“オレンジ１”は植物のオレンジを表し、“オレンジ２”はオレンジ色を表す。
固有名詞以外の場合に語そのものではなく語義を用いるのは、この様に、同じ語でも複数の意味を有することがあるからである。  
【００９９】
図４のステップＦ１５では、ユーザーの手動分類操作に応じて例えばこの様な分類モデルが生成される。そしてステップＦ１６として分類モデルが登録、即ちＲＡＭ１５（又はＨＤＤ３４）に記録される。
このように分類モデルが生成／登録されることにより、文書の分類が行われたことになる。
【０１００】
なお、このように図４におけるステップＦ１５、Ｆ１６として分類モデルの作成／登録が行われた後は、後述する自動分類処理や、ユーザーの分類項目の編集、或いは手動分類操作などに応じて、分類モデルは逐次更新されていくことになる。
分類モデルが更新されると、分類モデルに更新日時が記録される。図１１には、更新日時として“１９９８年１２月１０日１９時５６分１０秒”が記録されている。
【０１０１】
４．文書データに対する自動分類処理
４−１  処理手順
本例の文書処理装置１では、上記のように一旦分類モデルが作成された後は、例えば通信部２１により外部から取り込まれた文書データを、自動的に分類していく自動分類処理が可能となる。
即ち以下説明する自動分類処理とは、文書処理装置１が外部から送られた文書データを受信した際に、その文書データを分類モデルに対して分類していく処理となる。
なお、この例では、一つの文書を受信する毎に以下説明する自動分類処理をおこなうこととするか、複数の所定数の文書を受信する度におこなってもよいし、ユーザが図９の画面を開く操作をしたときにそれまでに受信した全文書に対して自動分類処理をおこなうようにしてもよい。
【０１０２】
自動分類処理としての全体の処理手順を図１２に示す。
図１２のステップＦ２１は、文書処理装置１の受信部２１による文書受信処理を示している。このステップＦ２１では、受信部２１は、たとえば通信回線を介して送信された１又は複数の文書を受信する。受信部２１は、受信した文書を文書処理装置の本体１０に送る。制御部１１は供給された１又は複数の文書データをＲＡＭ１４又はＨＤＤ３４に格納する。
なお文書データとともに（又は文書データとは独立して）、１又は複数のビデオファイルが受信された場合は、制御部１１はそのビデオファイルを取り込んでＲＡＭ１４又はＨＤＤ３４に格納することになる。
【０１０３】
続いてステップＦ２２に進み、制御部１１は、ステップＦ２１で取り込まれた文書についてインデックスを作成する。
【０１０４】
ステップＦ２３では、制御部１１は、分類モデルに基づいて、インデックスを付された各文書を、分類モデルのいずれかのカテゴリに自動分類する。そして、制御部１１は、分類の結果をたとえばＲＡＭ１４に記憶させる。自動分類の詳細については後述する。
【０１０５】
ステップＦ２４では、制御部１１は、ステップＦ２３での新たな文書の自動分類の結果に基づいて、分類モデルを更新する。
そしてステップＦ２５では、制御部１１は、ステップＦ２４で更新された分類モデルを登録する。例えば分類モデルをＲＡＭ１４に記憶させる。
【０１０６】
以上の図１２の処理により、文書処理状態１に入力された文書データが、分類モデル上で分類されるように自動分類処理が行われることになる。
すなわちこの自動分類処理においては、受信した文書に対してはインデックスが作成され、さらに自動分類が行われた後、そのインデックスを構成している固有名詞、語義、文書アドレス等が、上記図１１のように分類モデル上で或るカテゴリーに対応づけられることになる（分類モデルが更新される）。
【０１０７】
ステップＦ２１、Ｆ２２の処理は、上述した手動分類処理におけるステップＦ１１，Ｆ１２と同様である。即ちステップＦ２２のインデックス作成処理としては、図５〜図８で説明した処理が行われるものであり、ここでの繰り返しの説明は避ける。
また、ステップＦ２４の分類モデルの更新は、ステップＦ２３の自動分類の分類結果に応じてものとなる。
以下、上述の手動分類処理とは異なる処理として、ステップＦ２３の自動分類について詳細に説明する。
【０１０８】
４−２  自動分類
図１２のステップＦ２３での自動分類の詳しい処理を図１３に示す。
図１３のステップＦ６１では、制御部１１は、分類モデルのカテゴリＣｉに含まれる固有名詞の集合と、ステップＦ２１で受信した文書から抽出されインデックスに入れられた語のうちの固有名詞の集合とについて、これらの共通集合の数をＰ（Ｃｉ）とする。そして制御部１１は、このようにして算出した数Ｐ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１０９】
ステップＦ６２においては、制御部１１は、その文書のインデックス中に含まれる全語義と、各カテゴリＣｉに含まれる全語義との語義間関連度を、後述する図１５に示す語義間関連度の表を参照して、語義間関連度の総和Ｒ（Ｃｉ）を演算する。
すなわち制御部１１は、分類モデルにおける固有名詞以外の語について、全語義間関連度の総和Ｒ（Ｃｉ）を演算する。そして制御部１１は、演算した語義間関連度の総和Ｒ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１１０】
ここで語義間関連度について説明しておく。
語義間関連度は、図１４の処理により文書処理装置１が備える電子辞書に含まれる語義について予め算出し、その結果を図１５のように保持しておけばよい。つまり、制御部１１が予め一度だけ図１４の処理を実行しておくようにすることで、図１３の自動分類処理の際に用いることができる。
【０１１１】
制御部１１が予め実行しておく図１５の処理は次のようになる。
まずステップＦ７１において、制御部１１は、電子辞書内の語の語義の説明を用いて、この辞書を使って語義のネットワークを作成する。
すなわち、辞書における各語義の説明とこの説明中に現れる語義との参照関係から、語義のネットワークを作成する。
ネットワークの内部構造は、上述したようなタグ付けにより記述される。文書処理装置の制御部１１は、たとえばＲＡＭ１４に記憶された電子辞書について、語義とその説明を順に読み出して、ネットワークを作成する。
制御部１４は、このようにして作成した語義のネットワークをＲＡＭ１４に記憶させる。
【０１１２】
なお、上記ネットワークは、文書処理装置の制御部１１が辞書を用いて作成する他に、受信部２１にて外部から受信したリ、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることもできる。
また上記電子辞書は、受信部２１にて外部から受信したり、記録／再生部３１にて記録媒体３２から再生したりすることにより得ることができる。
【０１１３】
ステップＦ７２においては、ステップＦ７１で作成された語義のネットワーク上で、各語義のエレメントに対応する中心活性値の拡散処理をおこなう。この活性拡散により、各語義に対応する中心活性値は、上記辞書により与えられたタグ付けによる内部構造に応じて与えられる。中心活性値の拡散処理は、図７で説明した処理となる。
【０１１４】
ステップＦ７３においては、ステップＦ７１で作成された語義のネットワークを構成するある一つの語義Ｓｉを選択し、続くステップＦ７４においては、この語義Ｓｉに対応する語彙エレメントＥｉの中心活性値ｅｉの初期値を変化させ、このときの中心活性値の差分△ｅｉを計算する。
【０１１５】
さらにステップＦ７５においては、ステップＦ７４におけるエレメントＥｉの中心活性値ｅｉの差分△ｅｉに対応する、他の語義Ｓｊに対応するエレメントＥｊの中心活性値ｅｊの差分△ｅｊを求める。
ステップＦ７６においては、ステップＦ７５で求めた差分△ｅｊを、ステップＦ７４で求めた△ｅｉで除した商△ｅｊ／△ｅｉを、語義Ｓｉの語義ｓｊに対する語義間関連度とする。
【０１１６】
ステップＦ７７においては、一の語義Ｓｉと他の語義Ｓｊとのすべての対について語義間関連度の演算が終了したか否かについて判断する。
すべての語義の対について語義間関連度の演算が終了していないときには、ステップＦ７３にもどり、語義間関連度の演算が終了していない対について語義間関連度の演算を継続する。
このようなステップＦ７３からステップＦ７７のループにおいて、制御部１１は、必要な値をたとえばＲＡＭ１４から順に読み出して、上述したように語義間関連度を計算する。制御部１１は、計算した語義間関連度をたとえばＲＡＭ１４に順に記憶させる。
そして、すべての語義の対について語義間関連度の演算が終了したときには、ステップＦ７７から、この一連の処理を終了する。
【０１１７】
このような語義間関連度の算出は、或る１つの語義の中心活性値を変化させた時に、それにつられて中心活性値が変化する語義を、関連度が高いものとする処理といえる。
つまりステップＦ７４で或る語義の中心活性値を変化させると、それに応じて関連する（リンクされた）語義の中心活性値が変化するものとなるため、その変化の度合いを調べれば、或る語義に対する他の各語義の関連度がわかるものである。（或るエレメントＥｉの中心活性値は、上述した活性拡散の説明において述べたように、リンク先のエレメントの中心活性値と端点活性値が反映されて、そのエレメントＥｉ端点活性値が更新されたうえで、そのエレメントＥｉの端点活性値と現在の中心活性値の和から求められるため、リンク先との関連度が大きいほど中心活性値の変化量は大きくなる）
このような処理を各語義から他の全ての語義に対して行っていくことで、すべての語義の対（組み合わせ）について、関連度を算出することができる。
【０１１８】
このように計算された語義間関連度は、図１５に示すように、それぞれの語義と語義の間に定義される。この図１５の表においては、語義間関連度は０から１までの値をとるように正規化されている。そしてこの表においては一例として“コンピュータ”、“テレビ”、“ＶＴＲ”の間の相互の語義間関連度が示されている。“コンピュータ”と“テレビ”の語義間関連度は０．５５、“コンピュータ”  と“ＶＴＲ”の語義間関連度は０．２５、“テレビ”と“ＶＴＲ”の語義間関連度は０．６０である。
【０１１９】
以上のように予め算出されていた語義間関連度を用いて図１３のステップＦ６２の処理が行われたら、続いて制御部１１は、ステップＦ６３として、カテゴリＣｉに対する文書の文書分類間関連度Ｒｅｌ（Ｃｉ）を
Ｒｅｌ（Ｃｉ）＝ｍ１Ｐ（Ｃｉ）＋ｎ１Ｒ（Ｃｉ）
として算出する。
ここで、係数ｍ１、ｎ１は定数で、それぞれの値の文書分類間関連度への寄与の度合いを表すものである。
制御部１１は、ステップＦ６１で算出した共通集合の数Ｐ（Ｃｉ）およびステップＦ６２で算出した語義間関連度の総和Ｒ（Ｃｉ）を用いて、上記式の演算を行い、文書分類間関連度Ｒｅｌ（Ｃｉ）を算出する。
制御部１１は、このように算出した文書分類間関連度Ｒｅｌ（Ｃｉ）をＲＡＭ１４に記憶させる。
【０１２０】
なお、これらの係数ｍ１、ｎ１の値としては、たとえばｍ１＝１０、ｎ１＝１とすることができる。
また係数ｍ１、ｎ１の値は、統計的手法を使って推定することもできる。すなわち、制御部１１は、複数の係数ｍおよびｎの対について文書分類間関連度Ｒｅｌ（Ｃｉ）が与えられることで、上記係数を最適化により求めることができる。
【０１２１】
ステップＦ６４においては、制御部１１は、カテゴリＣｉに対する文書分類間関連度Ｒｅｌ（Ｃｉ）が最大で、その文書分類間関連度Ｒｅｌ（Ｃｉ）の値がある閾値を越えているとき、そのカテゴリＣｉに文書を分類する。
すなわち制御部１１は、複数のカテゴリに対してそれぞれ文書分類間関連度を作成し、最大の文書分類間関連度が閣値を越えているときには、文書を最大の文書分類間関連度を有する上記カテゴリＣｉに分類する。これにより文書が自動的に所要のカテゴリに分類されることになる。
なお最大の文書分類間関連度が閾値を越えていないときには、文書の分類はおこなわない。
【０１２２】
以上のような図１３の処理として、図１２のステップＦ２３の自動分類が行われたら、ステップＦ２４、Ｆ２５で、それに応じて分類モデルを更新し、登録することで、一連の自動分類が完了する。
即ち文書処理装置１に受信された文書データは、自動的に分類されたことになり、ユーザーは例えば図９の分類ウインドウ２０１において、所要の文書分類エリアにおいて、受信された文書データを確認できることになる。
【０１２３】
５．読み上げ処理
続いて、文書データについての読み上げを行う処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。例えば上述した手動分類処理におけるステップＦ１３の時点や、その他任意の時点において、図９で説明した分類ウインドウ２０１から、閲覧ウインドウ３０１を開くことができる。
【０１２４】
例えば分類ウインドウ２０１において或る文書を選択した状態でブラウザボタン２０２ｂをクリックすることで、後述する図２６のように、文書表示部３０３に選択された文書の本文が表示された閲覧ウインドウ３０１が開かれる。
なお文書表示部３０３に文書全文が表示できないときには、その文書の一部が表示される。
また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。要約文の作成及び表示動作については後述する。
【０１２５】
このように文書処理装置１は、タグ付けされた文書を受信すると、その本文や詳しくは後述する要約文を表示してユーザーに提示できるが、さらに受信した文書を音声でユーザーに提示することもできる。
即ちＣＰＵ１３により、ＲＯＭ１５やＨＤＤ３４に記録されている電子文書処理プログラムのうちの音声読み上げプログラムを起動することで、図１６に示すような一連の工程を経ることによって、文書の読み上げを行うことができる。
まずここでは、簡略化した各工程の説明を行い、その後、具体的な文書例を用いて、各工程の説明を詳細に行う。
【０１２６】
制御部１１の処理として、図１６のステップＦ１０１は、図４のステップＦ１１（又は図１２のステップＦ２１）と同様の文書受信／記憶処理である。上述ののように、受信した文書（タグ付文書）については手動又は自動での分類処理が行われるが、それと同様に、受信した文書について読み上げ処理も実行可能という意味で図１６にステップＦ１０１を記したものである。ここでは特に処理手順として、分類処理と読み上げ処理の順序その他を規定するものではない。
【０１２７】
なお、文書読み上げ処理の対象となる文書（受信文書）には、後述するように、音声合成を行うために必要なタグが付与されていることが必要である。但し、文書処理装置１は、タグ付けされた文章を受信したうえで、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成することもできる。以下では、このようにして受信又は作成されて用意されたタグ付き文書を、タグファイルと記す。
【０１２８】
文書処理装置１の文書読み上げ処理としては続いてステップＦ１０２において、ＣＰＵ１３の制御のもとに、タグファイルに基づいて読み上げ用ファイルを生成する。この読み上げ用ファイルは、後述するように、タグファイル中のタグから、読み上げのための属性情報を導出し、この属性情報を埋め込むことにより生成される。
【０１２９】
続いてステップＦ１０３において文書処理装置１は、ＣＰＵ１３の制御のもとに、読み上げ用ファイルを用いて、音声合成エンジンに適した処理を行う。
なお、この音声合成エンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。音声合成エンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。
本例の文書処理装置１において、読み上げ処理や、後述する要約作成／表示処理、ビデオ出力処理などを実行するために形成される機能ブロック構成については、図４７を用いて最後にまとめて説明するが、上記音声合成エンジンは、その図４７における音声合成エンジン６０１に相当する。
【０１３０】
続いて文書処理装置１はステップＦ１０４において、ユーザが後述するユーザインターフェースを用いて行う操作に応じて処理を行う。
文書処理装置１は、このような処理を行うことによって、与えられた文書を読み上げることができる。これらの各工程について、以下詳細に説明する。
【０１３１】
まず、ステップＦ１０１におけるタグ付けされた文書の受信又は作成について説明する。
文書処理装置１は、例えば通信部２１から文書（音声合成を行うために必要なタグが既に付与されている文書）を受信する。
または、文書処理装置１は、タグ付けされた文書を受信し、その文書に音声合成を行うために必要なタグを新たに付与して文書を作成する。
【０１３２】
説明上の例として、以下のような、日本語、及び英語の文書にタグ付けがなされたタグファイルが、受信又は作成されものとする。
【０１３３】
まずタグファイルの元となる日本語文書は、次のような文書とする。
「［素敵にエイジング］／８ガン転移、抑えられる！？
がんはこの十数年、わが国の死因第一位を占めている。その死亡率は年齢が進むとともに増加傾向にある。高齢者の健康を考えるとき、がんの問題を避けて通れない。
がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、自動車でいえばアクセルに当たり、がんをどんどん増殖する「がん遺伝子」と、ブレーキ役の「がん抑制遺伝子」がある。
双方のバランスが取れていれば問題はない。正常な調節機能が失われ、細胞内でブレーキが利かない変異が起こると、がんの増殖が始まる。高齢者の場合、長い年月の間にこの変異が蓄積し、がん化の条件を備えた細胞の割合が増え、がん多発につながるわけだ。
ところで、もう一つの特徴、転移という性質がなければ、がんはそれほど恐れる必要はない。切除するだけで、完治が可能になるからである。転移を抑制することの重要性がここにある。
この転移、がん細胞が増えるだけでは発生しない。がん細胞が細胞と細胞の間にある蛋白（たんぱく）質などを溶かし、自分の進む道をつくって、血管やリンパ管に入り込む。循環しながら新たな“住み家”を探して潜り込む、といった複雑な動きをすることが、近年解明されつつある。」
【０１３４】
タグファイルの元となる英語の文書の例は次のようなものとする
「During its centennial year, The ABCD Journal will report events of the past century that stand as milestones of American business history. THREE COMPUTERS THAT CHANGED the face of personal computing were Iaunched in 1977. That year the PC A II, PC B and PC C came to market. The computers were crude by today's standerds. PC A ll owners, for example,had to use their television sets as screens and stored data on audiocassettes.」
【０１３５】
文書処理装置１は、このような日本語又は英語の文書についてタグが付された文書を受信すると、分類処理や、後述する図２６、図２７のようにその本文を表示したり、要約文を作成して表示することができる。
【０１３６】
ここで上記の日本語又は英語の文書は、それそれ、図１８又は図１９に示すようなタグファイルとして構成されている。
日本語文書のタグファイルとしては、図１８（ａ）に見出しの部分である「〔素敵にエイジング〕／８ガン転移、抑えられる！？」を抜粋したものを示し、図１８（ｂ）に、文書中の最後の段落である「この転移、がん細胞が・・・・近年解明されつつある。」を抜粋したものを示している。残りの段落については省略してある。
なお、実際のタグファイルは、見出し部分から最後の段落までが１つのファイルとして構成されている。
【０１３７】
図１８（ａ）に示す見出し部分において、＜見出し＞というタグは、この部分が見出しであることを示している。
この図１８（ａ）（ｂ）に示すタグファイルは基本的には、図２を用いて文書データ構造を説明した際に用いたタグファイル例と同様にタグが付されているものであり、上述した各タグについての細かい説明は省略するが、所要各所に、音声合成を行うために必要なタグが付与されているものである。
【０１３８】
音声合成を行うために必要なタグとしては、例えばまず、図中「例１」の部分に示すように、「蛋白（たんぱく）」のように元の文書に読み仮名を示す情報が与えられているときに付与されるものがある。すなわち、この場合では、「たんぱくたんぱく」と重複して読み上げてしまうことを防ぐために、発音＝“null”という読み属性情報が記述されており、「（たんぱく）」の部分読み上げを禁止するタグが付与されている。
また、音声合成を行うために必要なタグとしては、図中「例２」「例３」に示すように、「リンパ管」のような専門用語や「住み家」のように、誤った読み上げを行う可能性のある難訓部分に付与されるものがある。すなわち、この場合では、「りんぱくだ」や「すみいえ」と読み上げてしまうことを防ぐために、それぞれ、発音＝“りんぱかん”、発音＝“すみか”という読み仮名を示す読み属性情報が記述されている。
【０１３９】
一方、図１９に示すタグファイルにおける音声合成を行うために必要なタグとしては、図中「例４」として示す部分のように、「ＩＩ」というローマ数字に対して、発音＝“two”という読み属性情報が記述されている。これは、「ＩＩ」を「トゥ（two）」と読み上げさせたい場合に、「セカンド（second）」と読み上げてしまうことを防ぐために記述されているものである。
【０１４０】
また、例えば文書内に引用文が含まれている場合、このようなタグファイルには、図示しないが、その文が引用文であることを示すタグが付与される。さらに、タグファイルには、例えば文書内に疑問文がある場合、図示しないが、その文が疑問文であることを示すタグが付与される。
【０１４１】
文書処理装置１は、先に図１６に示したステップＦ１０１において、例えば以上の例のように、音声合成を行うために必要なタグが付与された文書を受信又は作成するものとなる。
【０１４２】
つぎに、図１６のステップＦ１０２における読み上げ用ファイルの生成について説明する。
文書処理装置１は、タグファイル中のタグから、読み上げめための属性情報を導出し、この属性情報を埋め込むことによって読み上げ用ファイルを生成する。
具体的には、文書処理装置１は、文書の段落、文、句の先頭を示すタグを見つけ出し、これらのタグに対応して読み上げのための属性情報を埋め込む。また文書処理装置は、文書の要約文を作成した場合には、その要約文に含まれる部分の先頭を文書から見つけ出し、読み上げの際に音量を増大させる属性情報を埋め込み、要約文に含まれる部分であることを強調することなどもできる。
【０１４３】
文書処理装置１は、図１８又は図１９に示したタグファイルから図２０又は図２１に示すような読み上げ用ファイルを生成する。なお、図２０（ａ）（ｂ）は図１８（ａ）（ｂ）に示した部分に対応するものである。実際の読み上げ用ファイルは、上述した見出し部分から最後の段落までが１つのファイルとして構成されていることは勿論である。
【０１４４】
図２０に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang***という属性情報が埋め込まれている。この属性情報は、文書を記述している言語を示す。ここでは、Com=Lang=JPNという属性情報であり、文書を記述している言語が日本語であることを示している。文書処理装置においては、この属性情報を参照することで、文書毎に言語に応じた適切な音声合成エンジンを選択することができる。
【０１４５】
また、この読み上げ用ファイルには各所に、Com=begin_p、Com=begin_s、Com=begin_phという属性情報が埋め込まれている。これらの属性情報は、それぞれ、文書の段落、文及び句の先頭を示す。文書処理装置１は、上述したタグファイル中のタグに基づいて、これらの段落、文及び句の先頭を識別する。
なお、読み上げ用ファイルにおいて、例えば上述したタグファイル中の＜形容動詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分に対しては、それぞれに対応する数のCom=begin_phが埋め込まれずに、まとめられて１つのCom=begin_phが埋め込まれる。
【０１４６】
さらに、読み上げ用ファイルには、Com=begin_p、Com=begin_s、及びCom=begin_phに対応して、それぞれ、Pau=500、Pau=100及びPau=50という属性情報が埋め込まれている。これらの属性情報は、それぞれ、読み上げの際に５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けることを示す。
すなわち文書処理装置１が、文章の段落、文及び句の先頭こおいて、それぞれ、５００ミリ秒、１００ミリ秒及び５０ミリ秒の休止期間を設けて文書を音声合成エンジンにより読み上げるようにするための情報である。
なお、これらの属性情報は、Com=begin_p、Com=begin_s及びCom=begin_phに対応して埋め込まれる。そのため、例えばタグファイル中の＜副詞句＞＜名詞句＞のように、同じレベルの統語構造を表すタグが連続して表れる部分は、１つの句として捉えられ、それぞれに対応する数のPau=50が埋め込まれずに、まとめられて１つのPau=50が埋め込まれる。
また、例えばタグファイル中の＜段落＞＜文＞＜名詞句＞のように、異なるレベルの統語構造を表すタグが連続して表れる部分については、それぞれに対応するPau=***が埋め込まれる。そのため文書処理装置１は、このような部分を読み上げる際には、例えば文書の段落、文及び句のそれぞれの休止期間を加算して得られる６５０ミリ秒の休止期間を設けて読み上げるようにする。
このように、文書処理装置１は、段落、文及び句に対応した休止期間を設けることで、段落、文及び句の切れ目を考慮した違和感のない読み上げを行うことができる。なお、この休止期間は、文書の段落、文及び句の先頭において、それぞれ、６００ミリ秒、１００ミリ秒及び５０ミリ秒である必要はなく、適宜変更することができる。
【０１４７】
さらにまた、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“null”という読み属性情報に対応して、「（たんぱく）」が除かれているとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に対応して、「リンパ管」、「住み家」が、それぞれ、「りんぱかん」、「すみか」に置換されている。文書処理装置１は、このような読み属性情報を埋め込むことで、音声合成エンジンが参照する辞書の不備による読み誤りをすることがないようにしている。
【０１４８】
また、読み上げ用ファイルには、文書内に含まれた引用文であることを示すタグに基づいて、この引用文のみを別の音声合成エンジンを用いるように指定するための属性情報が埋め込まれてもよい。
さらに、読み上げ用ファイルには、疑問文であることを示すタグに基づいて、その文の語尾のイントネーションを上げるための属性情報が埋め込まれるようにしてもよい。
さらにまた、読み上げ用ファイルには、必要に応じて、いわゆる「である調」の文体を「ですます調」の文体に変換するための属性情報を埋め込むこともできる。なお、この場合、文書処理装置１は、このような属性情報を読み上げ用ファイルに埋め込むのではなく、「である調」の文体を「ですます調」の文体に変換して音声読み上げ用ファイルを生成するようにしてもよい。
【０１４９】
一方、図２１に示す読み上げ用ファイルには、文書の先頭に対応してCom=Lang=ENGという属性情報が埋め込まれており、文書を記述している言語が英語であることを示している。
また、読み上げ用ファイルには、Com=Vol=***という属性情報が埋め込まれている。この属性情報は、読み上げの時の音量を示す。例えば、Com=Vol=0は、文書処理装置のデフォルトの音量で読み上げることを示している。また、Com=Vol=80は、デフォルトの音量を８０％増量した音量で読み上げることを示している。任意の、Com=Vol=***は、次のCom=Vol=***まで有効である。
さらに、読み上げ用ファイルにおいては、タグファイル中で記述されている発音＝“two”という読み属性情報に対応して、「ＩＩ」が「two」に置換されている。
【０１５０】
文書処理装置１は、図１７に示す一連の工程を経ることによって、このような読み上げ用ファイルを生成する。
まず文書処理装置１は、ステップＦ２０１において、ＣＰＵ１３によって、受信又は作成したタグファイルを解析する。ここで文書処理装置１は、文書を記述している言語を判別するとともに、文書の段落、文及び句の先頭や、読み属性情報をタグに基づいて探し出す。
続いて文書処理装置１は、ステップＦ２０２において、ＣＰＵ１３によって、文書を記述している言語に応じて文書の先頭にCom=Lang=***という属性情報を埋め込む。
【０１５１】
次に文書処理装置１は、ステップＦ２０３において、ＣＰＵ１３によって、文書の段落、文及び句の先頭を読み上げ用ファイルにおける属性情報に置換する。すなわち文書処理装置１は、タグファイル中の＜段落＞、＜文＞及び＜＊＊＊句＞を、それぞれ、Com=begin_p、Com=begin_s及びCom=begin_phに置換する。
【０１５２】
さらに文書処理装置１は、ステップＦ２０４において、ＣＰＵ１３によって、同じレベルの統語構造が表れて同じCom=begin_***が重複しているものを、１つのCom=begin_***にまとめる。
続いて文書処理装置１は、ステップＦ２０５において、ＣＰＵ１３によって、Com=begin_***に対応してPau=***を埋め込む。すなわち文書処理装置１は、Com=begin_pの前にPau=500を埋め込み、Com=begin_sの前にPau=100を埋め込み、Com=begin_phの前にPau=50を埋め込む。
そして文書処理装置１は、ステップＦ２０６において、ＣＰＵ１３によって、読み属性情報に基づいて、正しい読みに置換する。すなわち文書処理装置１は、発音＝“null”という読み属性情報に基づいて、「（たんぱく）」を除去するとともに、発音＝“りんぱかん”、発音＝“すみか”という読み属性情報に基づいて、「リンパ管」、「住み家」を、それぞれ、「りんぱかん」、「すみか」に置換する。
【０１５３】
文書処理装置１は、先に図１６に示したステップＦ１０２において、この図１７に示す処理を行うことによって、読み上げ用ファイルを自動的に生成する。文書処理装置１は、生成した読み上げ用ファイルをＲＡＭ１４に記憶させる。
【０１５４】
つぎに、図１６のステップＦ１０３における読み上げ用ファイルを用いた処理について説明する。
文書処理装置１は、読み上げ用ファイルを用いて、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている音声合成エンジンに適した処理をＣＰＵ１３の制御のもとに行う。
具体的には、文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=Lang=***という属性情報に基づいて、使用する音声合成エンジンを選択する。
音声合成エンジンは、言語や男声／女声等の種類に応じて識別子が付されており、その情報が例えば初期設定ファイルとしてＨＤＤ３４に記録されている。文書処理装置１は、初期設定ファイルを参照し、言語に対応した識別子の音声合成エンジンを選択する。    
【０１５５】
また文書処理装置１は、読み上げ用ファイルに埋め込まれているCom=begin_***を音声合成エンジンに適した形式に変換する。
例えば文書処理装置１は、Com=begin_phをMark=10000のように１００００番台の番号でマーク付けする。またCom=begin_sをMark=1000のように１０００番台の番号でマーク付けし、Com=begin_pをMark=100のように１００番台の番号でマーク付けする。
これは、＜句＞、＜文＞、＜段落＞の先頭が、それぞれ１００００番台、１０００番台、１００番台の番号で示されることを意味し、このマークによって＜句＞、＜文＞、＜段落＞の先頭が識別できるようになる。
さらに、読み上げ用ファイルにおいては、音量の属性情報がVoll=***のようにデフォルトの音量の百分率で表されていることから、文書処理装置１は、この属性情報に基づいて、百分率の情報を絶対値の情報に変換して求める。
【０１５６】
文書処理装置１は、先に図１６に示したステップＦ１０３において、このような読み上げ用ファイルを用いた処理を行うことによって、読み上げ用ファイルを音声合成エンジンが文書を読み上げることが可能な形式に変換するものとなる。
【０１５７】
つぎに、図１６のステップＦ１０４におけるユーザインターフェースを用いた操作について説明する。
文書処理装置１は、ユーザが例えば入力部２０のマウス等を操作して、先に図１０に示した読み上げボタン３０６ｃをクリックすることによって、音声合成エンジンを起動する。
そして文書処理装置１は、図２２に示すようなユーザインターフェース用の読み上げウインドウ４０１を表示部３０に表示する。
【０１５８】
この読み上げウインドウ４０１は、図示するように、文書を読み上げさせるための再生ボタン４２０と、読み上げを停止させるための停止ボタン４２１と、読み上げを一時停止させるための一時停止ボタン４２２とを有する。
また、この読み上げウインドウ４０１は、文単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１１、早戻しボタン４１２及び早送りボタン４１３と、段落単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１４、早戻しボタン４１５及び早送りボタン４１６と、句単位で頭出し、早戻し及び早送りさせるための頭出しボタン４１７、早戻しボタン４１８及び早送りボタン４１９とを有する。
【０１５９】
さらに、読み上げウインドウ４０１は、読み上げる対象を全文とするか、上述したようにして作成された要約文とするかを選択するための選択スイッチ４２３，４２４を有する。
また、読み上げ時に画像を表示する画像表示エリア４０３が設定され、読み上げている人のイメージを表示したり、テロップ表示エリア４０２が設けられ、読み上げ音声に対応して文字がテロップ表示できるようにされている。
【０１６０】
なお、ここでは図示しないが、例えば、音声を増減させるためのボタンや読み上げの速さを増減させるためのボタン、男声／女声等の声を変化させるためのボタン等を有していてもよい。
【０１６１】
文書処理装置１は、ユーザがこれらの各種ボタン／スイッチを例えば入力部２０のマウス等を操作してクリック／選択することに応じて、音声合成エンジンによる読み上げ動作を行う。
例えば、文書処理装置１は、ユーザが再生ボタン４２０をクリックすることによって、文書の読み上げを開始する。具体的には制御部１１は音声合成処理により生成した音声信号を音声出力部３３に供給し、音声として出力する。
また文書処理装置１は、停止ボタン４２１、一時停止ボタン４２２のクリックにおいて、読み上げ処理の停止や一時停止を行う。
【０１６２】
また、読み上げの途中でユーザが頭出しボタン４１１を押すことによって、現在読み上げている文の先頭にジャンプして再び読み上げる。頭出しボタン４１４、４１７についても同様に、それぞれ現在読み上げている段落や句の先頭にジャンプして再び読み上げを行う。
制御部１１は、この頭出しボタン４１１、４１４、４１７の操作に関しては、上記したマーク付により、ジャンプ先を認識するものとなる。即ち、文に関する頭出しボタン４１１が操作された際には、制御部１１は、現在読み上げている文の途中位置から文を遡っていき、１０００番台のマークをサーチする。そして１０００番台のマークが検出されたら、そこから読み上げを再開するものとなる。段落や句の場合は、それぞれ１００番台、１００００番台のマークを探して読み上げを再開するものとなる。
この様な処理によって、例えば文書中でユーザが所望の部分を繰り返し再生させたいといった要求に応えることができる。
【０１６３】
文書処理装置１は、図１６のステップＦ１０４において、ユーザがこのような読み上げウインドウ４０１でのユーザインターフェースを用いた操作を行うことに応じて、音声合成エンジンにより文書を読み上げる。
このようにして文書処理装置１は、所望の文書を音声合成エンジンにより違和感なく読み上げることができる。
【０１６４】
ところで読み上げる対象の文書としては文書データの本文でもよいし、後述するように生成される要約文であってもよい。本文か要約文かは、選択スイッチ４２３，４２４のクリックにより選択されるが、いずれにしても、本文又は要約文としてのタグファイルについて、図１６のステップＦ１０２，Ｆ１０３の処理が行われることで、音声合成エンジンによる文書読み上げが可能となる。
【０１６５】
なお本例では、受信又は作成したタグファイルから読み上げ用ファイルを生成するものとしたが、このような読み上げ用ファイルを生成せずに、タグファイルに基づいて直接読み上げを行うようにしてもよい。
この場合、文書処理装置１は、タグファイルを受信又は作成した後、音声合成エンジンを用い、タグファイルに付与されている段落、文及び句を示すタグに基づいて、段落、文及び句の先頭に所定の休止期間を設けて読み上げる。このようにすることによって、文書処理装置１は、音声読み上げ用ファイルを生成することなく、タグファイルに基づいて直接読み上げることができる。
【０１６６】
６．要約作成／表示処理
続いて、文書データについての要約文を作成する処理について述べる。
上述したようにユーザーは、文書を選択して図１０のような閲覧ウインドウ３０１を開くことにより、文書の本文を閲覧することができる。
そして閲覧ウインドウ３０１においては、選択された文書の本文及び要約文が表示される。
但し、また要約文が作成されていない時点では、図２６のように要約表示部３０４は空白とされる。
【０１６７】
この閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされると、文書表示部３０３に表示されている文書についての要約文が作成され、図２７に示すように要約表示部３０４に表示される。
つまり制御部１１は、ソフトウエアもしくはハードウエアで構成される要約作成エンジン（図４７で後述）を起動させることにより、ユーザーの要約作成操作に応じて、以下説明するような要約文作成処理を行い、作成後、それを表示する制御を行うものとなる。
文書から要約を作成する処理は、文書のタグ付けによる内部構造に基づいて実行される。
【０１６８】
なお要約文は、通常は、要約表示部３０４のサイズに応じて生成される。そして本文表示部３０３と要約表示部３０４の面積は、ユーザーが仕切枠３１２を移動させることで変化させることができる。
つまり要約文は、要約作成が指示された時点での要約表示部３０４のサイズに応じたサイズ（文書長）で作成されることになる。
例えば図２６では要約表示部３０４は非常に狭いものとなっているが、ユーザーが仕切枠３１２を移動させて要約表示部３０４を広くした上で、要約作成を指示することで、例えば図２７のように広げられた要約表示部３０４に、そのエリアサイズに合った文書長の要約文が作成され、表示されるものとなる。
【０１６９】
但し、例えば図２６のように要約表示部３０４が非常に狭い場合に、そのサイズに応じた要約文を作成するとすると、その要約文は不十分な内容となってしまうことが多い。つまり十分な文書長で要約文を作成できないため、実質的に要約としての機能を果たさない文章となってしまう。
そこで本例では、要約表示部３０４としてのウインドウサイズ（ウインドウ内に表示可能な文書長）が所定値以下、例えば図２６のような画面上での行数でいうと１〜２行程度未満の場合などには、要約表示部３０４のサイズを越える文書長の要約文を作成するようにし、ソフトウエアもしくはハードウエアで構成されるテロップ作成エンジン（図４７で後述）により、それをテロップ化して表示するようにしている。
【０１７０】
以下、このようなテロップ表示を含む、本例の要約文の作成及び表示動作について説明していく。
【０１７１】
閲覧ウインドウ３０１上で要約作成ボタン３０６ａがクリックされることにより、制御部１１（要約作成エンジン）によって図２３の要約作成処理が開始される。なお図２３の要約作成処理が終了すると、続いて図２４の要約文表示処理が実行され、また場合によっては、その要約文表示処理中で図２５のテロップ表示処理が行われるものとなる。
【０１７２】
図２３の要約作成処理としては、まずステップＦ８１として制御部１１は活性拡散を行う。本例においては、活性拡散により得られた中心活性値を重要度として採用することにより、文書の要約を行うものである。すなわち、タグ付けによる内部構造を与えられた文書においては、活性拡散を行うことにより、各エレメントにタグ付けによる内部構造に応じた中心活性値を付与することができる。
ステップＦ８１で行う活性拡散処理は、図６〜図８で説明したものと同様の処理となるが、上述したように活性拡散は、中心活性値の高いエレメントと関わりのあるエレメントにも高い中心活性値を与えるような処理である。すなわち、活性拡散は、照応（共参照）表現とその先行詞の間で中心活性値が等しくなり、それ以外では中心活性値が減衰するような中心活性値についての演算である。この中心活性値は、タグ付けによる内部構造に応じて決定されるので、タグ付けによる内部構造を考慮した文書の分析に利用することができる。
【０１７３】
次にステップＦ８２で、その時点の要約表示部３０４のサイズｗｓｙを確認し、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であるか否かを確認する。
この所定サイズｗｓｔｈとは、通常、要約文としては十分な文書長（文字数）を表示できるウインドウサイズとして設定されているものである。所定サイズｗｓｔｈとしての具体的な値は、システム設計上、適切な値が決められるものとなる。
【０１７４】
まず、要約表示部サイズｗｓｙが予め設定されている所定サイズｗｓｔｈ以上であった場合について説明していく。これは要約表示部サイズｗｓｙに応じた要約文が作成される場合の処理となる。
この場合、制御部１１の処理は、ステップＦ８３に進み、制御部１１は、その時点で表示部３０に表示されている閲覧ウィンドウ３０１の要約表示部３０４のサイズｗｓｙ（具体的にはこの要約表示部３０４に表示可能な最大文字数）を変数（最大文字数）ｗｓと設定する。
また制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。
【０１７５】
次にステップＦ８５に進み、制御部１１は、文の骨格の抽出処理をカウントするカウンタのカウント値ｉを「１」に設定する。
そしてステップＦ８６で制御部１１は、カウンタのカウント値ｉに基づいて、文章からｉ番目に平均中心活性値の高い文の骨格を抽出する。
平均中心活性値とは、一つの文を構成する各エレメントの中心活性値を平均したものである。
制御部１１は、たとえばＲＡＭ１４に記録した文字列ｓ（ｉ−１）を読み出し、この文字列ｓ（ｉ−１）に対して、抽出した文の骨格の文字列を加えて、Ｓ（ｉ）とする。そして制御部１１は、このようにして得た文字列ｓ（ｉ）をＲＡＭ１４に記録する。
初回は、文字列ｓ（ｉ−１）は初期値ｓ（０）であるので、今回抽出した文の骨格が文字列Ｓ（ｉ）としてＲＡＭ１４に記憶されることになる。
また以降においてステップＦ８４の処理が行われる場合は、抽出された文の骨格が文字列Ｓ（ｉ）に、それまでの文字列Ｓ（ｉ）（つまりその時点では文字列Ｓ（ｉ−１））に追加されていくものとなる。
また同時に、制御部１１はこのステップＦ８４において、上記文の骨格に含まれないエレメントの中心活性値順のリストＬ（ｉ）を作成し、このリストＬ（ｉ）をＲＡＭ１４に記録する。
【０１７６】
すなわち、このステップＦ８６においては、要約のアルゴリズムは、活性拡散の結果を用いて、平均中心活性値の大きい順に文を選択し、選択された文の骨格の抽出する。文の骨格は、文から抽出した必須要素により構成される。必須要素になりうるのは、エレメントの主辞（head）と、主語（subject）、目的語（object）、間接目的語（indirect object）、所有者（possessor）、原因（cause）、条件（condition）または比較（comparison）の関係属性を有する要素と、等位構造が必須要素のときにはそれに直接含まれるエレメントとが必須要素を構成するものである。そして、文の必須要素をつなげて文の骨格を生成し、要約に加える。
【０１７７】
ステップＦ８７では制御部１１は、文字列ｓ（ｉ）の長さが、閲覧ウィンドウ３０１の要約表示部１０４の最大文字数ｗｓより大きいか否かを判断する。
このステップＦ８７は、要約表示部３０４のサイズに応じた要約文を作成するための判断処理となる。
【０１７８】
制御部１１は、文字列ｓ（ｉ）の長さが最大文字数ｗｓに達していないときは、処理をステップＦ８８に進める。
ステップＦ８８では制御部１１は、文書中で、（ｉ＋１）番目に平均中心活性値が高い文のエレメントの中心活性値と、上記ステップＦ８６で作成したリストＬ（ｉ）の最も中心活性値が高いエレメントの中心活性値を比較する。
つまり、上記ステップＦ８６において要約として採用された文の次に平均中心活性値が高い文（即ち次に要約文に付加する候補となる文）と、ステップＦ８６において要約として採用された文の中で骨格ではないとして要約からは排除されたエレメントの中心活性値を比較する。
【０１７９】
このステップＦ８８の処理は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶか、或いは他の文から選ぶかを判断する処理となる。
【０１８０】
（ｉ＋１）番目に平均中心活性値が高い文におけるエレメントの中心活性値よりも、リストＬ（ｉ）における最も高い中心活性値の方が、中心活性値が高い値であった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文において骨格として採用されなかったものから選ぶようにする。
このため制御部１１の処理はステップＦ９０に進み、リストＬ（ｉ）における最も中心活性値が高いエレメントを、その時点で記憶されている文字列Ｓ（ｉ）に加え、文字列ＳＳ（ｉ）とする。
またこのとき、文字列ＳＳ（ｉ）に加えたエレメントをリストＬ（ｉ）から削除する。
そして、ステップＦ９１において、文字列ＳＳ（ｉ）が、最大文字数ｗｓより大きいか否かを判断し、大きくなければステップＦ８８に戻る。
【０１８１】
ステップＦ８８において、（ｉ＋１）番目に平均中心活性値が高い文のエレメントとして、リストＬ（ｉ）における最も高い中心活性値よりも中心活性値が高いエレメントがあった場合は、要約文としての文字列に次に加える部位を、その直前のステップＦ８６で採用した文とは別の文から選ぶこととしてステップＦ８９でカウント値ｉをインクリメントしてステップＦ８６に戻ることになる。
つまりステップＦ８８で、（ｉ＋１）番目に平均中心活性値が高い文とされた文について、ステップＦ８６で骨格を抽出し、それを文字列Ｓ（ｉ）に加えるようにする。
【０１８２】
以上のように、ステップＦ８６又はステップＦ９０で文の骨格となるエレメントやその他のエレメントとして、中心活性値の高いものを基準として文字列に加えていきながら、ステップＦ８７又はステップＦ９１で、文字列Ｓ（ｉ）又はＳＳ（ｉ）を最大文字数ｗｓと比較していくことで、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列を作成していくことになる。
【０１８３】
例えばステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９２に進み、直前のステップＦ８６で骨格を加える前の文字列Ｓ（ｉ−１）を、要約文とする。
つまり、これはステップＦ８６で文の骨格を加えたことにより、最大文字数ｗｓを越えてしまったことになるため、その骨格を加える前の文字列Ｓ（ｉ−１）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。
【０１８４】
なお、このため初めてステップＦ８６で文字列Ｓ（ｉ）を生成した時点（ｉ＝１の時点）で、ステップＦ８７で、文字列Ｓ（ｉ）が最大文字数ｗｓを越えた場合は、文字列Ｓ（ｉ−１）は、ステップＦ８３で設定した初期値としての文字列Ｓ（０）となるため、実質的に要約文は作成できなかったことになる。
これは、要約表示部３０４のサイズが小さすぎたことに起因するため、ユーザーは画面上で要約表示部３０４の面積を広げた上で、再度、要約作成ボタン３０６ａをクリックして、図２３の処理が開始されるようにすればよい。
但し、本例の場合、ステップＦ８２において要約表示部３０４のサイズが小さすぎる場合が判別され、そのような場合は後述するように、要約表示部３０４のサイズで表示可能な文書長より長い文書長の要約文が作成される処理となるため、実質的に要約文が作成できなくなる事態は、ほとんど発生しない。
【０１８５】
ステップＦ８７で文字列Ｓ（ｉ）が最大文字数ｗｓを越えていない場合は、上述のように制御部１１の処理はステップＦ８８に進み、次に文字列に加える部分を判断することになる。
そして上記のようにステップＦ９１に進んだ場合は、文字列ＳＳ（ｉ）が最大文字数ｗｓを越えたか否かを判別する。
ここで文字列ＳＳ（ｉ）が最大文字数ｗｓを越えた場合は、制御部１１の処理はステップＦ９３に進み、直前のステップＦ９０で或るエレメントを加える前の文字列Ｓ（ｉ）を、要約文とすることになる。
つまり、これはステップＦ９０でエレメントを加えたことにより、最大文字数ｗｓを越えてしまったことになるため、そのエレメントを加える前の文字列Ｓ（ｉ）が、最大文字数ｗｓに近いが最大文字数ｗｓを越えない文字列であると判断して、それを要約文とするものである。
【０１８６】
以上の処理説明は、ステップＦ８２→Ｆ８３→Ｆ８５と進んだ場合として説明した。従って、図２３の処理を終えた時点で、要約表示部３０４のサイズに適合した文書長の要約文が作成されたことになる。そしてその要約文の内容は、平均中心活性値の高い１又は複数の文の骨格、及び骨格以外の中心活性値の高いエレメントが用いられたものとなる。
この様に作成された要約文は、ＲＡＭ１４に記憶されるとともに、図２７のように要約表示部３０４に、その要約文全体が固定的に表示される。
【０１８７】
つまり、図２３の要約作成処理が終了されると続いて制御部１１の処理は図２４の要約文表示処理に進む。要約文表示処理としては、まずステップＦ９４で、要約表示部３０４のサイズｗｓｙがその時点での最大文字数ｗｓと一致しているか否かを確認する。つまり直前の要約作成処理で用いられていた最大文字数ｗｓは、ステップＦ８３で要約表示部３０４のサイズｗｓｙが代入されたものであるか否かを判別する。
ｗｓｙ＝ｗｓの場合とは、上記の処理により、その時点の要約表示部３０４のサイズに適合した要約文が作成された場合である。そこでその場合は、ステップＦ９６に進み、作成された要約文を要約表示部３０４に表示させる。
これにより、図２７のように要約文全体が固定表示される。つまり、ユーザーが予め要約表示部３０４のサイズを任意に設定した上で要約作成を指示することで、要約表示部３０４のサイズに応じた文書長の要約が固定的に（つまりテロップ化として切り換えや移動なしに）表示されることになる。
【０１８８】
なお、表示された要約文を見てユーザーがより詳しい要約文を見たいと思った場合、或いはより短い要約文を見たいと思った場合は、閲覧ウインドウ３０１の要約表示部３０４のサイズ（面積）を増減した上で、再度要約作成ボタン３０６ａをクリックすればよい。
すると、要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ以上である限りは、図２３の上述した処理により、その時点の要約表示部３０４のサイズに応じた文書長の要約書が作成され、表示されることになる。
【０１８９】
ところで、例えば図２６のように要約表示部３０４が非常に小さいサイズとされている状態でユーザーが要約作成ボタン３０６ａをクリックし、図２３の要約作成処理が開始された場合などで、ステップＦ８２において要約表示部３０４のサイズｗｓｙが、所定サイズｗｓｔｈ未満であると判断された場合は、以下のような処理が行われることとなる。
【０１９０】
この場合は制御部１１の処理はステップＦ８４に進み、最大文字数ｗｓとして、予め設定された固定値ｗｓｆｉｘを代入する。この固定値ｗｓｆｉｘとは、要約文として最低限必要であるとして設定された文字数に相当する値であり、システム設計上、適切な値が設定される。例えばｗｓｆｉｘ＝ｗｓｔｈとしてもよい。
さらに、固定値ｗｓｆｉｘ＝（ｗｓｆｉｘ−ｉ）×Ｖとし、固定値初期値ｗｓｆｉｘ−ｉを保持するとともに、係数Ｖの値をユーザーが任意に入力できるようにすることで、固定値ｗｓｆｉｘをユーザーが任意に設定できるようにしてもよい。
【０１９１】
また、制御部１１は、要約の文字列（要約文を保持する内部レジスタ）ｓを初期化して初期値ｓ（０）＝””と設定する。制御部１１は、このように設定した、最大文字数ｗｓおよび文字列ｓの初期値ｓ（０）を、ＲＡＭ１４に記録する。
【０１９２】
続いて制御部１１はステップＦ８５で変数ｉ＝１とした後、ステップＦ８６以降の処理に進むが、これは上述したとおりとなるため重複説明は避ける。
即ちこの場合も、最大文字数ｗｓを越えない範囲で、最大文字数ｗｓに最も近い文字数としての要約文を作成していくことになる。但しこの場合は、最大文字数ｗｓ＝ｗｓｆｉｘとされているため、その時点の要約表示部３０４のサイズに応じた文字数とはならず、実際には要約表示部３０４での表示可能な文字数を越える文字数（文書長）の要約文が生成されることになる。
【０１９３】
ステップＦ８６〜Ｆ９３の処理により要約文が作成されたら、制御部１１は図２４の要約文表示処理を実行する。
そしてこの場合は最大文字数ｗｓは要約表示部サイズｗｓｙではないため、ステップＦ９４からＦ９５に進み、テロップ作成エンジンを用いて、生成した要約文をテロップ化して表示していく処理を行うことになる。
【０１９４】
このステップＦ９５のテロップ表示処理の例を図２５に詳しく示す。
まず制御部１１（テロップ作成エンジン）はステップＦ５０１で変数ｎ＝１とセットする。そしてステップＦ５０２で、生成した要約文から第ｎの文を抽出する。従ってまず要約文を構成している第１の文が抽出される。
【０１９５】
次にステップＦ５０３で、抽出した文の文長Ｌｓ（語数）が、要約表示部サイズｗｓｙを越えているか否かを判別する。
例えば要約文を構成している１又は複数の文のうちの第１の文が、その時点の要約表示部サイズｗｓｙにおいて表示可能な語数以下であったとすると、制御部１１の処理はステップＦ５０４に進む。そして、文長Ｌｓに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。
【０１９６】
続いてステップＦ５０５で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５０６で、その第１の文を要約表示部３０４に表示させる。このとき、文長Ｌｓは要約表示部サイズｗｓｙ以下であるため、その第１の文の全体が、テロップとして要約表示部３０４に表示される。
この表示動作中には、制御部１１はステップＦ５０７でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１５に進む。そして、ステップＦ５１５で要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第２の文を抽出することになる。
【０１９７】
続いて制御部１１は、第２の文についてステップＦ５０３の判別を行うが、ここで、第２の文の文長が要約表示部サイズｗｓｙを越えていたとすると（つまり一度に文全体を表示できない場合）、制御部１１の処理はステップＦ５０８に進み、要約表示部に表示可能な文長Ｌｗｓｙに所定の係数ｋを乗算して、テロップ表示時間Ｔ１を算出する。
続いてステップＦ５０９で制御部１１は内部タイマのカウントをスタートさせるとともに、ステップＦ５１０で、その第２の文をテロップとして要約表示部３０４に表示させる。但し、このとき、文長Ｌｓは要約表示部サイズｗｓｙを越えているため、表示可能な先頭部分のみを表示することになる。つまり第２の文のうちの、先頭から文長Ｌｗｓｙに相当する部分を表示する。
この表示動作中には、制御部１１はステップＦ５１１でタイムカウント値を監視しており、タイマによりＴ１時間が計数された時点で、ステップＦ５１２に進む。
【０１９８】
ステップＦ５１２では、表示されている文を、１文字分スクロールさせる。そしてステップＦ３１３でＴ２時間待機する。そして、ステップＦ５１４で第２の分の最後の文字までが表示されたか否かを判断し、まだ最後の文字まで達していなければ、ステップＦ５１２に戻って１文字分スクロールさせる。
待機時間としてのＴ２時間は、スクロールタイミングを規定する時間となり、これもシステム設計上設定される値となるが、例えば０．５〜１秒程度とすると、適切な速度で、文がスクロールされていくことになる。
【０１９９】
このようなステップＦ５０８〜Ｆ５１４の処理により、要約表示部３０４に表示しきれない文については、まず先頭部分がＴ１時間表示された後、Ｔ２時間毎に１文字づつ表示がスクロールされていき、その文の最後の文字に至るまで表示されることになる。
【０２００】
スクロールにより文の最後の文字までが表示されたら、制御部１１の処理はステップＦ５１４からＦ５１５に進み、要約文の最後の文の表示までが完了したか否かを判断し、完了していなければステップＦ５１６で変数ｎをインクリメントしたうえでステップＦ５０２に戻る。従って、次に要約文を構成している文のうちの第３の文を抽出することになる。
そして第３の文について、ステップＦ５０４〜Ｆ５０７、もしくはステップＦ５０８〜Ｆ５１４の処理によりテロップ表示を実行する。
【０２０１】
ステップＦ５１５で、要約文を構成する全ての文について表示を終了したと判断すると、処理はステップＦ５１７に進み、要約文の先頭部分を表示する。即ち要約表示部サイズｗｓｙにおいて表示可能な先頭部分を表示する状態とする。またステップＦ５１８で、後述するスクロールバー３０７を表示して、テロップ表示処理を終了する。
【０２０２】
以上のようなテロップ表示処理で実現される表示動作は、次のようになる。
例えば図２６のように要約表示部３０４が非常に狭くされた状態の閲覧ウインドウ３０１において要約作成ボタン３０６ａがクリックされ、要約文が作成されるとする。
このとき、上述の図２３の処理で要約表示部３０４での表示可能な文書長よりも長い要約文が作成される。
【０２０３】
例えば図２６において本文表示部３０３に表示されている本文に対して、次のような要約文が生成されたとする。
「［素敵にエイジング］／８ガン転移、抑えられる！？がんを特徴づけるのは、細胞増殖と転移である。人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキが利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。転移、がん細胞が増えるだけでは発生しない。がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。」
【０２０４】
このような要約文は、次のように［１］〜［７］の７つの文から構成されているが、上述した本例のテロップ表示処理では、文単位でテロップ化する。
［１］［素敵にエイジング］／８ガン転移、抑えられる！？
［２］がんを特徴づけるのは、細胞増殖と転移である。
［３］人間の細胞には、「がん遺伝子」と、「がん抑制遺伝子」がある。
［４］高齢者の場合、長い年月の間に正常な調節機能が失われ、細胞内でブレーキ    が利かない変異が蓄積し、細胞の割合が増え、がん多発につながるわけだ。
［５］転移、がん細胞が増えるだけでは発生しない。
［６］がん細胞が蛋白質などを溶かし、道をつくって、血管やリンパ管に入り込む。
［７］がんの診断、治療の面から（ｎｍ２３）の期待が集まっている。
【０２０５】
図２５の処理により、まず最初に第１の文［１］が抽出され、図２８のように要約表示部３０４に表示される。
この図２５の状態以降の要約表示部３０４のテロップ表示状態を図２９（ａ）〜（ｊ）で説明していく。
【０２０６】
図２８の文［１］は、文長Ｌｓ≦ｗｓｙである（文全体を表示可能である）ため、図２５のステップＦ５０４〜Ｆ５０７の処理で、図２９（ａ）の表示状態が、文長に応じて算出されたＴ１時間継続される。
続いて文［２］、［３］も文長Ｌｓ≦ｗｓｙとなるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｂ）（ｃ）の表示が実行される。
【０２０７】
次の文［４］は、文長Ｌｓ＞ｗｓｙである（文全体を表示不能である）ため、図２５のステップＦ５０８〜Ｆ５１４の処理が行われる。
即ちまず図２９（ｄ）のように文の先頭部分が、算出されたＴ１時間表示された後、Ｔ２時間毎に、図２９（ｅ）→（ｆ）のように、表示が１文字づつスクロールされる。
その後同様にスクロールが進み、図２９（ｇ）の状態となることで、文［４］の表示が完了することになる。
【０２０８】
続いて文［５］、［６］、［７］がそれぞれ順次抽出され、これらは文長Ｌｓ≦ｗｓｙであるため、それぞれステップＦ５０４〜Ｆ５０７の処理で、文長に応じて算出されたＴ１時間づつ、図２９（ｈ）（ｉ）（ｊ）の表示が実行される。
【０２０９】
以上のように各文毎にテロップとして順次表示され、また文長が長くて表示しきれない場合は、その表示しきれなかった部分がスクロールにより表示される。
そして、要約文を構成する全文のテロップ表示を完了したら、図２５のステップＦ５１７、Ｆ５１８として、図３０に示すように要約文の先頭部分が表示されるとともに、スクロールバー３０７が表示される。
即ち、上記テロップ表示により、要約文全体をユーザーに提示した後は、スクロールバー３０７を用意することで、その後ユーザーが、要約表示部３０４上の文字を任意にスクロールさせて、要約文内容を確認できるようにするものである。
【０２１０】
本例の要約文の作成及び表示は以上のように実行されるが、これによりユーザーにとって好適な要約提示が可能となる。
まず、ユーザーは、要約表示部３０４のサイズを任意に設定することで、生成される要約文の文書長を設定できる。
つまり詳しい要約文を見たいときには要約表示部３０４を広くしてから要約作成ボタン３０６ａをクリックし、一方、簡単な内容の要約文を見たいときには要約表示部３０４を狭くしてから要約作成ボタン３０６ａをクリックすればよい。それにより、ユーザーの望むサイズの要約文が生成され、テロップではなく固定表示される。
【０２１１】
また、もしユーザーが要約表示部３０４を狭くしすぎてしまった場合は、そのウインドウサイズに関わらず最低限必要な文書長の要約文が作成され、上述のようにテロップ化されて表示されることになる。
従って、例えばユーザーが本文表示部３０３を広くとりたいためにやむおえず要約表示部３０４をかなり狭くしたような場合でも、ユーザーは適切な内容の要約文を見ることができるようになる。これにより内容を正確に認識できる。
【０２１２】
また本例のテロップ表示処理では、要約文を文単位でテロップ化しているが、１つの文の表示時間（Ｔ１）は、その文長に応じて算出しているため、各文（テロップ）は、ユーザーが読むのに適切な表示時間となる。
さらに、文が長い場合は、スクロール表示を実行するため、ユーザーが１つの文を認識することに好適である（後続部分は切換表示でなく移動表示されるために、１つの文が続いていることをユーザーが認識しやすい）。
【０２１３】
なお、テロップ表示処理の例としては図２５の例に限らず各種の処理例が考えられる。
例えば文単位でなく、文節、句などの単位でテロップ化するようにしてもよいし、文や文節の長さに応じて、表示の区切を変更するようにしてもよい。
また、要約文全体を最初から最後までスクロール表示していくことも考えられる。
いずれにしても、切換表示又は移動表示、もしくはその組み合わせにより、要約文の全体がユーザーに提示されるようにすればよい。
【０２１４】
また各テロップとしての表示期間や切換タイミング、スクロールタイミングの設定は多様に考えられる。
上述のように本例では本文や要約文についての読み上げも可能であるが、テロップ作成エンジンにより行われるテロップ表示のタイミングを、読み上げ音声の出力タイミングに合わせて設定することも可能である。
例えば上述したように読み上げ処理においては、タグファイルから読み上げ用ファイルを生成し、その読み上げ用ファイルを音声合成エンジンに適した形態に変換した上で、音声合成エンジンによって、人が話すような自然な感じでの速度や、段落、文、句の区切によって読み上げが実行されるようにしている。
従って、そのような段落、文、句の区切や、読み上げ速度と同様のテロップ区切や、表示期間の設定を行うことで、ユーザーにとって読みやすいテロップ表示を実現できる。
具体的な手法例としては、上述したように音声合成エンジンによる読み上げ処理を実行させ（但し読み上げ音声の出力は実行させない）、ＣＰＵ１３はその読み上げタイミングを参照して、テロップ表示の区切及び切換タイミングを設定すればよい。例えば音声合成エンジンによって或る句の読み上げが実行されている期間（実際には音声は出力しない）に、その句としての文字列をテロップ表示するとともに、読み上げ音声が次の句に進んだ時点で、次の句のテロップ表示に切り換えるような処理となる。
このような音声合成エンジンとテロップ作成エンジンの連動を実現する構成も図４７で後述する。
【０２１５】
７．ビデオファイルの出力処理
７−１  ビデオファイル及びタグ
以上の説明は本例の文書処理装置１において主に文書データのみを対象とした処理についてであるが、本例の文書処理装置１では、文書データに関連するビデオデータを出力することができる。具体的には、上記閲覧ウインドウ３０１において表示されている文書データ、もしくはその文書データ内でユーザーが指定した部分（文、文節、語など）に関連するビデオデータを出力したり、或いは上述した分類ウインドウ２０１において指定した文書データに関連するビデオデータを出力したり、さらには後述するビデオリストウインドウにおいて指定したビデオデータを出力することができる。
以下、ビデオデータに関する各種処理を説明していく。
【０２１６】
まず、ビデオデータとしてのデータファイル（以下、ビデオファイルという）及び、ビデオファイルを文書データと関連づけるために文書データに付与されているタグ構造について説明する。
上述したように、例えば通信部２１や記録媒体３２から文書処理装置１に文書データが取り込まれる際には、同時にビデオファイルが取り込まれることがある。また文書データとは別にビデオファイルが入力されることもある。
図４、図１２などで説明したように、文書処理装置１に取り込まれた文書データやビデオファイルは、ＲＡＭ１４やＨＤＤ３４などに格納される。そして制御部１１は必要に応じて格納された文書データを取り出すことで、上述のように文書の本文の表示や、要約作成及び表示、読み上げなどを実行できるが、格納されているビデオファイルに関しても、指定された文書データ、或いは指定された文書データの一部に対応するビデオファイルを取り出して表示出力することができる。
【０２１７】
図３１に、文書処理装置１内に格納されている文書データ及びビデオファイルのイメージを示す。
文書データ、即ちタグファイルとしては、図示するようにタグファイルＴＧ１、ＴＧ２、ＴＧ３・・・・というように、各種文書データが格納されている。
一方、ビデオファイルとしても、例えばビデオファイルＶ１、Ｖ２・・・・というように、各種のファイルが格納されている。
ビデオファイルの内容は多様であり、それぞれ文書データやビデオデータを供給するサーバ側が任意に作成するものであるが、例えばビデオファイルＶ１では複数のシーンとしての動画データＶＭ１〜ＶＭ４が含まれている。ビデオファイルＶ３は２つの動画データＶＭ５、ＶＭ６が、ビデオファイルＶ５は１つの動画データＶＭ９が含まれている。
またビデオファイルＶ２は、複数の静止画データＶＳ１〜ＶＳ７が含まれている。
ビデオファイルＶ４では、複数の静止画データＶＳ８，ＶＳ９と、複数の動画データＶＭ７，ＶＭ８が含まれている。
ビデオファイルＶ６では複数のシーンとしての動画データＶＭ１０〜ＶＭ１７が含まれている。
もちろんこれ以外にも、多様なビデオファイルが存在する。
ビデオデータは、例えばＭＰＥＧデータなどとされる。
【０２１８】
また動画データには、オーディオデータが含まれているものとしている。但し静止画データには、基本的にはオーディオデータは含まれないが、静止画映像に関連するオーディオデータが付加されていてもよい。
なお、ここでいうオーディオデータとは、動画もしくは静止画としての画像に対応して記録されたオーディオデータであり、関連関係にある文書データの本文や要約文の内容が読み上げられたようなオーディオデータではない（上述のように音声合成処理により発生される読み上げ音声信号のことではなく、また読み上げ音声と同内容の音声信号ではない）。
つまりオーディオデータは、ビデオデータに付随する音声のデータのことをいっており、直接的に文書データと一致するものではない。例えば記録された映像の収録時の周囲音声、効果音、アナウンス／説明等の音声など、通常のビデオデータに含まれる音声データのことである。（但し、情報提供者側の意向により、或る文書データに対応するビデオデータに、その文書データをそのまま読み上げたような内容のオーディオデータを付加することはあり得る。）
【０２１９】
また、各ビデオファイルは、例えば、時／分／秒／フレームとしてのタイムコードＴＣがビデオデータを構成するフレーム単位で付されている。例えばビデオファイルＶ１では図示するように、先頭のフレームから終端のフレームまでにおいて「００：００：００：００」〜「００：０３：３９：０５」のタイムコードＴＣが付されている。
このタイムコードＴＣはビデオファイルにおける各部のアドレス的に機能し、例えばタイムコードを指定することで、任意の箇所（任意の区間）を再生させることができる。例えばビデオファイルＶ１における動画データＶＭ２を再生させる場合などは、その動画データＶＭ２としての区間の開始フレームと終了フレームのタイムコードが指定されればよい。
【０２２０】
このようにビデオファイルは、それぞれ１又は複数の動画や静止画のデータで構成されるが、文書データ（タグファイル）は、その文書内容に関連するビデオデータとして、ビデオファイル名や各動画データ、静止画データを指定するタグが付されている。
つまりタグファイルとしては、文書全体、段落、文、句などの任意の単位で、タグにより関連するビデオデータを指定することができ、文書処理装置１は、そのようなタグ（以下、ビデオデータを指定するタグを、ビデオタグという）に基づいて、文書データに関連するビデオデータを判別し、出力することができる。
【０２２１】
ビデオタグが付されたタグファイルの例を図３２、図３３、図３４に示す。
図３２は、前述した図１８と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
図１８の場合は、文書範囲を規定するタグとして＜文書＞〜＜／文書＞が付されていたが、この場合、（例１１）としての部分に示すように、文書範囲を示すタグにおいてビデオタグが付加され、
＜文書  ビデオファイル＝“Ｖ３”＞＜シーン＝“ＶＭ５”  ｉｎ＝“００：００：００：００”  ｏｕｔ＝“００：００：０３：１２”＞・・・・・＜／シーン＞＜／文書＞
とされている。
このようなタグによって、この文書データの全体に関連するビデオデータが、図３１に示したビデオファイルＶ３に含まれる動画データＶＭ５であることが表されている。また、ｉｎ＝“００：００：００：００”とｏｕｔ＝“００：００：０３：１２”により、ビデオファイルＶ３内における動画データＶＭ５としてのシーンの開始時間（開始フレーム）と終了時間（終了フレーム）、即ちタイムコードが指定されている。
このようなタグ構造により、制御部１１は、当該タグファイルに関連するビデオデータを判別でき、必要に応じて再生出力させることができる。
【０２２２】
また図３３は、前述した図１９と同一の内容としてのタグファイルに、ビデオタグが付加された例である。
この例は、文書データ内の１つの文ごとに、それぞれ対応する１つの動画データが指定されている例である。
まず、＜文書  ビデオファイル＝“Ｖ６”＞・・・・＜／文書＞というタグにより、この文書に関連するビデオデータがビデオファイルＶ６に含まれていることが示される。
そして各文は、＜文＞〜＜／文＞というタグで、その範囲が示されるが、（例１２）〜（例１６）において示すように、それぞれ各文についてのタグが、
＜文  シーン＝“ＶＭ１０”  ｉｎ＝“００：００：００：００”  ｏｕｔ＝“００：００：００：１５”＞・・・・＜／文＞
＜文  シーン＝“ＶＭ１１”  ｉｎ＝“００：００：００：１６”  ｏｕｔ＝“００：００：００：２８”＞・・・・＜／文＞
＜文  シーン＝“ＶＭ１２”  ｉｎ＝“００：００：００：２９”  ｏｕｔ＝“００：００：００：４８”＞・・・・＜／文＞
＜文  シーン＝“ＶＭ１３”  ｉｎ＝“００：００：００：４９”  ｏｕｔ＝“００：００：０１：００”＞・・・・＜／文＞
＜文  シーン＝“ＶＭ１４”  ｉｎ＝“００：００：０１：０１”  ｏｕｔ＝“００：００：０１：１６”＞・・・・＜／文＞
とされており、つまり、各文のそれぞれに、動画データＶＭ１０、ＶＭ１１、ＶＭ１２、ＶＭ１３、ＶＭ１４が対応していることが示されている。
【０２２３】
このようなタグによって、この文書データの各文に関連するビデオデータが、図３１に示したビデオファイルＶ６に含まれる動画データＶＭ１０〜ＶＭ１４であることが表されている。また、動画データＶＭ１０におけるｉｎ＝“００：００：００：００”とｏｕｔ＝“００：００：００：１５”などにより、ビデオファイルＶ６内の各動画データＶＭ１０〜ＶＭ１４としてのシーンの開始時間（開始フレーム）と終了時間（終了フレーム）、即ちタイムコードが指定されている。
このようなタグ構造により、制御部１１は、当該タグファイルの各文についてそれぞれ関連するビデオデータを判別でき、必要に応じて再生出力させることができる。
【０２２４】
また図３４は、同じく前述した図１９と同一の内容としてのタグファイルに、静止画データについてのビデオタグが、文書データ内の１つの文ごとに、付加された例である。
この場合、まず、＜文書  ビデオファイル＝“Ｖ２”＞・・・・＜／文書＞というタグにより、この文書に関連するビデオデータがビデオファイルＶ２に含まれていることが示される。
そして各文は、＜文＞〜＜／文＞というタグで、その範囲が示されるが、（例１７）〜（例２１）において示すように、それぞれ各文についてのタグが、
＜文  シーン＝“ＶＳ１”＞・・・・＜／文＞
＜文  シーン＝“ＶＳ２”＞・・・・＜／文＞
＜文  シーン＝“ＶＳ３”＞・・・・＜／文＞
＜文  シーン＝“ＶＳ４”＞・・・・＜／文＞
＜文  シーン＝“ＶＳ５”＞・・・・＜／文＞
とされており、つまり、各文のそれぞれに、静止画データＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４、ＶＳ５が対応していることが示されている。
【０２２５】
なお、ビデオファイルＶ２において各静止画データＶＳ１〜ＶＳ７がそのデータ名称「ＶＳ１」・・・「ＶＳ７」として再生指定できる管理構造がとられていることを前提とすれば、このようなシーンをデータ名称のみで指定するビデオタグでよいが、静止画データについても上記の動画データと同様にビデオタグ内でタイムコードにより指定されるようにしてもよい。
また逆に、動画データの再生区間をデータ名称のみで指定できる場合は、必ずしも上記のようにタイムコードを指定する必要はない。
【０２２６】
この図３２、図３３のようなタグ構造により、制御部１１は、当該タグファイルの各文に関連するビデオデータを判別でき、必要に応じて再生出力させることができる。
【０２２７】
上記図３２の例は、文書全体に１つの動画データが対応づけられた例で、図３３、図３４は文書の各文に、それぞれ動画データ又は静止画データが対応づけられた例であるが、タグファイルによるビデオデータの対応付は、多様なバリエーションで可能となる。
即ち、＜段落＞〜＜／段落＞、＜＊＊句＞〜＜／＊＊句＞などのタグにビデオタグを付加すれば、段落単位や句単位など、任意の単位で或るビデオデータを対応づけることが可能である。
また、１つのタグファイル内で、複数の動画データを対応付けしたり、静止画データと動画データを複合的に対応付けすることも当然可能である。
【０２２８】
ところで、実際にビデオデータを出力する場合は、上記文書データのタグファイルからビデオ出力用ファイルを生成し、後述するビデオエンジンがそのビデオ出力用ファイルを用いてビデオ再生動作を実行することになる。
【０２２９】
ビデオ出力用ファイルとは、例えば図３５（ａ）（ｂ）（ｃ）（ｄ）に示すように、タグファイルからビデオタグを抽出して生成するファイルである。
図３５（ａ）は図３２のタグファイルから生成したビデオ出力用ファイルであり、この場合、上述したビデオタグが抽出され、図示するようにビデオファイルＶ３における動画データＶＭ５を指定するファイル内容となる。
図３５（ｂ）は図３３のタグファイルから生成したビデオ出力用ファイルであり、この場合もビデオタグが抽出され、図示するようにビデオファイルＶ６における動画データＶＭ１０〜ＶＭ１４を指定するファイル内容となる。
また図３５（ｃ）は図３４のタグファイルから生成したビデオ出力用ファイルであり、この場合、図示するようにビデオファイルＶ２における静止画データＶＳ１〜ＶＳ５を指定するファイル内容となる。
【０２３０】
これらの図３５（ａ）（ｂ）（ｃ）は、タグファイルにおける全てのビデオタグを抽出してビデオ出力用ファイルを生成した例であるが、一部のビデオタグを抽出してビデオ出力用ファイルを生成する場合もある。
例えば図３５（ｄ）は、図３３のタグファイルから一部のビデオタグを抽出して、図示するようにビデオファイルＶ６における動画データＶＭ１１を指定するファイル内容としたビデオ出力用ファイルである。後述するようにユーザーが文の一部を指定してビデオ出力を求めた場合は、このように、その指定された一部に関するビデオタグが抽出されてビデオ出力用ファイルが形成される。
【０２３１】
そしてビデオエンジンは、これらの例のように形成されたビデオ出力用ファイルによって指定されたビデオデータを表示出力するべく処理を行うこととなる。
【０２３２】
７−２  ビデオ出力形態
本例では、閲覧ウインドウ３０１において表示されている文書データ、もしくはその文書データ内でユーザーが指定した部分（文、文節、語など）に関連するビデオデータを出力することができる。
また分類ウインドウ２０１において指定した文書データに関連するビデオデータを出力することもできる。
さらには後述するビデオリストウインドウにおいて指定した文書データ（又はビデオデータ）についてのビデオデータを出力することができる。
これらのビデオ出力形態を、まず図３６でまとめて概略的に説明する。各出力形態における具体的な処理例や表示例は、それぞれ後述する。
【０２３３】
上述してきたように文書データ／ビデオデータの取込やユーザー操作に応じて、表示部３０には閲覧ウインドウ３０１が開かれた状態や、分類ウインドウ２０１が開かれた状態となる。
また、閲覧ウインドウ３０１や分類ウインドウ２０１からのユーザー操作（上述したビデオリストボタン３０６ｅ、２０２ｅのクリック等）により、後に図４６で説明するビデオリストウインドウが開かれた状態ともなる。
図３６においては、これら各ウインドウが開かれた状態をＳ１、Ｓ２、Ｓ３として模式的に示している。
【０２３４】
閲覧ウインドウ３０１が開かれている状態では、ビデオボタン３０６ｄをクリックすることで、表示されている文書データに関するビデオデータが出力される（Ｓ１→Ｓ４→Ｓ５）。
これは閲覧ウインドウ３０１で文書データの本文（又は本文と要約文）が表示されている時点で、特にユーザーが文中の一部を指定せずに、ビデオボタン３０６ｄをクリックした場合であり、このときは、表示されている文書データの全体に対応したビデオデータが出力される。
【０２３５】
また、閲覧ウインドウ３０１が開かれている状態において、ユーザーが文書の一部分を指定したうえで、ビデオボタン３０６ｄをクリックすると、その指定された部分に関するビデオデータが出力される（Ｓ１→Ｓ６→Ｓ７→Ｓ８）。
【０２３６】
さらに閲覧ウインドウ３０１が開かれている状態において、ユーザーがキーワードを入力したうえで、ビデオボタン３０６ｄをクリックすると、そのキーワードに該当する部分に関するビデオデータが出力される（Ｓ１→Ｓ９→Ｓ１０→Ｓ１１）。
【０２３７】
このように閲覧ウインドウ３０１からは、表示されている文書データに関して、その文書全体に関連するビデオデータや、或いは文書データのうちで、指定操作で指定された部分（又は入力キーワードに該当する部分）に関連するビデオデータが出力される。
なお、Ｓ５、Ｓ８、Ｓ１１の各状態においては、閲覧ウインドウ３０１上でビデオデータが表示出力されるようにすればよいが、例えば図４４で後述するビデオウインドウ５０１を開いて表示出力するようにしてもよい。
【０２３８】
次に、図９のような分類ウインドウ２０１が開かれている状態では、そこに分類されて一覧表示されている文書データのタイトルの中からユーザーが１又は複数の所望のタイトルを指定したうえで、ビデオボタン３０６ｄをクリックすることで、その指定された文書データに関するビデオデータが出力される（Ｓ２→Ｓ１２→Ｓ１３→Ｓ１４）。
このように分類ウインドウ２０１からは、表示されている文書データのタイトルを指定することで、指定された文書データに関するビデオデータを見ることができる。なお、Ｓ１４の状態においては、例えば図４４で後述するビデオウインドウ５０１を開いてビデオデータを表示出力するようにする。
【０２３９】
次に、後述する図４６のビデオリストウインドウ６００が開かれている状態では、そこに一覧表示されているタイトル（関連するビデオデータがある文書データのタイトル、もしくはビデオデータそのもののタイトル）の中からユーザーが１又は複数の所望のタイトルを指定したうえで、再生操作を行うことで、その指定されたタイトルの文書データに関するビデオデータ（もしくはそのタイトルのビデオデータ）が出力される（Ｓ３→Ｓ１５→Ｓ１６→Ｓ１７）。
このようにビデオリストウインドウからは、表示されているタイトルを指定することで、その指定した文書データに関するビデオデータ（又は指定したビデオデータ）を見ることができる。なお、Ｓ１７の状態においては、ビデオリストウインドウ６００上でビデオデータを表示出力するようにする。
【０２４０】
このビデオリストウインドウ６００においては、一覧表示され指定できるリストとは、例えば文書出力装置に取り込まれている全てのビデオファイル（又は動画データ、静止画データ単位）を対象としてもよいし、或いは、或る文書データに多数の動画データ等が対応づけられている場合に、その文書データに関連する範囲で、各動画データ等を指定できるようにしてもよい。
【０２４１】
また、ビデオリストウインドウ６００及び分類ウインドウ２０１において一覧表示されるタイトルとは、実際に文書データ（又はビデオデータ）に付されているタイトルでもよいし、文書データを要約して作成したタイトル文でもよい。さらには、文書データの先頭部分などを抽出して、それをタイトルとして用いてもよい。
さらに、ビデオリストウインドウ６００及び分類ウインドウ２０１においてキーワード入力を可能とし、そのキーワードに関連する部分のビデオデータが出力されるようにすることもできる。
【０２４２】
７−３  閲覧ウインドウからのビデオ出力処理
上述した閲覧ウインドウ３０１からのビデオ出力のための制御部１１の処理及び表示例を図３７〜図４２で説明していく。
まず図３７で閲覧ウインドウ３０１からのビデオ出力に関する制御部１１の処理の流れを説明し、その後、上記図３６のＳ５、Ｓ１１、Ｓ８に相当する各ビデオ表示例を述べる。
【０２４３】
例えば図２７などに示したような閲覧ウインドウ３０１が開いている状態においては、制御部１１は、ビデオ出力に関する処理としては、図３７のステップＦ６０１，Ｆ６０２，Ｆ６０３において、ビデオボタン３０６ｄがクリックされるか、表示されている文書に対して一部の指定入力が行われるか、或いはキーワードが入力されるか、を監視している。
ステップＦ６０２で表示されている文書に対する一部の指定の入力が行われたことが検出されたら、制御部１１はステップＦ６０４で指定部分を記憶するとともに、その指定部分がユーザーに提示されるように表示制御を行う。
また制御部１１は、ステップＦ６０３でキーワードが入力されたことが検出されたら、ステップＦ６０５でそのキーワードを記憶するとともに、表示されている文中でキーワードに該当する部分が提示されるように表示制御を行う。
【０２４４】
制御部１１はステップＦ６０１でビデオボタン３０６ｄのクリックが検出された場合は、ビデオ出力のための処理に移る。
まずステップＦ６０６において、現在表示されている文書データにビデオタグが付加されているか否かを判別し、付加されていなければ、出力すべきビデオデータ、つまり文書に関連するビデオデータは存在しないことになるため、そのまま処理を終える。この場合、ユーザーによるビデオボタン３０６ｄのクリック操作は無効な操作となる。
なお、実際には、ビデオタグが存在しない文書データが表示されている場合は、ビデオボタン３０６ｄを非アクティブの状態で表示させることで、ユーザーにビデオボタン３０６ｄが操作不能であることを提示しておくようにしてもよい。
【０２４５】
表示されている文書データにビデオタグが含まれている場合は、制御部１１はステップＦ６０７，Ｆ６０８で、文中の一部の指定状況、或いはキーワード入力状況を確認して処理を分岐し、その状況に応じてステップＦ６０９，Ｆ６１０，Ｆ６１１でビデオ出力用ファイルを作成する。上述したようにビデオ出力用ファイルは、文書処理装置１内のビデオエンジンによるビデオ再生動作の実行のためのファイルとなる。
【０２４６】
そして制御部１１はステップＦ６１２でビデオエンジンを起動し、ステップＦ６１３から、作成したビデオ出力用ファイルに基づいたビデオ表示処理を実行させる。
例えば図３８に示すように、閲覧ウインドウ３０１上でビデオ表示部３３０を設定して、ビデオエンジンにより出力される画像を表示させる。
なおこのとき閲覧ウインドウ３０１上には、ビデオ表示部３３０で表示されている映像の位置を示すビデオバー３３１、表示されている映像の開始位置としてのタイムコードを表示する開始位置表示部３３２、表示されている映像の現在の再生位置（カレントポジション）としてのタイムコードを表示する現在位置表示部３３３、表示されている映像の終了位置としてのタイムコードを表示する終了位置表示部３３４なども表示させる。
【０２４７】
ビデオエンジンは、ハードウェアで構成してもよいし、ソフトウェアで実現するようにしてもよい。ビデオエンジンをソフトウェアで実現する場合には、そのアプリケーションプログラムは、ＲＯＭ１５やＨＤＤ３４等に予め記憶されている。ビデオエンジンを含む機能構成については図４７で後述する。
【０２４８】
ステップＦ６１３で実行されているビデオ出力が終了したときは制御部１１はステップＦ６１５で通常の閲覧ウインドウ３０１に戻す。つまり図３８に示すビデオ表示部３３０、ビデオバー３３１、開始位置表示部３３２、現在位置表示部３３３、終了位置表示部３３４などの表示を終了させて、例えば図２７のような画面状態に戻す。そしてビデオ表示処理を終了する。
【０２４９】
このような処理で実現されるビデオ表示出力例は次のようになる。
まず、図３６でＳ１→Ｓ４→Ｓ５の流れで行われる表示例を述べる。
例えば図２７のように閲覧ウインドウが開かれている状態であるときに、ユーザーが或る文書部分の一部を指定したり、或いはキーワードを入力することなく、ビデオボタン３０６ｄをクリックしたとする。
この場合、処理は図３７のステップＦ６０１→Ｆ６０６→Ｆ６０７→Ｆ６０８→Ｆ６０９と進んで、表示されている文書全体にかかるビデオ出力用ファイルを作成することになる。
【０２５０】
この表示されている文書データのタグファイルが図３２であったとすると、このタグファイル全体に含まれるビデオタグが抽出されて、図３５（ａ）のようなビデオ出力用ファイルが形成されることになる。
そしてステップＦ６１３では、このビデオ出力用ファイルに基づいてビデオエンジンがビデオ出力処理を行うことにより、図３８に示すように、閲覧ウインドウ３０１上においてビデオ表示部３３０に、ビデオ表示が実行される。
図３５（ａ）のビデオ出力用ファイルに基づく動作であるため、このとき表示されるビデオデータは、ビデオファイルＶ３の動画データＶＭ５となる。
もちろんタグファイルにおいて複数の動画データが指定されていれば、各動画データが順次出力され、またタグファイルにおいて１又は複数の静止画データが指定されていれば、１又は複数の静止画データが順次表示出力される。
またビデオ出力の進行に伴って、ビデオバー３３１、開始位置表示部３３２、現在位置表示部３３３、終了位置表示部３３４などの表示を更新していく。
なおこのときビデオデータに含まれるオーディオデータは音声出力部３３から音声として出力される。
【０２５１】
このように、ユーザーが特に文書中の或る部分の指定或いはキーワード入力を行わなかった場合は、表示されている文書データに含まれる全てのビデオタグに基づいたビデオ出力動作が実行される。
【０２５２】
次に、図３６においてＳ１→Ｓ６→Ｓ７→Ｓ８の流れで行われる表示例を述べる。
例えば図３９のように閲覧ウインドウが開かれている状態であるときに、ユーザーが入力部２０のマウス等を使用した操作により、文書の一部を指定した後に、ビデオボタン３０６ｄをクリックしたような場合である。
【０２５３】
ユーザーが、図３９のように表示されている文書の中で、「THREE COMPUTERS  THAT CHANGED」の部分を指定する操作を行ったとすると、制御部１１は図３７のステップＦ６０２，Ｆ６０４の処理で、その指定部分を記憶するとともに、例えば図４０のように、指定部分をユーザーに提示する。例えば反転表示、ハイライト表示、点滅表示などの表示手法で提示する。
その後、ユーザーがビデオボタン３０６ｄをクリックすると、制御部１１の処理は図３７のステップＦ６０１→Ｆ６０６→Ｆ６０７→Ｆ６１１と進んで、指定部分にかかるビデオ出力用ファイルを作成することになる。
【０２５４】
この表示されている文書データのタグファイルが図３３であったとすると、このタグファイルにおいて、上記指定された部分に対応するビデオタグが抽出されて、ビデオ出力用ファイルが形成される。
この場合「THREE COMPUTERS THAT CHANGED」に対応するビデオタグとは、図３３の例１３の部位として見られるように、「THREE COMPUTERS THAT CHANGED the face of ・・・・・・launched in 1977」の文にかかるビデオタグ、つまり、
＜文  シーン＝“ＶＭ１１”  ｉｎ＝“００：００：００：１６”  ｏｕｔ＝“００：００：００：２８”＞・・・・＜／文＞というビデオタグである。
このため、このビデオタグが抽出されて、図３５（ｄ）のようなビデオ出力用ファイルが生成される。
【０２５５】
そしてステップＦ６１３では、このビデオ出力用ファイルに基づいてビデオエンジンがビデオ出力処理を行うことにより、図４１に示すように、閲覧ウインドウ３０１上においてビデオ表示部３３０に、ビデオ表示が実行される。
図３５（ｄ）のビデオ出力用ファイルに基づく動作であるため、このとき表示されるビデオデータは、ビデオファイルＶ６の動画データＶＭ１１となる。
またビデオ出力の進行に伴って、ビデオバー３３１、開始位置表示部３３２、現在位置表示部３３３、終了位置表示部３３４などの表示を更新していく。
ビデオデータに含まれるオーディオデータは音声出力部３３から音声として出力される。
なお、図４１の表示例では、ウインドウ下部に本文表示部３０３を設定して、指定部分が提示されるようにしている。
もし、図３９の状態から、ユーザーが要約文中で或る部分を指定した場合は、図４１の状態で、要約表示部３０４を設定して、指定部分が提示されるようにすればよい。
【０２５６】
このように、ユーザーが特に文書中の或る部分の指定を行った場合は、その指定部分にかかるビデオタグに基づいたビデオ出力動作が実行される。
【０２５７】
なお、この例では、文単位でビデオタグが付されていたが、もちろん語単位、句単位などでビデオタグが付され、例えば「THREE COMPUTERS THAT CHANGED」のみに対応するビデオタグが存在すれば、そのビデオタグに基づいてビデオデータ（動画又は静止画）が出力される。
また指定部分について複数の動画データ又は静止画データが指定されていれば、各動画データ又は静止画データが順次出力される。
【０２５８】
次に、図３６においてＳ１→Ｓ９→Ｓ１０→Ｓ１１の流れで行われる表示例を述べる。
例えば図３９のように閲覧ウインドウが開かれている状態であるときに、ユーザーが入力部２０のキーボード等を使用した操作により、或るキーワードを入力し、その後にビデオボタン３０６ｄをクリックしたような場合である。
【０２５９】
ユーザーが、図３９のように表示されている文書に対して、「computers」というキーワードを入力する操作を行ったとすると、制御部１１は図３７のステップＦ６０３，Ｆ６０５の処理で、そのキーワードを記憶するとともに、例えば図４２のように、キーワード及びキーワード該当部分をユーザーに提示する。
即ち入力に応じてキーワード表示部３０５に入力されたキーワードを表示するとともに、表示されている文書中で、キーワード該当部分を例えば反転表示、ハイライト表示、点滅表示などの表示手法で提示する。
その後、ユーザーがビデオボタン３０６ｄをクリックすると、制御部１１の処理は図３７のステップＦ６０１→Ｆ６０６→Ｆ６０７→Ｆ６０８→Ｆ６１０と進んで、キーワード該当部分にかかるビデオ出力用ファイルを作成することになる。
【０２６０】
つまり、上記した一部指定の場合と同様に、図３３のようなタグファイルから、キーワードを含む文、文節、語などの単位で付加されているビデオタグを抽出してビデオ出力用ファイルを形成する。
そしてステップＦ６１３では、このようにして生成したビデオ出力用ファイルに基づいてビデオエンジンがビデオ出力処理を行うことにより、例えば上述した図４１と同様に、閲覧ウインドウ３０１上においてビデオ表示部３３０に、ビデオ表示（１又は複数の動画又は静止画）が実行される。
なお、この場合は、図４１の表示例のようにウインドウ下部に本文表示部３０３（又は要約表示部３０４）を設定して、キーワード該当部分が提示されるようにする。
【０２６１】
このように、ユーザーがキーワード入力を行ってビデオ出力を求めた場合は、そのキーワード該当部分にかかるビデオタグに基づいたビデオ出力動作が実行される。
【０２６２】
７−４  分類ウインドウからのビデオ出力処理
続いて、図９のような分類ウインドウ２０１からのビデオ出力のための制御部１１の処理及び表示例を図４３、図４４で説明する。これは上記図３６のＳ２→Ｓ１２→Ｓ１３→Ｓ１４の流れに相当するビデオ表示例となる。
【０２６３】
分類ウインドウ２０１が開かれている状態では、ユーザーは、一覧表示されている文書を選択的に指定することで、その指定した１又は複数の文書に関連するビデオデータを出力させることができる。
【０２６４】
この動作のために制御部１１は、ビデオ出力に関する処理としては、図４３のステップＦ７０１，Ｆ７０２において、ビデオボタン３０６ｄがクリックされるか、或いは文書指定の入力が行われるかを監視している。
なお、本例では、文書が１つも指定されていない時点では、ビデオボタン３０６ｄを非アクティブの状態で表示させ、ユーザーにビデオボタン３０６ｄが操作不能であることを提示しておく。
【０２６５】
分類ウインドウ２０１上で、それぞれタイトルにより一覧表示されている文書の中で、ユーザーが一部の文書（１又は複数の文書）を指定する入力が行われたことがステップＦ７０２で検出されたら、制御部１１はステップＦ７０３で指定された文書を記憶するとともに、その指定文書がユーザーに提示されるように表示制御を行う。例えば図９に示すように、指定された文書タイトルに対してチェックマーク２１４を表示することで指定された文書を提示する。また、この時点でビデオボタン３０６ｄをアクティブの状態とする。
【０２６６】
上記指定が行われた後においてステップＦ６０１でビデオボタン３０６ｄのクリックが検出された場合は、制御部１１はビデオ出力のための処理に移る。
まずステップＦ７０４において、現在指定されている文書データにビデオタグが付加されているか否かを判別し、付加されていなければ、出力すべきビデオデータ、つまりその文書に関連するビデオデータは存在しないことになるため、そのまま処理を終える。この場合、ユーザーによるビデオボタン３０６ｄのクリック操作は無効な操作となる。
なお、上記ステップＦ７０３の処理において、ビデオタグが存在しない文書データが指定された場合は、ビデオボタン３０６ｄを非アクティブの状態のままとしておいてもよい。
【０２６７】
指定されている文書データにビデオタグが含まれている場合は、制御部１１はステップＦ７０５でビデオ出力用ファイルを作成する。即ち指定されている文書データのタグファイル全体に含まれるビデオタグが抽出されて、例えば図３５（ａ）（ｂ）（ｃ）のようなビデオ出力用ファイルが形成される。
そして制御部１１はステップＦ７０６でビデオエンジンを起動し、ステップＦ７０７で、表示部３０に例えば図４４に示すようなビデオウインドウ５０１を開く。
【０２６８】
このビデオウインドウ５０１には、文書データファイルのファイル名を表示するファイル名表示部５０２、そのファイル名の文書データに関連するビデオデータを表示するビデオ表示部５０３、ビデオ表示部５０３で表示されている映像の位置（動画データの再生進行位置）を示すビデオバー５０４、表示されている映像の開始位置としてのタイムコードを表示する開始位置表示部５２１、表示されている映像の現在の再生位置（カレントポジション）としてのタイムコードを表示する現在位置表示部５２２、表示されている映像の終了位置としてのタイムコードを表示する終了位置表示部５２３などが表示される。
さらに、画像再生動作をユーザーが指示するために、再生ボタン５０５、一時停止ボタン５０６、停止ボタン５０７、早戻しボタン５０８、早送りボタン５０９、戻し方向の頭出しボタン５１０、送り方向の頭出しボタン５１１などが表示される。
【０２６９】
このようなビデオウインドウ５０１を開いたら、制御部１１はステップＦ７０８としてユーザーインターフェースの操作に応じた処理を行うことになる。
例えば図３５（ａ）のようなビデオ出力用ファイルによれば、図３１に示したビデオファイルＶ３の動画データＶＭ５の再生が指定されたことになるが、ビデオウインドウ５０１で再生ボタン５０５がクリックされた場合は、制御部１１はビデオエンジンにより、動画データＶＭ５の再生を開始させる。これによりビデオ表示部５０３に動画データＶＭ５の動作映像が表示される。なおこのとき動画データＶＭ５に含まれるオーディオデータは音声出力部３３から音声として出力されることになる。
【０２７０】
また、一時停止ボタン５０６がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を一時停止させる。
停止ボタン５０７がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生を停止させる。
早戻しボタン５０８、又は早送りボタン５０９がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生動作の早戻し又は早送りを実行させる。
戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１がクリックされると、制御部１１はビデオエンジンによる動画データＶＭ５の再生箇所として、例えば前後のシーン（又はポイントとなる特定箇所）の先頭箇所に戻し（又は送り）、その箇所からの再生を実行させる。
さらに、ユーザーがビデオバー５０４における現在位置の表示部分をドラッグした場合は、それに応じて、ビデオエンジンによる動画データＶＭ５の再生箇所の戻し方向又は進み方向に移動させる。
【０２７１】
ところで、例えば図３５（ｃ）のようなビデオ出力用ファイルに基づく場合など、表示されるビデオデータが静止画データである場合は、一時停止ボタン５０６、早戻しボタン５０８、早送りボタン５０９操作は実質的に意味がないため表示されないようにしてもよい。
そしてその場合は、再生ボタン５０５のクリックにより、静止画データの表示が開始され、またタグファイルにより複数の静止画データが指定されていた場合は、戻し方向の頭出しボタン５１０、又は送り方向の頭出しボタン５１１のクリックに応じて、静止画データが切り換えられていくようにすればよい。
【０２７２】
このようなユーザーインターフェース操作に応じた処理により、ユーザーは、ビデオデータを任意の状態で視聴できることになる。
以上のように、分類ウインドウ２０１の中で一覧表示される文書データについて、ユーザーは１又は複数の文書データを指定して、その文書データに関連したビデオデータを見ることができる。
【０２７３】
７−５  ビデオリストウインドウからのビデオ出力形態
続いて、ビデオリストウインドウからのビデオ出力のための制御部１１の処理及び表示例を図４５、図４６で説明する。これは上記図３６のＳ３→Ｓ１５→Ｓ１６→Ｓ１７の流れに相当するビデオ表示例となる。
【０２７４】
まずビデオリストウインドウについて説明する。
ユーザーが、図９の分類ウインドウ２０１が開かれている状態でビデオリストボタン２０２ｅをクリックすること、もしくは図１０などに示した閲覧ウインドウが開かれている状態でビデオリストボタン３０６ｅをクリックすることで、制御部１１は表示部３０に、図４６に示すようなビデオリストウインドウ６００を表示させる。
【０２７５】
このビデオリストウインドウ６００には、ビデオデータ（又はビデオタグの存在する文書データ）を一覧表示するリスト表示部６０１、ビデオデータを表示するビデオ表示部６０２、ビデオ表示部６０２で表示されている映像の位置（動画データの再生進行位置）を示すビデオバー６０３、リスト表示部６０１での指定のための各種操作に供されるリスト操作表示部６０４、表示されている映像の開始位置、現在位置（カレントポジション）、終了位置などをタイムコードで表示する位置表示部６０５などが設けられる。
さらに、ビデオ出力のための操作子として、再生ボタン６０６、一時停止ボタン６０７、停止ボタン６０８、戻し方向の頭出しボタン６０９、早戻しボタン６１０、早送りボタン６１１、送り方向の頭出しボタン６１２などが表示される。
【０２７６】
リスト表示部６０１には、ユーザーが選択可能なビデオデータ又は文書データの一覧が、そのタイトル等により表示されるが、どのようなデータをどのような範囲で一覧表示するかは各種の例が考えられる。
【０２７７】
例えば、上記分類ウインドウでの表示のように文書データ単位で一覧表示を行うようにしてもよい。即ちこの場合、ビデオタグを含む文書データを、タイトル等により一覧表示する。
又は、或る文書データ内に含まれる１又は複数のビデオタグによって指定されているビデオデータ単位で、一覧表示するようにしてもよい。例えば閲覧ウインドウ３０１からこのビデオリストウインドウ６００に進んだ場合は、閲覧ウインドウ３０１で表示されている文書データに含まれる各ビデオタグで指定されるビデオデータを一覧表示するようにする。
また、上記分類ウインドウ２０１において、１又は複数の文書データが指定された状態で、このビデオリストウインドウ６００に進んだ場合は、指定された１又は複数の文書データに含まれる各ビデオタグによるビデオデータを一覧表示するようにしてもよい。
さらには、分類ウインドウ２０１の或る分類項目内の範囲で、そこに含まれる文書データに関連するビデオデータを一覧表示してもよい。
また、文書データの指定や分類に関係なく、表示可能な全てのビデオデータ（ビデオファイル単位、もしくは１つの動画／静止画データの単位など）を一覧表示することも可能である。
【０２７８】
リスト上のタイトルとしては、文書データを提示する場合は、そのタイトル又は要約文又は先頭文により表示する。
また、ビデオデータ自体のタイトルを提示する場合は、ビデオデータにタイトルが付されていれば、それを用い、付されていなければ、対応する文書データのタイトルや要約文等をタイトルとして用いるようにすればよい。
【０２７９】
このようなリスト表示部６０１の一覧表示から、ユーザーは所望の文書データ又はビデオデータを選択的に指定することで、その指定した１又は複数の文書に関連するビデオデータ、もしくは指定した１又は複数のビデオデータを出力させることができる。
【０２８０】
この動作のために制御部１１は、図４５のステップＦ８０１において、ユーザーの指定操作に対応した処理を行う。
即ちリスト表示部６０１の一覧表示に関して、リスト操作表示部６０４の操作に応じたリスト状況の設定、変更（例えば選択肢のクリア、全選択子の表示、リストの再読込、選択状態のクリアなど）などを行うとともに、選択肢に対するクリック操作によって行われるユーザーの指定に応じた処理を行う。
即ちユーザーが１又は複数の選択肢（タイトル）の指定を行ったことに応じて、指定された選択肢にかかるビデオデータを記憶するとともに、図４６に示すように選択肢に対してチェックマーク６２０を表示し、指定状態とされたことを提示する。
また、指定された選択肢にかかるビデオデータに相当するを、ビデオバー６０３において表示する。
【０２８１】
そしてステップＦ８０２において制御部１１は、現在指定されている選択肢にかかるビデオタグを抽出して、ビデオ出力用ファイルを作成する。
即ち指定されたビデオデータそのものに相当するビデオタグ、もしくは指定された文書データのタグファイル全体に含まれるビデオタグが抽出されて、例えば図３５で説明したようなビデオ出力用ファイルが形成される。
そして制御部１１はステップＦ８０３でビデオエンジンを起動し、続いてステップＦ８０４としてユーザーインターフェースの操作に応じた処理を行うことになる。
【０２８２】
例えば再生ボタン６０６がクリックされた場合は、制御部１１はビデオエンジンによりビデオ表示部６０２に、ビデオ出力用ファイルに基づいたビデオデータ（動画又は静止画）の再生を開始させる。もちろん再生の進行に応じて、ビデオバー６０３、位置表示部６０５の表示状態も更新していく。
なお表示される動画データ又は静止画データに含まれるオーディオデータは音声出力部３３から音声として出力される。
【０２８３】
また、一時停止ボタン６０７がクリックされると、制御部１１はビデオエンジンによるビデオデータの再生を一時停止させる。
停止ボタン６０８がクリックされると、制御部１１はビデオエンジンによるビデオデータの再生を停止させる。
早戻しボタン６１０、又は早送りボタン６１１がクリックされると、制御部１１はビデオエンジンによるビデオデータの再生動作の早戻し又は早送りを実行させる。
戻し方向の頭出しボタン６０９、又は送り方向の頭出しボタン６１２がクリックされると、制御部１１はビデオエンジンによるビデオデータの再生箇所として、例えば前後のシーン（又はポイントとなる特定箇所）の先頭箇所に戻し（又は送り）、その箇所からの再生を実行させる。
さらに、ユーザーがビデオバー６０３における現在位置の表示部分をドラッグした場合は、それに応じて、ビデオエンジンによるビデオデータの再生箇所の戻し方向又は進み方向に移動させる。
【０２８４】
このようなユーザーインターフェース操作に応じた処理により、ユーザーは、ビデオデータを任意の状態で視聴できることになる。
以上のように、ビデオリストウインドウ６００の中で一覧表示される選択肢について、ユーザーは１又は複数を指定することで、指定された選択肢にかかるビデオデータを見ることができる。
【０２８５】
８．文書処理装置の機能ブロック構成
以上、文書処理装置１において実現される各種の動作を説明してきた。
本例の文書処理装置１では、これらの処理を実行するために、例えば制御部１１内のソフトウエア構成（もしくはハードウエア構成でもよい）及びファイル群構成として、図４７のような機能ブロックが形成されている。
【０２８６】
即ち上述した音声合成エンジン７０１、テロップ作成エンジン７０２、要約作成エンジン７０３、ビデオエンジン７０４が設けられる。また音声出力部３３に対する音声信号の出力処理部として音声制御部７０５や、表示部３０に対する画像信号の出力処理部として表示制御部７０６が設けられる。
さらに、ユーザーインターフェース７０７として、表示される各種ウインドウ上でのボタンについてのユーザー操作（入力部２０としてのマウスのクリック等による操作やキーボード操作）についての処理を行う部位が設けられる。
そして、これらの機能ブロックの制御を行うコントローラ７００が形成される。
【０２８７】
またファイルとしては、上述してきた読み上げ用ファイル７０８、本文タグファイル７０９、要約文タグファイル７１０、ビデオファイル７１１、ビデオ出力用ファイル７１２がある。
上述したように、本文タグファイル７０９及びビデオファイル７１１は、通信部２１もしくは記録／再生部３１（記録媒体３２）から取り込まれるものとなる。また、要約文タグファイル７１０は、要約作成エンジン７０３によって本文タグファイル７０９から生成される。
読み上げ用ファイル７０８は、本文タグファイル７０９もしくは要約文タグファイル７１０が変換されて生成される。
ビデオ出力用ファイル７１２は、本文タグファイル７０９もしくは要約文タグファイル７１０から変換されて（具体的にはビデオタグが抽出されて）生成される。
【０２８８】
上述してきた各動作を実現するための図４７の機能ブロックの処理を、以下説明していく。
【０２８９】
・読み上げ処理
図１６〜図２２で説明した読み上げ処理の際には、まず本文タグファイル７０９もしくは要約文タグファイル７１０から読み上げ用ファイル７０８が生成される。
そして音声合成エンジン７０１はコントローラ７００の指示に基づいて読み上げ用ファイル７０８を参照し、読み上げ用ファイル７０８に基づいた音声合成処理を行う。
生成された合成音声信号（読み上げ音声信号）Ｙｏｕｔは音声制御部７０５において出力レベル調整等が行われ、音声出力部３３に供給されて出力される。
またコントローラは表示制御部７０６から読み上げウインドウ４０１としての画像信号を出力させ、表示部３０に表示させる。
また読み上げウインドウ４０１に対するユーザー操作の情報はユーザーインターフェース７０７で取り込まれてコントローラ７００に伝えられ、コントローラ７００は、ユーザー操作に応じて音声合成エンジン７０１の動作を制御する。
【０２９０】
・要約作成処理
図２３で説明した要約作成処理の際には、コントローラ７００は要約作成エンジン７０３に指示を出し、本文タグファイル７０９について要約作成を実行させる。これにより要約文タグファイルが形成される。
なおコントローラ７００は、要約作成エンジン７０３に対して、要約表示部３０４のサイズ情報を伝えることで、上述のように要約表示部３０４のサイズに応じた要約生成処理が行われる。
【０２９１】
・要約固定表示処理
図２３、図２４、図２７で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ以上であった場合は、そのサイズに応じた文書長の要約文タグファイル７１０が生成され、それが固定表示されることになる。
この場合、生成された要約文タグファイル７１０は、要約作成エンジン７０３によって表示文書出力Ｓｏｕｔとして処理され、表示制御部７０６に供給される。そして表示制御部７０６で、閲覧ウインドウ３００の画像に合成され、表示部３０で図２７のように表示される。
【０２９２】
・要約文／本文のテロップ表示処理
図２３〜図３０で説明したように、要約表示部３０４のサイズが所定値ｗｓｔｈ未満であった場合は、そのサイズを越える文書長の要約文タグファイル７１０が生成され、それがテロップ表示されることになる。
この場合、生成された要約文タグファイル７１０は、テロップ作成エンジン７０２によってテロップ化処理が行われる。そしてテロップ表示文書出力Ｔｏｕｔとして逐次出力されていく。表示制御部７０６では、テロップ表示文書出力Ｔｏｕｔを閲覧ウインドウ３０１の画像に合成し、表示部３０で図２８〜図３０のような表示が実行されていくようにする。
【０２９３】
・読み上げタイミングでのテロップ表示処理
テロップ表示の変形例として、テロップの進行タイミングを読み上げ音声タイミングに合わせることができることを述べた。
その場合、要約文タグファイル７１０から変換された読み上げ用ファイル７０８が、音声合成エンジン７０１とテロップ作成エンジン７０２の共有ファイルとして用いられる。（図中破線で示す信号系が形成される。）
コントローラ７００の制御に基づいて、音声合成エンジン７０１は読み上げ用ファイル７０８を用いた音声合成／読み上げ出力を行う。但しこの場合、音声制御部７０５は生成された合成音声信号Ｙｏｕｔについて出力レベルをゼロとすることで、ユーザーに対して読み上げ音声が出力されないようにする。
テロップ作成エンジン７０２は、読み上げ用ファイル７０８を用いてテロップ作成を行うが、この際、テロップ作成エンジン７０２と音声合成エンジン７０１は相互にタイミング信号の授受を行う。つまり、テロップ作成エンジン７０２は、読み上げ用ファイル７０８からのタイミング信号に基づいてテロップ作成／テロップ表示文書出力Ｔｏｕｔを実行していく。これにより読み上げ速度によるテロップ表示が実行される。
なお、読み上げ速度（つまりこの場合はテロップ速度）については、ユーザーインターフェース７０７からの情報に基づいてコントローラ７００が音声合成エンジン７０１での設定を変更することで、変更可能となる。
【０２９４】
・ビデオ出力処理
図３１〜図４６で説明した各種のビデオ出力処理は、ユーザーインターフェース７０７からの情報に基づくコンピュータ７００の指示によって、ビデオエンジン７０４の処理で行われる。
ビデオエンジン７０４は、本文タグファイル７０９もしくは要約文タグファイル７１０から生成されたビデオ出力用ファイル７１２を参照し、再生すべきビデオデータを判別して、ビデオファイル７１１を読み出す。
読み出されたビデオデータは、ビデオエンジン７０４によって出力用の映像信号Ｖｏｕｔとして処理され、表示制御部７０６に供給される。そして表示制御部７０６で、閲覧ウインドウ３０１又はビデオウインドウ５０１又はビデオリストウインドウ６００の画像に合成され、表示部３０で、上述のように表示される（図３８，図４１，図４４，図４６等）。
またビデオデータに含まれるオーディオデータについても、ビデオエンジン７０４によって出力用の音声信号Ａｏｕｔとして処理され、音声制御部７０５に供給されてレベル調整等の処理が行われる。そして音声出力部３３から再生音声として出力される。
ビデオ出力中には、ビデオウインドウ５０１、ビデオリストウインドウ６００等に対するユーザー操作の情報はユーザーインターフェース７０７で取り込まれてコントローラ７００に伝えられ、コントローラ７００は、ユーザー操作に応じてビデオエンジン７０１の動作を制御する。
【０２９５】
以上、図４７の機能ブロックについて説明したが、機能ブロック構成や動作形態はこれに限られるものではない。
また図４７は、ここで説明した表示部３０又は音声出力部３３からの出力動作に関連する部位のみを示したものであり、例えば文書受信処理、分類処理などを実現する機能ブロックについては省略した。
【０２９６】
以上本発明の実施の形態について説明してきたが、これはあくまで一例であり、文書処理装置１のハードウエアもしくはソフトウエア構成、及び処理例は多様に考えられる。
【０２９７】
例えば上記例では、本例のビデオ出力処理は図３６にまとめて示したように、閲覧ウインドウ３０１、分類ウインドウ２０１、又はビデオリストウインドウ６００からの操作に応じて、それぞれ閲覧ウインドウ３０１、ビデオウインドウ５０１、又はビデオリストウインドウ６００で行われるようにしたが、このような出力形態に限られるものではない。
例えば閲覧ウインドウ３０１からの操作に応じて、ビデオウインドウ５０１が開かれてビデオ出力が行われるようにしてもよい。
もちろん他のウインドウを設けてもよい。
【０２９８】
また、分類ウインドウ２０１からの操作により、或る文書データのうちの或る一部に関連するビデオデータが出力されるようにするなど、出力されるビデオデータの指定形態は各種考えられる。
【０２９９】
また文書処理装置１を構成する具体的なデバイス例は多様であり、例えば文書処理装置１における入力部２０を例に挙げれば、キーボードやマウスだけでなく、タブレット、ライトペン、赤外線等を利用した無線コマンダ装置等の他のデバイスが考えられる。
【０３００】
また実施の形態においては、通信部２２に外部から電話回線等を介して文書やビデオファイルが送信されてくるものとして説明したが、本発明は、これに限定されるものではない。例えば、衛星等を介して文書やビデオファイルが送信される場合にも適用できる他、記録／再生部３１において記録媒体３２から読み出されたり、ＲＯＭ１５に予め文書やビデオファイルが書き込まれていてもよい。
【０３０１】
また実施の形態において、文書へのタグ付けの方法の一例を示したが、本発明がこのタグ付けの方法に限定されないことはもちろんである。
さらに、上述の実施の形態においては、日本語および英語の文章を例示したが、本発明がこれらの言語に限られないことはいうまでもない。
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０３０２】
さらにまた、本発明においては、記録媒体３２として、上述した電子文書処理プログラムが書き込まれたディスク状記録媒体やテープ状記録媒体等を提供することが容易に実現できる。
即ち本発明の記録媒体が実現できる。なお、図１に示したＨＤＤ３４としても同様に本発明の記録媒体とすることができる。
そしてそのような記録媒体３２によれば、上記してきた文書処理方法を実現するプログラムを提供できることになり、例えば汎用のパーソナルコンピュータ等を用いて、本発明の文書処理装置を容易に実現できる。
もちろん記録媒体３２としては、フロッピーディスクの他に、光ディスク、光磁気ディスク、磁気テープ、フラッシュメモリ等によるメモリカード、メモリチップ等としてもよい。
さらに本発明の文書処理方法を実現するプログラムは、例えばインターネット等のネットワーク通信を介しても提供することができるものであり、従って、プログラムサーバ側もしくは通信過程における記録媒体としても本発明は適用できるものである。
【０３０３】
また記録媒体としては、上記処理を実現する動作制御プログラムとともに、そのプログラムの処理対象となる文書データやビデオデータをも記録しているものも有用となる。
つまり、文書処理装置１に対して、記録媒体から電子文書データを提供するときに、同時に動作制御プログラムやビデオファイルをも提供することで、その文書処理装置において、上記のような文書データに対応したビデオ出力処理を実行できるものとなる。
【符号の説明】
【０３０４】
１  文書処理装置、１０  本体、１１  制御部、１２  インターフェース、１３  ＣＰＵ、１４  ＲＡＭ、１５  ＲＯＭ、２０  入力部、２１  通信部、２２  携帯端末リーダ、３０  表示部、３１  記録再生部、３２  記録媒体、３３  音声出力部、３４  ＨＤＤ、１０１  ウインドウ、２０１  分類ウインドウ、３０１  閲覧ウインドウ、３０３  文書表示部、３０４  要約表示部、４０１  読み上げウインドウ、５０１  ビデオウインドウ、６００  ビデオリストウインドウ、７００  コントローラ、７０１  音声合成エンジン、７０２  テロップ作成エンジン、７０３  要約作成エンジン、７０４  ビデオエンジン、７０５  音声制御部、７０６  表示制御部、７０７  ユーザーインターフェース
【図１】
2010044767.tif 000003
【図２】
2010044767.tif 000004
【図３】
2010044767.tif 000005
【図４】
2010044767.tif 000006
【図５】
2010044767.tif 000007
【図６】
2010044767.tif 000008
【図７】
2010044767.tif 000009
【図８】
2010044767.tif 000010
【図９】
2010044767.tif 000011
【図１０】
2010044767.tif 000012
【図１１】
2010044767.tif 000013
【図１２】
2010044767.tif 000014
【図１３】
2010044767.tif 000015
【図１４】
2010044767.tif 000016
【図１５】
2010044767.tif 000017
【図１６】
2010044767.tif 000018
【図１７】
2010044767.tif 000019
【図１８】
2010044767.tif 000020
【図１９】
2010044767.tif 000021
【図２０】
2010044767.tif 000022
【図２１】
2010044767.tif 000023
【図２２】
2010044767.tif 000024
【図２３】
2010044767.tif 000025
【図２４】
2010044767.tif 000026
【図２５】
2010044767.tif 000027
【図２６】
2010044767.tif 000028
【図２７】
2010044767.tif 000029
【図２８】
2010044767.tif 000030
【図２９】
2010044767.tif 000031
【図３０】
2010044767.tif 000032
【図３１】
2010044767.tif 000033
【図３２】
2010044767.tif 000034
【図３３】
2010044767.tif 000035
【図３４】
2010044767.tif 000036
【図３５】
2010044767.tif 000037
【図３６】
2010044767.tif 000038
【図３７】
2010044767.tif 000039
【図３９】
2010044767.tif 000040
【図４０】
2010044767.tif 000041
【図４２】
2010044767.tif 000042
【図４３】
2010044767.tif 000043
【図４５】
2010044767.tif 000044
【図４７】
2010044767.tif 000045
【図３８】
2010044767.tif 000046
【図４１】
2010044767.tif 000047
【図４４】
2010044767.tif 000048
【図４６】
2010044767.tif 000049