(57)【特許請求の範囲】
【請求項１】
コード化されていない音声データを含む文書を処理する情報処理システムにおいて、
検索指令がなされた場合に、指定された文書に含まれる音声データを抽出する抽出手段と、
前記抽出手段にて抽出された音声データから前記音声データの特徴を表す主周波数成分を含むラベル情報を生成するラベル情報生成手段と、
前記検索指令と供に提供される検索キーとしてのラベル情報である主周波数成分情報と前記ラベル情報生成手段にて生成されたラベル情報である主周波数成分情報とが実質的に同一であるか否かを判定する判定手段とを有し、
前記判定手段が前記両ラベル情報の主周波数成分情報が実質的に同一であると判定した場合には、当該判定結果に基づいた検索結果が得られるようにした情報処理システム。
【請求項２】
前記抽出手段は、文書の予め定めた領域に記録された音声データを抽出することを特徴とする請求項１記載の情報処理システム。
【発明の詳細な説明】
【０００１】
【発明の技術分野】
本発明は、画像データ、音声データ等のコード化されない非コード化データを含む文書を処理する情報処理システムに係り、詳しくは、このような非コード化データに基づいた検索処理を可能とする情報処理システムに関する。
【０００２】
【従来の技術】
文書の作成、編集、検索等の処理を行なう情報処理システムでは、文字、記号列等のコード化されたコード化データ、及び画像、音声等のコード化されない非コード化データを処理の対象としている。このようなシステムでの検索処理は、ある文書においてその文書を構成するコード化された文字、記号列からある特定の文字、記号（列）を検索したり、蓄積した文書群からある特定のコード化された文字、記号（列）（キーワード）を含む文書を検索するものである。
【０００３】
【発明が解決しようとする課題】
しかし、従来の情報処理システムでは、画像データや音声データ等の非コード化データに基づいた検索処理を行なうことができない。例えば、ある文書から特定の画像、音声を検索したり、また、蓄積された文書群からある特定の画像や音声を含む文書を検索することができない。
【０００４】
そこで、本発明の課題は、画像データや音声データ等の非コード化データに基づいた検索処理を行なうことのできる情報処理システムを提供することである。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明は、コード化されていない音声データを含む文書を処理する情報処理システムにおいて、検索指令がなされた場合に、指定された文書に含まれる音声データを抽出する抽出手段と、前記抽出手段にて抽出された音声データから前記音声データの特徴を表す主周波数成分を含むラベル情報を生成するラベル情報生成手段と、前記検索指令と供に提供される検索キーとしてのラベル情報である主周波数成分情報と前記ラベル情報生成手段にて生成されたラベル情報である主周波数成分情報とが実質的に同一であるか否かを判定する判定手段とを有し、前記判定手段が前記両ラベル情報の主周波数成分情報が実質的に同一であると判定した場合には、当該判定結果に基づいた検索結果が得られるように構成される。
【００１２】
このような情報処理システムでは、検索指令がなされた場合に、指定された文書から音声データが抽出され、その抽出された音声データから音声データの特徴を表す主周波数成分を含むラベル情報が生成される。そして、その生成されたラベル情報が検索キーとして提供されたラベル情報と実質的に同一であると判定されると、その判定結果に基づいた検索結果が得られる。
【００１３】
この判定結果に基づいた検索結果とは、その判定結果から合理的に得られる検索結果である。例えば、検索キーとして提供されたラベル情報と実質的に同一となるラベル情報の元となる音声データや、その音声データを含む当該指定された文書が検索結果として得られる。
【００１６】
更に、文書の所定の領域に記述した音声データに基づいて分類された文書を検索することができるという観点から、本発明は、上記抽出手段が、文書の予め定めた領域に記述された音声データを抽出するように構成される。
【００１７】
このような情報処理システムでは、常に、文書の予め定めた領域から音声データが抽出される。その抽出された音声データからラベル情報が生成される。そして、そのラベル情報が検索キーとして提供されるラベル情報と実質的に同一の場合、その文書を検索結果として得ることができる。従って、同じ分類に属する文書の当該予め定めた領域に同じ音声データを記述しておけば、検索結果として、当該同じ分類に属する文書を得ることができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の一形態に係る情報処理システムは、コンピュータシステムにて構築され、その機能的な構成は、例えば、図１に示すようになる。この情報処理システムでは、画像データ及び音声データの少なくとも一方で構成されるメディアデータを含む文書が処理（作成、編集、検索等）される。図１において、情報処理システム１は、文書管理ユニット１０、管理ユニット１１、表示ユニット１２、音声出力ユニット１３、入力ユニット１４、入出力制御ユニット１５、特徴抽出ユニット１６、圧縮ユニット１７、表示制御ユニット１８及び検索ユニット１９を有している。
【００２０】
文書管理ユニット１０は、当該システムにて扱われる文書（メディアデータを含む）を管理する。管理ユニット１１は、文書管理ユニット１０にて管理される文書と後述するようなラベル情報との関係を管理する。表示ユニット１２は、文書管理ユニット１０によって管理される文書等を表示する。音声出力ユニット１３は、文書管理ユニット１０によって管理される文書に含まれるメディアデータが音声データにて構成される場合、その音声データに基づいた音声を出力する。入力ユニット１４は、メディアデータを含む文書や、検索キーとなるデータを当該システムに入力する。
【００２１】
入出力制御ユニット１５は、表示ユニット１２、音声出力ユニット１３及び入力ユニット１４との間のインタフェース処理を行なう。文書管理ユニット１０にて管理される文書が入出力制御ユニット１５を介して表示ユニット１２に提供され、該文書が表示ユニット１２に表示される。文書管理ユニット１０にて管理される文書に含まれる音声データ（メディアデータ）が入出力制御ユニット１５を介して音声出力ユニット１３に提供され、該音声データに基づいた音声が音声出力ユニット１３から出力される。また、入力ユニット１４によって入力された文書が入出力制御ユニット１５を介して文書管理ユニット１０に提供され、その提供された文書が文書管理ユニット１０にて管理される。
【００２２】
特徴抽出ユニット１６は、文書管理ユニット１０にて管理される文書からメディアデータを抽出し、そのメディアデータから更にそのメディアデータの特徴を表す特徴データを抽出する。その特徴データがラベル情報として管理ユニット１１に提供される。例えば、あるパターンを有するメディアデータの場合、そのパターンの持つ周波数成分量が特徴データとして算出される。また、例えば、メディアデータが画像データにて構成される場合、その画像に含まれる画像の塊（文字、記号等）の数で定義されるブロック数が特徴データとして抽出される。更にまた、例えば、メディアデータが音声データにて構成される場合、その音声データの主周波数成分値（例えば、８ＫＨｚ等）が特徴データとして抽出される。
【００２３】
文書管理ユニット１０にて管理される文書から抽出されるメディアデータが画像データにて構成される場合、圧縮ユニット１７は、その抽出された画像データの一部または全部を縮小（所定の大きさに正規化）した縮小データを生成し、または、画像データを単純化して表す骨組みデータを算出する。この骨組みデータは、例えば、画像データを単純化した、三角形、四角形、丸等を表す。そして、圧縮ユニット１７にて生成または算出された縮小データまたは骨組みデータは、ラベル情報として管理ユニット１１に提供される。
【００２４】
上記特徴抽出ユニット１６や圧縮ユニット１７からのラベル情報の提供を受ける管理ユニット１１は、そのラベル情報の元となるメディアデータを含む文書と当該ラベル情報との対応関係を管理する。即ち、ラベル情報を指定すると、管理ユニット１１にて管理される対応関係に基づいて、その指定されたラベル情報に対応する文書が特定される。
【００２５】
表示制御ユニット１８は、管理ユニット１１にて各文書との関係が管理されるラベル情報の一覧表を作成し、そのラベル情報の一覧表を表示ユニット１２に表示させる。この表示ユニット１２に表示されたラベル情報の一覧表は、検索処理において検索キーを選択するために用いられる。
【００２６】
検索ユニット１９は、入力ユニット１４から入力される検索キーに対応した文書を文書管理ユニット１０にて管理される文書群から検索する。具体的には、検索キーと実質的に同一なラベル情報を管理ユニット１１にて文書との対応関係が管理されているラベル情報から検索し、検索されたラベル情報と対応関係のある文書を特定する。そして、その特定された文書が検索結果として得られる。
【００２７】
上述したように、表示制御ユニット１８の制御に基づいて表示ユニット１２に管理ユニット１１において文書との対応関係が管理されるラベル情報の一覧表を表示させてもよい。この場合、入力ユニット１２によって、その一覧表から１つのラベル情報を選択する操作を行なうと、そのラベル情報が検索ユニット１９に提供される。検索ユニット１９は、この提供されたラベル情報を検索キーとして上記と同様の処理を行なう。
【００２８】
上記のように文書管理ユニット１０にて管理される文書とラベル情報との対応関係を管理する管理ユニット１１を特に設けなくてもよい。この場合、検索ユニット１９は、文書管理ユニット１０にて管理される文書を特定し、その特定された文書から抽出されるメディアデータから特徴抽出ユニット１６または圧縮ユニット１７にて生成されるラベル情報を得る。そして、検索ユニット１９は、更に、このラベル情報と入力された検索キーとが実質的に同一であるか否かを判定する。
【００２９】
これらが実質的に同一である場合、検索ユニット１９は、このラベル情報の元となるメディアデータを検索結果として出力することができる。この処理は、特定された文書から検索キーに一致するメディアデータを検索する処理に対応する。また、このラベル情報の元となるメディアデータを含む文書を検索結果として出力することができる。この処理は、検索キーに一致するラベル情報の元となるメディアデータを含む文書を文書管理ユニット１０にて管理される文書の中から検索する処理に対応する。
【００３０】
上述したような機能を有する情報処理システムによれば、コード化されていないメディアデータの特徴を表すラベル情報が該メディアデータを含む文書と対応付けられるので、該ラベル情報に基づいた検索処理が可能となる。その結果、該ラベル情報の元となるメディアデータ（非コード化データ）に基づいた検索処理が実質的に可能となる。
【００３１】
次に、更に具体的なシステムについて説明する。
図２は、情報処理システムのハードウエア構成を示す。このシステムは、例えば、手書き入力可能な携帯用コンピュータ端末装置内に構成される。図２において、システムは、それぞれバスに接続されたＣＰＵ（中央演算処理ユニッ）２０、ＲＯＭ（読み出し専用メモリ）２１、メモリユニット２２、手書き入力装置２３、キーボード装置２４、表示装置２５及びファイル格納ユニット２６を有している。
【００３２】
ＲＯＭ２１には、種々のプログラムが格納されている。ＲＯＭ２１内に格納されたプログラムには、本発明にかかるシステムでの処理を行うためのプログラムが含まれている。即ち、このＲＯＭ２１は、本発明に係る記録媒体に対応する。ＣＰＵ２１は、ＲＯＭ２０に格納されたプログラムに従って、文書作成処理、文書編集処理、文書管理処理、文書検索処理等の種々の処理を実行する。
【００３３】
メモリユニット２２は、ＣＰＵ２０での処理にて得られたデータを格納したり、作業メモリ等として使用される。手書き入力装置２３は、タッチペンを用いて手書き線画像や手書き文字等の入力に使用される。キーボード装置２４は、キー操作によって文字、記号のコード入力を行うために使用される。表示装置２５は、例えば、液晶表示パネルで構成され、システム内で作成、編集される文書等を表示する。ファイル格納ユニット２６は、例えば、ＥＥＰＲＯＭや、バックアップ付きのＲＡＭ等で構成され、システム内で作成された文書、テーブル等を格納する。
【００３４】
上記のようなシステムでは、手書き入力装置２３から入力される手書き線画像及び手書き文字や、キーボード装置２４からコード入力される文字、記号によって文書が作成、編集される。そして、更に、作成、編集された文書の特定領域に手書き入力装置２３を用いてマークが記述される。文書の特定領域は、例えば、図３（ａ）に示すように文書の先頭部分に予め定められる。このマークは、例えば、文書の大まかな分類（重要度のランク等）のために用いることができ、図５に示すように、１個の○印（５図（ａ））、２個の○印（５図（ｂ））、３個の○印（５図（ｃ））等で表される。
【００３５】
上記のようにして、文書の作成、編集及びマークの記入が終了すると、ＣＰＵ２０は、図４の手順に従って文書（画像データを含み、以下、画像データ文書という）の保存処理を行なう。
図４において、ＣＰＵ２０は、画像データ文書の特定領域にある画像データを取り出し（Ｓ１）、その表示画像が所定の大きさとなるように、その画像データの正規化処理を行なう（Ｓ２）。そして、ＣＰＵ２０は、更に、正規化された画像データから特徴を抽出する（Ｓ３）（図１に示す特徴抽出手段１６に対応）。例えば、正規化された画像データで表される画像に含まれる塊の数、即ち、ブロック数が特徴として抽出される。
【００３６】
図５（ａ）、（ｂ）、（ｃ）でそれぞれ示されるマークが記述された場合、抽出されるブロック数は、それぞれ「１」、「２」、「３」である。そして、ＣＰＵ２０は、そのブロック数を当該画像データ文書に対応したラベル情報として生成する（Ｓ４）。その後、ＣＰＵ２０は、作成、編集した画像データ文書をファイル格納ユニット２６に格納する（Ｓ５）。画像データ文書（文書名）と格納位置との関係を表すテーブルがファイル格納ユニット２６内に構築され、両者の関係がシステム内で管理される（図１に示す文書管理手段１０に対応）。
【００３７】
また、例えば、図７に示すように、ラベル情報（この例の場合、ブロック数（ａ、ｂ、．．．））と画像データ文書（文書名、ＡＡＡ、ＢＢＢ等）との関係を記述したラベル管理テーブルがファイル格納ユニット２６内に構築されている。上記のようにラベル情報が作成されると、その作成されたラベル情報が当該作成、編集された画像データ文書に対応するように、ラベル管理テーブル内に記述される（Ｓ６）。このラベル管理テーブルを用いて、画像データ文書とラベル情報との関係が管理される（図１に示す管理手段１１に対応）。
【００３８】
上記のように、画像データ文書の作成、編集がなされる毎に、その特定領域に記述された画像データ（マーク）に基づいてラベル情報が作成され、当該画像データ文書がファイル格納ユニット２６に格納されると供に、当該画像データ文書とラベル情報との関係がラベル管理テーブルに記述される。
【００３９】
ユーザが、例えば、最も重要度の高い文書と決めた、３個の○印が付された文書（図５（ｃ）参照）を検索するため、検索キーとして、ブロック数”３”をキーボード装置２４または、手書き入力装置２３から入力すると、ＣＰＵ２０は、例えば、図８に示す手順に従って検索処理を実行する（図１に示す検索手段１９に対応）。
【００４０】
ＣＰＵ２０は、内部係数等の初期化を行なった後に（Ｓ１１）、入力された検索キー（ブロック数”３”）を取得する（Ｓ１２）。更に、ＣＰＵ２０は、”０”に初期化されたカウンタ値ｉをインクリメント（ｉ＝１）して（Ｓ１３）、ｉ番目（１番目）の文書に対応するラベル情報を上記ラベル管理テーブル（図７参照）から読みだす（Ｓ１４）。
【００４１】
そして、ＣＰＵ２０は、取得した検索キーと読みだしたラベル情報とを比較し（Ｓ１５）、それらが一致しているか否かを判定する（Ｓ１６）。それらが一致している場合、ＣＰＵ２０は、そのｉ番目（１番目）の画像データ文書のＩＤ（文書番号）を所定のレジスタにセットする（Ｓ１７）。検索キーと読みだしたラベル情報が一致しなかった場合、または、画像データ文書のＩＤをレジスタにセットした後に、ＣＰＵ２０は、カウンタ値ｉがファイル格納ユニット２６に格納される全ての文書数ｉ0 に達したか否か（ｉ≧ｉ0 ）を判定し（Ｓ１８）、達していない場合、次の文書に対応するラベル情報と検索キーとの比較を行なう。
【００４２】
以後、カウンタ値ｉが全文書数ｉ0 に達するまで、上述した処理を繰り返し、カウンタ値ｉが全文書数ｉ0 に達すると（全文書に対応するラベル情報と検索キーとの比較が終わると）、ＣＰＵ２０は、その時点で、レジスタにセットされている画像データ文書のＩＤを表示装置２５に一覧表として表示させる（Ｓ１９）。即ち、表示装置２５には、例えば、検索キーで指定されるブロック数”３”の文書（特定領域に３つの○印が記述された文書）の一覧表が表示される。
【００４３】
ユーザは、その一覧表内の文書群から１つの文書を、手書き入力装置２３を用いて指定すると、その指定された文書がファイル格納ユニット２６から読みだされて、表示装置２５に表示される。
上記のようなシステムでは、文書に含まれる画像データ（手書き○印）の特徴からラベル情報が作成され、そのラベル情報と文書との対応関係が管理される。そして、検索キーとしてラベル情報が提供された時に、管理されている対応関係に基づいて文書が検索される。その結果、画像データ（手書き○印）に基づいた文書の検索処理が可能となる。
【００４４】
なお、取得した画像データからブロック数を特徴として抽出する場合、塊が抽出できるものであれば、同一のシステムにおいて、種々の画像を用いることができる。例えば、図６（ａ）、（ｂ）、（ｃ）に示すように、１個の△印、２個の△印、３個の△印を用いることができる。この場合、夫々のブロック数は、○印の場合と同様に、「１」、「２」、「３」である。
【００４５】
また、次のような画像データの特徴を抽出してラベル情報を作成することも可能である。即ち、特定領域の画像データに二次元フーリエ解析を施して、その時に求まる周波数成分量や、特定領域の画像データの持つ色成分等を画像データの特徴として抽出し、この特徴に基づいてラベル情報を作成することができる。
【００４６】
上記例では、取得した画像データから特徴を抽出してラベル情報を作成したが、画像データを縮小等して得られる縮小画像をラベル情報として用いることができる。
特定領域に記述される画像として、例えば、図９に示すような○、×、△、□が用いられる例を説明する。
【００４７】
文書の作成、編集の終了時に、上記４種類のいずれかのマークが手書き文字入力装置２３によって当該文書の特定領域（先頭領域）に記入される。この場合、ＣＰＵ２０は、実質的に図４に示す手順を同様の手順に従って、処理を実行する。即ち、特定領域の画像データ（○、×、△、□のいずれか）を取り出した後（Ｓ１）に、その画像データの正規化処理を実行して（Ｓ２）、所定の大きさの画像データ（一般に縮小画像データ）を生成する（サムネール処理）（図１に示す圧縮ユニット１７に対応）。そして、その正規化された画像データに基づいてラベル画像情報が作成される（Ｓ４）。作成、編集された文書は、ファイル格納ユニット２６に格納される（Ｓ５）。
【００４８】
ラベル画像情報と文書との関係は、次のようにして管理される。
作成されたラベル画像情報（縮小画像データ）そのものがファイル格納ユニット２６に格納される。そして、このラベル画像情報の格納位置（ポインタ値）が、例えば、図１０に示すように、ラベル画像情報とその格納位置との関係を表すラベル格納位置テーブルに記述される。このラベル格納位置テーブルは、ファイル格納ユニット２６に構築されている。
【００４９】
上記のように、ラベル画像情報の格納位置がラベル格納テーブルに記述された後に、更に、作成、編集された文書（ＡＡＡ、ＢＢＢ等）とラベル画像情報の関係が、例えば、図１１に示すようなラベル管理テーブルに記述される（図４に示すＳ６）。
【００５０】
上記のようにしてラベル画像情報との対応が付けられながらファイル格納ユニット２６内に蓄積された文書の検索処理は、例えば、図１２に示す手順に従って行なわれる。
ユーザが、例えば、○、×、△、□のうちのいずれかのマークを付けた文書を検索するために、手書き入力装置２３を用いてそのマークを検索キーとして手書き入力すると、ＣＰＵ２０は、各係数値の初期化を行なった（Ｓ２１）後に、入力されたマークの画像データを取得する（Ｓ２２）。そして、ＣＰＵ２０は、取得した画像データの正規化処理を行ない（Ｓ２３）、その結果得られた正規化画像データから検索すべきラベル画像情報に対応した検索データを生成する（Ｓ２４）。
【００５１】
このように検索データが生成されると、ＣＰＵ２０は、ラベル格納位置テーブル（図１０参照）を参照して、ラベル画像情報をファイル格納ユニット２６から読み出す（Ｓ２５）。そして、ＣＰＵ２０は、上記のように生成された検索データと読み出したラベル画像情報を比較し（Ｓ２６）、それらが一致するか否かを判定する（Ｓ２７）。この比較及び一致判定は、一般的な画像認識処理により行なわれ、検索データに対して所定の類似度を有する（実質的に同一な）ラベル画像情報は、当該検索データに一致するラベル画像情報と判定される。
【００５２】
一致しない場合、ラベル格納位置テーブルにて管理されるラベル画像情報について、上記と同様に検索データとの比較及び一致判定の処理が繰り返し行なわれる（Ｓ３６、Ｓ２５、Ｓ２６、Ｓ２７）。そして、検索データに一致するラベル画像情報があると、ＣＰＵ２０は、そのラベル画像情報のＩＤを検索すべきラベル画像情報（検索ラベル）のＩＤとして所定のレジスタにセットする（Ｓ２８）。
【００５３】
その後、ＣＰＵ２０は、初期化されたカウンタ値ｉ（ｉ＝０）をインクリメント（ｉ＝１）して（Ｓ２９）、ｉ番目（１番目）の文書に対応するラベル画像情報のＩＤを上記ラベル管理テーブル（図１１参照）から読みだす（Ｓ３０）。そして、ＣＰＵ２０は、上記所定のレジスタにセットした検索ラベルのＩＤと読みだしたラベル画像情報のＩＤとを比較し（Ｓ３１）、それらが一致しているか否かを判定する（Ｓ３２）。それらが一致している場合、ＣＰＵ２０は、そのｉ番目（１番目）の画像データ文書のＩＤ（文書番号、文書名等）を所定のレジスタにセットする（Ｓ３３）。検索ラベルのＩＤと読みだしたラベル画像情報のＩＤが一致しなかった場合、または、画像データ文書のＩＤをレジスタにセットした後に、ＣＰＵ２０は、カウンタ値ｉがファイル格納ユニット２６に格納される全ての文書数ｉ0 に達したか否か（ｉ≧ｉ0 ）を判定し（Ｓ３４）、達していない場合、次の文書に対応するラベル画像情報のＩＤと検索ラベルのＩＤとの比較を行なう。
【００５４】
以後、カウンタ値ｉが全文書数ｉ0 に達するまで、上述した処理を繰り返し、カウンタ値ｉが全文書数ｉ0 に達すると（全文書に対応するラベル画像情報と検索ラベルとの比較が終わると）、ＣＰＵ２０は、その時点で、レジスタにセットされている画像データ文書のＩＤを表示装置２５に一覧表として表示させる（Ｓ３５）。即ち、表示装置２５には、例えば、○印が特定領域に記述された文書の一覧表が表示される。
【００５５】
ユーザは、その一覧表内の文書群から１つの文書を、手書き入力装置２３を用いて指定すると、その指定された文書がファイル格納ユニット２６から読みだされて、表示装置２５に表示される。
なお、上記図１２に示す手順に従った処理において、全てのラベル画像情報が検索データに一致しなかった場合（Ｓ３６、ＹＥＳ）、ＣＰＵ２０は、該当する画像データ文書が存在しない旨のメッセージを表示装置２５に表示させた後に（Ｓ３７）、検索処理を終了する。
【００５６】
上記のようなシステムでは、文書に含まれる画像データ（手書き○印、×印、△印、□印）を縮小したラベル画像情報が作成され、そのラベル画像情報と文書との対応関係が管理される。そして、検索キーとして手書きの画像データが提供されたときに、管理されている対応関係に基づいて、その画像データに対応した文書が検索される。
【００５７】
上記の例では、検索すべき文書に記述した画像データ（マーク等）をユーザが直接入力したが、その画像データの種類が多くなると、それらの画像データをユーザが覚えておくことが難しくなる。このような場合、容易に画像データの指定を行なえるようにするため、上述したような検索処理を行なう前に、ＣＰＵ２０は、例えば、図１３に示すような手順に従った処理を行なう。
【００５８】
図１３において、ＣＰＵ２０は、ラベル格納位置テーブル（図１０参照）を参照して、各ラベル画像情報をファイル格納ユニット２６から読みだし、各ラベル画像情報（縮小画像）の一覧表を表示装置２５に表示させる（Ｓ４１）。そして、ユーザが手書き入力装置２３を用いて、表示されたラベル画像情報群から１つのラベル画像情報を指定する操作を行なうと、ＣＰＵ２０は、その指定されたラベル画像情報を取得する（Ｓ４２）。以後、ＣＰＵ２０は、その取得したラベル画像情報を検索データとして、図１２に示す手順と同様の手順に従った検索処理Ｐ100 を実行する。
【００５９】
また、上述した各例においては、画像データ文書の先頭部分を特定領域として、その部分に記述された画像データからラベル情報を作成したが、これに限られることはない。例えば、図３（ｂ）に示すように、画像データ文書の先頭の行や、図３（ｃ）に示すように、画像データ文書に含まれる画像実データの先頭部分を特定領域として予め設定してもよい。
【００６０】
更に、上述した各例においては、ラベル情報の元となる画像は、ユーザが例えば、文書の分類に使用するためにわざわざ記述したマークであったが、これに限られることはない。例えば、ユーザが作成した文書そのものの所定領域に含まれる画像データ（イメージとしてメモリユニット２２に展開された文書データの所定領域部分）を縮小したり、文書全体（１頁分）を表す画像データ（イメージとしてメモリユニット２２に展開された文書データ）を縮小することで、ラベル情報を作成することも可能である。
【００６１】
このような場合、作成される文書に応じて種々のラベル情報が作成されるので、文書検索に際して、ラベル情報に対応した検索データを指定することが難しい。それを解決するために、検索処理の前に、前述したような、図１３に示す手順に従った処理が実行される。即ち、作成されたラベル情報（縮小画像）の一覧表が表示装置２５に表示され、その一覧表のラベル情報群から選択されたラベル情報を検索データとして、対応する文書の検索が行なわれる。
【００６２】
上記各例においては、一つの文書に対応して一つのラベル情報が作成されたが、これに限られない。一つの文書に対して複数のラベル情報を作成し、それらのラベル情報を一つの文書に対応付けられるように管理することも可能である。
例えば、図１４に示すように、作成した画像データ文書（ＡＡＡ）において、画像データ部分α1 、α2 、．．．αn を指定すると、指定された画像データ部分の縮小、正規化処理（サムネール処理）がなされて、対応するラベル情報ａ1 、ａ2 、．．．、ａn が作成される。この作成されたラベル情報は、作成された文書と供にファイル格納ユニット２６に格納される。そして、例えば、図１５に示すようなラベル管理テーブルに、画像データ文書（ＡＡＡ、ＢＢＢ等）とラベル情報との関係が記述される。
【００６３】
この場合も、前記と同様の処理に従って（図１２参照）、あるラベル情報が検索データとして指定されたときに、該ラベル管理テーブルを参照して、対応する画像データ文書が検索される。
上記各例においては、ラベル情報を用いて文書検索を行なうものであった。次に、各文書内の画像データの検索処理について説明する。
【００６４】
このような検索処理は、例えば、図１６に示す手順に従って行なわれる。
図１６において、ユーザが手書き入力装置２３を用いて検索キーとなる画像データ（α）を入力すると、ＣＰＵ２０は、種々の係数の初期化を行なった後に（Ｓ５１）、入力された画像データ（α）を取得する（Ｓ５２）。そして、ＣＰＵ２０は、取得した画像データ（α）の正規化処理を行ない（Ｓ５３）、その結果得られた正規化画像データ（縮小画像）から検索すべきラベル画像情報に対応した検索データを生成する（Ｓ５４）。
【００６５】
その後、ＣＰＵ２０は、ファイル格納ユニット２６から画像データ文書を読みだし、メモリユニット２２に展開する（Ｓ５５）。そして、ＣＰＵ２０は、メモリユニット２２に展開された画像データ文書を走査して（Ｓ５６）画像データ部分が存在するか否かを判定する（Ｓ５７）。読みだした文書の最終端に達する前に（Ｓ５８）、画像データ部分が存在することを判定すると、ＣＰＵ２０は、その画像データ部分を抽出する（Ｓ５９）。
【００６６】
このように画像データ部分が抽出されると、ＣＰＵ２０は、その抽出された画像データ部分の正規化処理を行ない（Ｓ６０）、その結果得られる正規化画像データからラベル情報（ａ）（縮小画像）を作成する（Ｓ６１）。そして、ＣＰＵ２０は、上記のようにして手書き入力画像から生成した検索データとラベル情報（ａ）が一致するか否かを判定する（Ｓ６２）。この一致判定の処理では、前述した例（図１２参照）と同様に、検索データと所定の類似度を有する（実質的に同一）ラベル情報は、当該検索データと一致するものと判定される。
【００６７】
当該検索データとラベル情報（ａ）が一致していると判定した場合、ＣＰＵ２０は、抽出された画像データ部分が検索データに該当することを表示装置２５表示させる（Ｓ６４）。その後、ＣＰＵ２０は、処理中断のための操作入力があったか否かを判定する（Ｓ６５）。そのような処理中断のための操作入力がなければ、再度、画像データ文書の走査を開始して、画像データ部分を抽出するための処理及び抽出された画像データ部分が検索データに一致するか否かの判定処理を続行する（Ｓ５６乃至Ｓ６５）。
【００６８】
なお、抽出された画像データ部分が検索データと一致しなかった場合、そのまま、画像データ文書の走査を続行する（Ｓ６３→Ｓ５６）。
上記の処理を繰り返し、読みだした文書の最終端まで走査が終了すると、ＣＰＵ２０は、更に、前述した処理の過程で、検索データに一致する画像データ部分が存在したかどうかを判別し（Ｓ６６）、一致する画像データが読みだした文書内に存在しなかった場合には、ＣＰＵ２０は、該当文書データ部分が存在したなかった旨のメッセージを表示装置２５に表示させる（Ｓ６７）。
【００６９】
その後、ＣＰＵ２０は、次の文書についての処理の要求がなされているか否かを判定し、そのような要求がなされている場合には、次の画像データ文書を、新たな検索対象の文書として、ファイル格納ユニット２６から読み出してメモリユニット２２に展開する（Ｓ６８→Ｓ５５）。以後、新たな画像データ文書に対して、上述したのと同様の処理が実行される。
【００７０】
なお、抽出された画像データ部分が検索データに該当することが表示装置２５表示された後に、中断操作がなされたことを判定すると、ＣＰＵ２０は、当該文書についての検索処理を終了し、次の文書についての検索処理を行なうべきか否かの判定を行なう（Ｓ６８）。
【００７１】
上記のような検索処理によれば、手書き入力装置２３から入力された画像ータと一致する画像データが各画像データ文書から検索される。
上述したラベル情報に基づいて文書検索処理を行なうシステムでは、ラベル情報と画像データ文書との関係を記述したラベル管理テーブルを用いて検索処理を行なっていたが、これに限定されない。特にラベル管理テーブルを用いることなしに、検索データが与えられる毎に、図１６に示す手順と同様の手順に従って、文書の所定領域の画像データを読み出して、この読みだした画像データと検索データとの比較処理、一致判定処理を行なってもよい。
【００７２】
上述したように、例えば、図１７に示すように、画像データが「富士山」を表す場合、図１８（ａ）に示すように、その「富士山」の縮小データをラベル情報とするほか、図１８（ｂ）に示すように、「富士山」の骨組みデータである台形の線画をラベル情報として登録する（ラベル管理テーブルに記述する）ことも可能である。
【００７３】
また、上述した各実施例は、画像データからラベル情報を作成するものであったが、これに限定されない。音声データや、音声データと画像データとの複合データ等からラベル情報を作成することもできる。
また更に、本発明に係るシステムが携帯用コンピュータ端末装置内に構築した例を説明したが、これに限られない。通常のデスクトップ型、ラップトップ型のパーソナルコンピュータ内に構築することもできる。この場合、ファイル格納ユニット２６は、例えば、ハードディスク装置で構成される。そして、各種プログラムは、ＣＤ−ＲＯＭ、フロッピーディスク、各種メモリカード等の記録媒体によって、当該システムに提供することができる。
【００７４】
なお、上記各例において、図４に示すステップＳ１の処理は抽出手段（抽出プログラム手段）に対応し、ステップＳ２乃至ステップＳ４での処理はラベル情報生成手段（ラベル情報生成プログラム手段）に対応し、図７、図１０及び図１１、更に、図１５に夫々示されるテーブルは、管理手段に対応する。図８及び図１２の各手順に従った処理は、検索手段（検索プログラム手段）に対応する。
【００７５】
また、図１６に示すステップＳ５６乃至Ｓ５９の処理は抽出手段（抽出プログラム手段）に対応し、図１６に示すステップＳ６０及びＳ６１の処理はラベル情報生成手段（ラベル情報生成プログラム手段）に対応し、図１６に示すステップＳ６２及びＳ６３の処理は判定手段（判定プログラム手段）に対応する。
【００７６】
更に、図４に示すステップＳ６の処理は、文書とラベル情報の対応関係を管理手段に提供するためのプログラム手段に対応し、図１３に示す手順の処理はラベル一覧表示制御手段に対応する。
【００７７】
【発明の効果】
以上、説明してきたように、請求項１乃至２記載の本願発明によれば、文書の一部の音声データからラベル情報を作成し、そのラベル情報と文書との対応関係に基づいて文書検索等を行なうようにしたため、音声データに基づいた検索処理を行なうことができるシステムが実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るシステムの機能的な構成を示すブロック図である。
【図２】本発明の実施の形態に係るシステムのハードウエア構成の一例を示すブロック図である。
【図３】画像データを抽出すべき画像データ文書の特定領域の例を示す図である。
【図４】作成した文書を保存する際の処理手順の一例を示すフローチャートである。
【図５】文書の特定領域に記述すべき画像の例を示す図である。
【図６】文書の特定領域に記述すべき画像の他の例を示す図である。
【図７】文書とラベル情報との関係を記述したラベル管理テーブルを示す図である。
【図８】文書検索処理の手順の例を示すフローチャートである。
【図９】文書の特例領域に記述すべき画像の更に他の例を示す図である。
【図１０】ラベル情報とその格納位置との関係を記述したラベル格納位置テーブルを示す図である。
【図１１】ラベル情報と文書との対応関係を記述したラベル管理テーブルを示す図である。
【図１２】文書検索処理の手順の一例を示すフローチャートである。
【図１３】ラベル情報の一覧表を表示するための処理の手順の一例を示すフローチャートである。
【図１４】作成、編集された画像データ文書内の画像データとラベル情報の対応を示す図である。
【図１５】文書とラベル情報との対応関係を記述したラベル管理テーブルを示す図である。
【図１６】画像データの検索処理の手順の一例を示すフローチャートである。
【図１７】画像データの一例を示す図である。
【図１８】ラベル情報の例を示す図である。
【符号の説明】
１  情報処理システム
１０  文書管理ユニット
１１  管理ユニット
１２  表示ユニット
１３  音声出力ユニット
１４  入力ユニット
１５  入出力制御ユニット
１６  特徴抽出ユニット
１７  圧縮ユニット
１８  表示制御ユニット
１９  検索ユニット
２０  ＣＰＵ
２１  ＲＯＭ
２２  メモリユニット
２３  手書き入力装置
２４  キーボード
２５  表示装置
２６  ファイル格納ユニット
【図１】
0004388142.tif 000002
【図２】
0004388142.tif 000003
【図３】
0004388142.tif 000004
【図４】
0004388142.tif 000005
【図５】
0004388142.tif 000006
【図６】
0004388142.tif 000007
【図７】
0004388142.tif 000008
【図８】
0004388142.tif 000009
【図９】
0004388142.tif 000010
【図１０】
0004388142.tif 000011
【図１１】
0004388142.tif 000012
【図１２】
0004388142.tif 000013
【図１３】
0004388142.tif 000014
【図１４】
0004388142.tif 000015
【図１５】
0004388142.tif 000016
【図１６】
0004388142.tif 000017
【図１７】
0004388142.tif 000018
【図１８】
0004388142.tif 000019