(57)【特許請求の範囲】
【請求項１】
ラスター画像に描画することが可能な第１の部品データとしてのオブジェクトとラスター画像に描画することが可能なオブジェクトであって前記第１の部品データとしてのオブジェクトとは異なるデータタイプの第２の部品データとしてのオブジェクトとを記憶する部品データ記憶部と、各部品データに対して付与された属性情報を記憶する属性記憶部とを備えたマルチメディア文書記憶装置において、
前記複数のオブジェクトと当該複数のオブジェクトの各々をラスター画像に描画する際に施す画像処理操作とから構成された関係情報を、文書あるいは部品データの集合としての合成部品毎に記憶するための関係記憶部を備えたことを特徴とするマルチメディア文書記憶装置。
【請求項２】
上記請求項１に記載のマルチメディア文書記憶装置において、各部品データの内容そのもの或いは各部品データに付与された識別子を参照して部品データを検索する内容検索部を備えたことを特徴とするマルチメディア文書記憶装置。
【請求項３】
上記請求項１に記載のマルチメディア文書記憶装置において、所望の文書あるいは合成部品を再構成するために、文書あるいは合成部品に付与された識別子からそれらの関係情報を検索するとともに前記関係記憶部中に記憶された関係情報の中から所望の関係情報を持つ文書あるいは合成部品を検索する文書・関係検索部を備えたことを特徴とするマルチメディア文書記憶装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、マルチメディア文書の検索装置等において使用される記憶装置に関するものである。
【０００２】
【従来の技術】
テキストデータ、音声データ、画像データ、動画データ等の複数のタイプのデータから構成されるデータは、一般にマルチメディアデータと呼ばれている。従来より、このマルチメディアデータを説明・補助する情報についての文字・数値型データベースを作成し、そのデータ項目の１つとしてマルチメディアデータへのポインタを用意するシステムが多く提案されている。
【０００３】
例えば、画像データの場合であれば、ランドサット画像データベースの記憶装置として、ＩＭＤＳ（Ｙ．Ｅ．Ｌｉｅｎ，  ｅｔ  ａｌ．：“Ｄｅｓｉｇｎ  ｏｆ  ａｎ  Ｉｍａｇｅ  Ｄａｔａｂａｓｅ”，  Ｐｒｏｃ．  ｏｆ  Ｐｉｃｔｕｒｅ  Ｄａｔａｂａｓｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  ａｎｄ  Ｍａｎａｇｅｍｅｎｔ  ７７，ｐ．１３１（１９７７））や、ＬＩＭＳ（篠田，木戸出；画像データベース信学誌，６３，１２，（１９８１））が開発されている。
【０００４】
他にも、例えば特開平３−１３９７６８号公報などに記載されている様に、１つの画像が１枚の画像データからだけでなく、複数枚の部品画像データから構成され、検索する際にデータの内容を利用し、従来技術におけるキーワードの付け方や、検索の際の優先順位の無さを補うシステムも提案されている。
【０００５】
また、同じく画像データの例であるが、画像部品データの相互関係を記述した関係情報を用いて内容依存型データ検索を行うものもある。イリノイ大学のＧＲＡＩＮ（Ｎ．Ｓ．Ｃｈａｎｇ：  “Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ  ａｎｄＩｍａｇｅ  Ｄａｔａｂａｓｅ  Ｍａｎａｇｅｍｅｎｔ”，ＵＭＩ  Ｒｅｓｅａｒｃｈ  Ｐｒｅｓｓ，  Ａｎｎ  Ａｒｂａｒ，Ｍｉｃｈｉｇａｎ，（１９８１））がそれで、各画像内部の対象物を最小外接矩形領域としてとらえ［対象物名前−包含関係−位置座標−諸属性］の表であらわしているため、例えば論理画像の位置座標を用いた検索ができる。
【０００６】
更に、内容を参照する検索方式としては、特開平２−５１７７５号公報に示される様なものがある。同公報に記載の画像情報検索装置は、検索情報として、識別記号やキーワードの代わりに、画像情報を構成する構成要素と各構成要素の画像情報内での大きさ、向き、姿勢、位置関係等の様々な属性を用いるキーイメージ検索法において、ユーザ自身が個々の検索毎に近似度の判定基準を容易に変更できるようにしたものである。
【０００７】
また、写真などのデータと文字が混在する場合、それら全てを１つのデータタイプ、例えば画像として扱い、例えば特開平３−８７９７７号公報に示される様に、圧縮符号化して記憶しておき、検索時にはテキストを含むブロックのみ高解像度で復号化し、人間がテキストデータを読み取って、画像とそこに書かれている文字列から目的とするファイルであるかどうかを判断する様な手法もある。
【０００８】
【発明が解決しようとする課題】
しかしながら、これら従来の方法では、検索のキーとなるデータのタイプとして、テキストや画像といった複数のデータタイプの中の１つの特定のデータタイプを前提としている（例えばＧＲＡＩＮの場合ならば画像）ため、例えば「胸部レントゲン写真に『昭和６３年２月１４日撮影』という説明文をテキストで追加記入したファイル」を自動検索する事は困難であった。
【０００９】
そこで本発明は、それぞれ異なったデータタイプの複数のデータを検索のキーとして、目的のデータを容易に検索できるようにすることを目的とする。
【００１０】
本発明においては、検索の対象となるデータを複数の部品データの組み合わせから構成し、様々なデータタイプの部品データを保持しながら、それらを複合的に利用し、各部品データおよび部品データの集合の持つ内容自体と、それらに与えられた属性、及びそれら同士の関係の記述から、目的とする部品データあるいは部品データの集合を検索する。
【００１１】
【課題を解決するための手段】
本発明は、ラスター画像に描画することが可能な第１の部品データとしてのオブジェクトとラスター画像に描画することが可能なオブジェクトであって前記第１の部品データとしてのオブジェクトとは異なるデータタイプの第２の部品データとしてのオブジェクトとを記憶する部品データ記憶部と、各部品データに対して付与された属性情報を記憶する属性記憶部とを備えたマルチメディア文書記憶装置において、前記複数のオブジェクトと当該複数のオブジェクトの各々をラスター画像に描画する際に施す画像処理操作とから構成された関係情報を、文書あるいは部品データの集合としての合成部品毎に記憶するための関係記憶部を備えたことを特徴とする。
【００１２】
【作用】
図１は本発明の作用を説明するための基本的なブロック図である。
【００１３】
図１に示す様に、本発明のマルチメディア文書記憶装置は、記憶部として、各部品データおよび部品データの集合を蓄積するための部品データ記憶部１、これらの各部品データおよび部品データの集合に与えられた属性を蓄積するための属性記憶部２、及び各部品データおよび部品データの集合同士の関係の記述を蓄積するための関係記憶部３をそれぞれ備えている。また検索部として、内容検索部４、属性検索部５、文書・関係検索部６、およびそれら３つの検索部４，５，６を用いて所望の部品データの集合を得るための複合検索部７を備えている。上記、内容検索部４は、後述するようにテキスト検索部４ａ及び画像検索部４ｂを備えている。さらに演算のためのプロセッサ８や、検索結果の表示／編集のためのディスプレイ装置とキー入力用キーボード、及びマウス／デジタイザなどのポインティングデバイス、そして音声や画像などのマルチメディアデータ入出力部９を備えている。
【００１４】
マルチメディアデータ入出力部９により入力されたテキストデータ，画像データ等のマルチメディアデータは、各種の属性を自動的に或いは人為的に付与され、データの内容は部品データ記憶部１に、また属性は属性記憶部２に格納される。自動的に付与される属性としては、日付，解像度，登録者名，データサイズ，画像データのアドレス，データ種別等があり、人為的に付与される属性としては、画像名，アクセス権，有効期限，有効期限後の扱い等がある。また、それらの部品データは、内容検索部４によって検索されマルチメディアデータ入出力部９から出力され、合成／切り貼り等の編集が行われる。なお、各部品データの位置情報は関係記憶部３に含まれている。その後、編集された結果、生成される複数の部品データ間の相互関係や施された演算を記述した関係ファイルが、関係記憶部３に格納される。なお、関係ファイルには、拡大／縮小、色変換、アフィン変換等の編集操作の情報も含まれる。
【００１５】
以上の手順で生成された部品データの内容、属性、関係から、複合検索部７によって、内容検索部４、属性検索部５、文書・関係検索部６を用いてファイルが検索され、マルチメディアデータ入出力部９に表示される。
【００１６】
【実施例】
本発明の実施例を図面に従って説明する。なお、図１に示す構成と対応する部材には同一符号を付している。
【００１７】
図２で示す様に、図１における内容検索部４は、テキスト検索部４ａと画像検索部４ｂとを備えている。また、マルチメディアデータ入出力部９は、音声入出力のためのマイク／スピーカ９ａ、画像入力のためのスキャナ９ｂ、座標入力のためのマウス９ｃ、そしてテキスト入力と画像表示用のためのディスプレイ／キーボード９ｄを備え、外部との通信用のネットワークインタフェース９ｅも備えている。更に、マルチメディアデータ入出力部９からのデータを保持するため、部品データ記憶部１には、図３の様に、画像部品データ記憶部１ａ、テキスト部品データ記憶部１ｂ、音声部品データ記憶部１ｃを備えている。
【００１８】
以上の構成で、簡単のため、まず画像データとテキストデータが混在するマルチメディアデータの文書について考える。
【００１９】
まず、登録時の動作について説明する。スキャナ９ｂから入力された画像データ（例えば木）は、まず画像部品データ記憶部１ａに一つのファイルとして登録される。図４（ａ）は、この登録された木の画像データを模式的に示すものである。他の画像データ、たとえば、人や道路等の画像データも必要に応じて同様に登録される。画像部品データ記憶部１ａは、複数の画像データを記憶することができるだけの容量を有しており、たとえば、先頭アドレスから各画像データが順次書き込まれていく。各画像データには固有の識別子、たとえば、「画像１」，「画像２」，・・・というファイル名が付されている。なお、このファイル名自体は、属性記憶部２に記憶されており対応する画像データの先頭アドレスと共に管理されている。図４（ｂ）は、これらの複数の画像データの登録状態を模式的に示しており、この例では、木の画像データが「画像２」として登録される。なお、ファイル名と実際に画像データが格納されているアドレスの関係は、たとえば、ファイル名とアドレスポインタの対応テーブルに記憶される。また、登録の際には、各画像データには、その画像データの内容を示すキーワードが付される。たとえば、「画像２」の画像データには「木」というキーワードが付され、属性記憶部２に格納される。
【００２０】
次に、編集のため、ディスプレイ／キーボード９ｄのキーボード部を通してキーワード「木」が入力されると、このキーワードと、属性記憶部２に登録されている各画像データのキーワードが順次比較され、前述の「画像２」として登録された木が検索される。この木の画像データの表示位置をマウス９ｃで指定することにより、ディスプレイ／キーボード９ｄのディスプレイ部に表示されている編集中の画像に、木の画像データＩＤ２が合成表示される（図４（ｃ）参照）。他の画像部品、例えば人や道路などの画像データＩＤ３，ＩＤ４も同様である。各画像データの表示画面上での座標のデータは、各画像データに付随するデータとして後述の関係記憶部３に格納するため、メモリ中に編集作業が終了するまで保持しておく。画像の位置を示すデータとしては、たとえば、画像に外接する矩形の左上隅の点の座標を使用することができる。
【００２１】
更にディスプレイ／キーボード９ｄのキーボード部から入力された『横浜にて＜ＣＲ＞平成２年１０月７日撮影』というテキストデータＴＤが、図４（ｃ）に示すように編集中の画像のマウス９ｃで指定した任意の部分に書き込まれ、書き終わった時点で、テキスト部品データ記憶部１ｂに「テキスト１」として登録される（図４（ｄ）参照）。なお、＜ＣＲ＞は改行を示す制御記号である。図示しないが、他のテキストデータに関しても同様であり、テキスト部品データ記憶部１ｂには複数のテキストデータが順次登録される。なお、各テキストデータの表示画面上での座標のデータは、各テキストデータに付随するデータとして記憶される。
【００２２】
上述のようにして、画像及びテキストを組み合わせて一つの文書の作成が作成され、文書作成終了が指示されると、その文書にファイル名、たとえば、「文書１」が付される。他の文書についても同様に編集作業を行う。
【００２３】
最後に編集操作が終わると、作成された各文書が、どの部品データを用いてどういう関係から構成されているかを示すファイル（以後関係ファイルと呼ぶ）が生成され、ファイル名と共に、関係記憶部３に登録される（図４（ｅ）参照）。図４（ｅ）の例では、「文書１」に対応する関係ファイルとして「テキスト１（ｘ１，ｙ１）＋画像２（ｘ２，ｙ２）＋画像３（ｘ３，ｙ３）＋・・・」が登録されている。この関係ファイルは、「文書１」が、座標（ｘ１，ｙ１）の「テキスト１」と、座標（ｘ２，ｙ２）の「画像２」と、座標（ｘ３，ｙ３）の「画像３」等を合成することにより構成されていることを示す。なお、実際には、関係ファイルの内容としては、各部品データの座標だけではなく、各部品データが他の部品データに対してどの程度の大きさになるかを記述するための拡大／縮小比を示す相対比の情報も持っている。
【００２４】
次に、文書検索時の動作について図５で説明する。
【００２５】
例えば「文書１」を検索しようとした場合、まず関係記憶部３（図５（ａ）参照）から「文書１」というファイル名がつけられた関係ファイルを検索し、「文書１」がどんな部品データのどの様な関係から成り立っているかの情報を得る。すなわち、図５（ｂ）に示す関係ファイルから、「文書１」が、座標（ｘ１，ｙ１）の「テキスト１」と、座標（ｘ２，ｙ２）の「画像２」と、座標（ｘ３，ｙ３）の「画像３」等を合成することにより構成されているという情報を得る。
【００２６】
次に、関係ファイルから得られた、文書の再構成に必要な部品データを部品データ記憶部１から検索し、関係ファイル中の部品間の関係を元にマルチメディア文書の再構成を行う。図に示す例の場合、「文書１」の再現には、「テキスト１」，「画像２」，「画像３」，・・・が必要であるので、「テキスト１」のデータをテキスト部品データ記憶部１ｂ（図５（ｃ）参照）から検索し、「画像２」，「画像３」，・・・のデータを画像部品データ記憶部１ａ（図５（ｄ）参照）から検索して、各データ部品データの座標を参照しながら図５（ｅ）に示すようなマルチメディア文書を構成する。
【００２７】
以上が、本発明の基本となる文書記憶装置の動作の概要であるが、以降、本発明の特徴となる部分を説明する。
【００２８】
上の例では、まず関係記憶部３が参照され、その中の「文書１」というファイル名の関係ファイルをもとに「文書１」が再構成されたが、例えば『平成２年１０月７日撮影』というテキスト部品の内容から所望の文書を検索したい場合、図３で示す部品データ記憶部１のテキスト部品データ記憶部１ｂ中から、図２の内容検索部４中に設けられたテキスト検索部４ａにより、テキスト内容が検索される。これにより、『横浜にて＜ＣＲ＞平成２年１０月７日撮影』という内容のテキスト部品である「テキスト１」が得られる。そこで、次に関係記憶部３を参照し、「テキスト１」が使われている「文書１」の関係ファイルが得られ、これをもとに「文書１」が再構成される。
【００２９】
同様に木が描かれている画像を検索したい場合、まず部品データ記憶部１中に格納された画像部品データ記憶部１ａから、内容検索部４中の画像検索部４ｂにより、木の部品データを検索する。この検索は、各部品データにキーワードが付されている場合には、キーワードにより行える。キーワードが付されている場合には、木の基準ビットマップパターンと画像部品データのビットマップパターンとの比較により行われる。この検索の結果、「画像２」が木の画像部品データであることが判る。次に、この「画像２」を使用している関係ファイルを関係記憶部３中から検索することにより、「文書１」が「画像２」を使用していることが判る。最後に、「文書１」を構成している「テキスト１」，「画像２」，「画像３」，・・・から「文書１」を再構成する。
【００３０】
以上で本発明の特徴となる部分を画像データとテキストデータを例に説明したが、音声の場合も同様となる。
【００３１】
次に、これらを複合検索する場合を述べる。ここでいう複合検索とは、異なったデータタイプの複数のデータによる検索を意味する。以下の例では、テキストデータと画像データの二つを検索キーとして複合検索を行う。
【００３２】
いま、各文書の関係ファイルの内容が以下に示すような状態であったとする。
【００３３】
文書１：テキスト１＋画像２＋画像３＋・・＋
文書２：テキスト２＋画像１＋画像８＋・・＋
・・・・・・・・・
文書７：テキスト７＋画像５＋画像６＋・・＋
・・・・・・・・・
文書１１：テキスト１１＋画像８＋画像２２＋・・＋
文書１２：テキスト１２＋画像７＋画像９＋・・＋
文書１３：テキスト１３＋画像１０＋画像１５  ＋・・＋
上記の例を用いると、『平成２年に撮影した並木道のある風景』を検索する場合、まず『平成２年』と『撮影』というテキストをテキスト部品データ記憶部１ｂ中から検索する。「テキスト１」、「テキスト７」、「テキスト１２」、「テキスト１３」に『平成２年』と『撮影』というテキストデータが含まれているとすると、これらのテキストデータを関係ファイル中に含んだ文書を求めると、「文書１」、「文書７」、「文書１２」、「文書１３」が得られる。
【００３４】
次に、画像部品データ記憶部１ａ中から並木、あるいは木の画像部品データを検索すると、「画像２」、「画像８」、「画像２２」が該当していたとする。
【００３５】
これらテキスト及び画像を関係ファイル中に含む文書を、上記４つの文書から探すと、「文書１」が得られる。
【００３６】
更に、特に本発明の特徴となる部分についてフローチャートで動作を説明する。
【００３７】
図６に示す様に、まず検索要求を受け付ける（ステップ１０１）と、それが複合処理を必要とするものであるかどうかを判断し（ステップ１０２）、必要なら複合検索処理を行って（ステップ１０３）、検索結果を表示する（ステップ１０４）。複合検索処理の詳細については後述する。
【００３８】
それ以外の場合には、どの検索処理が要求されているかを順に調べていき（ステップ１０５〜１０７）、それに応じて検索処理を行い（ステップ１０５〜１０７）、検索結果を表示する（ステップ１０４）。
【００３９】
検索要求を受けながら、それらのどの検索処理でも無い場合には、エラー表示を行って（ステップ１１１）終了する。
【００４０】
次に、複合検索処理について図７を参照して説明する。
【００４１】
複合検索処理においては、属性検索を行うか（ステップ２０１）、関係検索を行うか（ステップ２０３）、内容検索を行うか（ステップ２０５）、を順に調べ、必要ならそれぞれの検索を実行して（ステップ２０２，２０４，２０６）対象検索領域を絞り込みながら次に進む。
【００４２】
なお、ここでの属性検索および関係検索は、部品データに付された属性、あるいは部品データ間の演算などを定めた関係データから所望の文書を検索するもので、ここでは後述するテキスト検索と同様に、Ｕｎｉｘ（登録商標）オペレーティングシステムの“ｇｒｅｐ”コマンドを用いて全文検索を行っているが、その他に、属性値などの値を既存の関係型データベースに保持することによって検索の効率化をはかる事も無論可能である。
【００４３】
属性検索の例としては、画像登録者名での検索、キーワードでの検索、検索者に対してアクセス権のある文書の検索、画像名での検索等がある。また、関係検索の例としては、左隅の部品データの座標が（１０，２５）のもの、木と人が横に並んでいるもの、木の画像中に他の部品データ、たとえば、リンゴが合成されているもの等がある。
【００４４】
更に内容検索に関しては、データタイプに応じて複数の内容検索が行われる場合があるので、処理後、検索が終了したかどうかの判定を行っている（ステップ２０７）。
【００４５】
内容検索に関しては、図８のように、テキスト部品であるか（ステップ３０１）、音声部品であるか（ステップ３０２）、画像部品であるか（ステップ３０３）を見て、それに応じた検索を行い（ステップ３０４，３０５，３０６）、もしも要求に該当する検索処理がなければ『ｕｎｋｎｏｗｎ  ｐａｒｔｓ  ｄａｔａｔｙｐｅ』などのエラーメッセージを表示して（ステップ３０７）終了する。
【００４６】
実際のテキスト検索／音声検索／画像検索などの内容検索の手法に関しては、適当な既存のどの方式を用いても良いが、簡単にはＵｎｉｘ（登録商標）オペレーティングシステム上で使用されるコマンド“ｇｒｅｐ”を用いてテキスト検索が、またコマンド“ｃｍｐ”によりパターンマッチングによるバイナリ（比較）検索が可能であるため、これらを用いても可能である。特に画像の内容検索に関しては、特開平２−２９３９７７号公報に開示されているような、検索対象となる複数の登録画像の特徴量とと検索の条件として与えた条件画像との特徴量との一致度を算出し、一致度が所定許容範囲内であるときに検索対象が存在すると判断する手法を用いれば、色などを含む画像の様々な特徴量を利用した検索を行う事ができる。
【００４７】
また、本実施例では挙げなかったが、動画に関しても入出力装置や部品データ記憶部などを設け、同様に扱う事は可能である。
【００４８】
なお、上述の実施例においては、複数の部品を合成して一つの文書として関係ファイルに登録したが、複数の部品を合成し合成部品として関係ファイルに登録するようにしてもよい。
【００４９】
更に、構造化画像を例にとった、第２の実施例を説明する。
構造化画像自体の目的とする所は、
１．ディスプレイ解像度の画像で最小限のメモリで対話的に操作でき、なおかつ高解像度で高品質な出力画像を生成する事が可能な画像フォーマットを提供する。
２．出力を描画する為に、オブジェクトのガミュート全体の獲得、ストレージ、編集／調整、そして配送／伝送を取り扱う事を可能にする。
３．ディスク容量の低減。特に再利用性の高い画像は構造化画像では原画像だけを格納する為、共有などにより、より効果を発揮する。
４．描画する前のデータを保存しておく事により、高品質の画像を提供する。
５．画像操作自体を保存する事により、画像操作を再利用したり、操作の編集を可能にする。
などである。
【００５０】
構造化画像で本発明の部品データに相当するのは、ラスター画像に描画する事が可能なデータを表す“オブジェクト”である。その“オブジェクト”は、絵画におけるキャンバスの様な役割を持つ“ペーストボード”上に、要求された画像処理操作を施され描画される。
【００５１】
ここで言う画像処理操作とは、画像処理命令の装置独立な記述であり、その多くは実装に依存するのものであるが、その中で、望ましい基本機能としての画像処理操作には以下の様なものがある。
１）Ｔｒａｎｓｆｏｒｍ：画像のサイズや形を空間的に変形する。
２）Ｆｏｒｍａｔｔｅｒ：あるフォーマットから他のものに画素を変換する。
３）Ｆｉｌｔｅｒ：様々なフィルタリング操作の実行をする。
４）Ｃｏｌｏｒｉｚｅｒ：画像の色の値を調整する。
５）Ｍａｓｋ：マスク操作の適用を行なう。
６）ｍｉｓｃ．：その他の様々な操作の適用を行なう。
【００５２】
構造化画像は、この様にオブジェクトと画像処理操作から構成された、複合ラスター画像の階層的な記述である。
この記述は、構造化画像記述と呼ばれるファイルになっており、本発明の関係記憶部に記憶されている関係情報がこれに相当する。
【００５３】
構造化画像は構造化画像記述の中に絶対サイズを持たず、各、子オブジェクトのサイズはペーストボード中にサブオブジェクトの親との相対サイズとして格納されている。
【００５４】
構造化画像オブジェクトをラスター画像に変換するには、例えばオブジェクト、ペーストボードとともに、ディスプレイ／キーボード装置９ｄから親オブジェクトの絶対サイズなどを変数として用いる適当な制御命令によって描画処理が起動され、それによって構造化画像オブジェクトと全ての子オブジェクトは自動的に適当な出力サイズに描画される。
【００５５】
ラスター画像に描画可能なあらゆるデータ表現が、構造化画像オブジェクトになりうるものである（図９（ａ）参照）。このデータは、アルダスコポレーションとマイクロソフト社の間で取り決められ、広くパーソナルコンピュータ間の画像交換用に用いられているタグベースの画像フォーマットであるＴｉＦＦ（Ｔａｇ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）ファイルの様な単純なラスター画像を表している事もあれば、子オブジェクトの階層的な集合と関連するラスター処理操作によって構成される、より複雑なデータを表している事もある。
【００５６】
扱う事が可能なオブジェクト・データ・タイプとしては、
１）ラスター画像−ＴｉＦＦ、あるいは他のディジタルディスプレイなど
２）トーイ（ｔｏｙ）テキスト−単純なテキスト記述
３）ＣＧＭ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ−Ｍｅｔａｆｉｌｅ  ｆｏｒ  ｔｈｅ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｔｒａｎｓｆｅｒ  ｏｆ  Ｐｉｃｔｕｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）グラフィック−単純なグラフィック表現
４）ＩＰＤ（Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｆｉｎｉｔｉｏｎ）−構造化画像定義
５）ＭＲ（Ｍｕｌｔｉｐｌｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）ファイル−多重画像表現の記述を含むファイル
などがある。
【００５７】
この内、ラスター画像については図３の１ａにある様な画像部品データ記憶部に、また、トーイテキストについては、図３の１ｂのテキスト部品データ記憶部に格納され、他のデータタイプについても、各々、そのデータタイプをサポートする部品データ記憶部に格納されるものである。
【００５８】
ここでＭＲファイルについて若干補足しておくと、１つの構造化画像オブジェクトは１つ以上のデータタイプとデータファイルで表わされるものである（図９（ｂ）参照）。例えば、１つの構造化画像オブジェクトは、異なる解像度で格納された複数のＴｉＦＦファイルを含むディレクトリを参照している場合もありうる。各ＴｉＦＦファイルは同じ画像を表しているが、異なる絶対画素サイズと明るさを持っている。こういった概念が多重表現として知られているものである。構造化画像では多重表現が動的に決定されるものとして扱っている。なお、図中の“ｓｕｎｒａｓ”は、サンマイクロ社で使用している画像フォーマット型式（Ｓｕｎ  Ｒａｓｔｅｒ  ｆｉｌｅ  ｆｏｒｍａｔ）を意味している。
【００５９】
構造化画像オブジェクトを実際にこの様なペーストボード上に、ラスター画像として描画する手順では、まずペーストボード、構造化画像オブジェクト、そして変数として親オブジェクトの絶対サイズが渡される。
【００６０】
適切なラスター画像を描画する為に、幾つかの操作が実行される。すなわち、
１）ペーストボードの絶対サイズの決定
２）オブジェクトに依って参照される全ての表現の決定
３）利用可能な情報に基づく、描画するのに適切な表現の選定
４）フィットモードやジャスティフィケーションなどに従って、適切な描画プロシジャーを起動する事に依って、データをラスターに描画
５）Ａｎｇｌｅ属性によって指定された角度に描画されたラスターを回転
そして
６）コントロールポイントの位置の調整
などを行なう。
【００６１】
そして、親の大きさにペーストボード中に指定された相対サイズを乗ずる事により、ペーストボードの絶対サイズを決定する。
ここで与えられる構造化画像オブジェクトは、実際にはデータファイルへの参照、あるいは（テキストなど）ラスター画像へ描画可能な表現として存在する。また、１つのオブジェクトは複数の表現を参照でき、各々同じ画像を表わすが、格納形式や、サイズあるいは解像度が異なるかもしれない。どの表現が描画するのに“最適な”表現であるかが、検索される。ここでの最適な表現とは、たとえば、異なる解像度で格納された複数の画像ファイルのうち、どの大きさで描画するかによって画像の拡大／縮小率が異なるので、最速に描画ができる画像ファイルを選んだことによる表現をいう。
【００６２】
表現が検索されると、それはラスター画像に描画されるが、サポートされる表現の各データタイプに合わせて、ラスター画像に変換する為の描画プロシジャーを持たねばならない。
【００６３】
出力ラスター画像に描画する為のオブジェクトの位置をつきとめ、データを返す際には、構造化画像の描画に伴なって、６つの動作が必要となる。すなわち、
１）オブジェクトの全ての表現の位置をつきとめる
２）各表現のＴｉＦＦ、テキスト、グラフィックスといったタイプを特定する
３）最適な表現を選ぶ為に必要な、各表現の属性を決定する
４）各利用可能な表現に価値関数を適用し、価値の高い値を持つ表現を選ぶ
５）表現データへのポインタを返す
６）表現データのタイプを返す
である。
【００６４】
構造化画像記述言語の現在のシンタックスでは、構造化画像オブジェクトは以下の３通りのうちのどれかである。
0003613403.tif 000002
【００６５】
Ｅｘｔｅｒｎａｌとして定義されたオブジェクトは、オブジェクトによって参照されるデータであり、現在の構造化画像記述中には格納されない。一般的には、実際のデータは別のファイルとして格納される。システムフィールドは、データの位置をどの様につきとめるかを知る為に用いられる記述である。
【００６６】
ネームエントリーは、要求されたデータの位置を実際につきとめるのに用いるキーワードの集合である。上述の例では、システムエントリの“ＡＡＡ”は、適当なシステムであるＡＡＡファイルシステム上のパスをネームエントリーが“ｂｉｒｄ．ＴｉＦ”であるファイルを探索する事によって実際のデータが見つかる事を示す、と解釈するように実装されている。もしもシステムエントリーが“ＢＢＢ”であったならば、ネームフィールドのキーワードをＢＢＢデータベースのデータを探索する際のキーワードとして扱う。
【００６７】
Ｉｎｔｅｒｎａｌとして定義されたオブジェクトは、構造化画像記述中に直接格納されたデータを含んでいる。これはラスターアイコンやシンプルテキストファイルの様な小さなオブジェクトを直接構造化画像記述に格納するのに役立ち、外部に記憶装置を必要としない。
【００６８】
構造化画像定義は、構造化画像が他の構造化画像オブジェクトや画像処理操作から成る事を可能にする為の、構造化画像のオブジェクトデータタイプの一つである。
構造化画像オブジェクト中に格納された情報に基づいて、全ての利用可能な表現の位置をつきとめ、データタイプと、描画の為に“最適な”表現の選択の為に必要な属性を決定しなければならない。これらは、本発明においては、例えばネームフィールドのキーワードを利用して、そのまま属性検索部に問い合わせる、などの検索要求により決定可能である。
【００６９】
全ての表現が決定されると、出力ラスター画像に描画するのに最も適切な表現を選択する。この機構は各表現に価値関数の計算を適用する事によって実装される。厳密な価値関数は実装依存であり、構造化画像中には記述されていない。しかし、それは表現の属性と、要求される出力画像の属性、ターゲット出力装置（すなわちモノクロプリンターとかカラーディスプレイなど）、そして処理の複雑さに基づくべきものである。いったん表現が選ばれると、処理を開始できる様に、実際のデータへのポインタと、データタイプを返す。
【００７０】
構造化画像定義についてもう少し説明すると、構造化画像定義は要素オブジェクトへの参照と、それら要素オブジェクトに適用する画像処理操作の構造化記述を表す。図１０は構造化画像定義のグラフィカル表現である。
【００７１】
構造化画像定義は以下の記述子から成る。
１）デフォルトサイズ
２）ＲｅａｄＯｂｊｅｃｔ
３）パス
４）画像処理操作
５）マージ
６）ペーストボード
７）ｉｎｉｔｉａｌｉｚｅｒ
そして
８）コンポーネントペーストボード
である。
図１０で各垂直線はパスと呼ばれ、画像処理操作の集まりである。ＲｅａｄＯｂｊｅｃｔは構造化画像オブジェクトをパス中の画像処理操作によって処理されるのに適したラスター画像に変換するプロシジャーを表す。描画されたオブジェクトはパスを通って各画像処理操作に順に処理される。各パスは、その中にＲｅａｄＯｂｊｅｃｔにより、構造化画像オブジェクトが描画される“フレーム”を定義するのに用いられるペーストボードが格納される。このペーストボードはコンポーネントペーストボードとして参照される。水平線は構造化画像定義オブジェクトのペーストボードで、コンポーネントペーストボードがマージされる“空の”ラスター画像を表す。黒い三角はコンポーネントペーストボードがオブジェクトペーストボードのどこに結びつけられるかを示すマージ操作を表す。コンポーネントペーストボードをマージする順序は明らかであり、それゆえ“上”や“下”といった意味の画像がサポートされる。図１１には構造化画像の最中のラスターデータの流れ（すなわちＲｅａｄＯｂｊｅｃｔからマージへの制御の流れ）を描いている。
【００７２】
さて、以上に述べた様な構造化画像を、本発明に示す様なマルチメディア文書記憶装置で扱う場合、図１に示すブロック図の記憶部それぞれに、何が格納されるかを説明する。
【００７３】
今、他のシステムで生成された構造化画像が、構造化画像記述言語  の形で本マルチメディア文書記憶装置にネットワークインターフェース（図２の９ｅ）
を通して転送されてきた場合を考える。
【００７４】
関係記憶部には、構造化画像記述が解釈された結果として構造化画像定義が格納され、属性記憶部には、自動的に付与される格納日時、登録者名、データサイズなどの他に、構造化画像記述中のネームフィールドに記載されたオブジェクトの検索の為のキーワードが記録される。これらは、後の検索に利用される。部品データ記憶部には、Ｅｘｔｅｒｎａｌとして定義された構造化画像オブジェクトが選択され、その内容が格納される。それと同時に、構造化画像記述のＥｘｔｅｒｎａｌに定義されているシステムフィールドには、元々記載されていたＡＡＡやＢＢＢの代わりに、本マルチメディア文書記憶装置の名前が記される。
【００７５】
またＩｎｔｅｒｎａｌとして定義されていた、オブジェクトも、後の検索の為に、データフィールドに記述されたオブジェクトの内容そのものが、部品データ記憶部にも複写され、格納される。
【００７６】
検索時には、図６のフローチャートに従って、まず検索要求を受け付け（ステップ１０１）、それが複合処理を必要とするものであるかどうかを判断し（ステップ１０２）、例えば、画像ＡとテキストＢが描かれた構造化画像の様に、複合検索が必要な場合には、複合検索処理を行って（ステップ１０３）、検索結果を表示する（ステップ１０４）。
【００７７】
それ以外の場合には、どの検索処理が要求されているかを順に調べていき（ステップ１０５〜１０７）、それに応じて検索処理を行い（ステップ１０８〜１１０）、検索結果を表示する（ステップ１０４）。
【００７８】
検索要求を受けながら、それらのどの検索処理でも無い場合には、エラー表示を行って（ステップ１１１）終了する。
【００７９】
次に、複合検索処理について図７を参照して説明する。
【００８０】
複合検索処理においては、属性検索を行うか（ステップ２０１）、関係検索を行うか（ステップ２０３）、内容検索を行うか（ステップ２０５）、を順に調べ、必要ならそれぞれの検索を実行して（ステップ２０２，２０４，２０６）対象検索領域を絞り込みながら次に進む。
【００８１】
ここでの属性検索では、部品データに付された属性から所望の文書を検索するものである事は第１の実施例でも述べた通りであり、また、関係検索では上記関係記憶部に格納された構造化画像定義を参照し、所望の構造化画像定義を検索する事によって、求めた構造化画像定義から画像を再構築するものである。
【００８２】
２０４の関係検索処理では、前記構造化画像の説明で述べた様な、画像処理操作や各オブジェクトのマージポイントなどの、所望の画像構造を別途エディタ（これは、Ｕｎｉｘ（登録商標）オペレーティングシステムの“ｖｉ”エディタで構造化画像記述を作成しても良いし、あるいは専用の構造化画像エディタを用意しても良い）で生成し、Ｕｎｉｘ（登録商標）オペレーティングシステムの“ｇｒｅｐ”コマンドなどで比較したり、あるいは、あらかじめ関係型データベースなどに保持することによって検索の効率化をはかっても良い。
【００８３】
更に内容検索に関しては、データタイプに応じて複数の内容検索が行われる場合があるので、処理後、検索が終了したかどうかの判定を行っている（ステップ２０７）。
【００８４】
内容検索に関しては、図８のように、テキスト部品であるか（ステップ３０１）、音声部品であるか（ステップ３０２）、画像部品であるか（ステップ３０３）を見て、それに応じた検索を行い（ステップ３０４，３０５，３０６）、もしも要求に該当する検索処理がなければ『ｕｎｋｎｏｗｎ  ｐａｒｔｓ  ｄａｔａｔｙｐｅ』などのエラーメッセージを表示して（ステップ３０７）終了する。
【００８５】
内容検索に関しては第１の実施例と同様に、従来あるどの技法を用いても良く、例えば一例を挙げると、画像部品の内容検索などでは、スキャナ９ｂから探索すべき画像Ａと同じラスター画像をスキャン入力し、その内容と、画像部品データ記憶部に格納されたデータを順次比較し、所望の内容を持つ画像部品データが画像検索部４ｂで発見されたならば、それを参照している構造化画像を、関係検索部に格納された構造化画像記述から再構成し、結果を表示する。
【発明の効果】
以上に述べた様に本発明は、複数種類のデータタイプの部品データの内容を元に、所望の文書を検索できる。またこれにより、１つのデータタイプを検索するにつれて、検索対象領域が絞りこまれていくため、高速な検索が可能であるという効果がある。
【図面の簡単な説明】
【図１】本発明の作用を説明するための基本的なブロック図である。
【図２】本発明のマルチメディア文書記憶装置の実施例のブロック図である。
【図３】部品データ記憶部の詳細構成を示す模式図である。
【図４】本発明における登録時の基本概念を示す説明図である。
【図５】本発明における検索時の基本概念を示す説明図である。
【図６】本発明における検索時の基本的なフローチャートである。
【図７】複合検索処理のフローチャートである。
【図８】内容検索処理のフローチャートである。
【図９】構造化画像オブジェクトを構成する多様なデータタイプを示すグラフィック表現である。
【図１０】構成オブジェクトへの参照と、それら構成オブジェクトに適用する画像処理操作の構造化記述を表す出力構造化画像の関係を説明する画像処理表現のグラフィック表現である。
【図１１】構造化画像の描画最中のラスターデータの流れを描写する図である。
【符号の説明】
１…部品データ記憶部、１ａ…画像部品データ記憶部、１ｂ…テキスト部品データ記憶部、１ｃ…音声部品データ記憶部、２…属性記憶部、３…関係記憶部、４…内容検索部、４ａ…テキスト検索部、４ｂ…画像検索部、５…属性検索部、６…文書・関係検索部、７…複合検索部、８…プロセッサ、９…マルチメディアデータ入出力部、９ａ…マイク／スピーカ、９ｂ…スキャナ、９ｃ…マウス、９ｅ…ネットワークインタフェース
【図１】
0003613403.tif 000003
【図２】
0003613403.tif 000004
【図３】
0003613403.tif 000005
【図４】
0003613403.tif 000006
【図５】
0003613403.tif 000007
【図６】
0003613403.tif 000008
【図７】
0003613403.tif 000009
【図８】
0003613403.tif 000010
【図９】
0003613403.tif 000011
【図１０】
0003613403.tif 000012
【図１１】
0003613403.tif 000013