(57)【特許請求の範囲】
【請求項１】
マルチメディア情報を処理するマルチメディア情報処理装置において、
処理させたい対象を図形で表示するベース画面と、
マルチメディア情報の属性を持つ複数の領域を表示すると共に、上記ベース画面上で選択された図形の属性に対応する領域を強調表示するマルチメディア画面と、
図形に対応づけて、該図形が持つ属性、および、当該属性にリンクされた属性の情報が登録されたマルチメディア属性テーブルと、
上記ベース画面上で図形が選択されたときに、上記マルチメディア属性テーブルを検索し、当該選択された図形に対応づけられた属性を取得し、当該選択された図形の属性に対応する領域を上記マルチメディア画面上で強調表示する図形選択手段と、
上記選択された図形が上記強調表示されたいずれかの領域にドロップされたとき、上記マルチメディア属性テーブルを検索し、当該選択された図形がドロップされた当該領域の属性について、リンクされた属性が指定されているか否かを判別する処理手順判定手段と、
上記リンクされた属性が指定されていると判別された場合は、上記ドロップされた領域の属性および当該リンクされた属性の情報を処理し、一方、当該リンクされた属性が指定されていないと判別された場合は、当該ドロップされた領域の属性の情報を処理するマルチメディア情報処理手段と
を備えたことを特徴とするマルチメディア情報処理装置。
【請求項２】
上記処理判定処理手段は、上記選択された図形がドロップされた上記領域に対応するツールを起動し、この起動されたツールが当該領域の属性の情報を処理することを特徴とする請求項１記載のマルチメディア情報処理装置。
【請求項３】
上記ベース画面が地図であることを特徴とする請求項１あるいは請求項２記載のマルチメディア情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア情報を処理するマルチメディア情報処理装置に関するものである。
【０００２】
【従来の技術】
従来、テキストデータ、画像データおよび音声データからなるマルチメディア情報を処理するシステムは、画面に表示される図形に対応した各種マルチメディア情報を処理させる場合、マルチメディア情報に対応する図形を選択した後、メニューなどから処理する手順を選択してマルチメディア情報を処理させるか、各マルチメディアツールを起動した後に処理させたいマルチメディア情報を選択して、マルチメディア情報を処理させていた。
【０００３】
【発明が解決しようとする課題】
このため、従来のマルチメディア情報に対応する図形を選択した後、メニューなどから処理させたい手順を選択する方法や、各種マルチメディアツールを起動した後、処理させたいマルチメディア情報に対応する図形を選択する方法では、マルチメディア情報を処理させるために操作回数が多くなってしまったり、ツール起動の操作をすることにより思考を妨げるという問題が生じていた。
【０００４】
本発明は、これら問題を解決するため、マルチメディア情報を処理するための操作回数を減少させると共に思考を妨げないような操作／制御の仕方を提供することを目的としている。
【０００５】
【課題を解決するための手段】
図１を参照して課題を解決するための手段を説明する。
図１において、処理装置１は、各種処理を行うものであって、ここでは、マルチメディア情報処理手段５などから構成されるものである。
【０００６】
ベース画面１１は、処理させたい対象を図形で表示する画面である。
マルチメディア画面１２は、マルチメディア情報の属性の領域を表示したり、ベース画面１１上で選択された図形の属性に対応する領域を強調表示したりする画面である。
【０００７】
次に、動作を説明する。
処理装置１がベース画面１１上で図形が選択されたときに当該選択された図形の属性の領域をマルチメディア画面１２上で強調表示し、当該選択された図形がこの強調表示されたいずれかの領域にドロップされたときに当該ドロップされた領域の属性の情報を処理するようにしている。
【０００８】
これらの際、選択された図形がこの強調表示されたいずれかの領域にドロップされたときに当該ドロップされた領域に対応するツール（マルチメディア情報処理手段５）を起動し、この起動されたツール（マルチメディア情報処理手段５）が当該領域の属性の情報を処理するようにしている。
【０００９】
また、ツールがドロップされた領域の属性および当該属性に予めリンクされている属性の情報を合わせて処理するようにしている。
従って、マルチメディア情報を処理するための操作回数を減少させると共に思考を妨げないような操作／制御の仕方を提供することが可能となる。
【００１０】
【発明の実施の形態】
次に、図１から図４を用いて本発明の実施の形態および動作を順次詳細に説明する。
【００１１】
図１は、本発明のシステム構成図を示す。
図１において、処理装置１は、各種処理を行うものであって、ここでは、図形選択手段２、ドラッグ＆ドロップ手段３、処理手順判定手段４、およびマルチメディア情報処理手段５などから構成されるものである。
【００１２】
図形選択手段２は、ベース画面１１上に表示された、処理させたい対象を表す図形を選択するものであって、例えばマウスカーソルが処理させたい対象を表す図形上に位置づけてクリックされたときに当該クリックされた座標（ｘ１、ｙ１）を検出して選択された図形を検出するものである（後述する図２の説明参照）。
【００１３】
ドラッグ＆ドロップ手段３は、ベース画面１１上で選択された図形をドラッグして、マルチメディア画面１２上の該当する領域にドロップするものである。
処理手順判定手段４は、図形をドラッグしてドロップしたときの図形に対応するマルチメディア情報の処理の手順を判定するものである（後述する図２の説明参照）。
【００１４】
マルチメディア情報処理手段５は、マルチメディア情報を処理するものであって、例えばマルチメディア情報がテキストのときは画面上に表示、静止画像のときは静止画像を画面上に表示、動画のときは動画を画面上に表示、音声のときは音声をスピーカ９から発生するものである。
【００１５】
記憶装置６は、各種テーブルを保存するものであって、図示の６１ないし６７のテーブルを保存するものである。
マルチメディア属性テーブル６１は、オブジェクトに対応づけてマルチメディア属性およびリンク情報を登録したものである（後述する図４の（ｂ）参照）。
【００１６】
オブジェクト配置テーブル６２は、オブジェクトがベース画面１１上で表示されている領域の座標（例えば左上の座標と右下の座標）を予め登録したものである。
【００１７】
マルチメディア画面テーブル６３は、マルチメディア画面１２を表示するためのものであって、ここでは、マルチメディア画面名（例えばテキスト、写真、動画、音声）に対応づけて配置座標、処理手順、フラグなどを予め登録したものである（後述する図４の（ｃ）参照）。
【００１８】
テキストファイルテーブル６４は、テキストを表示するためのものであって、ここでは、オブジェクトに対応づけてテキストファイル名を予め登録したものである（後述する図４の（ｄ）参照）。
【００１９】
静止画ファイルテーブル６５は、静止画を表示するためのものであって、ここでは、オブジェクトに対応づけて静止画ファイル名を予め登録したものである（後述する図４の（ｅ）参照）。
【００２０】
動画ファイルテーブル６６は、動画を表示するためのものであって、ここでは、オブジェクトに対応づけて動画ファイル名を予め登録したものである（後述する図４の（ｆ）参照）。
【００２１】
音声ファイルテーブル６７は、音声を発生するためのものであって、ここでは、オブジェクトに対応づけて音声ファイル名を予め登録したものである（後述する図４の（ｇ）参照）。
【００２２】
入力装置８は、データや指示などを入力するものであって、ここでは、マウスやキーボードなどである。
スピーカ９は、音声を発声するものである。
【００２３】
次に、図２のフローチャートに示す順番に従い、図１の構成の動作を図３および図４を参照しつつ詳細に説明する。
図２は、本発明の動作説明フローチャートを示す。
【００２４】
図２において、Ｓ１は、ベース画面を表示、およびマルチメディア画面を薄く表示する。これらは、例えば後述する図３の（ａ）に示すように、ベース画面１１上に処理しようとする対象を図形で表して表示すると共に、マルチメディア画面１２上にマルチメディア情報の属性（テキスト、写真（静止画）、動画、音声）を点線で薄く表示する。
【００２５】
Ｓ２は、図形を選択する。これは、例えば図３の（ａ）のベース画面１１上で処理させたい対象の図形、例えば図形“Ａ宅”上にマウスカーソルを移動して位置合わせした状態でマウスの左ボタンをクリックして当該図形“Ａ宅”を選択する。
【００２６】
Ｓ３は、クリックした座標（ｘ１、ｙ１）を取得する。
Ｓ４は、座標に対応したオブジェクトを検索する。これは、Ｓ３で取得した座標（ｘ１、ｙ１）をもとに、後述する図４の（ａ）オブジェクト配置テーブル６２を検索して当該座標（ｘ１、ｙ１）が含まれる配置座標を持つオブジェクトを見つける、例えばオブジェクト“Ａ宅”を見つける。
【００２７】
Ｓ５は、オブジェクトをもとにマルチメディア情報を取得する。これは、Ｓ４で見つけたオブジェクト（例えばオブジェクト“Ａ宅”）をもとに、後述する図４の（ｂ）のマルチメディア情報テーブル６１を検索してマルチメディア属性に登録された情報（ここでは、例えば“テキスト”、“静止画”、“音声”）を取得する。
【００２８】
Ｓ６は、取得したマルチメディア情報に対応した画面を強調表示してフラグをセットする。これは、Ｓ５で取得したマルチメディア情報、例えば“テキスト”、“静止画（写真）”、“音声”のマルチメディア画面１２を強調表示し、後述する図３の（ｂ）のように表示する。これにより、図３の（ｂ）に示すように、マルチメディア画面１２上で“テキスト”、“静止画（写真）”、“音声”の画面（領域）が強調表示され、Ｓ２で選択された図形（オブジェクト）に対して登録されているマルチメディア情報が判明することとなる。
【００２９】
Ｓ７は、オブジェクトをドラッグしてマルチメディア画面にドロップする。これは、Ｓ２でマウスのボタンをクリックして選択した図形（オブジェクト）をそのまま画面でドラッグしてマルチメディア画面１２上に強調表示されている、例えば図３の（ｂ）の“テキスト”、“静止画（写真）”、“音声”のいずれかの上に位置づけた状態でマウスのボタンをはなしドロップさせる。
【００３０】
Ｓ８は、ドロップした座標（ｘ２、ｙ２）を取得する。
Ｓ９は、座標（ｘ２、ｙ２）に対応したマルチメディア画面のフラグが真か判別する。これは、ドロップした座標（ｘ２、ｙ２）が図４の（ｃ）マルチメディア画面テーブル６３上の配置座標に含まれるエントリ（テキスト、静止画（写真）、動画、音声）のフラグが“１”にセット（フラグはＳ６の強調表示されたときにセット）されて存在するか判別する。ＹＥＳの場合には、Ｓ１０に進む。ＮＯの場合には、マルチメディア画面１２上のドロップされた領域にマルチメディア情報が無と判明したので、エラーとして終了する。
【００３１】
Ｓ１０は、オブジェクト名をキーにしてファイル名を取り出す。これは、ドロップした座標（ｘ２、ｙ２）のマルチメディア画面１２でフラグが“１”で存在すると判明（Ｓ６で強調標示されて存在すると判明）したので、オブジェクト名をキーにしてファイル名を取り出す（例えばオブジェクト名“Ａ宅”をキーにして図４の（ｄ）のテキストファイルテーブル６４からテキストファイル名“Ａ宅−テキスト”を取り出す。
【００３２】
Ｓ１１は、リンク情報有りか判別する。これは、後述する図４の（ｂ）のマルチメディア属性テーブル６１の該当するオブジェクト例えばオブジェクト“Ａ宅”のエントリのリンク情報の欄にリンク情報が登録されているか判別する。ＹＥＳの場合には、Ｓ１２に進む。ＮＯの場合には、Ｓ１４に進む。
【００３３】
Ｓ１２は、Ｓ１１のＹＥＳでリンク情報が有りと判明したので、リンク情報の処理が指定されているか判別する。例えば図４の（ｂ）のマルチメディア属性テーブル６１のオブジェクト“Ａ宅”のマルチメディア属性“テキスト”のリンク情報の欄にはリンク情報“音声”が登録されているので、ＹＥＳと判別する。ＹＥＳの場合には、Ｓ１３でリンク情報をキーにしてファイル名を取り出す（例えばリンク情報“音声”をキーにして図４の（ｇ）の音声ファイルテーブル６７からオブジェクト“Ａ−宅”の音声ファイル名“Ａ宅−音声”を取り出す）。そして、Ｓ１４に進む。一方、Ｓ１２のＮＯの場合には、Ｓ１４に進む。
【００３４】
Ｓ１４は、対応する処理を起動してファイル名を渡す。これは、図４の（ｃ）のマルチメディア画面テーブル６３の該当するエントリに処理手順を起動して、Ｓ１０およびＳ１３で取り出したファイル名を渡す。
【００３５】
Ｓ１５は、ファイルをもとにマルチメディア処理を実行する。これは、テキストの場合には画面上にテキストを表示、静止画（写真）の場合には画面上に静止画（写真）を表示、動画の場合には画面上に動画を表示、音声の場合にはスピーカ９から音声を発声する。
【００３６】
以上によって、ベース画面１１上で任意の図形をクリックし、マルチメディア画面１２上で当該クリックしたオブジェクトのマルチメディア情報を強調表示し、この強調表示されたマルチメディア画面１２のいずれかに図形をドラッグしてドロップすると、当該ドロップされたマルチメディア画面１２の属性に対応するマルチメディア情報を取り出して処理（表示／発声）すると共にリンクされているマルチメディア情報を合わせて処理（表示／発声）する。これらにより、オペレータは、ベース画面１１上で処理させたい図形をクリックして強調表示されたマルチメディア画面１２上にドロップするという簡単な操作のみで、所望の図形で表される対象のテキスト、静止画（写真）、動画、音声のいずれか、およびリンクされたテキスト、静止画（写真）、動画、音声の１つ以上を同時に表示／発声させることが可能となる。
【００３７】
図３は、本発明の表示例を示す。
図３の（ａ）は、表示当初の画面例を示す。ここで、ベース画面１１には、Ａ宅、Ｂ宅および道路を表した地図を表示したものである。また、マルチメディア画面１２上には、マルチメディア情報として可能性のある属性として、ここでは、“テキスト”、“写真（静止画）”、“動画”、“音声”の４つのウィンドウをそれぞれ点線で薄く表示している。これにより、マルチメディア情報として存在する可能性のある属性を１目で判断することができる。
【００３８】
図３の（ｂ）は、ベース画面１１で図形をクリックしてドラッグし、強調表示されたマルチメディア画面１２上にドロップするときの様子を示す。これは、ベース画面１１上の図形“Ａ宅”上にマウスカーソルを位置づけてマウスの左ボタンをクリックすると、このクリックしたときの座標（ｘ１、ｙ１）の属する図４の（ａ）の配置座標で表される矩形を見つけてそのときのオブジェクト、ここでは、オブジェクト“Ａ宅”を見つけ、このオブジェクト“Ａ宅”をドラッグしてマルチメディア画面“テキスト”でドロップすると、このドロップしたときの座標（ｘ２、ｙ２）の属する図４の（ｃ）のマルチメディア画面テーブル６３の配置座標で表される矩形を見つけてそのときのマルチメディア画面名、例えば“テキスト”を見つけた状態である。
【００３９】
図３の（ｃ）は、マルチメディア画面１２上でマルチメディア情報を処理した様子を示す。ここでは、図３の（ｂ）で見つけたマルチメディア画面１１である例えばマルチメディア画面“テキスト”上に図４の（ｂ）のテキストファイルテーブル６４からオブジェクト“Ａ宅”のテキストファイル名“Ａ宅−テキスト”を取り出し、このテキストファイル名“Ａ宅−テキスト”の内容を表示した状である。この際、図４の（ｂ）のオブジェクト“Ａ宅”のエントリのリンク情報に“音声”が登録されているので、図４の（ｇ）の音声ファイルテーブル６７からオブジェクト“Ａ宅”の音声ファイル名“Ａ宅−音声”を取り出し、この音声ファイル名“Ａ宅−音声”の内容をスピーカから発声する。
【００４０】
図４は、本発明のテーブル例を示す。
図４の（ａ）は、オブジェクト配置テーブル例を示す。ここでは、オブジェクト配置テーブル６２は、図示のように、オブジェクト（例えば“Ａ宅”）に対応づけて図３のベース画面１１上の座標（左上、右下）の矩形領域を表す情報を登録したものである。
【００４１】
図４の（ｂ）は、マルチメディア属性テーブル例を示す。ここでは、マルチメディア属性テーブル６１は、図示のように、オブジェクト（例えば“Ａ宅”）に対応づけてマルチメディ属性（例えば“テキスト”）、リンク情報を登録したものである。マルチメディア属性は、オブジェクトが持つ属性であって、テキスト、静止画、動画、音声の１つ以上である。リンク情報は、オブジェクトが持つ属性にリンクして処理する対象の情報を登録するものである。
【００４２】
図４の（ｃ）は、マルチメディア画面テーブル例を示す。ここでは、マルチメディア画面テーブル６３は、図示のように、マルチメディア画面名に対応づけて、配置座標（左上、右下）、処理手順、およびフラグを登録したものである。マルチメディア画面名は、例えば図３の（ａ）のマルチメディア画面１２の点線で示した“テキスト”、“写真（静止画）”、“動画”、“音声”である。配置座標は、図３の（ａ）のマルチメディア画面１２の点線で示した“テキスト”、“写真（静止画）”、“動画”、“音声”の左上座標および右下座標である。処理手順は、マルチメディア情報を処理する手順であって、図示のように、マルチメディア情報が“テキスト”の場合には、テキスト表示ツールを起動するという手順である。フラグは、既述した図２のＳ６でセットするものであって、ベース画面１１上で図形を選択したときに処理する必要のあるマルチメディア情報“テキスト”、“写真（静止画）”、“動画”、“音声”のうちの該当するものをセットして記憶するものである。
【００４３】
図４の（ｄ）は、テキストファイルテーブル例を示す。これは、オブジェクト（例えば“Ａ宅”）に対応づけてテキストファイル名（例えば“Ａ宅−テキスト”）を登録したものである。
【００４４】
図４の（ｅ）は、静止画ファイルテーブル例を示す。これは、オブジェクト（例えば“Ａ宅”）に対応づけて静止画ファイル名（例えば“Ａ宅−写真”）を登録したものである。
【００４５】
図４の（ｆ）は、動画ファイルテーブル例を示す。これは、オブジェクト（例えば“Ａ宅”）に対応づけて動画ファイル名（例えば“Ａ宅−動画”）を登録したものである。
【００４６】
図４の（ｇ）は、音声ファイルテーブル例を示す。これは、オブジェクト（例えば“Ａ宅”）に対応づけて音声ファイル名（例えば“Ａ宅−音声”）を登録したものである。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、ベース画面１１上の処理しようとする対象の図形を選択してドラッグし、強調表示されたマルチメディア画面１２のいずれかにドロップし、ドロップした画面上に該当するマルチメディア情報およびリンクしたマルチメディア情報を表示／発声する構成を採用しているため、マルチメディア情報を処理するための操作を簡単かつ最小限の操作回数で表示／発声することができる。これらにより、マルチメディア情報を処理するための操作回数を減少させ、しかも思考を妨げないで操作することが可能となった。
【図面の簡単な説明】
【図１】本発明のシステム構成図である。
【図２】本発明の動作説明フローチャートである。
【図３】本発明の表示例である。
【図４】本発明のテーブル例である。
【符号の説明】
１：処理装置
２：図形選択手段
３：ドラッグ＆ドロップ手段
４：処理手順判定手段
５：マルチメディア情報処理手段
６：記憶装置
６１：マルチメディア属性テーブル
６２：オブジェクト配置テーブル
６３：マルチメディア画面テーブル
６４：テキストファイルテーブル
６５：静止画ファイルテーブル
６６：動作ファイルテーブル
６７：音声ファイルテーブル
８：入力装置
９：スピーカ
１１：ベース画面
１２：マルチメディア画面
【図１】
0003545121.tif 000002
【図２】
0003545121.tif 000003
【図３】
0003545121.tif 000004
【図４】
0003545121.tif 000005