(57)【要約】【課題】  どのような形態のメディアあるいはマルチメディア情報、およびそのマルチメディア情報から抽出ないし生成あるいは再構成された情報が、いつ、どのように記録されているのか、あるいは記録されていないのかを利用者に様々な形態でフィードバックするマルチメディア情報処理システムを提供することにある。【解決手段】  画像表示部３に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて画像記録部２に記録するマルチメディア情報処理システムであって、マルチメディア情報に関するメタデータをフィートバック情報としてマルチメディア情報に関連付けて画像記録部２に記録するフィードバック情報提示部４を有することを特徴とする。【選択図】  図１
2008306570.tif 000002
【特許請求の範囲】
【請求項１】
表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システムであって、
前記マルチメディア情報に関するメタデータをフィートバック情報として前記マルチメディア情報に関連付けて記録手段に記録するフィードバック情報記録手段を有することを特徴とするマルチメディア情報処理システム。
【請求項２】
前記フィードバック情報は、前記マルチメディア情報が記録中か否かに関する記録状態情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項３】
前記フィードバック情報は、前記マルチメディア情報の参照状態に関する参照情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項４】
前記フィードバック情報は、前記マルチメディア情報が参照される場合に、前記マルチメディア情報を利用する利用者が使用する機器の識別子に関する識別情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項５】
前記フィードバック情報は、前記利用者の顔に関する画像情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項６】
前記フィードバック情報は、インターネット検索、ウェブ検索及びデータベース検索の検索結果に関する検索結果情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項７】
前記フィードバック情報は、前記マルチメディア情報が画像データである場合に、該画像データのページ番号、該画像データに含まれる文字及び該画像データに含まれる文字数に関するテキスト情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項８】
前記フィードバック情報は、前記マルチメディア情報が画像データである場合に、該画像データの色分布に関するインデックス情報であることを特徴とする請求項１に記載のマルチメディア情報処理システム。
【請求項９】
前記記録手段に記録されるフィードバック情報を視覚により認識可能な形態で出力する出力手段を備えることを特徴とする請求項１から８のいずれか１項に記載のマルチメディア情報処理システム。
【請求項１０】
前記記録手段に記録されるフィードバック情報を聴覚により認識可能な形態で出力する出力手段を備えることを特徴とする請求項１から８のいずれか１項に記載のマルチメディア情報処理システム。
【請求項１１】
前記記録手段に記録されるフィードバック情報を機械的なスイッチの動作により認識可能な形態で出力する出力手段を備えることを特徴とする請求項１から８のいずれか１項に記載のマルチメディア情報処理システム。
【請求項１２】
前記マルチメディア情報が画像データである場合に、時系列で取得した該画像データの差分画像に基づいて、該画像データに含まれる動画データを特定する動画特定手段と、
特定された前記動画データを記憶手段に記憶する動画処理手段と、
をさらに含むことを特徴とする請求項１から１１のいずれか１項に記載のマルチメディア情報処理システム。
【請求項１３】
前記マルチメディア情報が画像データである場合に、時系列で取得した該画像データの差分画像に基づいて、該画像データに含まれるポインタを特定するポインタ特定手段と、
特定されたポインタが消去された画像データを記憶手段に記憶するポインタ処理手段と、
をさらに含むことを特徴とする請求項１から１２のいずれか１項に記載のマルチメディア情報処理システム。
【請求項１４】
表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システム用プログラムであって、
コンピュータを、
前記マルチメディア情報に関するメタデータをフィートバック情報として前記マルチメディア情報に関連付けて記録手段に記録するフィードバック情報記録手段として機能させることを特徴とするマルチメディア情報処理システム用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一つ以上の画像データと一つ以上の音声データとを連携しマルチメディア情報とし、当該情報を取得、蓄積ないし記録、提示するマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関し、特に、オフィスの会議室で行われる会議、講演、プレゼンテーションを撮影、録音、記録、保存、蓄積、提示、配信するマルチメディア情報処理システム及びマルチメディア情報処理システム用プログラムに関する。
【背景技術】
【０００２】
昨今の通信技術、カメラやプロジェクタに関するデバイスの技術、コンピューティング技術の発展に伴い、コンピュータ、カメラ、マイクおよびプロジェクタがオフィスなどに深く浸透してきている。これと相俟って、オフィスや教室などで行われる会議、講演、プレゼンテーション、議論などは通信、ネットワークおよびコンピュータの支援を受けることができるようになってきている。
【０００３】
例えば、会議室にいわゆるネットワーク、コンピュータ、カメラおよびプロジェクタを取り込むことで、会議の運用を支援することができる。また、近年いわゆる会議記録システムを使って会議で使われた電子的なスライドなどプレゼンテーション資料や講演者あるいはプレゼンターを撮影したビデオ・データおよび音声データを記録ないし蓄積し、いわゆるウェブ・アプリケーションとしてネットワークを介して、表示等の出力をすることができる。
【０００４】
典型的ないわゆる会議記録ソフトウェアとしては、例えば、株式会社リコー社製のウェブ・コンテンツ自動作成ツール“MPMeister(エムピーマイスター)”が知られている。
当該ソフトウェアによれば、講演会や社内の技術発表などのプレゼンテーションにおける発表者の映像データ、音声データ、マイクロソフト社製のPowerPoint（登録商標）のスライド、目次を組み合わせたマルチメディア・ウェブ・コンテンツを関連付けてプレゼンテーション終了後に索引付けて自動的に生成することが可能で、さらに、作成されたコンテンツを利用者は前記PowerPoint（登録商標）のスライドと映像データを同期していわゆるウェブ・ブラウザで視聴できる。
【０００５】
また、これまで、プロジェクタを用いたプレゼンテーションの記録、再生および配信制御する技術についてのいくつかの提案がなされている。
【０００６】
例えば、特許文献１では、プレゼンテーションで使用された画像データ（プレゼン画像データ）と、プレゼンテーションで使用された音声データ（プレゼン音声データ）とを関連付ける関連付けデータを生成し記憶することで、画像と音声とが関連付けられ、プレゼンデータの使い勝手を向上させるプロジェクタが開示されている。
【０００７】
また、特許文献２では、参加者の会議中の動作を記録して解析し、参加者の指令を識別して特定し、当該指令を実行することにより、会議中の出来事を効果的に取り込む会議記録システムが開示されている。これにより、会議中の情報管理を容易にするができ、会議参加者は、情報に手動でアクセスするという気をそらすタスクが軽減され、又、特定のドキュメントが手動で検索されなければならない間、会議のトピックを遅らせなければならないことから軽減される。
【０００８】
さらに、特許文献３では、マルチメディア文書に格納されるマルチメディア情報を表示するＧＵＩが開示されており、当該ＧＵＩによれば、ユーザはマルチメディア文書を「水平に」読む又はザッと目を通すことが可能となる旨が記載されている。
【０００９】
このように、従来技術を用いることによって、会議でプレゼンテーション資料として使われた電子的なスライドや、講演者あるいはプレゼンターを撮影したビデオ・データおよび音声データ等を記録ないし蓄積し、いわゆるウェブ・アプリケーションとしてネットワークを介して、閲覧ないし提示することができる。
【特許文献１】特開２００５−２８４１９６号公報
【特許文献２】特開２００１−２５６３３５号公報
【特許文献３】特開２００４−１９９６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところで、上述した従来技術のいずれを用いても、どのような形態のメディアあるいはマルチメディア情報、およびそのマルチメディア情報から抽出ないし生成あるいは再構成された情報が、いつ、どのように記録されているのか、あるいは記録されていないのかが不明確である。スライド形式のマルチメディア情報を取得および記録する場合、そのマルチメディア情報に含まれるアニメーションなどの動画データが適正に取得および記録されない。マウスなどによるポインタがマルチメディア情報取得の妨げとなる場合がある。
【００１１】
本発明は上述したような技術的課題を鑑みたものであり、その目的は、どのような形態のメディアあるいはマルチメディア情報、およびそのマルチメディア情報から抽出ないし生成あるいは再構成された情報が、いつ、どのように記録されているのか、あるいは記録されていないのかを利用者に様々な形態でフィードバックないし提供するマルチメディア情報処理システム及びマルチメディア情報システム用プログラムを提供することにある。
【００１２】
また、本発明のさらなる目的は、スライド形式のマルチメディア情報を取得および記録する場合でも、そのマルチメディア情報に含まれるアニメーションなどの動画データを適正に取得および記録することができるマルチメディア情報処理システム及びマルチメディア情報システム用プログラムを提供することにある。
【００１３】
また、本発明のさらなる目的は、マウスなどのポインタの情報を取得及び記録し、マウスがマルチメディア情報取得の妨げとなる場合には、マウスなどのポインタの情報をマルチメディア情報から消去することができるマルチメディア情報処理システム及びマルチメディア情報システム用プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
請求項１に記載の発明は、表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システムであって、マルチメディア情報に関するメタデータをフィートバック情報としてマルチメディア情報に関連付けて記録手段に記録するフィードバック情報記録手段を有することを特徴とするマルチメディア情報処理システムである。
【００１５】
請求項２に記載の発明は、請求項１に記載の発明において、前記フィードバック情報は、マルチメディア情報が記録中か否かに関する記録状態情報であることを特徴としている。
【００１６】
請求項３に記載の発明は、請求項１に記載の発明において、マルチメディア情報の参照状態に関する参照情報であることを特徴としている。
【００１７】
請求項４に記載の発明は、請求項１に記載の発明において、マルチメディア情報が参照される場合に、前記マルチメディア情報を利用する利用者が使用する機器の識別子に関する識別情報であることを特徴としている。
【００１８】
請求項５に記載の発明は、請求項１に記載の発明において、利用者の顔に関する画像情報であることを特徴としている。
【００１９】
請求項６に記載の発明は、請求項１に記載の発明において、フィードバック情報は、インターネット検索、ウェブ検索及びデータベース検索の検索結果に関する検索結果情報であることを特徴としている。
【００２０】
請求項７に記載の発明は、請求項１に記載の発明において、フィードバック情報は、前記マルチメディア情報が画像データである場合に、該画像データのページ番号、該画像データに含まれる文字及び該画像データに含まれる文字数に関するテキスト情報であることを特徴としている。
【００２１】
請求項８に記載の発明は、請求項１に記載の発明において、フィードバック情報は、前記マルチメディア情報が画像データである場合に、該画像データの色分布に関するインデックス情報であることを特徴としている。
【００２２】
請求項９に記載の発明は、請求項１から８のいずれか１項に記載の発明において、前記記録手段に記録されるフィードバック情報を視覚により認識可能な形態で出力する出力手段を備えることを特徴としている。
【００２３】
請求項１０に記載の発明は、請求項１又は８のいずれか１項に記載の発明において、記録手段に記録されるフィードバック情報を聴覚により認識可能な形態で出力する出力手段を備えることを特徴としている。
【００２４】
請求項１１に記載の発明は、請求項１から８のいずれか１項に記載の発明において、記録手段に記録されるフィードバック情報を機械的なスイッチの動作により認識可能な形態で出力する出力手段を備えることを特徴としている。
【００２５】
請求項１２に記載の発明は、請求項１から１１のいずれか１項に記載の発明において、マルチメディア情報が画像データである場合に、時系列で取得した該画像データの差分画像に基づいて、該画像データに含まれる動画データを特定する動画特定手段と、特定された動画データを記憶手段に記憶する動画処理手段と、をさらに含むことを特徴としている。
【００２６】
請求項１３に記載の発明は、請求項１から１２のいずれか１項に記載の発明において、マルチメディア情報が画像データである場合に、時系列で取得した該画像データの差分画像に基づいて、該画像データに含まれるポインタを特定するポインタ特定手段と、特定されたポインタが消去された画像データを記憶手段に記憶するポインタ処理手段と、をさらに含むことを特徴としている。
【００２７】
請求項１４に記載の発明は、表示手段に表示される表示画像と該表示画像に基づいて発表を行う発表者の集音手段による音声とを含むマルチメディア情報を索引付けて記録手段に記録するマルチメディア情報処理システム用プログラムであって、コンピュータを、マルチメディア情報に関するメタデータをフィートバック情報としてマルチメディア情報に関連付けて記録手段に記録するフィードバック情報記録手段として機能させることを特徴とするマルチメディア情報処理システム用プログラムである。
【発明の効果】
【００２８】
請求項１に係る発明によれば、マルチメディア情報に関するメタデータがフィードバック情報としてマルチメディア情報と関連付けられて記録され、マルチメディア情報の管理が容易になる。
【００２９】
請求項２に係る発明によれば、フィードバック情報は、マルチメディア情報が記録中か否かに関する記録状態情報とすることができる。
【００３０】
請求項３に係る発明によれば、フィードバック情報は、マルチメディア情報の参照状態に関する参照情報とすることができる。
【００３１】
請求項４に係る発明によれば、フィードバック情報は、マルチメディア情報が参照される場合に、前記マルチメディア情報を利用する利用者が使用する機器の識別子に関する識別情報とすることができる。
【００３２】
請求項５に係る発明によれば、フィードバック情報は、利用者の顔に関する画像情報とすることができる。
【００３３】
請求項６に係る発明によれば、フィードバック情報は、インターネット検索、ウェブ検索及びデータベース検索の検索結果に関する検索結果情報とすることができる。
【００３４】
請求項７に係る発明によれば、フィードバック情報は、マルチメディア情報が画像データである場合に、該画像データのページ番号、該画像データに含まれる文字及び該画像データに含まれる文字数に関するテキスト情報とすることができる。
【００３５】
請求項８に係る発明によれば、前記マルチメディア情報が画像データである場合に、該画像データの色分布に関するインデックス情報とすることができる。
【００３６】
請求項９に係る発明によれば、記録手段に記録されるフィードバック情報を視覚により認識できる。
【００３７】
請求項１０に係る発明によれば、記録手段に記録されるフィードバック情報を聴覚により認識できる。
【００３８】
請求項１１に係る発明によれば、記録手段に記録されるフィードバック情報を機械的なスイッチの動作により認識できる。
【００３９】
請求項１２に係る発明によれば、画像データに含まれる動画データを特定して、当該動画データを記録できる。
【００４０】
請求項１３に係る発明によれば、画像データに含まれるポインタを特定して、当該ポインタを消去した画像データを記録できる。
【００４１】
請求項１４に係る発明によれば、マルチメディア情報に関するメタデータがフィードバック情報としてマルチメディア情報と関連付けられて記録され、マルチメディア情報の管理が容易になる。
【発明を実施するための最良の形態】
【００４２】
（第１実施形態）
以下、図面を参照しながら本発明の第１実施形態について詳解する。
図１は、本発明の第１実施形態に係るマルチメディア情報処理システム１の要部構成を示す機能ブロック図である。
【００４３】
マルチメディア情報処理システム１は、図１に示すように、画像記録部２、画像表示部３、フィードバック情報提示部４、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７、ポインタ情報処理部８、制御部１１及び内部バス１２等から構成される。
【００４４】
ここで、画像記録部２、画像表示部３、フィードバック情報提示部４、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７、ポインタ情報処理部８及び制御部１１等は、内部バス１２で相互に接続されている。
【００４５】
画像記録部２は、本発明の記録手段の一例であって、マルチメディア情報処理システム１の外部からの画像データを入力する画像入力装置と当該画像入力装置から入力された画像データを記録するメモリとで構成される。従来のプロジェクタ等の投影手段やディスプレイの内部で画像を保持するフレーム・バッファなどを画像記録部２として実装することができる。
【００４６】
画像表示部３は、本発明の表示手段の一例であって、一般的なディスプレイ、スクリーンあるいはモニタなどで構成され、画像記録部２に記録されている画像データを利用者に表示する。
【００４７】
フィードバック情報提示部４は、本発明のフィードバック情報記録手段や出力手段を有する部材の一例であって、画像記録部２から画像データを取得し、取得した画像データから後述する各種フィードバック情報を取得し、取得した各種フィードバック情報を記録ないし保持し、利用者に対して記録した各種フィードバック情報を提示する。尚、画像記録部２からの画像データに代えて、画像表示部３に表示される表示画像を取得するようにしてもよい。
【００４８】
動画情報特定部５は、本発明の動画特定手段の一例であって、画像記録部２から画像データを取得し、取得した画像データから動画情報を特定し、特定した動画情報(以下、特定動画情報と称する場合もある)を特定動画情報処理部６に出力する。
【００４９】
特定動画情報処理部６は、本発明の動画処理手段の一例であって、ＣＰＵ（Central Processing Unit）及びメモリ等で構成され、動画情報特定部５から出力された特定動画情報を特定動画情報処理部６の内部メモリに記録し、当該内部メモリに記録した特定動画情報を利用者に提示する。ここで、特定動画情報は、画像表示部３のディスプレイあるいはスクリーンを通して利用者に提示される。
【００５０】
ポインタ情報特定部７は、本発明のポインタ特定手段の一例であって、画像記録部２から画像データを取得し、取得した画像データからポインタの情報（以下、単にポインタ情報という）を特定し、特定したポインタ情報を後続するポインタ情報処理部８に出力する。
【００５１】
ポインタ情報処理部８は、本発明のポインタ処理手段の一例であって、ポインタ情報特定部７からポインタ情報を取得し、取得したポインタ情報に基づいて、画像記録部２に記録されている画像データを処理する。例えば、画像記録部２に記録されている画像データがスライド画像データであり、かつ、ポインタに対応するアイコン・データが含まれている場合、当該スライド画像データからアイコン画像データを視覚的に消去して、消去した結果のスライド画像データを再度画像記録部２に出力し、あるいは、消去した結果のスライド画像データを画像表示部３に出力する。
【００５２】
制御部１１は、ＣＰＵおよびメモリ等で構成され、画像記録部２、画像表示部３、フィードバック情報提示部４、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７及びポインタ情報処理部８の各部および内部バス１２に伝送される制御信号ないし制御データおよび画像データなどのマルチメディア情報などのデータを制御する。
尚、ここでマルチメディア情報とは、例えば、テキスト情報、グラフィック情報、アニメーション情報、音声情報、ビデオ情報、スライド情報等のいずれか、又は、これらの組み合わせの情報をいう。
【００５３】
さらに、上述したフィードバック情報提示部４について詳述する。
図２は、フィードバック情報提示部４の要部構成を示す機能ブロック図である。
フィードバック情報提示部４は、図２に示すように、フィードバック情報取得部１３、フィードバック情報記録部１４及びフィードバック情報出力部１５等から構成される。
【００５４】
フィードバック情報取得部１３は、メモリ、外部入力端子および外部入力装置などで構成され、画像記録部２または画像表示部３から画像データを取得する。一方、フィードバック情報取得部１３は、内部もしくは外部のシステム、機器、装置、回路、端子に接続され、接続された内部もしくは外部のシステム、機器、装置、回路、端子から、フィードバック情報として、いわゆるメタデータを取得する。ここで、メタデータとは、データについてのデータを意味し、集約的に管理されるデータを扱うための、各データが付随して持つ抽象度の高い、あるいは付加的なデータを指す。たとえば、検索する際により高度な条件設定をしたり、デジタルコンテンツの著作権情報などを埋め込んだりする内容のことを示す。広義にとらえれば、ある情報に対する被参照数や批評・推薦文なども含まれる。本実施形態において具体的に説明すると、提示されるマルチメディア情報を記録中（録音ないし録画中）であるか否かの記録状態情報、提示されるマルチメディア情報を利用者が参照しているか否か、あるいは、どの利用者が参照しているか等の参照状態に関する参照情報、または、プロジェクタ、ディスプレイ本体およびディスプレイ端子またはスクリーン、マイク、利用者が利用しているパーソナル・コンピュータや当該パーソナル・コンピュータのいわゆるＩＰアドレスおよびネットワーク・インタフェース・カードの識別子など利用者が利用している各種内部および外部装置の識別子に関する識別情報、利用者の顔写真等の画像情報、いわゆるインターネット検索もしくはウェブ検索およびデータベース検索などの各種検索結果に関する検索結果情報、並びに提示されるマルチメディア情報に係るページ番号、文字数などのテキスト情報、色分布などの画像情報等のインデックス情報などをいう。
【００５５】
例えば、フィードバック情報取得部１３の外部入力端子に外部のプロジェクタあるいはディスプレイが接続されている場合には、係るプロジェクタあるいはディスプレイの識別子を取得し、取得したプロジェクタあるいはディスプレイの識別子をフィードバック情報として後続するフィードバック情報記録部１４に出力する。
【００５６】
ここで、取得するプロジェクタあるいはディスプレイの識別子は、いわゆるＵＳＢ機器のプラグ・アンド・プレイの規格ないしプロトコルで用いられているような制御機構などを応用することができる。例えば、現在では、利用者のＵＳＢの機器をパーソナル・コンピュータに接続するだけで、接続したＵＳＢ機器を利用することができる。このとき、利用者のＵＳＢの機器の識別子情報やそのＵＳＢ機器のハードウェア仕様に関連するデータは自動的にパーソナル・コンピュータに取得および登録され、利用可能状態となるが、本発明においても同様の制御機構を用いて、外部機器の識別子を取得することができる。
【００５７】
また、外部機器としてネットワーク・インタフェース・カードが接続された場合には、多くのＵＮＩＸ（登録商標）システムで採用されている"Ping"コマンドの機能に相当する機能などを実装することによって、接続したＩＰアドレスなどを自動的に取得することができる。
【００５８】
フィードバック情報記録部１４は、本発明のフィードバック情報記録手段の一例であって、メモリなどで構成され、フィードバック情報取得部１３から取得したフィードバック情報を記録し、記録したフィードバック情報をフィードバック情報出力部１５に出力する。
【００５９】
続いて、フィードバック情報出力部１５について詳述する。
図３は、フィードバック情報出力部１５の要部構成を示す機能ブロック図である。
フィードバック情報出力部１５は、本発明の出力手段の一例であって、図３に示すように、視覚的フィードバック装置１６、聴覚的フィードバック装置１７および力学的ないし機械的フィードバック装置１８等から構成される。
【００６０】
図４は、視覚的フィードバック装置１６の回路図の一例を示す。
視覚的フィードバック装置１６は、図４に示すように、拡大縮小回路１９、レイアウト回路２０、ランプ駆動回路２１、ランプ２２及び視覚的フィードバック情報提示制御回路２３などから構成される。
【００６１】
拡大縮小回路１９は、フィードバック情報記録部１４から画像データを取得し、取得した画像データを所定の、もしくは指定した比率で縮小し、縮小した画像データを後続するレイアウト回路２０に出力する。ここで、縮小率は８０パーセントなど利用者が指定したものでも、予め指定されているものでもいずれでも良い。
【００６２】
レイアウト回路２０は、拡大縮小回路１９から縮小した画像データを取得し、また、前記フィードバック情報を取得し、取得した縮小画像データおよび取得したフィードバック情報の配置を設定し、すなわちレイアウトを制御し、配置ないしレイアウトの結果の縮小画像データおよびフィードバック情報をフィードバック情報提示制御回路２３に出力する。
【００６３】
図５は、レイアウト回路２０で取得した縮小画像データおよび取得したフィードバック情報のレイアウトの例を示す。
レイアウトは、出力されるディスプレイないしスクリーンの領域に対応するレイアウト領域２４ａ、２４ｂにおいて、図５（ａ）に示すように、マルチメディア情報領域２５ａの下側にフィードバック情報領域２６ａが配置されるものでも良いし、図５（ｂ）のように、マルチメディア情報領域２５ｂの右側にフィードバック情報領域２６ｂが配置されるものでも良い。
【００６４】
ここで、マルチメディア情報領域２５ａ、２５ｂは、提示されるべきマルチメディア情報を提示するための領域を意味し、フィードバック情報領域２６ａ、２６ｂは、利用者にフィードバックないし提示されるべきフィードバック情報を提示するための領域を意味する。
そこで、マルチメディア情報領域２５ａ、２５ｂには、前記拡大縮小回路１９によって縮小された画像データが配置され、提示される。
【００６５】
なお、レイアウトの配置形態は、図５（ａ）や図５（ｂ）に限らない。
すなわち、レイアウトは、マルチメディア情報領域２５ａの上側にフィードバック情報領域２６ａが配置されるものでも良いし、マルチメディア情報領域２５ｂの左側にフィードバック情報領域２６ｂが配置されるものでも良いし、その他の配置形態でも良い。例えば、マルチメディア情報領域２５ａ、２５ｂのいずれかの角あるいはコーナーにフィードバック情報領域２６ａ、２６ａが配置されるものでも良い。
【００６６】
また、視覚的フィードバック装置１６のランプ２２およびランプ駆動回路２１を用いて、フィードバック情報を利用者に提示することもできる。
図６は、ランプ２２の実装の一例である。
図６に示すように、ランプ２７ａ、２７ｂ、２７ｃをこれらに対応するラベル２８ａ、２８ｂ、２８ｃの組を複数実装することができる。
例えば、ランプＡ（２７ａ）に対してラベルＡ（２８ａ）を対応させ、ランプＢ（２７ｂ）に対してラベルＢ（２８ｂ）を対応させ、さらにランプＣ（２７ｃ）に対してラベルＣ（２８ｃ）を対応させるようにランプ２２を構成できる。
【００６７】
具体的には、ラベルＡとして、「録画中」を提示するようにした場合、ランプＡの点灯で利用者に提示されているマルチメディア情報が記録されていることを利用者にフィードバックすることができる。逆にランプＡの消灯で「録画中ではない」ことを利用者に知らせることができる。
また、ラベルＢとして、「録音中」を提示するようにした場合、ランプＢの点灯でマイク等の集音手段で当該マルチメディア情報処理システム１が録音状態であることを利用者に知らせることができる。逆に、ランプＢの消灯で「録音中ではない」ことを利用者に知らせることができる。
同様に、ラベルＣとして、「利用者のアクセス中」を提示するようにした場合、ランプＣの点灯で利用者がネットワークを介するなどして、本マルチメディア情報処理システム１に利用者がアクセスすることを利用者に視覚的に知らせることができる。逆に、ランプＣの消灯で「利用者のアクセス中でない」ことを利用者に視覚的に知らせることができる。
【００６８】
ここで、ランプ２７ａ、２７ｂ、２７ｃと、これに対応するランプのラベル２８ａ、２８ｂ、２８ｃの利用形態は上述したものに限られない。ラベル２８ａ、２８ｂ、２８ｃは、各種のフィードバック情報が考えられ、これらのラベル２８ａ、２８ｂ、２８ｃに対応するのようにランプ２７ａ、２７ｂ、２７ｃを点灯し、あるいは消灯することによって利用者にフィードバック情報を視覚的に知らせることができる。
【００６９】
視覚的フィードバック情報提示制御回路２３は、レイアウト回路２０から取得した縮小されたマルチメディア情報およびフィードバック情報を所定の、あるいは利用者の指定したディスプレイ、スクリーン、モニタあるいはウィンドウに出力する。
それらのディスプレイ、スクリーン、モニタあるいはウィンドウは、画像表示部３を通して出力されるものでも良いし、視覚的フィードバック情報提示制御回路２３に直接接続したものに対して出力しても良い。
【００７０】
また、視覚的フィードバック情報提示制御回路２３は、複数のディスプレイ、複数のスクリーン、複数のモニタあるいは複数のウィンドウを制御することができる。
そこで、レイアウト回路２０もしくは視覚的フィードバック情報提示制御回路２３で、提示すべきマルチメディア情報とフィードバック情報とをそれぞれ別々のディスプレイないしスクリーンないしモニタないしウィンドウに提示するようにレイアウトし、それぞれ別々のディスプレイないしスクリーンないしモニタないしウィンドウに提示しても良い。
そのような場合、拡大縮小回路１９で提示されるマルチメディア情報を縮小をしなくても良い。
逆に、解像度の高いディスプレイないしスクリーンないしモニタに対応するように、拡大縮小回路１９でマルチメディア情報を拡大しても良い。
【００７１】
図７は、複数のディスプレイによる表示の一例を示した図である。
図７のディスプレイ２９ａには、マルチメディア情報領域２５ｃのみが設定され、一方、ディスプレイ２９ｂには、フィードバック情報領域２６ｃのみが設定され、提示されている例を示している。
そこで、異なるディスプレイ２９ａ、２９ｂにそれぞれ、マルチメディア情報とフィードバック情報を別々に提示することができる。
【００７２】
ここで、異なるディスプレイではなく、異なるスクリーンあるいはモニタ、あるいは異なるウィンドウにマルチメディア情報とフィードバック情報を別々に提示するように実装することもできる。
【００７３】
ここで、フィードバック情報提示部４で取り扱うフィードバック情報の形態について説明する。
図８は、フィードバック情報の形態の一例を示す図である。
フィードバック情報は、図８に示すように、アイコン画像データ、文字列データ、画像データあるいはグラフなどの様々な形態で表現し、利用者に提示することができる。
図８では、アイコン画像データＡ（３０ａ）およびアイコン画像データＢ（３０ｂ）、文字列データＡ（３１ａ）および文字列データＢ（３１ｂ）、画像データ（３２）並びにグラフ（３３）がフィードバック情報の形態の例として示されている。
なお、フィードバック情報領域（２６ｄ）は、ディスプレイ、スクリーン、モニタあるいはウィンドウを通して利用者に提示されるフィードバック情報のための領域を示している。
【００７４】
ここで、アイコン画像データＡ（３０ａ）のフィードバック情報として、提示されるべきマルチメディア情報が「録画中である」ことを示すアイコン画像データと「録画中ではない」ことを示すアイコン画像データとを、フィードバック情報の各状態に応じて利用者に提示することができる。
【００７５】
また、アイコン画像データＢ（３０ｂ）のフィードバック情報として、提示されるべきマルチメディア情報に対応する音声データが「録音中である」ことを示すアイコン画像データと「録音中ではない」ことを示すアイコン画像データとを各状態に応じて利用者に提示することができる。
【００７６】
ここで、アイコン画像データに対して、任意の色や形状、いわゆるキャラクター・デザイン、あるいはサインないしマークないし印、図形的な記号を適宜割り当てることができる。
【００７７】
また、文字列データＡ（３１ａ）および文字列データＢ（３１ｂ）のフィードバック情報として、「録画中」や「録画中ではない」あるいは「録音中」や「録音中ではない」などの文字列、既定の、あるいは取得した会議室の名称(例えば、「会議室Ａ」)の文字列、あるいは、日付を表す数字や記号に対応する文字列(例えば、「2005/12/12 19:15」)など、一つ以上の文字、数字あるいは記号あるいはそれらの組み合わせなどの文字列を、フィードバック情報の各状態に応じて利用者に提示することができる。
ここで、文字列データに対して、任意のいわゆるフォントの種類、文字の大きさ、文字飾りなどを適宜割り当てることができる。
【００７８】
ここで、数値や記号を文字列として表現する場合のフィードバック情報として、本マルチメディア情報処理システム１に接続される外部のプロジェクタ、ディスプレイ、スクリーン、マイクの識別子を対応させることもできるし、利用者が使用しているパーソナル・コンピュータのネットワーク・インタフェース・カードのいわゆるＩＰアドレスを対応させることもできる。
また、ディスプレイの識別子などは、ディスプレイ本体の識別子とディスプレイ端子の識別子を別々に取り扱うようにすることもできる。
【００７９】
また、フィードバックする文字列としては、既定の、あるいは与えられる、あるいは取得した利用者の名前や識別子でも良い。例えば、本マルチメディア情報処理システム１にアクセスしている利用者の名前を提示するように実装することもできる。
【００８０】
また、抽出ないし取得したいわゆるメタデータの値ないし内容に対応する文字列を文字列データとして利用者に提示することもできる。例えば、画像データからページ番号が取得ないし抽出した場合、そのページ番号に対応する文字列を利用者に提示することもできる。あるいは、画像データからテキスト情報を取得し、取得したテキストの文字数に対応する文字列を利用者に提示することもできる。
なお、画像データがスライド画像データの場合、従来技術であるＯＣＲを利用することによって、画像データからテキスト情報を取得し、取得したテキスト情報の文字数を数え上げることによって、取得したテキストの文字数に対応する文字列を利用者に提示することができる。
【００８１】
さらに、利用者の顔写真に対応するいわゆるＪＰＥＧ形式などの画像データを画像データ３２として利用者に提示することもできる。
【００８２】
さらに、提示すべきマルチメディア情報に対応した画像データから抽出した輝度分布などのグラフをグラフ３３として利用者に提示することもできる。ここで、グラフは輝度分布の他にも、ＲＧＢやＣＩＥＬ＊ａ＊ｂあるいはその他の各色成分の色成分毎のヒストグラムなどを提示することができる。
【００８３】
次に、聴覚的フィードバック装置１７について説明する。
図９は、本発明の一実施形態に係る聴覚的フィードバック装置１７の回路図の一例である。
聴覚的フィードバック装置１７は、図９に示すように、聴覚的フィードバック提示回路３４およびスピーカ３５等から構成されている。
【００８４】
また、聴覚的フィードバック提示回路３４は、ＣＰＵおよびメモリ等で構成され、フィードバック情報記録部１４からフィードバック情報を取得し、取得したフィードバック情報に対応する聴覚データないし聴覚情報を生成し、生成された聴覚情報を後段のスピーカ３５に出力する。
【００８５】
スピーカ３５は、聴覚的フィードバック提示回路３４から前記聴覚データないし聴覚情報を取得し、取得した聴覚データないし聴覚情報を利用者に提示する。
【００８６】
ここで、聴覚的フィードバック提示回路３４は、フィードバック情報を利用者に提示するため、フィードバック情報に対応した既定の音色、周波数、音量、回数の音または和音あるいは警告音もしくは音声情報など聴覚データないし聴覚情報を生成する。
【００８７】
例えば、フィードバック情報が提示されるべきマルチメディア情報が「録音中」であることを意味する場合、聴覚データないし聴覚情報として、特定のいわゆるビープ音を生成するように実装できる。逆に、「録音中でない」ことを意味する場合、聴覚データないし聴覚情報として、周波数が例えば４４０（ｋＨｚ）の音を生成するように実装できる。
【００８８】
また、例えば、フィードバック情報が提示されるべきマルチメディア情報に「動画が含まれる」ことを意味する場合、聴覚データないし聴覚情報として、「ドミソ」の和音を生成するように実装できる。一方、「動画が含まれない」ことを意味する場合、聴覚データないし聴覚情報として、「シレソ」の和音を生成するように実装できる。
【００８９】
また、例えば、フィードバック情報が提示されるべきマルチメディア情報がテキスト情報を含む場合、「ピアノ」の音色の聴覚データないし聴覚情報を生成するように実装できる。また、フィードバック情報が提示されるべきマルチメディア情報が「グラフ」を含む場合、「ギター」の音色の聴覚データないし聴覚情報を生成するように実装できる。
【００９０】
また、例えば、フィードバック情報が提示されるべきマルチメディア情報が英語のテキスト情報を含む場合、連続する二回のビープ音の聴覚データないし聴覚情報を生成するように実装できる。また、フィードバック情報が提示されるべきマルチメディア情報が英語のテキスト情報を含む場合、連続する三回のビープ音の聴覚データないし聴覚情報を生成するように実装できる。
【００９１】
また、例えば、フィードバック情報が提示されるべきマルチメディア情報がテキスト情報を含む場合、そのテキストに含まれる文字数を音声データとして生成するように実装できる。すなわち、「５０文字含まれます。」のような音声データを既存の音声合成技術を用いて生成することができる。
【００９２】
次に、力学的ないし機械的フィードバック装置１８について説明する。
力学的ないし機械的フィードバック装置１８は、ＣＰＵ、メモリ、いわゆるアクチュエーター、リレーおよび機械的スイッチなどで構成される。
【００９３】
力学的ないし機械的フィードバック装置１８は、フィードバック情報記録部１４からフィードバック情報を取得し、取得したフィードバック情報に対応して機械的スイッチの状態、例えばスイッチの「オン」および「オフ」の状態を変更することによって、利用者に力学的ないし機械的にフィードバックを行う。
【００９４】
例えば、フィードバック情報が提示されるべきマルチメディア情報が「録音中」か「録音中ではない」かを表す機械的なスイッチを実装し、「録音中」状態を当該機械的スイッチの「オン」で表し、「録音中ではない」状態を当該機械的スイッチの「オフ」で表し、フィードバック情報記録部１４からフィードバック情報を入力し、入力したフィードバック情報に対応して当該機械的スイッチの状態の「オン」および「オフ」を切り替えることができる。
【００９５】
他にも、例えば、フィードバック情報が提示されるべきマルチメディア情報に「動画が含まれる」あるいは「動画が含まれない」ことを意味する機械的なスイッチを実装することができる。
【００９６】
図１０には、本実施形態に係るマルチメディア情報処理手続きの処理手順をフローチャートの形式で示している。
図１０に示すように、マルチメディア情報処理手続きは、マルチメディア情報処理初期化手続き（ステップＳ１）、フィードバック情報提示要求判定（ステップＳ２）、フィードバック情報提示手続き（ステップＳ３）、動画情報処理要求判定（ステップＳ４）、動画情報特定手続き（ステップＳ５）、動画情報処理手続き（ステップＳ６）、ポインタ情報処理要求判定(ステップＳ７)、ポインタ情報特定手続き（ステップＳ８）、ポインタ情報処理手続き（ステップＳ９）、終了要求判定（ステップＳ１０）およびマルチメディア終了化手続き（ステップＳ１１）の各手続きから成る。
【００９７】
まず、マルチメディア初期化手続き（ステップＳ１）において、本マルチメディア処理システム１の制御部１１は、制御部１１の内部メモリの初期化、すなわちメモリの割り当てとクリア、画像記録部２、画像表示部３、フィードバック情報提示部４、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７及びポインタ情報処理部８の各部に対する初期化の命令並びに内部バス１２の初期化などを行う。
【００９８】
例えば、制御部１１は、画像記録部２の内部のメモリの初期化や画像表示部３のディスプレイやそのスクリーン、グラフィカル・ユーザー・インタフェース(以下、ＧＵＩと称することもある)のウィンドウなどの初期化を行う。
【００９９】
また、マルチメディア初期化手続き（ステップＳ１）において、制御部１１は、従来のプロジェクタなどで行われるような画像記録手続きと画像表示手続きとを行う。
つまり、制御部１１は、画像記録部２に利用者に提示されるべきマルチメディア情報を設定する。例えば、マイクロソフト社製のPowerPoint（登録商標）などの電子的なスライド画像データなどを設定する。
さらに、制御部１１は、画像記録部２に設定した提示されるべきマルチメディア情報を画像表示部３によって表示する。そこで、利用者は提示されるべきマルチメディア情報を画像提示部３のディスプレイ、スクリーン、モニタまたはウィンドウで見ることができるようになる。
【０１００】
次に、フィードバック情報提示要求判定（ステップＳ２）において、マルチメディア処理システム１の制御部１１は、既定により、もしくは利用者の指示により、フィードバック情報の提示要求があるか否かの判定を行う。フィードバック情報の提示要求が有る場合(「ＹＥＳ」の場合)、処理は後続するフィードバック情報提示手続き（ステップＳ３）に移る。一方、フィードバック情報の提示要求が無い場合(「ＮＯ」の場合)、処理は動画情報処理要求判定（ステップＳ４）に移る。つまり、フィードバック情報の提示要求が無い場合(「ＮＯ」の場合)、フィードバック情報提示手続き（ステップＳ３）を行わない。
【０１０１】
また、フィードバック情報提示手続き（ステップＳ３）において、フィードバック情報提示部４は、マルチメディア情報処理システム１の状態または提示されるマルチメディア情報に係る各種データないし情報を提示する。なお、このフィードバック情報提示手続き（ステップＳ３）については、後で詳述する。
【０１０２】
また、動画情報処理要求判定（ステップＳ４）において、マルチメディア処理システム１の制御部１１は、既定により、もしくは利用者の指示により、動画情報の処理要求があるか否かの判定を行う。動画情報処理の要求が有る場合(「ＹＥＳ」の場合)、処理は後続する動画情報特定手続き（ステップＳ５）に移る。一方、動画情報の処理要求が無い場合(「ＮＯ」の場合)、処理はポインタ情報処理要求判定（ステップＳ７）に移る。つまり、動画情報の処理要求が無い場合(「ＮＯ」の場合)、動画情報特定手続き（ステップＳ５）および動画情報処理手続き（ステップＳ６）を行わない。
【０１０３】
動画情報特定手続き（ステップＳ５）においては、画像情報特定部５は、画像記録部２または画像提示部３から提示されるマルチメディア情報に係る動画情報を特定する。なお、動画情報特定手続き（ステップＳ５）については、後で詳述する。
【０１０４】
動画情報処理手続き（ステップＳ６）においては、特定画像情報処理部６は、動画情報特定手続き（ステップＳ５）において画像情報特定部５によって特定された動画情報を取得し、記録し、提示する。
【０１０５】
また、ポインタ情報処理要求判定（ステップＳ７）において、マルチメディア処理システム１の制御部１１は、既定により、もしくは利用者の指示により、ポインタ情報の処理要求が有るか否かの判定を行う。ポインタ情報処理の要求が有る場合(「ＹＥＳ」の場合)、処理は後続するポインタ情報特定手続き（ステップＳ８）に移る。一方、ポインタ情報の処理要求が無い場合(「ＮＯ」の場合)、処理は終了要求判定（ステップＳ１４）に移る。つまり、ポインタ情報の処理要求が無い場合(「ＮＯ」の場合)、ポインタ情報特定手続き（ステップＳ８）及びポインタ情報処理手続き（ステップＳ９）を行わない。
【０１０６】
ポインタ情報特定手続き（ステップＳ８）においては、ポインタ情報特定部７は、提示されたいわゆるポインタ情報を特定する。なお、ポインタ情報特定手続き（ステップＳ８）については、後で詳述する。
【０１０７】
ポインタ情報処理手続き（ステップＳ９）においては、ポインタ情報処理部８は、ポインタ情報特定手続き（ステップＳ８）において特定されたポインタ情報を記録し、提示されるマルチメディア情報を処理する。なお、ポインタ情報処理手続き（ステップＳ９）については、後で詳述する。
【０１０８】
加えて、終了要求判定（ステップＳ１０）においては、マルチメディア情報処理システム１の制御部１１は、既定により、もしくは利用者の指示により、終了の要求が有るか否かの判定を行う。終了の要求が有る場合(「ＹＥＳ」の場合)、処理は後続するマルチメディア処理終了化手続き（ステップＳ１１）に移る。一方、終了の要求が無い場合(「ＮＯ」の場合)、処理はフィードバック情報提示手続き（ステップＳ２）に移る。つまり、終了の要求が無い場合(「ＮＯ」の場合)、図１０のようにステップＳ２からステップＳ９までの手続きを場合によっては繰り返す。
【０１０９】
最後に、マルチメディア処理終了化手続き（ステップＳ１１）においては、マルチメディア処理システム１の制御部１１は、制御部１１の内部メモリの終了化、すなわちクリアとメモリ資源の解放、画像記録部２、画像表示部３、フィードバック情報提示部４、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７およびポインタ情報処理部８の各部に対する終了化の命令並びに内部バス１２の電気的な切断あるいは資源の解放など終了化等を行う。
【０１１０】
次に、フィードバック情報提示手続き（ステップＳ３）について説明する。
図１１は、本発明の一実施例に係るフィードバック情報提示手続き（ステップＳ３）の一例を示したフローチャートである。
フィードバック情報提示手続き（ステップＳ３）は、図１１に示すように、フィードバック情報提示初期化手続き（ステップＳ２１）、フィードバック情報取得下位手続き（ステップＳ２２）、フィードバック情報記録手続き（ステップＳ２３）、フィードバック情報出力下位手続き（ステップＳ２４）及びフィードバック情報提示終了化手続き（ステップＳ２５）から成る。
【０１１１】
フィードバック情報提示初期化手続き（ステップＳ２１）においては、フィードバック情報提示部４は、フィードバック情報提示部４自身を初期化する。具体的には、フィードバック情報提示部４は、フィードバック情報取得部１３、フィードバック情報記録部１４およびフィードバック情報出力部１５の各部を初期化する。例えば、フィードバック情報記録部１４の内部メモリを割り当て、クリアする。
【０１１２】
フィードバック情報取得下位手続き（ステップＳ２２）においては、フィードバック情報取得部１３は、提示されるマルチメディア情報またはマルチメディア情報処理システム１から取得したマルチメディア情報から所望のフィードバック情報を取得する。
【０１１３】
例えば、フィードバック情報取得下位手続き（ステップＳ２２）においては、フィードバック情報取得部１３は、フィードバック情報として、提示されるマルチメディア情報を記録中ないし録画中であるか否かの記録状態情報を制御部１１から取得する。
【０１１４】
また、フィードバック情報取得下位手続き（ステップＳ２２）においては、フィードバック情報取得部１３は、提示されるマルチメディア情報を利用者が参照しているか否か、あるいはどの利用者が参照しているか等の利用者情報および利用者状態情報を制御部１１から取得する。
【０１１５】
また、フィードバック情報取得下位手続き（ステップＳ２２）においては、フィードバック情報取得部１３は、プロジェクタ、ディスプレイ本体およびディスプレイ端子またはスクリーン、マイク、利用者が利用しているパーソナル・コンピュータや当該パーソナル・コンピュータのいわゆるＩＰアドレスおよびネットワーク・インタフェース・カードの識別子など利用者が利用している各種内部および外部装置の識別子に関する識別情報、利用者の顔写真の画像データ、いわゆるインターネット検索もしくはウェブ検索およびデータベース検索などの各種検索結果に関する検索結果情報、並びに提示されるマルチメディア情報に係るページ番号、文字数などのテキスト情報、色分布などの画像情報等のインデックス情報などいわゆるメタデータを制御部１１から取得する。
【０１１６】
フィードバック情報記録手続き（ステップＳ２３）においては、フィードバック情報記録部１４は、フィードバック情報取得下位手続き（ステップＳ２２）においてフィードバック情報取得部１３によって取得したフィードバック情報をフィードバック情報取得部１３から取得し、取得したフィードバック情報を記録する。
【０１１７】
フィードバック情報出力下位手続き（ステップＳ２４）においては、フィードバック情報出力部１５は、フィードバック情報記録手続き（ステップＳ２２）においてフィードバック情報記録部１４によって記録されたフィードバック情報をフィードバック情報記録部１４から取得し、取得したフィードバック情報を利用者に提示する。
【０１１８】
図１２は、本発明の一実施例に係るフィードバック情報出力下位手続き（ステップＳ１９）の一例を示したフローチャートである。
フィードバック情報出力下位手続き（ステップＳ１９）は、図１２に示すように、視覚的フィードバック・ステップ選択判定（ステップＳ３１）、視覚的フィードバック・ステップ（ステップＳ３２）、聴覚的フィードバック・ステップ選択判定（ステップＳ３３）、聴覚的フィードバック・ステップ（ステップＳ３４）、力学的ないし機械的フィードバック・ステップ選択判定（ステップＳ３５）、力学的ないし機械的フィードバック・ステップ（ステップＳ３６）から成る。
【０１１９】
視覚的フィードバック・ステップ選択判定（ステップＳ３１）においては、制御部１１は、既定に従って、または利用者の指定によって、利用者に対する視覚的フィードバック・ステップが選択されたか否かの判定を行う。視覚的フィードバック・ステップが選択されたと判定した場合(「Ｙｅｓ」の場合)、処理は後続する視覚的フィードバック・ステップ（ステップＳ３２）に移る。一方、視覚的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、処理は聴覚的フィードバック・ステップ選択判定（ステップＳ３３）に移る。つまり、視覚的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、視覚的フィードバック・ステップ（ステップＳ３２）を行わない。
【０１２０】
聴覚的フィードバック・ステップ選択判定（ステップＳ３３）においては、制御部１１は、既定に従って、または利用者の指定によって、利用者に対する聴覚的フィードバック・ステップが選択されたか否かの判定を行う。聴覚的フィードバック・ステップが選択されたと判定した場合(「Ｙｅｓ」の場合)、処理は後続する聴覚的フィードバック・ステップ（ステップＳ３４）に移る。一方、聴覚的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、処理は力学的ないし機械的フィードバック・ステップ選択判定（ステップＳ３５）に移る。つまり、聴覚的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、聴覚的フィードバック・ステップ（ステップＳ３４）を行わない。
【０１２１】
力学的ないし機械的フィードバック・ステップ選択判定（ステップＳ３５）においては、制御部１１は、既定に従って、または利用者の指定によって、利用者に対する力学的ないし機械的フィードバック・ステップが選択されたか否かの判定を行う。力学的ないし機械的フィードバック・ステップが選択されたと判定した場合(「Ｙｅｓ」の場合)、処理は後続する力学的ないし機械的フィードバック・ステップ（ステップＳ３６）に移る。一方、力学的ないし機械的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、処理は終了する。つまり、力学的ないし機械的フィードバック・ステップが選択されなかったと判定した場合(「Ｎｏ」の場合)、力学的ないし機械的フィードバック・ステップ（ステップＳ３６）を行わない。
【０１２２】
ここで、視覚的フィードバック・ステップ（ステップＳ３２）の詳細について説明する。
図１３は、本発明の一実施例に係る視覚的フィードバック・ステップ（ステップＳ３２）の一例を示したフローチャートである。
視覚的フィードバック・ステップ（ステップＳ３２）は、図１３に示すように、視覚的フィードバック出力選択ステップ（ステップＳ４１）、第１のフィードバック情報生成サブステップ（ステップＳ４２）、拡大縮小サブステップ（ステップＳ４３）、レイアウト・サブステップ（ステップＳ４４）、視覚的フィードバック情報提示制御サブステップ（ステップＳ４５）、第２のフィードバック情報生成サブステップ（ステップＳ４６）およびランプ駆動サブステップ（ステップＳ４７）から成る。
【０１２３】
視覚的フィードバック出力選択ステップ（ステップＳ４１）においては、制御部１１は、既定に従って、または利用者の指定によって、利用者に対して視覚的なフィードバック情報をランプに出力するか否かの選択を行う。
視覚的なフィードバック情報をランプに出力するランプ出力が選択されなかった場合、処理は第１のフィードバック情報生成サブステップ（ステップＳ４２）に移る。一方、視覚的なフィードバック情報をランプに出力するランプ出力が選択された場合、処理は第２のフィードバック情報生成サブステップ（ステップＳ４６）に移る。
【０１２４】
第１のフィードバック情報生成サブステップ（ステップＳ４２）においては、視覚的フィードバック装置１６は、フィードバック情報を利用者に提示するため、前記フィードバック情報を特定の色ないし形状の図形データもしくは分布図などのグラフ・データまたは画像データ、各種識別子、ラベルもしくは文字列あるいは数値に対応した文字データないし文字列データとして表現する。
【０１２５】
拡大縮小サブステップ（ステップＳ４３）においては、視覚的フィードバック装置１６の拡大縮小回路１９は、画像記録部２から画像データを入力し、入力した画像データを既定の、もしくは指定した比率で縮小し、縮小した画像データを後続するレイアウト回路２０に出力する。ここで、縮小率は８０パーセントなど利用者が指定したものでも、予め既定されているものでもいずれでも良い。
【０１２６】
レイアウト・サブステップ（ステップＳ４４）においては、視覚的フィードバック装置１６のレイアウト回路２０は、拡大縮小回路１９から縮小された画像データを取得し、また、前記フィードバック情報を取得し、取得した縮小画像データおよび取得したフィードバック情報の配置を設定し、すなわちレイアウトを制御し、配置ないしレイアウトの結果の縮小画像データおよびフィードバック情報を視覚的フィードバック情報提示制御回路２３に出力する。
【０１２７】
視覚的フィードバック情報提示制御サブステップ（ステップＳ４５）においては、視覚的フィードバック装置１６のフィードバック情報提示制御回路２３は、レイアウト回路２０から取得した縮小されたマルチメディア情報およびフィードバック情報を既定の、あるいは利用者の指定したディスプレイ、スクリーン、モニタあるいはウィンドウに出力する。
また、前述のように、それらのディスプレイ、スクリーン、モニタあるいはウィンドウは、画像表示部３を通して出力されるものでも良いし、視覚的フィードバック情報提示制御回路２３に直接接続したものに対して出力しても良い。
同じく、前述のように、視覚的フィードバック情報提示制御回路２３は、複数のディスプレイ、複数のスクリーン、複数のモニタあるいは複数のウィンドウを制御することができる。
【０１２８】
第２のフィードバック情報生成サブステップ（ステップＳ４６）においては、視覚的フィードバック装置１６は、フィードバック情報を利用者に提示するため、前記フィードバック情報をランプを駆動するための電圧パターンなどに変換する。
具体的には、ランプの点灯で、提示されるべきマルチメディア情報を「録画中」であることを利用者に知らせ、逆にランプＡの消灯で「録画中ではない」ことを利用者に知らせるような電圧パターンを生成する。なお、電圧パターン上記のものに限られない。
【０１２９】
ランプ駆動サブステップ（ステップＳ４７）においては、第２のフィードバック情報生成サブステップ（ステップＳ４１）において生成された電圧パターンでランプ駆動回路２１を駆動し、ランプ２２を点灯ないし消灯する。
【０１３０】
次に、聴覚的フィードバック・ステップ（ステップＳ３４）について説明する。
図１４は、本発明の一実施例に係る聴覚的フィードバック・ステップ（ステップＳ３４）の一例を示したフローチャートである。
聴覚的フィードバック・ステップ（ステップＳ３４）は、図１４に示すように、第３のフィードバック情報生成サブステップ（ステップＳ５１）及び聴覚的フィードバック情報提示サブステップ（ステップＳ５２）とから成る。
【０１３１】
第３のフィードバック情報生成サブステップ（ステップＳ５１）においては、聴覚的フィードバック提示回路３４は、フィードバック情報を利用者に提示するため、フィードバック情報に対応した既定の音色、周波数、音量、回数の音または和音あるいは警告音もしくは音声情報など聴覚データないし聴覚情報を生成する。
【０１３２】
聴覚的フィードバック情報提示サブステップ（ステップＳ５２）においては、第３のフィードバック情報生成サブステップ（ステップＳ３２）において聴覚データないし聴覚情報に変換されたフィードバック情報をスピーカ３５を通して利用者に提示する。つまり、スピーカ３５は、聴覚的フィードバック提示回路３４から前記聴覚データないし聴覚情報を入力し、入力した聴覚データないし聴覚情報を利用者に提示する。
【０１３３】
次に、力学的ないし機械的フィードバック・ステップ（ステップＳ３６）について説明する。
図１５は、本発明の一実施例に係る力学的ないし機械的フィードバック・ステップ（ステップＳ３６）の一例を示したフローチャートである。
力学的ないし機械的フィードバック・ステップ（ステップＳ３６）は、図１５に示すように、第４のフィードバック情報生成サブステップ（ステップＳ７１）及び機械的ないし物理的スイッチ駆動サブステップ（ステップＳ７２）からなる。
【０１３４】
第４のフィードバック情報生成サブステップ（ステップＳ７１）においては、力学的ないし機械的フィードバック装置１８は、フィードバック情報記録部１４からフィードバック情報を取得し、取得したフィードバック情報に対応した機械的スイッチを駆動するための電圧パターンを生成する。
【０１３５】
機械的ないし物理的スイッチ駆動サブステップ（ステップＳ７２）においては、力学的ないし機械的フィードバック装置１８は、第４のフィードバック情報生成サブステップ（ステップＳ７１）において生成された電圧パターンに基づいて機械的スイッチの状態、例えばスイッチの「オン」および「オフ」の状態を変更することによって、利用者に力学的ないし機械的にフィードバックを行う。つまり、フィードバック情報を利用者に提示するため、機械的スイッチの状態をフィードバック情報に対応した既定の形状ないし形態に変更する。
【０１３６】
次に、動画情報特定部５についてより詳しく説明する。
図１６は、本発明の動画情報特定部５の要部構成を示した機能ブロック図である。
本発明の動画情報特定部５は、図１６に示すように、第１の動き検出装置３６、第２の動き検出装置３７、アプリケーション状態監視装置３８、アプリケーション同定装置３９、特定動画情報取得装置４０、特定動画情報取得フレーム・レート制御装置４１、ＣＰＵ４２、メモリ４３、入出力インタフェース４４及び内部バス４５等から構成される。
本発明の動画情報特定部５の第１の動き検出装置３６、第２の動き検出装置３７、アプリケーション状態監視装置３８、アプリケーション同定装置３９、特定動画情報取得装置４０、特定動画情報取得フレーム・レート制御装置４１、ＣＰＵ４２、メモリ４３および入出力インタフェース４４は、内部バス４５によって相互に接続されている。
【０１３７】
第１の動き検出装置３６は、ＣＰＵおよびメモリなどから構成され、提示されるマルチメディア情報に係る動画情報を特定するためのいわゆるフレーム間差分に基づく動き検出を行う。
【０１３８】
具体的には、メモリ４３に保持されている画像データを特定の時間間隔で読み込み、各画像データのフレーム間差分すなわち画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ４３に保持されている画像データを動画データとして判定し、動画検出フラグをメモリ４３に設定する。逆に、基準値よりも差分が小さい場合には、メモリ４３に保持されている画像データを動画データではないと判定し、メモリ４３の動画検出フラグをクリアする。
【０１３９】
第２の動き検出装置３７は、ＣＰＵ及びメモリなどから構成され、提示されるマルチメディア情報に係る動画情報を特定するためのいわゆる背景差分に基づく動き検出を行う。
【０１４０】
具体的には、メモリ４３に保持されている画像データを特定の時間間隔で読み込み、各画像データと背景画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ４３に保持されている画像データを動画データとして判定し、動画検出フラグをメモリ４３に設定する。逆に、基準値よりも差分が小さい場合には、メモリ４３に保持されている画像データを動画データではないと判定し、メモリ４３の動画検出フラグをクリアする。ここで、背景画像データは、メモリ４３に保持するように設定する。背景画像データは、メモリ４３に保持されている画像データを利用者が指定することによって設定することもできるし、メモリ４３に保持されている画像データから動的に生成することもできる。
【０１４１】
アプリケーション状態監視装置３８は、提示されるマルチメディア情報を操作ないし制御するアプリケーションないし応用ソフトウェアのアプリケーションの状態を特定し、監視する。
例えば、利用者がマイクロソフト社製PowerPoint（登録商標）を利用者のパーソナル・コンピュータで利用している場合、かつ、パーソナル・コンピュータのＧＵＩを使ってPowerPoint（登録商標）アプリケーションを起動し、PowerPoint（登録商標）のスライド画像データを表示するようなとき、PowerPoint（登録商標）アプリケーションの状態としては、起動、終了などの状態を区別することができる。また、いわゆるＧＵＩ上でのアプリケーションの最大化あるいは最小化もしくはアイコン化なども特定することができる。さらに、ファイルを選択する状態やファイルを閉じた状態などの状態も特定することができる。
アプリケーション状態監視装置３８は、特定したアプリケーションの状態をアプリケーション状態データとしてメモリ４３に設定する。ここで、対象となるアプリケーションは後述するアプリケーション同定装置３９によって同定される。
【０１４２】
アプリケーション同定装置３９は、提示されるマルチメディア情報を操作ないし制御するアプリケーションの種類を同定し、同定したアプリケーションに対する識別子を含むアプリケーション識別子をメモリ４３に記録する。
【０１４３】
特定動画情報取得装置４０は、特定した動画情報を取得する。つまり、特定動画情報取得装置４０は、メモリ４３の動画検出フラグを監視し、動画検出フラグが「オン」すなわち、動画が検出されている場合、メモリ４３に保持されている画像データを、動画データとして取得し、取得した動画データをメモリ４３に別途保存する。
ここで、特定動画情報取得装置４０は、メモリ４３に保持されている画像データを、動画データとして取得する場合、特定動画情報取得フレーム・レート制御装置４１によってメモリ４３に設定されるフレーム・レート・データの値を参照し、当該フレーム・レート・データの値に基づいて取得する画像データ(ここでは動画データ)のフレーム・レートを決定する。
【０１４４】
特定動画情報取得フレーム・レート制御装置４１は、特定した動画情報を取得する場合に、取得する動画情報のいわゆるフレーム・レートを変更ないし制御する。つまり、特定動画情報取得フレーム・レート制御装置４１は、特定動画情報取得装置４０がメモリ４３に保持されている画像データを、動画データとして取得する場合のいわゆるフレーム・レートを、既定値ないし、利用者の指定に基づいて決定し、そのフレーム・レートの値をメモリ４３にフレーム・レート・データとして設定する。
【０１４５】
ＣＰＵ４２は、第１の動き検出装置３６、第２の動き検出装置３７、アプリケーション状態監視装置３８、アプリケーション同定装置３９、特定動画情報取得装置４０、特定動画情報取得フレーム・レート制御装置４１、メモリ４３、入出力インタフェース４４および内部バス４５を制御する。
ＣＰＵ４２は、画像記録部２に記録されている提示されるべきマルチメディア情報を取得し、メモリ４３に保持させる。
【０１４６】
メモリ４３は、第１の動き検出装置３６および第２の動き検出装置３７によって設定される動画検出フラグを保持する。
また、メモリ４３は、アプリケーション状態監視装置３８によって設定されるアプリケーション状態データを保持する。
また、メモリ４３は、アプリケーション同定装置３９によって設定されるアプリケーション識別子を保持する。
また、メモリ４３は、特定動画情報取得フレーム・レート制御装置４１によって設定されるフレーム・レート・データを保持する。
メモリ４３は、スライド画像データなどマルチメディア情報を保持する。
【０１４７】
入出力インタフェース４４は、一般的なメモリや入出力制御装置などから構成され、動画情報特定部５と画像記録部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【０１４８】
図１７は、本発明のアプリケーション状態監視装置３８の要部構成を示した機能ブロック図である。
アプリケーション状態監視装置３８は、図１７に示すように、ウィンドウ監視装置４６とタスク・バー監視装置４７等とから構成される。
ウィンドウ監視装置４６は、ＧＵＩ上のいわゆるウィンドウを監視する。一方、タスク・バー監視装置４７はいわゆるタスク・バーを監視する。
【０１４９】
ここで、ウィンドウ監視装置４６について説明する。
図１８は、本発明のウィンドウ監視装置４６の要部構成を示した機能ブロック図である。
本発明のウィンドウ監視装置４６は、図１８に示すように、第１のフレーム間差分演算回路４８、第１の背景差分演算回路４９、第１の矩形領域検出回路５０、ＣＰＵ５１、メモリ５２、入出力インタフェース５３及び内部バス５４等から構成される。
第１のフレーム間差分演算回路４８、第１の背景差分演算回路４９、第１の矩形領域検出回路５０、ＣＰＵ５１、メモリ５２及び入出力インタフェース５３は内部バス５４によって相互に接続されている。
【０１５０】
第１のフレーム間差分演算回路４８は、メモリ５２に保持されている所定の画像データを定期的に取得し、取得した連続する画像データのいわゆるフレーム間差分、すなわち画像データ間の画素毎の差分を演算し、その演算結果を第１のフレーム間差分データとしてメモリ５２に記録する。ここで、画像データの画素間演算には従来の一般的な画像処理技術を用いることができる。
【０１５１】
第１の背景差分演算回路４９は、メモリ５２に保持されている所定の画像データと所定の背景画像データをそれぞれ取得し、取得した画像データと背景画像データの画素毎の差分を演算し、その演算結果を第１の背景差分データとしてメモリ５２に記録する。ここで、画像データの画素間演算には従来の一般的な画像処理技術を用いることができる。
【０１５２】
第１の矩形領域検出回路５０は、メモリ５２に保持されている第１のフレーム間差分データおよび第１の背景差分データを取得し、アプリケーションのウィンドウに対応する矩形領域を検出する。ここで、画像データからの矩形領域の抽出には従来の一般的な画像処理技術を用いることができる。また、第１の矩形領域検出回路５０は、検出した矩形領域をウィンドウ候補領域データとしてメモリ５２に記録する。
【０１５３】
ＣＰＵ５１は、第１のフレーム間差分演算回路４８、第１の背景差分演算回路４９、第１の矩形領域検出回路５０、メモリ５２及び入出力インタフェース５３および内部バス５４を制御する。
ＣＰＵ５１は、メモリ５２に保持されているウィンドウ候補領域データを監視し、アプリケーションの起動および終了に対応するウィンドウのいわゆる「オープン」と「クローズ」並びにウィンドウの最大化と最小化ないしアイコン化の状態をウィンドウ状態データとして、メモリ５２に記録する。ここで、ウィンドウ状態データは、ウィンドウの「オープン」、「クローズ」、「最大化」、「最小化」の情報と伴にウィンドウ候補領域の幾何学的なデータ、すなわち、ＧＵＩ上の位置データ、ウィンドウの幅と高さのデータを意味する。
【０１５４】
メモリ５２は、第１のフレーム間差分演算回路４８から出力される第１のフレーム間差分データを保持する。
メモリ５２は、第１の背景差分演算回路４９から出力される第１の背景差分データを保持する。
メモリ５２は、第１の矩形領域検出回路５０から出力されるウィンドウ候補領域データを保持する。
メモリ５２は、所定の画像データおよび背景画像データを保持する。
メモリ５２は、ＣＰＵ５１から出力されるウィンドウ状態データを保持する。
【０１５５】
入出力インタフェース５３は、一般的なメモリや入出力制御装置などから構成され、ウィンドウ監視装置４６と画像記憶部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【０１５６】
ここで、タスク・バー監視装置４７について説明する。
図１９は、本発明のタスク・バー監視装置４７の要部構成を示した機能ブロック図である。
本発明のタスク・バー監視装置４７は、図１９に示すように、第２のフレーム間差分演算回路５５、第２の背景差分演算回路５６、第２の矩形領域検出回路５７、ＣＰＵ５８、メモリ５９、入出力インタフェース６０および内部バス６１から構成されている。
第２のフレーム間差分演算回路５５、第２の背景差分演算回路５６、第２の矩形領域検出回路５７、ＣＰＵ５８、メモリ５９および入出力インタフェース６０は内部バス６１によって相互に接続されている。
【０１５７】
第２のフレーム間差分演算回路５５は、メモリ５９に保持されている所定の画像データを定期的に取得し、取得した連続する画像データのいわゆるフレーム間差分、すなわち画像データ間の画素毎の差分を演算し、その演算結果を第２のフレーム間差分データとしてメモリ５９に記録する。ここで、画像データの画素間演算には従来の一般的な画像処理技術を用いることができる。
【０１５８】
第２の背景差分演算回路５６は、メモリ５９に保持されている所定の画像データと所定の背景画像データをそれぞれ取得し、取得した画像データと背景画像データの画素毎の差分を演算し、その演算結果を第２の背景差分データとしてメモリ５９に記録する。ここで、画像データの画素間演算には従来の一般的な画像処理技術を用いることができる。
【０１５９】
第２の矩形領域検出回路５７は、メモリ５９に保持されている第２のフレーム間差分データおよび第２の背景差分データを取得し、アプリケーションのウィンドウに対応する矩形領域を検出する。ここで、画像データからの矩形領域の抽出には従来の一般的な画像処理技術を用いることができる。また、第２の矩形領域検出回路５７は、検出した矩形領域をタスク・バー候補領域データとしてメモリ５９に記録する。
【０１６０】
ここで、タスク・バー監視装置４７の第２の矩形領域検出回路５７は、ウィンドウ監視装置４６の第１の矩形領域検出回路５０と異なり、矩形領域の検出対象をディスプレイないしスクリーンないしモニタのＧＵＩの表示領域の下部もしくは上部もしくは左側もしくは右側の領域など特定の領域のみをその処理対象とする。
例えば、通常もしくは既定(デフォルト状態ないし初期状態)では、パーソナル・コンピュータのオペレーティング・システムないし基本ソフトウェアがマイクロソフト社の"Windows XP"（登録商標）などである場合、いわゆるタスク・バーはＧＵＩの表示領域の下部に配置されている。
そのような場合、タスク・バー監視装置４７の第２の矩形領域検出回路５７は、ＧＵＩの下部に対応する領域のみを対象として、タスク・バーの状態を監視する。
また、前記"Windows XP"（登録商標）などのＧＵＩでは、タスク・バーをＧＵＩの表示領域の上部などに移動することができる。
そのような場合、タスク・バー監視装置４７の第２の矩形領域検出回路５７は、ＧＵＩの上部などに対応する領域のみを対象として、タスク・バーの状態を監視する。
【０１６１】
ＣＰＵ５８は、第２のフレーム間差分演算回路５５、第２の背景差分演算回路５６、第２の矩形領域検出回路５７、メモリ５９および入出力インタフェース６０及び内部バス６１を制御する。
ＣＰＵ５８は、メモリ５９に保持されているタスク・バー候補領域データを監視し、アプリケーションの起動および終了に対応するタスク・バーのアプリケーションの状態をタスク・バー状態データとして、メモリ５９に記録する。
ここで、タスク・バー状態データは、アプリケーションの「起動」、「終了」の情報と伴にタスク・バー候補領域の幾何学的なデータ、すなわち、アプリケーションに対応するタスク・バーの要素の位置データ、アプリケーションに対応するタスク・バーの要素の幅と高さのデータを意味する。また、タスク・バー状態データは、アプリケーションが選択されているか否かを示す選択状態フラグも含む。
【０１６２】
メモリ５９は、第２のフレーム間差分演算回路５５から出力される第２のフレーム間差分データを保持する。
メモリ５９は、第２の背景差分演算回路５６から出力される第２の背景差分データを保持する。
メモリ５９は、第２の矩形領域検出回路５７から出力されるタスク・バー候補領域データを保持する。
メモリ５９は、所定の画像データおよび背景画像データを保持する。
メモリ５９は、ＣＰＵ５８から出力されるタスク・バー状態データを保持する。
【０１６３】
入出力インタフェース６０は、一般的なメモリや入出力制御装置などから構成され、タスク・バー監視装置４７と画像記録部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【０１６４】
ここで、アプリケーション同定装置３９について説明する。
図２０は、本発明のアプリケーション同定装置３９の要部構成を示した機能ブロック図である。
アプリケーション同定装置３９は、図２０に示すように、アイコン画像データ登録回路６２、ウィンドウ・フレーム画像データ登録回路６３、テンプレート・マッチング回路６４、ＣＰＵ６５、メモリ６６、入出力インタフェース６７及び内部バス６８から構成されている。
アイコン画像データ登録回路６２、ウィンドウ・フレーム画像データ登録回路６３、テンプレート・マッチング回路６４、ＣＰＵ６５、メモリ６６および入出力インタフェース６７は、内部バス６８によって相互に接続されている。
【０１６５】
アイコン画像データ登録回路６２は、既定の、もしくは利用者によって指定されたアプリケーションに対応付けられたアイコン画像データをメモリ６６に登録する。
例えば、マイクロソフト社製のPowerPoint（登録商標）のアプリケーションでは、PowerPoint（登録商標）固有のアイコン画像データがPowerPoint（登録商標）のアプリケーションに対応付けられ、ＧＵＩの要素として利用される場合が多い。
アイコン画像データ登録回路６２は、PowerPoint（登録商標）固有のアイコン画像データをメモリ６６に登録することができる。
アイコン画像データ登録回路６２は、アイコン画像データをメモリ６６に登録する場合、当該アイコン画像データに対応するアプリケーションの識別子と関連付けてメモリ６６に登録する。
【０１６６】
ウィンドウ・フレーム画像データ登録回路６３は、既定の、もしくは利用者によって指定されたアプリケーションに対応付けられたウィンドウ・フレーム画像データをメモリ６６に登録する。例えば、マイクロソフト社製のPowerPoint（登録商標）のアプリケーションでは、PowerPoint（登録商標）固有のウィンドウ・フレーム画像データがPowerPoint（登録商標）のアプリケーションに対応付けられ、ＧＵＩの要素として利用される場合が多い。
【０１６７】
また、ウィンドウ・フレーム画像データ登録回路６３は、PowerPoint（登録商標）特有のウィンドウ・フレーム画像データをメモリ６６に登録することができる。具体的には、PowerPoint（登録商標）などのアプリケーションは、ウィンドウのＧＵＩとして表現される。そのようなウィンドウでは、上部にアイコン画像データやアプリケーション名などの情報を含むウィンドウ・フレームないしタイトル・フレームをＧＵＩの構成要素として持つ場合が多い。さらに、PowerPoint（登録商標）などのオフィス等で用いられるアプリケーションでは、いわゆるメニューを表示するためのメニュー・バーを含む場合がある。ウィンドウ・フレーム画像データ登録回路６３は、そのようなウィンドウ・フレームの画像データをメモリ６６に登録する。
【０１６８】
また、ウィンドウ・フレーム画像データ登録回路６３は、そのようなメニュー・バーの画像データをウィンドウ・フレーム画像データの一部としてメモリ６６に登録する。
また、マイクロソフト社製の動画データなどメディア・データを再生することのできる"Windows Media Player"アプリケーションでは、上記のアイコン画像データや"Windows Media Player"のタイトル文字やメニュー・バーの他に、ウィンドウの下部に各種メディア・データを再生、停止などの操作をするためのいわゆるボタンがウィンドウ・フレームに付加されている。
【０１６９】
ウィンドウ・フレーム画像データ登録回路６３は、そのようなボタンを含むウィンドウ・フレームの画像データをメモリ６６に登録することができる。
ウィンドウ・フレーム画像データ登録回路６３は、ウィンドウ・フレーム画像データをメモリ６６に登録する場合、当該ウィンドウ・フレーム画像データに対応するアプリケーションの識別子と関連付けてメモリ６６に登録する。
【０１７０】
テンプレート・マッチング回路６４は、ＣＰＵ６５の命令によって、メモリ６６に保持されている所定の画像データとアイコン画像データ登録回路６２によってメモリ６６に登録されたアイコン画像データもしくはウィンドウ・フレーム画像データ登録回路６３によってメモリ６６に登録されたウィンドウ・フレーム画像データとのテンプレート・マッチング処理を行う。
また、テンプレート・マッチング回路６４は、テンプレート・マッチング処理の結果を、テンプレート・マッチング・フラグとしてメモリ６６に設定する。ここで、テンプレート・マッチング・フラグは、「オン」および「オフ」の状態を保持するものとし、テンプレート・マッチングが成功したときは「オン」を、テンプレート・マッチングが失敗したときは「オフ」を保持する。なお、テンプレート・マッチングは、例えば特開平１１−２３８１３８等で開示される従来の画像処理技術を応用することができる。
【０１７１】
ＣＰＵ６５は、アイコン画像データ登録回路６２、ウィンドウ・フレーム画像データ登録回路６３、テンプレート・マッチング回路６４、メモリ６６、入出力インタフェース６７および内部バス６８の各部ないし回路を制御する。特に、ＣＰＵ６５は、アプリケーション状態監視装置３８の命令に従って、テンプレート・マッチング回路６４に対してテンプレート・マッチング処理の開始を命令する。
ＣＰＵ６５は、メモリ６６に保持されているテンプレート・マッチング・フラグを参照し、テンプレート・マッチング・フラグが「オン」の場合には、対応するアプリケーション識別子をメモリ４３に記録する。
具体的には、ＣＰＵ６５は、テンプレート・マッチング・フラグが「オン」の場合には、アイコン画像データ登録回路６２によってメモリ６６に登録されたアイコン画像データに関連付けられたアプリケーション識別子、またはウィンドウ・フレーム画像データ登録回路６３に登録されたウィンドウ・フレーム画像データに関連付けられたアプリケーション識別子をメモリ４３に記録する。
【０１７２】
メモリ６６は、アイコン画像データ登録回路６２によって登録されるアイコン画像データを保持する。
メモリ６６は、ウィンドウ・フレーム画像データ登録回路６３によって登録されるウィンドウ・フレーム画像データを保持する。
メモリ６６は、テンプレート・マッチング回路６４によって登録されるテンプレート・マッチング・フラグを保持する。
メモリ６６は、アプリケーション状態監視装置３８によって設定される所定の画像データを保持する。
【０１７３】
入出力インタフェース６７は、一般的なメモリや入出力制御装置などから構成され、アプリケーション同定装置３９と画像記録部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【０１７４】
このように、アプリケーション状態監視装置３８は、ウィンドウ監視装置４６内のメモリ５２に保持されているウィンドウ状態データおよびそのウィンドウ状態データに対応するウィンドウ領域の画像データ並びにタスク・バー監視装置４７内のメモリ５９に保持されているタスク・バー状態データを参照する。
さらに、アプリケーション状態監視装置３８は、参照したウィンドウ状態データに対応するウィンドウ領域の画像データをアプリケーション同定装置３９内の内部メモリ６６に設定し、アプリケーション同定装置３９に対してアプリケーションの同定処理を開始することを命令し、アプリケーション同定装置３９によるアプリケーション同定の結果であるアプリケーション識別子をメモリ４３から取得する。
続いて、アプリケーション状態監視装置３８は、参照したウィンドウ状態データ、タスク・バー状態データおよび取得したアプリケーション識別子に基づいてアプリケーション状態データを生成する。
アプリケーション状態監視装置３８は、生成したアプリケーション状態データをメモリ４３に設定する。
【０１７５】
図２１は、本発明の一実施例に係る動画情報特定手続きの一例を示したフローチャートである。
図２１に示すように、動画情報特定手続き（ステップＳ５）は、第１の動き検出ステップ（ステップＳ８１）、第２の動き検出ステップ（ステップＳ８２）、アプリケーション状態監視ステップ（ステップＳ８３）、特定動画情報取得フレーム・レート制御ステップ（ステップＳ８４）および特定動画情報取得ステップ（ステップＳ８５）から成る。
【０１７６】
第１の動き検出ステップ（ステップＳ８１）においては、第１の動き検出装置８１は、提示されるマルチメディア情報に係る動画情報を特定するためのいわゆるフレーム間差分に基づく動き検出を行う。
【０１７７】
第２の動き検出ステップ（ステップＳ８２）においては、第２の動き検出装置３７は、提示されるマルチメディア情報に係る動画情報を特定するためのいわゆる背景差分に基づく動き検出を行う。
【０１７８】
アプリケーション状態監視ステップ（ステップＳ８３）においては、アプリケーション状態監視装置３８は、提示されるマルチメディア情報を操作ないし制御するアプリケーションないし応用ソフトウェアのアプリケーションの状態を特定し、監視する。
【０１７９】
特定動画情報取得フレーム・レート制御ステップ（ステップＳ８４）においては、特定動画情報取得フレーム・レート制御装置４１は、特定した動画情報を取得する場合に、取得する動画情報のいわゆるフレーム・レートを変更ないし制御する。
【０１８０】
特定動画情報取得ステップ（ステップＳ８５）においては、特定動画情報取得装置４０は、特定した動画情報を取得する。
【０１８１】
ここで、アプリケーション状態監視ステップ（ステップＳ８３）についてより詳細に説明する。
図２２は、本発明の一実施例に係るアプリケーション状態監視ステップ（ステップＳ８３）の一例を示したフローチャートである。
アプリケーション状態監視ステップ（ステップＳ８３）は、図２２に示すように、ウィンドウ監視ステップ（ステップＳ９１）、タスク・バー監視ステップ（ステップＳ９２）、アプリケーション同定ステップ呼び出しステップ（ステップＳ９３）およびアプリケーション状態特定ステップ（ステップＳ９４）から成る。
【０１８２】
ウィンドウ監視ステップ（ステップＳ９１）においては、ウィンドウ監視装置４６は、ＧＵＩ上のいわゆるウィンドウを監視する。なお、ウィンドウ監視ステップ（ステップＳ９１）については、後で詳述する。
【０１８３】
タスク・バー監視ステップ（ステップＳ９２）においては、タスク・バー監視装置４７は、いわゆるタスク・バーを監視する。なお、タスク・バー監視ステップ（ステップＳ９２）については、後で詳述する。
【０１８４】
アプリケーション同定ステップ呼び出しステップ（ステップＳ９３）においては、アプリケーション状態監視装置３８は、後述するアプリケーション同定ステップを呼び出して処理を行う。
具体的には、アプリケーション同定ステップ呼び出しステップ（ステップＳ９３）においては、アプリケーション状態監視装置３８は、ウィンドウ監視装置４６内のメモリ５２に保持されているウィンドウ状態データおよびそのウィンドウ状態データに対応するウィンドウ領域の画像データ並びにタスク・バー監視装置４７内のメモリ５９に保持されているタスク・バー状態データを参照する。
さらに、アプリケーション状態監視装置３８は、参照したウィンドウ状態データに対応するウィンドウ領域の画像データをアプリケーション同定装置３９内の内部メモリ６６に設定し、アプリケーション同定装置３９に対してアプリケーションの同定処理を開始することを命令する。
【０１８５】
アプリケーション状態特定ステップ（ステップＳ９４）においては、アプリケーション状態監視装置３８は、アプリケーション同定装置３９によるアプリケーション同定の結果であるアプリケーション識別子をメモリ４３から取得する。続いて、アプリケーション状態監視装置３８は、参照したウィンドウ状態データ、タスク・バー状態データおよび取得したアプリケーション識別子に基づいてアプリケーション状態データを生成する。
アプリケーション状態監視装置３８は、生成したアプリケーション状態データをメモリ４３に設定する。
【０１８６】
ここで、ウィンドウ監視ステップ（ステップＳ９１）についてさらに詳しく説明する。
図２３は、本発明の一実施例に係るウィンドウ監視ステップ（ステップＳ９１）の一例を示したフローチャートである。
ウィンドウ監視ステップ（ステップＳ９１）は、図２３に示すとおり、第１のフレーム間差分演算サブステップ（ステップＳ１０１）、第１の背景差分演算サブステップ（ステップＳ１０２）、第１の矩形領域検出サブステップ（ステップＳ１０３）及びウィンドウ状態特定サブステップ（ステップＳ１０４）から成る。
【０１８７】
第１のフレーム間差分演算サブステップ（ステップＳ１０１）においては、第１のフレーム間差分演算回路４８は、メモリ５２に保持されている所定の画像データを定期的に取得し、取得した連続する画像データのいわゆるフレーム間差分、すなわち画像データ間の画素毎の差分を演算し、その演算結果を第１のフレーム間差分データとしてメモリ５２に記録する。
【０１８８】
第１の背景差分演算サブステップ（ステップＳ１０２）においては、第１の背景差分演算回路４９は、メモリ５２に保持されている所定の画像データと所定の背景画像データをそれぞれ取得し、取得した画像データと背景画像データの画素毎の差分を演算し、その演算結果を第１の背景差分データとしてメモリ５２に記録する。
【０１８９】
第１の矩形領域検出サブステップ（ステップＳ１０３）においては、第１の矩形領域検出回路５０は、メモリ５２に保持されている第１のフレーム間差分データおよび第１の背景差分データを取得し、アプリケーションのウィンドウに対応する矩形領域を検出する。また、第１の矩形領域検出回路５０は、検出した矩形領域をウィンドウ候補領域データとしてメモリ５２に記録する。
【０１９０】
ウィンドウ状態特定サブステップ（ステップＳ１０４）においては、ＣＰＵ５１は、メモリ５２に保持されているウィンドウ候補領域データを監視し、アプリケーションの起動および終了に対応するウィンドウのいわゆる「オープン」と「クローズ」並びにウィンドウの「最大化」と「最小化」ないしアイコン化の状態をウィンドウ状態データとして、メモリ５２に記録する。
【０１９１】
ここで、タスク・バー監視ステップ（ステップＳ９２）について説明する。
図２４は、本発明の一実施例に係るタスク・バー監視ステップ（ステップＳ９２）の一例を示したフローチャートである。
タスク・バー監視ステップ（ステップＳ９２）は、図２４に示すとおり、第２のフレーム間差分演算サブステップ（ステップＳ１１１）、第２の背景差分演算サブステップ（ステップＳ１１２）、第２の矩形領域検出サブステップ（ステップＳ１１３）およびタスク・バー状態特定サブステップ（ステップＳ１１４）から成る。
【０１９２】
第２のフレーム間差分演算サブステップ（ステップＳ１１１）においては、第２のフレーム間差分演算回路５５は、メモリ５９に保持されている所定の画像データを定期的に取得し、取得した連続する画像データのいわゆるフレーム間差分、すなわち画像データ間の画素毎の差分を演算し、その演算結果を第２のフレーム間差分データとしてメモリ５９に記録する。
【０１９３】
第２の背景差分演算サブステップ（ステップＳ１１２）においては、第２の背景差分演算回路５６は、メモリ５９に保持されている所定の画像データと所定の背景画像データをそれぞれ取得し、取得した画像データと背景画像データの画素毎の差分を演算し、その演算結果を第２の背景差分データとしてメモリ５９に記録する。
【０１９４】
第２の矩形領域検出サブステップ（ステップＳ１１３）においては、第２の矩形領域検出回路５７は、メモリ５９に保持されている第２のフレーム間差分データおよび第２の背景差分データを取得し、アプリケーションのウィンドウに対応する矩形領域を検出する。
【０１９５】
タスク・バー状態特定サブステップ（ステップＳ１１４）においては、ＣＰＵ５８は、メモリ５９に保持されているタスク・バー候補領域データを監視し、アプリケーションの起動および終了に対応するタスク・バーのアプリケーションの状態をタスク・バー状態データとして、メモリ５９に記録する。
【０１９６】
ここで、アプリケーション同定ステップについて説明する。
図２５は、本発明の一実施例に係るアプリケーション同定ステップの一例を示したフローチャートである。
アプリケーション同定ステップは、図２５に示すように、アイコン画像データ登録サブステップ（ステップＳ１２１）、ウィンドウ・フレーム画像データ登録サブステップ（ステップＳ１２２）、テンプレート・マッチング・サブステップ（ステップＳ１２３）およびテンプレート・マッチング・フラグ状態特定サブステップ（ステップＳ１２４）から成る。
【０１９７】
アイコン画像データ登録サブステップ（ステップＳ１２１）においては、アイコン画像データ登録回路６２は、既定の、もしくは利用者によって指定されたアプリケーションに対応付けられたアイコン画像データをメモリ６６に登録する。アイコン画像データ登録回路６２は、アイコン画像データをメモリ６６に登録する場合、当該アイコン画像データに対応するアプリケーションの識別子と関連付けてメモリ６６に登録する。
【０１９８】
ウィンドウ・フレーム画像データ登録サブステップ（ステップＳ１２２）においては、ウィンドウ・フレーム画像データ登録回路６３は、既定の、もしくは利用者によって指定されたアプリケーションに対応付けられたウィンドウ・フレーム画像データをメモリ６６に登録する。
ウィンドウ・フレーム画像データ登録回路６３は、ウィンドウ・フレーム画像データをメモリ６６に登録する場合、当該ウィンドウ・フレーム画像データに対応するアプリケーションの識別子と関連付けてメモリ６６に登録する。
【０１９９】
テンプレート・マッチング・サブステップ（ステップＳ１２３）においては、テンプレート・マッチング回路６４は、ＣＰＵ６５の命令によって、メモリ６６に保持されている所定の画像データとアイコン画像データ登録回路６２によってメモリ６６に登録されたアイコン画像データもしくはウィンドウ・フレーム画像データ登録回路６３によってメモリ６６に登録されたウィンドウ・フレーム画像データとのテンプレート・マッチング処理を行う。
また、テンプレート・マッチング回路６４は、テンプレート・マッチング処理の結果を、テンプレート・マッチング・フラグとしてメモリ６６に設定する。
【０２００】
テンプレート・マッチング・フラグ状態特定サブステップ（ステップＳ１２４）においては、ＣＰＵ６５は、メモリ６６に保持されているテンプレート・マッチング・フラグを参照し、テンプレート・マッチング・フラグが「オン」の場合には、対応するアプリケーション識別子をメモリ４３に記録する。
【０２０１】
次に、ポインタ情報特定部７について説明する。
図２６は、本発明のポインタ情報特定部７の要部構成を示した機能ブロック図である。
ポインタ情報特定部７は、図２６に示すように、第３の動き検出装置６９、第４の動き検出装置７０、ポインタ候補領域抽出装置７１、第１のポインタ検出装置７２、ポインタ情報記録装置７３、ＣＰＵ７４、メモリ７５、入出力インタフェース７６及び内部バス７７等から構成される。
ポインタ情報特定部７の第３の動き検出装置６９、第４の動き検出装置７０、ポインタ候補領域抽出装置７１、第１のポインタ検出装置７２、ポインタ情報記録装置７３、ＣＰＵ７４、メモリ７５及び入出力インタフェース７６は、内部バス７７によって相互に接続されている。
【０２０２】
第３の動き検出装置６９は、ＣＰＵ及びメモリなどから構成され、マウスなどのいわゆるポインタを特定するためのいわゆるフレーム間差分に基づく動き検出を行う。
【０２０３】
具体的には、メモリ７５に保持されている画像データを特定の時間間隔で読み込み、各画像データのフレーム間差分すなわち画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ７５に保持されている画像データの対象領域をポインタ候補領域として判定し、判定したポインタ候補領域をメモリ７５のポインタ候補領域として登録する。
【０２０４】
第４の動き検出装置７０は、ＣＰＵ及びメモリなどから構成され、マウスなどのいわゆるポインタを特定するためのいわゆる背景差分に基づく動き検出を行う。
【０２０５】
具体的には、メモリ７５に保持されている画像データを特定の時間間隔で読み込み、各画像データと背景画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ７５に保持されている画像データの対象領域をポインタ候補領域として判定し、判定したポインタ候補領域をメモリ７５のポインタ候補領域として登録する。ここで、背景画像データは、メモリ７５に保持するように設定する。
【０２０６】
背景画像データは、メモリ７５に保持されている画像データを利用者が指定することによって設定することもできるし、メモリ７５に保持されている画像データから動的に生成することもできる。なお、ポインタ候補領域は、メモリ７５に対して画像データとして登録される。
【０２０７】
ポインタ候補領域抽出装置７１は、既定の、もしくは利用者による指定のサイズ以下の領域のポインタと推定されるポインタ候補領域として抽出する。
具体的には、第３の動き検出装置６９または第４の動き検出装置７０によってメモリ７５に登録されているポインタ候補領域のサイズを計測し、既定値あるいは指定した値以下のみのポインタ候補領域のみをメモリ７５に残し、それ以外をメモリ７５から削除する。
ポインタ候補領域抽出装置７１は、ポインタ候補領域にメモリ７５に存在する場合、ポインタ候補領域検出フラグをメモリ７５に設定する。逆に、ポインタ候補領域にメモリ７５に存在しない場合、メモリ７５に保持されている画像データにはポインタ候補領域が含まれないと判定し、メモリ７５のポインタ候補領域検出フラグをクリアする。
【０２０８】
第１のポインタ検出装置７２は、ポインタを表現するポインタ・アイコン画像データとメモリ７５に保持されているポインタ候補領域に対応する画像データとのテンプレート・マッチングの画像処理を行い、マッチングする場合、すなわちポインタと判定される場合には、そのポインタ候補領域の位置やその幅や高さなどのサイズ等のデータをポインタ情報記録装置７３に出力する。つまり、第１のポインタ検出装置７２は、検出されたポインタのグラフィカル・ユーザー・インタフェース上の位置情報ないし二次元座標データをポインタ情報記録装置７３に出力する。
【０２０９】
ポインタ情報記録装置７３は、第１のポインタ検出装置７２からポインタ候補領域の位置やその幅や高さなどのサイズ等のデータを入力し、入力したポインタ候補領域の位置やその幅や高さなどのサイズ等のデータと、それらを入力した時刻とをポインタ情報としてメモリ７５に記録する。
【０２１０】
ＣＰＵ７４は、第３の動き検出装置６９、第４の動き検出装置７０、ポインタ候補領域抽出装置７１、第１のポインタ検出装置７２、ポインタ情報記録装置７３、メモリ７５、入出力インタフェース７６及び内部バス７７を制御する。
ＣＰＵ７４は、第３の動き検出装置６９、第４の動き検出装置７０、ポインタ候補領域抽出装置７１、第１のポインタ検出装置７２、ポインタ情報記録装置７３、メモリ７５、入出力インタフェース７６及び内部バス７７を初期化する。
ＣＰＵ７４は、後述するテンプレート・マッチング回路７９に対して、テンプレート・マッチング処理の開始を命令する。
ＣＰＵ７４は、ＣＰＵ８４に対して、ポインタ情報処理可能を通知する。
ＣＰＵ７４は、メモリ７５のテンプレート・マッチング・フラグを初期化およびクリアする。
【０２１１】
メモリ７５は、所定の画像データを保持する。
メモリ７５は、第３の動き検出装置６９によって登録されるポインタ候補領域の画像データを保持する。
メモリ７５は、第４の動き検出装置７０によって登録されるポインタ候補領域の画像データを保持する。
メモリ７５は、ポインタ候補領域抽出装置７１によって登録されるポインタ候補領域検出フラグを保持する。
メモリ７５は、ポインタ情報記録装置７３によって出力されるポインタ情報を保持する。
メモリ７５は、テンプレート・マッチング回路７９によって設定されるテンプレート・マッチング・フラグを保持する。
【０２１２】
入出力インタフェース７６は、一般的なメモリや入出力制御装置などから構成され、ポインタ情報特定部７と画像記録部２など他の部分、装置、回路との間で伝送されるデータに入出力を制御する。
【０２１３】
ここで、第１のポインタ検出装置７２について説明する。
図２７は、本発明の第１のポインタ検出装置７２の主要部分についての構成を示した機能ブロック図である。
ポインタ検出装置７２は、図２７に示すように、ポインタ・アイコン画像データ登録回路７８およびテンプレート・マッチング回路７９から構成される。
【０２１４】
ポインタ・アイコン画像データ登録回路７８は、既定の、もしくは利用者によって指定されたアプリケーションに対応付けられたアイコン画像データをメモリ７５に登録する。
例えば、マイクロソフト社製の"Windows XP"（登録商標）オペレーティング・システムや"X Window System"などのウィンドウ・システムでは、マウスなどのポインタをＧＵＩの要素として表現する場合、矢印などのアイコンとして表現される場合が多い。
ポインタ・アイコン画像データ登録回路７８は、矢印アイコンなどポインタに固有のアイコン画像データをメモリ７５に登録することができる。
ポインタ・アイコン画像データ登録回路７８は、アイコン画像データをメモリ７５に登録する場合、当該アイコン画像データに対応するアイコンの識別子と関連付けてメモリ７５に登録する。
【０２１５】
テンプレート・マッチング回路７９は、ＣＰＵ７４の命令によって、メモリ７５に保持されている所定の画像データ、すなわちポインタ候補領域の画像データとポインタ・アイコン画像データ登録回路７８によってメモリ７５に登録されたポインタ・アイコン画像データとのテンプレート・マッチング処理を行う。
また、テンプレート・マッチング回路７９は、テンプレート・マッチング処理の結果を、テンプレート・マッチング・フラグとしてメモリ７５に設定する。
ここで、テンプレート・マッチング・フラグは、「オン」および「オフ」の状態を保持するものとし、テンプレート・マッチングが成功したときは「オン」を、テンプレート・マッチングが失敗したときは「オフ」を保持する。
なお、テンプレート・マッチングは、従来の画像処理技術で用いられている技術を応用することができる。
【０２１６】
第１のポインタ検出装置７２は、テンプレート・マッチング回路７９によってメモリ７５に設定されるテンプレート・マッチング・フラグが「オン」の場合、ポインタ候補領域の位置やその幅や高さなどのサイズ等のデータをポインタ情報記録装置７３に出力する。
【０２１７】
次に、ポインタ情報処理部８について説明する。
図２８は、本発明のポインタ情報処理部８の要部構成を示した機能ブロック図である。
ポインタ情報処理部８は、図２８に示すように、ポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、ＣＰＵ８４、メモリ８５、入出力インタフェース８６及び内部バス８７から構成される。
ポインタ情報処理部８のポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、ＣＰＵ８４、メモリ８５及び入出力インタフェース８６は、内部バス８７によって相互に接続されている。
【０２１８】
ポインタ情報分割統合装置８０は、ＣＰＵおよびメモリなどによって構成され、ポインタ情報記録装置７３によって記録されたポインタ情報すなわちポインタの二次元座標データと当該二次元座標データに関連した時刻とを空間的および時間的に分割および統合する。ポインタ情報分割統合装置８０は、空間的および時間的に分割および統合したポインタ情報を分割統合ポインタ・データとしてメモリ８５に出力する。
【０２１９】
具体的には、ポインタ情報分割統合装置８０は、メモリ７５に保持されているポインタ情報を取得し、取得したポインタ情報を画像処理的に空間的および時間的に分割および統合する。例えば、ポインタ情報を矩形として近似し、その矩形の二次元座標と矩形の幅および高さの各データとそれに関連する時刻データとを空間的および時間的に分割および統合する。ここで、画像処理による分割統合は従来技術を用いることができる。ポインタ情報分割統合装置８０は、空間的および時間的に分割および統合されたポインタ情報を分割統合ポインタ・データとしてメモリ８５に出力する。
【０２２０】
関心領域特定装置８１は、ポインタ情報分割統合装置８０によって空間的および時間的に分割および統合されたポインタ情報から利用者が提示されるマルチメディア情報について重要と考えていると推定される、あるいは利用者に関心があると思われる提示されるマルチメディア情報についての特定部分である空間的な関心領域(Region Of Interest: ROI)を特定する。
【０２２１】
具体的には、関心領域特定装置８１は、メモリ８５から分割統合ポインタ・データを入力し、入力した分割統合ポインタ・データのある単位時間の空間的に集中している領域を抽出し、抽出した領域を関心領域データとしてメモリ８５に出力する。
【０２２２】
関心時間特定装置８２は、ポインタ情報分割統合装置８０によって空間的および時間的に分割および統合されたポインタ情報から利用者が提示されるマルチメディア情報について重要と考えていると推定される、あるいは利用者に関心があると思われる提示されるマルチメディア情報についての時間のある時間、言わば関心時間(Time Of Interest: ROT)を特定する。具体的には、関心時間特定装置８２は、関心領域特定装置８１によって関心領域データがメモリ８５に出力されている時刻ないし時間を関心時間データとしてメモリ８５に出力する。
【０２２３】
ポインタ消去装置８３は、ポインタの図的なあるいは画像的な表現を提示されるマルチメディア情報から削除する。
具体的には、ポインタ消去装置８３は、所定の画像データをメモリ８５から入力し、入力した画像データ中から、ポインタ・アイコン画像データである部分を画像処理的に消去し、その結果である画像データをポインタ消去画像データとしてメモリ８５に出力する。
【０２２４】
ＣＰＵ８４は、ポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、メモリ８５、入出力インタフェース８６及び内部バス８７を制御する。
ＣＰＵ８４は、ポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、メモリ８５、入出力インタフェース８６及び内部バス８７を初期化する。
ＣＰＵ８４は、ＣＰＵ７４からのポインタ情報処理可能の通知を待ち、ポインタ情報処理可能の通知が有った場合、ポインタ情報分割統合装置８０などの処理を開始する。
【０２２５】
メモリ８５は、所定の画像データを保持する。
メモリ８５は、ポインタ情報分割統合装置８０から出力される分割統合ポインタ・データを保持する。
メモリ８５は、関心領域特定装置８１から出力される関心領域データを保持する。
メモリ８５は、関心時間特定装置８２から出力される関心時間データを保持する。
メモリ８５は、ポインタ消去装置８３から出力されるポインタ消去画像データを保持する。
【０２２６】
次に、ポインタ情報特定手続き（ステップＳ８）について説明する。
図２９は、本発明の一実施例に係るポインタ情報特定手続き（ステップＳ８）の一例を示したフローチャートである。
ポインタ情報特定手続き（ステップＳ８）は、図２９に示すように、ポインタ情報初期化ステップ（ステップＳ１３１）、第３の動き検出ステップ（ステップＳ１３２）、第４の動き検出ステップ（ステップＳ１３３）、ポインタ候補領域抽出ステップ（ステップＳ１３４）、第１のポインタ検出ステップ（ステップＳ１３５）、ポインタ情報記録ステップ（ステップＳ１３６）及びポインタ情報終了化ステップ（ステップＳ１３７）から成る。
【０２２７】
ポインタ情報初期化ステップ（ステップＳ１３１）においては、ＣＰＵ７４は、第３の動き検出装置６９、第４の動き検出装置７０、ポインタ候補領域抽出装置７１、第１のポインタ検出装置７２、ポインタ情報記録装置７３、メモリ７５、入出力インタフェース７６及び内部バス７７を初期化する。
【０２２８】
第３の動き検出ステップ（ステップＳ１３２）においては、第３の動き検出装置６９は、ＣＰＵ及びメモリなどから構成され、マウスなどのいわゆるポインタを特定するためのいわゆるフレーム間差分に基づく動き検出を行う。具体的には、メモリ７５に保持されている画像データを特定の時間間隔で読み込み、各画像データのフレーム間差分すなわち画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ７５に保持されている画像データの対象領域をポインタ候補領域として判定し、判定したポインタ候補領域をメモリ７５のポインタ候補領域として登録する。
【０２２９】
第４の動き検出ステップ（ステップＳ１３３）においては、第４の動き検出装置７０は、ＣＰＵ及びメモリなどから構成され、マウスなどのいわゆるポインタを特定するためのいわゆる背景差分に基づく動き検出を行う。具体的には、メモリ７５に保持されている画像データを特定の時間間隔で読み込み、各画像データと背景画像データ間の差分を計測し、既定の基準値、あるいは利用者に指定された基準値よりも差分が大きい場合には、メモリ７５に保持されている画像データの対象領域をポインタ候補領域として判定し、判定したポインタ候補領域をメモリ７５のポインタ候補領域として登録する。ここで、背景画像データは、メモリ７５に保持するように設定する。
【０２３０】
背景画像データは、メモリ７５に保持されている画像データを利用者が指定することによって設定することもできるし、メモリ７５に保持されている画像データから動的に生成することもできる。なお、ポインタ候補領域は、メモリ７５に対して画像データとして登録される。
【０２３１】
ポインタ候補領域抽出ステップ（ステップＳ１３４）においては、ポインタ候補領域抽出装置７１は、既定の、もしくは利用者による指定のサイズ以下の領域のポインタと推定されるポインタ候補領域として抽出する。具体的には、第３の動き検出装置６９または第４の動き検出装置７０によってメモリ７５に登録されているポインタ候補領域のサイズを計測し、既定値あるいは指定した値以下のみのポインタ候補領域のみをメモリ７５に残し、それ以外をメモリ７５から削除する。
ポインタ候補領域抽出装置７１は、ポインタ候補領域がメモリ７５に存在する場合、ポインタ候補領域検出フラグをメモリ７５に設定する。逆に、ポインタ候補領域がメモリ７５に存在しない場合、メモリ７５に保持されている画像データにはポインタ候補領域が含まれないと判定し、メモリ７５のポインタ候補領域検出フラグをクリアする。
【０２３２】
第１のポインタ検出ステップ（ステップＳ１３５）においては、第１のポインタ検出装置７２は、ポインタを表現するポインタ・アイコン画像データとメモリ７５に保持されているポインタ候補領域に対応する画像データとのテンプレート・マッチングの画像処理を行い、マッチングする場合、すなわちポインタと判定される場合には、そのポインタ候補領域の位置やその幅や高さなどのサイズ等のデータをポインタ情報記録装置７３に出力する。つまり、第１のポインタ検出装置７２は、検出されたポインタのグラフィカル・ユーザー・インタフェース上の位置情報ないし二次元座標データをポインタ情報記録装置７３に出力する。
【０２３３】
ポインタ情報記録ステップ（ステップＳ１３６）においては、ポインタ情報記録装置７３は、第１のポインタ検出装置７２からポインタ候補領域の位置やその幅や高さなどのサイズ等のデータを入力し、入力したポインタ候補領域の位置やその幅や高さなどのサイズ等のデータと、それらを入力した時刻とをポインタ情報としてメモリ７５に記録する。
【０２３４】
ポインタ情報終了化ステップ（ステップＳ１３７）は、ＣＰＵ７４は、ＣＰＵ８４に対して、ポインタ情報処理可能を通知する。
【０２３５】
ここで、第１のポインタ検出ステップ（ステップＳ１３５）についてさらに詳しく説明する。
図３０は、本発明の一実施例に係る第１のポインタ検出ステップ（ステップＳ１３５）の一例を示したフローチャートである。
第１のポインタ検出ステップ（ステップＳ１３５）は、図３０に示すように、第１のポインタ検出初期化サブステップ（ステップＳ１４１）、ポインタ・アイコン画像データ登録サブステップ（ステップＳ１４２）、テンプレート・マッチング・サブ・ステップ（ステップＳ１４３）、テンプレート・マッチング・フラグ状態特定サブステップ（ステップＳ１４４）、第１のポインタ検出終了化サブステップ（ステップＳ１４５）から成る。
【０２３６】
第１のポインタ検出初期化サブステップ（ステップＳ１４１）においては、ＣＰＵ７４は、第１のポインタ検出装置７２のポインタ・アイコン画像データ登録回路７８およびテンプレート・マッチング回路７９を初期化する。ＣＰＵ７４は、メモリ７５のテンプレート・マッチング・フラグを初期化する。
【０２３７】
ポインタ・アイコン画像データ登録サブステップ（ステップＳ１４２）においては、ポインタ・アイコン画像データ登録回路７８は、既定の、もしくは利用者によって指定されたポインタに対応付けられたポインタ・アイコン画像データをメモリ７５に登録する。ポインタ・アイコン画像データ登録回路７８は、アイコン画像データをメモリ７５に登録する場合、当該アイコン画像データに対応するアプリケーションの識別子と関連付けてメモリ７５に登録する。
【０２３８】
テンプレート・マッチング・サブステップ（ステップＳ１４３）においては、テンプレート・マッチング回路７９は、ＣＰＵ７４の命令によって、メモリ７５に保持されている所定の画像データとポインタ・アイコン画像データ登録回路７８によってメモリ７５に登録されたポインタ・アイコン画像データとのテンプレート・マッチング処理を行う。つまり、テンプレート・マッチング回路７９は当該ポインタ・アイコン画像データと前記ポインタ候補領域抽出ステップ（ステップＳ６０）によって抽出されたポインタ候補領域の画像データとを使っていわゆるテンプレート・マッチングの画像処理を行う。また、テンプレート・マッチング回路７９は、テンプレート・マッチング処理の結果を、テンプレート・マッチング・フラグとしてメモリ７５に設定する。
【０２３９】
ポインタ情報出力サブステップ（ステップＳ１４４）においては、第１のポインタ検出装置７２は、テンプレート・マッチング回路７９によってメモリ７５に設定されるテンプレート・マッチング・フラグが「オン」の場合、ポインタ候補領域の位置やその幅や高さなどのサイズ等のデータをポインタ情報記録装置７３に出力する。ここで、ポインタ候補領域の位置は、ポインタのＧＵＩ上の位置情報ないし二次元座標データとして表現できる。
【０２４０】
第１のポインタ検出終了化サブステップ（ステップ１４５）においては、ＣＰＵ７４は、メモリ７５のテンプレート・マッチング・フラグをクリアする。
【０２４１】
次に、ポインタ情報処理手続き（ステップＳ９）について説明する。
図３１は、本発明の一実施例に係るポインタ情報処理手続き（ステップＳ９）の一例を示したフローチャートである。
ポインタ情報処理手続き（ステップＳ９）は、図３１に示すように、ポインタ情報処理初期化サブステップ（ステップＳ１５１）、ポインタ情報分割統合ステップ（ステップＳ１５２）、関心領域特定ステップ（ステップＳ１５３）、関心時間特定ステップ（ステップＳ１５４）、ポインタ消去ステップ（ステップＳ１５５）及びポインタ情報処理終了化ステップ（ステップＳ１５６）から成る。
【０２４２】
ポインタ情報処理初期化サブステップ（ステップＳ１５１）においては、ＣＰＵ８４は、ポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、メモリ８５、入出力インタフェース８６及び内部バス８７を初期化する。
【０２４３】
ポインタ情報分割統合ステップ（ステップＳ１５２）においては、ポインタ情報分割統合装置８０は、ＣＰＵ及びメモリによって構成され、ポインタ情報記録装置７３によって記録されたポインタ情報すなわちポインタの二次元座標データと当該二次元座標データに関連した時刻とを空間的および時間的に分割および統合する。
ポインタ情報分割統合装置８０は、空間的および時間的に分割および統合したポインタ情報を分割統合ポインタ・データとしてメモリ８５に出力する。
具体的には、ポインタ情報分割統合装置８０は、メモリ７５に保持されているポインタ情報を取得し、取得したポインタ情報を画像処理的に空間的および時間的に分割および統合する。
【０２４４】
例えば、ポインタ情報を矩形として近似し、その矩形の二次元座標と矩形の幅および高さの各データとそれに関連する時刻データとを空間的および時間的に分割および統合する。ここで、画像処理による分割統合は従来技術を用いることができる。ポインタ情報分割統合装置８０は、空間的および時間的に分割および統合されたポインタ情報を分割統合ポインタ・データとしてメモリ８５に出力する。
【０２４５】
関心領域特定ステップ（ステップＳ１５３）においては、関心領域特定装置８１は、ポインタ情報分割統合装置８０によって空間的および時間的に分割および統合されたポインタ情報から利用者が提示されるマルチメディア情報について重要と考えていると推定される、あるいは利用者に関心があると思われる提示されるマルチメディア情報についての特定部分である空間的な関心領域(Region Of Interest: ROI)を特定する。具体的には、関心領域特定装置８１は、メモリ８５から分割統合ポインタ・データを入力し、入力した分割統合ポインタ・データのある単位時間の空間的に集中している領域を抽出し、抽出した領域を関心領域データとしてメモリ８５に出力する。
【０２４６】
関心時間特定ステップ（ステップＳ１５４）においては、関心時間特定装置８２は、ポインタ情報分割統合装置８０によって空間的および時間的に分割および統合されたポインタ情報から利用者が提示されるマルチメディア情報について重要と考えていると推定される、あるいは利用者に関心があると思われる提示されるマルチメディア情報についての時間のある時間、言わば関心時間(Time Of Interest：ROT)を特定する。具体的には、関心時間特定装置８２は、関心領域特定装置８１によって関心領域データがメモリ８５に出力されている時刻ないし時間を関心時間データとしてメモリ８５に出力する。
【０２４７】
ポインタ消去ステップ（ステップＳ１５５）においては、ポインタ消去装置８３は、ポインタの図的なあるいは画像的な表現を提示されるマルチメディア情報から削除する。具体的には、ポインタ消去装置８３は、所定の画像データをメモリ８５から入力し、入力した画像データ中から、ポインタ・アイコン画像データである部分を画像処理的に消去し、その結果である画像データをポインタ消去画像データとしてメモリ８５に出力する。
【０２４８】
ポインタ情報処理終了化ステップ（ステップＳ１５６）においては、ＣＰＵ８４は、ポインタ情報分割統合装置８０、関心領域特定装置８１、関心時間特定装置８２、ポインタ消去装置８３、メモリ８５、入出力インタフェース８６および内部バス８７の終了化の処理を行う。例えば、ＣＰＵ８４は、メモリ８５の割り当てたメモリの内容をクリアし、割り当てたメモリを解放する。
【０２４９】
（第２実施形態）
続いて、本発明の第２実施形態について説明する。
図３２には、本発明の一実施形態に係る第２のマルチメディア処理システム１１４のいわゆるブロック図を模式的に示している。
第２のマルチメディア情報処理システム１１４は、図３２に示すように、マルチメディア情報入力部１１５、マルチメディア情報記録部１１６、マルチメディア情報提示部１１７、第２のフィードバック情報提示部１１８、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７、ポインタ情報処理部８、制御部１１及び内部バス１２から構成される。
【０２５０】
ここで、マルチメディア情報入力部１１５、マルチメディア情報記録部１１６、マルチメディア情報表示部１１７、第２のフィードバック情報提示部１１８、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７、ポインタ情報処理部８および制御部１１は、内部バス１２で相互に接続されている。
また、動画情報特定部５、特定動画情報処理部６、ポインタ情報特定部７、ポインタ情報処理部８、制御部１１および内部バス１２は第１実施形態で説明したマルチメディア情報処理システム１のものと同様なものを利用することができる。
したがって、動画情報特定部５などについて第１実施形態で説明したマルチメディア情報処理システムと重複する部分についての説明は割愛する。
【０２５１】
マルチメディア情報入力部１１５は、一般的なビデオ・カメラおよびマイクや音声収録装置などで構成され、映像や音声などを入力し、入力された映像データおよび音声データをマルチメディア情報記録部１１６に出力する。ビデオ・カメラの代わりにＣＣＤカメラ等を使用してもよい。
【０２５２】
マルチメディア情報記録部１１６は、一般的なメモリで構成され、マルチメディア情報入力部１１５から映像データおよび音声データを取得し、取得した映像データおよび音声データを保持する。
【０２５３】
マルチメディア情報提示部１１７は、一般的なディスプレイ、スクリーンあるいはモニタおよびスピーカなどで構成され、マルチメディア情報記録部１１６に記録されている映像データあるいは音声データを利用者に提示する。
【０２５４】
第２のフィードバック情報提示部１１８は、第１実施形態で説明したフィードバック情報提示部４の機能に加え、音声データおよび映像データに対するフィードバック情報を処理し、利用者に提示することを可能にするものである。例えば、音声データに関するフィードバック情報としては、会議室内に発話者、すなわち発話あるいは発言等の発表をしている人（発表者）が存在するか否かの情報やどれぐらいの音量あるいは音声データにどの周波数成分持つかなどの情報を含めることができる。
【０２５５】
第２のマルチメディア情報処理システム１１４にマルチメディア情報入力部１１５、マルチメディア情報記録部１１６、マルチメディア情報提示部１１７、第２のフィードバック情報提示部１１８を備えることで、画像データに限らず、音声データを取り扱うことが可能となり、第２のフィードバック情報提示部１１８などにおいて、画像データあるいは映像データおよび音声データを利用して、音声データなどに基づくフィードバック情報の提示が可能となる。
【０２５６】
第２のマルチメディア情報処理システム１１４の手続きとしては、第１実施形態で示した画像記録部２、画像表示部３、フィードバック情報提示部４などに関する手続きの「画像データ」に関する部分を「音声データ」あるいは「マルチメディア情報あるいはマルチメディア・データ」などに適宜読み替えることで処理が可能となる。
【０２５７】
次に、第２のアプリケーション状態監視装置１２０について説明する。
尚、第２のアプリケーション状態監視装置１２０は、図３２に示さないが、第１実施形態の図１６で説明したアプリケーション状態監視装置３８を補完あるいは代替するものである。第１実施形態のアプリケーション状態監視装置３８に代えて第２のアプリケーション状態監視装置１２０を実装することもできるし、第１実施形態のアプリケーション状態監視装置３８に加えて第２のアプリケーション状態監視装置１２０を第２のマルチメディア情報処理システム１１４に実装することもできる。
【０２５８】
図３３は、本発明の一実施形態に係る第２のアプリケーション状態監視装置１２０の要部構成を示した機能ブロック図である。
第２のアプリケーション状態監視装置１２０は、図３３に示すように、オペレーティング・システム状態監視装置１２１、プロセス状態監視装置１２２、デバイス・ドライバ状態監視装置１２３およびウィンドウ・マネージャ状態監視装置１２４等から構成される。
オペレーティング・システム状態監視装置１２１、プロセス状態監視装置１２２、デバイス・ドライバ状態監視装置１２３およびウィンドウ・マネージャ状態監視装置１２４は、いずれも一般的なＣＰＵおよびメモリなどから構成される。
【０２５９】
第２のアプリケーション状態監視装置１２０は、提示されるマルチメディア情報を操作ないし制御するアプリケーションないし応用ソフトウェアのアプリケーションの状態を特定し、監視する。例えば、利用者がマイクロソフト社製PowerPoint（登録商標）を利用者のパーソナル・コンピュータで利用している場合、かつ、パーソナル・コンピュータのＧＵＩを使ってPowerPoint（登録商標）アプリケーションを起動し、PowerPoint（登録商標）のスライド画像データを表示するようなとき、PowerPoint（登録商標）アプリケーションの状態としては、起動、終了などの状態を区別することができる。また、いわゆるＧＵＩ上でのアプリケーションの最大化あるいは最小化もしくはアイコン化なども特定することができる。さらに、ファイルを選択する状態やファイルを閉じた状態などの状態も特定することができる。第２のアプリケーション状態監視装置１２０は、特定したアプリケーションの状態をアプリケーション状態データとしてメモリ４３に設定する。
【０２６０】
オペレーティング・システム状態監視装置１２１は、第２のマルチメディア情報処理システム１１４に接続される利用者のアプリケーションを操作するためのパーソナル・コンピュータのオペレーティング・システムの状態を監視し、取得する。ここで、利用者のパーソナル・コンピュータは提示すべきマルチメディア情報を利用するためのアプリケーションを起動し、操作するものである。提示すべきマルチメディア情報としては、第１実施形態の場合と同じく、マイクロソフト社製のPowerPoint（登録商標）スライド資料などが考えられる。
【０２６１】
そこで、提示すべきマルチメディア情報を利用するためのアプリケーションは、マイクロソフト社製のPowerPoint（登録商標）などが考えられ、利用者のパーソナル・コンピュータにはマイクロソフト社製の"Windows XP"（登録商標）などが対応する。
【０２６２】
"Windows XP"（登録商標）や"Linux"などのオペレーティング・システムでは、いわゆるＡＰＩ（Application Programming Interface）が公開され、そのＡＰＩを利用できるものがある。そこで、当該ＡＰＩを利用することによってオペレーティング・システムの状態を監視し、取得することが可能となる。さらに、オペレーティング・システム状態監視装置１２１は、利用者のパーソナル・コンピュータと第２のマルチメディア処理システム１１４の接続状態や利用者のパーソナル・コンピュータの電源の状態を監視し、取得する。オペレーティング・システム状態監視装置１２１は、取得したオペレーティング・システムの状態をオペレーティング・システム状態データとして生成する。
【０２６３】
プロセス状態監視装置１２２は、オペレーティング・システム状態監視装置１２１と同様に、"Windows XP"（登録商標）や"Linux"などのＡＰＩを利用していわゆるプロセスやタスクの状態、すなわち「実行中」、「待機中」などの各オペレーティング・システムで定義されるプロセス状態を監視し、取得する。ここで、対象となるアプリケーションの種類は当該プロセス状態監視装置１２２で同定できる。そこで、第１実施形態のアプリケーション同定装置３９と同様の機能を当該プロセス状態監視装置１２２は提供できる。プロセス状態監視装置１２２は、取得したプロセスの状態をプロセス状態データとして生成する。
【０２６４】
デバイス・ドライバ状態監視装置１２３は、オペレーティング・システム状態監視装置１２１と同様に、"Windows XP"（登録商標）や"Linux"などのＡＰＩを利用していわゆるデバイス・ドライバの状態を監視し、取得する。例えば、マウスなどのポインティング・デバイスの状態を監視し、取得することができる。ポインティング・デバイスの状態としては、マウスのＧＵＩ上の位置ないし二次元座標などを取得することができる。デバイス・ドライバ状態監視装置１２３によって取得したマウスのＧＵＩ上の位置ないし二次元座標などのデータは、第１実施形態において説明した第１のポインタ検出ステップ(ステップ１３５)のデータとしても利用することができる。デバイス・ドライバ状態監視装置１２３は、取得したデバイス・ドライバ状態をデバイス・ドライバ状態データとして生成する。
【０２６５】
ウィンドウ・マネージャ状態監視装置１２４は、第２のマルチメディア情報処理システム１１４に接続された利用者のパーソナル・コンピュータのアプリケーションに対応するウィンドウの状態を監視し、取得する。"X Window System"などにおいては、いわゆるウィンドウ・マネージャと呼ばれるウィンドウの状態、すなわちウィンドウの最大化、最小化ないしアイコン化などの状態を管理するプログラムが利用される場合がある。それらのウィンドウに関する状態はウィンドウ・マネージャのＡＰＩもしくは"X Window System"などウィンドウ・システムのＡＰＩを通して取得することができる。いわゆるマイクロソフト社製のWindows（登録商標）システム、すなわち"Window XP"（登録商標）などのオペレーティング・システムでは、オペレーティング・システムのＡＰＩを通してウィンドウの状態を取得することができる。ウィンドウ・マネージャ状態監視装置１２４は、取得したウィンドウ状態をウィンドウ状態データとして生成する。
【０２６６】
第２のアプリケーション状態監視装置１２０は、上述のオペレーティング・システム状態データ、プロセス状態データ、デバイス・ドライバ状態データおよびウィンドウ状態データをアプリケーション状態データとしてメモリ４３に設定する。
【０２６７】
次に、第２のアプリケーション状態監視ステップについて説明する。
図３４は、本発明の一実施例に係る第２のアプリケーション状態監視ステップの一例を示したフローチャートである。
第２のアプリケーション状態監視ステップは、図３４に示すように、オペレーティング・システム状態監視ステップ（ステップ１６１）、プロセス状態監視ステップ（ステップ１６２）、デバイス・ドライバ状態監視ステップ（ステップ１６３）、ウィンドウ・マネージャ状態監視ステップ（ステップ１６４）および第２のアプリケーション状態特定ステップ（ステップ１６５）から成る。
なお、当該第２のアプリケーション状態監視ステップは、第２のマルチメディア情報処理システム１１４によって、第１実施形態のアプリケーション状態監視ステップ（ステップ８３）に代替して実行することができる。
【０２６８】
オペレーティング・システム状態監視ステップ（ステップ１６１）においては、オペレーティング・システム状態監視装置１２１は、第２のマルチメディア情報処理システム１１４に接続される利用者のアプリケーションを操作するためのパーソナル・コンピュータのオペレーティング・システムの状態を監視し、取得する。さらに、オペレーティング・システム状態監視装置１２１は、利用者のパーソナル・コンピュータと第２のマルチメディア情報処理システム１１４の接続状態や利用者のパーソナル・コンピュータの電源の状態を監視し、取得する。オペレーティング・システム状態監視装置１２１は、取得したオペレーティング・システムの状態をオペレーティング・システム状態データとして生成する。
【０２６９】
プロセス状態監視ステップ（ステップ１６２）においては、プロセス状態監視装置１２２は、"Windows XP"（登録商標）や"Linux"などのＡＰＩを利用していわゆるプロセスやタスクの状態、すなわち「実行中」、「待機中」などの各オペレーティング・システムで定義されるプロセス状態を監視し、取得する。プロセス状態監視装置１２２は、取得したプロセス状態に基づいてアプリケーションの種類を同定する。プロセス状態監視装置１２２は、取得したプロセスの状態および同定したアプリケーションの種類をプロセス状態データとして生成する。
【０２７０】
デバイス・ドライバ状態監視ステップ（ステップ１６３）においては、デバイス・ドライバ状態監視装置１２３は、"Windows XP"（登録商標）や"Linux"などのＡＰＩを利用していわゆるデバイス・ドライバの状態を監視し、取得する。デバイス・ドライバ状態監視装置１２３は、取得したデバイス・ドライバ状態をデバイス・ドライバ状態データとして生成する。
【０２７１】
ウィンドウ・マネージャ状態監視ステップ（ステップ１６４）においては、ウィンドウ・マネージャ状態監視装置１２４は、第２のマルチメディア情報処理システム１１４に接続された利用者のパーソナル・コンピュータのアプリケーションに対応するウィンドウの状態を監視し、取得する。ウィンドウ・マネージャ状態監視装置１２４は、取得したウィンドウ状態をウィンドウ状態データとして生成する。
【０２７２】
第２のアプリケーション状態特定ステップ（ステップ１６５）においては、第２のアプリケーション状態監視装置１２０は、上述のオペレーティング・システム状態データ、プロセス状態データ、デバイス・ドライバ状態データおよびウィンドウ状態データをアプリケーション状態データとしてメモリ４３に設定する。
【０２７３】
次に、第２のポインタ検出装置１２５について説明する。
なお、第２のポインタ検出装置１２５は、図３２に示さないが、第１実施形態の図２６を用いて説明した第１のポインタ検出装置７２に補完して、あるいは代替して機能することができる。
【０２７４】
図３５は、本発明の一実施形態に係る第２のポインタ検出装置１２５の要部構成を示した機能ブロック図である。
第２のポインタ検出装置１２５は、図３５に示すように、マウス・ドライバ状態監視回路１２６等から構成される。
第２のポインタ検出装置１２５は、前述のデバイス・ドライバ状態監視装置１２３と同様に、マウスの状態を監視し、マウスの状態を取得する。
第２のポインタ検出装置１２５は、取得したマウスの状態をマウス状態データとして位置情報ないし二次元座標データをポインタ情報記録装置７３に出力する。ここで、ポインタ情報記録装置７３は、第２のポインタ検出装置１２５からマウス状態データを入力し、入力したマウス状態データと、それらを入力した時刻とをポインタ情報としてメモリ７５に記録するものとする。
【０２７５】
マウス・ドライバ状態監視回路１２６は、マウスを制御するマウス・ドライバなどの状態を監視し、マウス状態データを生成する。
【０２７６】
次に、第２のポインタ検出ステップについて説明する。
図３６は、本発明の一実施形態に係る第２のポインタ検出ステップの一例を示したフローチャートである。
第２のポインタ検出ステップは、図３６に示すように、マウス・ドライバ状態監視初期化サブステップ（ステップ１７１）、マウス・ドライバ状態監視サブステップ（ステップ１７２）およびマウス・ドライバ状態監視終了化サブステップ（ステップ１７３）から成る。
【０２７７】
マウス・ドライバ状態監視初期化サブステップ（ステップ１７１）においては、第２のポインタ検出装置１２５は、マウス・ドライバ状態監視回路１２６を初期化する。
【０２７８】
マウス・ドライバ状態監視サブステップ（ステップ１７２）においては、第２のポインタ検出装置１２５は、マウスの状態を監視し、マウスの状態を取得する。第２のポインタ検出装置１２５は、取得したマウスの状態をマウス状態データとして位置情報ないし二次元座標データをポインタ情報記録装置７３に出力する。具体的には、第２のポインタ検出装置１２５のマウス・ドライバ状態監視回路１２６は、マウスを制御するマウス・ドライバなどの状態を監視し、マウス状態データを生成する。また、第２のポインタ検出装置１２５のマウス・ドライバ状態監視回路１２６は、生成したマウス状態データをポインタ情報記録装置７３に出力する。
【０２７９】
マウス・ドライバ状態監視終了化サブステップ（ステップ１７３）においては、マウス・ドライバ状態監視回路１２６の内部メモリなどの資源を解放するなどの処理を行う。
【０２８０】
（第３実施形態）
図３７は、本発明の第３実施形態に係るマルチメディア情報処理サーバー・システム１３１およびマルチメディア処理クライアント・システム１３２の機能構成を示したブロック図である。
第３実施形態で説明する第３のマルチメディア情報処理システム１３１は、図３７に示すように、いわゆるクライアント・サーバー型システムとして実装することもできる。
マルチメディア情報処理サーバー・システム１３１およびマルチメディア情報処理クライアント・システム１３２は、ネットワーク１３３を介して相互に接続されている。
また、第２実施形態の第２のマルチメディア情報処理システム１１４と異なり、マルチメディア情報処理サーバー・システム１３１では、第１の通信部１３４が追加され、マルチメディア情報表示部１１７および第２のフィードバック情報提示部１１８は、マルチメディア情報処理クライアント・システム１３２として実装されている。
【０２８１】
また、マルチメディア情報処理クライアント・システム１３２は、第２の通信部１３５を持つ。つまり、マルチメディア情報処理クライアント・システム１３２は、マルチメディア情報表示部１１７、第２のフィードバック情報提示部１１８および第２の通信部１３５から構成されている。
【０２８２】
ここで、ネットワーク１３３は、有線あるいは無線のいずれのネットワークでも、あるいはそれらが複合したネットワークでも良い。ネットワーク１３３は、いわゆるインターネットでも良いし、イントラネットでも良いし、ＩＳＤＮやＡＤＳＬや光ネットワーク、パケット通信網、電話網などでも良い。
【０２８３】
第１の通信部１３４は、メモリおよびいわゆるＮＩＣなどネットワーク制御装置、ネットワーク・アダプター・カードなどで構成され、マルチメディア情報記録部１１６に保持されているマルチメディア情報などをネットワーク１３３を介してマルチメディア情報処理クライアント・システム１３２を伝送する。
【０２８４】
第２の通信部１３５は、メモリおよびいわゆるＮＩＣなどネットワーク制御装置、ネットワーク・アダプター・カードなどで構成され、ネットワーク１３３を介してマルチメディア情報処理サーバー・システム１３１から伝送されたマルチメディア情報をマルチメディア情報表示部１１７を通して利用者に表示する。また、マルチメディア情報処理クライアント・システム１３２の第２のフィードバック情報提示部１１８は、ネットワーク１３３を介してマルチメディア情報処理サーバー・システム１３１から伝送されたマルチメディア情報からフィードバック情報を抽出して、第２のフィードバック情報提示部１１８などを通して利用者にフィードバック情報を提示する。
【０２８５】
ここで、マルチメディア情報処理サーバー・システム１３１のマルチメディア情報記録部１１６は、一般的なメモリに加えて、あるいは一般的なメモリに代替していわゆるデータベースを用いて構成することができる。
【０２８６】
また、マルチメディア情報処理サーバー・システム１３１は、いわゆるウェブ・アプリケーションもしくはウェブ・サービスとして実装することもできるし、マルチメディア処理クライアント・システム１３２は、いわゆるウェブ・ブラウザやウェブ・ブラウザのプラグイン・ソフトウェアとして実装することもできる。
【０２８７】
尚、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。また、上述したメモリには、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ、フラッシュメモリ等のＲＯＭ(Read Only Memory)、ハードディスク等の磁気ディスク等が含まれる。
【０２８８】
したがって、ＣＰＵがメモリに格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述した各部、各装置、各回路の各機能がコンピュータとして実行される。そして、所要のプログラムとしては図面に表されるフローチャートに応じたプログラムとすることができる。
【産業上の利用可能性】
【０２８９】
以上、本発明によれば、マルチメディア情報に関するメタデータがフィードバック情報としてマルチメディア情報と関連付けられて記録されるため、マルチメディア情報を利用する利用者の利便性が向上し、産業上の利用可能性が高い。
【図面の簡単な説明】
【０２９０】
【図１】第１実施形態に係るマルチメディア処理システムブロック図である。
【図２】フィードバック情報提示部の要部構成を示す機能ブロック図である。
【図３】フィードバック情報出力部の要部構成を示す機能ブロック図である。
【図４】視覚的フィードバック装置の回路図の一例である。
【図５】レイアウト回路で取得した縮小画像データおよび取得したフィードバック情報のレイアウトの例を示す図である。
【図６】ランプの実装の一例を示す図である。
【図７】複数のディスプレイによる表示の一例を示した図である。
【図８】フィードバック情報の形態の一例を示す図である。
【図９】聴覚的フィードバック装置の回路図の一例である。
【図１０】マルチメディア情報処理手続きの一例を示すフローチャートである。
【図１１】フィードバック情報提示手続きの一例を示したフローチャートである。
【図１２】フィードバック情報出力下位手続きの一例を示したフローチャートである。
【図１３】視覚的フィードバック・ステップの一例を示したフローチャートである。
【図１４】聴覚的的フィードバック・ステップの一例を示したフローチャートである。
【図１５】力学的ないし機械的フィードバック・ステップの一例を示したフローチャートである。
【図１６】動画情報特定部の要部構成を示した機能ブロック図である。
【図１７】アプリケーション状態監視装置の要部構成を示した機能ブロック図である。
【図１８】ウィンドウ監視装置の要部構成を示した機能ブロック図である。
【図１９】タスク・バー監視装置の要部構成を示した機能ブロック図である。
【図２０】アプリケーション同定装置の要部構成を示した機能ブロック図である。
【図２１】動画情報特定手続きの一例を示したフローチャートである。
【図２２】アプリケーション状態監視ステップの一例を示したフローチャートである。
【図２３】ウィンドウ監視ステップの一例を示したフローチャートである。
【図２４】タスク・バー監視ステップの一例を示したフローチャートである。
【図２５】アプリケーション同定ステップの一例を示したフローチャートである。
【図２６】ポインタ情報特定部の要部構成を示した機能ブロック図である。
【図２７】第１のポインタ検出装置の要部構成を示した機能ブロック図である。
【図２８】ポインタ情報処理部の要部構成を示した機能ブロック図である。
【図２９】ポインタ情報特定手続きの一例を示したフローチャートである。
【図３０】第１のポインタ検出ステップの一例を示したフローチャートである。
【図３１】ポインタ情報処理手続きの一例を示したフローチャートである。
【図３２】第２のマルチメディア処理システムのブロック図である。
【図３３】第２のアプリケーション状態監視装置の要部構成を示した機能ブロック図である。
【図３４】第２のアプリケーション状態監視ステップの一例を示したフローチャートである。
【図３５】第２のポインタ検出装置の要部構成を示した機能ブロック図である。
【図３６】第２のポインタ検出ステップの一例を示したフローチャートである。
【図３７】マルチメディア情報処理サーバー・システム及びマルチメディア処理クライアント・システムの要部構成を示した機能ブロック図である。
【符号の説明】
【０２９１】
１  マルチメディア情報処理システム
２  画像記録部
３  画像表示部
４  フィードバック情報提示部
５  動画情報特定部
６  特定動画情報処理部
７  ポインタ情報特定部
８  ポインタ情報処理部
１１  制御部
１２  内部バス
１３  フィードバック情報取得部
１４  フィードバック情報記録部
１５  フィードバック情報出力部
１６  視覚的フィードバック装置
１７  聴覚的フィードバック装置
１８  力学的ないし機械的フィードバック装置
１９  拡大縮小回路
２０  レイアウト回路
２１  ランプ駆動回路
２２  ランプ
２３  視覚的フィードバック情報提示制御回路
２４ａ、２４ｂ  レイアウト領域
２５ａ、２５ｂ、２５ｃ  マルチメディア情報領域
２６ａ、２６ｂ、２６ｃ、２６ｄ  フィードバック情報領域
２７ａ、２７ｂ、２７ｃ  ランプＡ、ランプＢ、ランプＣ
２８ａ、２８ｂ、２８ｃ  ランプＡのラベル、ランプＢのラベル、ランプＣのラベル
２９ａ、２９ｂ  ディスプレイ
３０ａ、３０ｂ  アイコン画像データＡ、アイコン画像データＢ
３１ａ、３１ｂ  文字列データＡ、文字列データＢ
３２  画像データ
３３  グラフ
３４  聴覚的フィードバック提示回路
３５  スピーカ
３６  第１の動き検出装置
３７  第２の動き検出装置
３８  アプリケーション状態監視装置
３９  アプリケーション同定装置
４０  特定動画情報取得装置
４１  特定動画情報取得フレーム・レート制御装置
４２、５１、５８、６５、７４、８４  ＣＰＵ
４３、５２、５９、６６、７５、８５  メモリ
４４、５３、６０、６７、７６、８６  入出力インタフェース
４５、５４、６１、６８、７７、８７  内部バス
４６  ウィンドウ監視装置
４７  タスク・バー監視装置
４８  第１のフレーム間差分演算回路
４９  第１の背景差分演算回路
５０  第１の矩形領域検出回路
５５  第２のフレーム間差分演算回路
５６  第２の背景差分演算回路
５７  第２の矩形領域検出回路
６２  アイコン画像データ登録回路
６３  ウィンドウ・フレーム画像データ登録回路
６４  テンプレート・マッチング回路
６９  第３の動き検出装置
７０  第４の動き検出装置
７１  ポインタ候補領域抽出装置
７２  第１のポインタ検出装置
７３  ポインタ情報記録装置
７８  ポインタ・アイコン画像データ登録回路
７９  テンプレート・マッチング回路
８０  ポインタ情報分割統合装置
８１  関心領域特定装置
８２  関心時間特定装置
８３  ポインタ消去装置
１１４  第２のマルチメディア情報処理システム
１１５  マルチメディア情報入力部
１１６  マルチメディア情報記録部
１１７  マルチメディア情報表示部
１１８  第２のフィードバック情報提示部
１２０  第２のアプリケーション状態監視装置
１２１  オペレーティング・システム状態監視装置
１２２  プロセス状態監視装置
１２３  デバイス・ドライバ状態監視装置
１２４  ウィンドウ・マネージャ状態監視装置
１２５  第２のポインタ検出装置
１２６  マウス・ドライバ状態監視回路
１３１  マルチメディア情報処理サーバー・システム
１３２  マルチメディア情報処理クライアント・システム
１３３  ネットワーク
１３４  第１の通信部
１３５  第２の通信部
【図１】
2008306570.tif 000003
【図２】
2008306570.tif 000004
【図３】
2008306570.tif 000005
【図４】
2008306570.tif 000006
【図５】
2008306570.tif 000007
【図６】
2008306570.tif 000008
【図７】
2008306570.tif 000009
【図８】
2008306570.tif 000010
【図９】
2008306570.tif 000011
【図１０】
2008306570.tif 000012
【図１１】
2008306570.tif 000013
【図１２】
2008306570.tif 000014
【図１３】
2008306570.tif 000015
【図１４】
2008306570.tif 000016
【図１５】
2008306570.tif 000017
【図１６】
2008306570.tif 000018
【図１７】
2008306570.tif 000019
【図１８】
2008306570.tif 000020
【図１９】
2008306570.tif 000021
【図２０】
2008306570.tif 000022
【図２１】
2008306570.tif 000023
【図２２】
2008306570.tif 000024
【図２３】
2008306570.tif 000025
【図２４】
2008306570.tif 000026
【図２５】
2008306570.tif 000027
【図２６】
2008306570.tif 000028
【図２７】
2008306570.tif 000029
【図２８】
2008306570.tif 000030
【図２９】
2008306570.tif 000031
【図３０】
2008306570.tif 000032
【図３１】
2008306570.tif 000033
【図３２】
2008306570.tif 000034
【図３３】
2008306570.tif 000035
【図３４】
2008306570.tif 000036
【図３５】
2008306570.tif 000037
【図３６】
2008306570.tif 000038
【図３７】
2008306570.tif 000039