(57)【要約】【課題】盛り上がったコミュニケーション時の関連画像を容易に検索することができる情報処理装置及びプログラムを提供する。【解決手段】制御部１０１は、第１カメラ５又は第２カメラ７から取得されたキャプチャ画像が保存対象のキャプチャ画像であるか否かを判別し、ＹＥＳと判別された場合に、前回の保存対象のキャプチャ画像が取得されてから今回の保存対象のキャプチャ画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって取得されたキャプチャ画像に重要度のランク付けをする。その後、記憶部１０３が重要度のランクの情報と、重要度のランク付けがされたキャプチャ画像と、音声とを関連付けて記憶し、制御部１０１は、当該重要度のランクの情報に基づいて記憶部１０３に記憶されたキャプチャ画像を検索する。【選択図】図２
2009153077.tif 000002
【特許請求の範囲】
【請求項１】
音声入出力装置及び撮影装置と接続される情報処理装置であって、
前記撮影装置から入力される映像を静止画像として取得する画像取得手段と、
前記音声入出力装置との間で入出力される音声を取得する音声取得手段と、
前記画像取得手段で取得された静止画像を一つ前のタイミングで取得された静止画像と比較し、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別する判別手段と、
前記画像取得手段で取得された静止画像が保存対象の静止画像であると判別された場合に、前記音声取得手段で取得された、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって前記画像取得手段で取得された静止画像に重要度のランク付けをするランク付け手段と、
当該重要度のランクの情報と、当該重要度のランク付けがされた静止画像と、前記音声取得手段で取得された音声とを関連付けて記憶する記憶手段と、
当該重要度のランクの情報に基づいて前記記憶手段に記憶された静止画像を検索する検索手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記画像取得手段で取得された静止画像が保存対象の静止画像でないと判別された場合に、当該静止画像を廃棄することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ランク付け手段は、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔又は前記音声の取得時間を前記重要度のランク付けの判断基準に加味することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記判別手段は、前記画像取得手段で取得された静止画像が一つ前のタイミングで取得された静止画像と予め設定した閾値以上の差違があるか否かに応じて、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別し、
前記閾値を設定する設定手段をさらに備えていることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記検索手段は、前記重要度のランクの情報に基づいて前記記憶手段に記憶された音声を検索することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
音声入出力装置及び撮影装置と接続されるコンピュータを、
前記撮影装置から入力される映像を静止画像として取得する画像取得手段、
前記音声入出力装置との間で入出力される音声を取得する音声取得手段、
前記画像取得手段で取得された静止画像を一つ前のタイミングで取得された静止画像と比較し、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別する判別手段、
前記画像取得手段で取得された静止画像が保存対象の静止画像であると判別された場合に、前記音声取得手段で取得された、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって前記画像取得手段で取得された静止画像に重要度のランク付けをするランク付け手段、
当該重要度のランクの情報と、当該重要度のランク付けがされた静止画像と、前記音声取得手段で取得された音声とを関連付けて記憶する記憶手段、及び
当該重要度のランクの情報に基づいて前記記憶手段に記憶された静止画像を検索する検索手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、カメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備える遠隔指示システムが知られている（例えば、特許文献１、２参照）。
【０００３】
この遠隔指示システムでは、サーバに接続されているカメラが対象物として立体物を撮影し、ネットワークを介して撮影画像をクライアントに送信する。クライアントは、表示装置の表示画面に撮影画像を表示し、当該表示画面上にアノテーション画像などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信する。サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を立体物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。また、サーバ及びクライアントには、それぞれマイク及びスピーカが接続されており、サーバ側のユーザとクライアント側のユーザとの間で音声通信を行うことができる。
【０００４】
このような環境の下で、サーバ及びクライアント間のコミュニケーション内容（即ち、撮影画像及び音声）を保存する機能が望まれている。このため、音声の録音と撮影画像の定期的なキャプチャを行い、時間データと共にキャプチャされた撮影画像（静止画像）及び音声を記録媒体に記録することや撮影画像（動画像）及び音声を直接記録媒体に記録することなどが考えられている。
【特許文献１】米国特許公開２００４／００７０６７４号公報
【特許文献２】特開２００５−３３７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の撮影画像及び音声の記録方法では、サーバ及びクライアント間のコミュニケーション内容を振り返るときに、盛り上がったコミュニケーション時の関連画像を検索で見つけにくいという課題がある。
【０００６】
本発明の目的は、盛り上がったコミュニケーション時の関連画像を容易に検索することができる情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１の情報処理装置は、音声入出力装置及び撮影装置と接続される情報処理装置であって、前記撮影装置から入力される映像を静止画像として取得する画像取得手段と、前記音声入出力装置との間で入出力される音声を取得する音声取得手段と、前記画像取得手段で取得された静止画像を一つ前のタイミングで取得された静止画像と比較し、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別する判別手段と、前記画像取得手段で取得された静止画像が保存対象の静止画像であると判別された場合に、前記音声取得手段で取得された、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって前記画像取得手段で取得された静止画像に重要度のランク付けをするランク付け手段と、当該重要度のランクの情報と、当該重要度のランク付けがされた静止画像と、前記音声取得手段で取得された音声とを関連付けて記憶する記憶手段と、当該重要度のランクの情報に基づいて前記記憶手段に記憶された静止画像を検索する検索手段とを備えることを特徴とする。
【０００８】
請求項２の情報処理装置は、請求項１に記載の情報処理装置において、前記画像取得手段で取得された静止画像が保存対象の静止画像でないと判別された場合に、当該静止画像を廃棄することを特徴とする。
【０００９】
請求項３の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記ランク付け手段は、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔又は前記音声の取得時間を前記重要度のランク付けの判断基準に加味することを特徴とする。
【００１０】
請求項４の情報処理装置は、請求項１乃至３のいずれか１項に記載の情報処理装置において、前記判別手段は、前記画像取得手段で取得された静止画像が一つ前のタイミングで取得された静止画像と予め設定した閾値以上の差違があるか否かに応じて、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別し、前記閾値を設定する設定手段をさらに備えていることを特徴とする。
【００１１】
請求項５の情報処理装置は、請求項１乃至４のいずれか１項に記載の情報処理装置において、前記検索手段は、前記重要度のランクの情報に基づいて前記記憶手段に記憶された音声を検索することを特徴とする。
【００１２】
請求項６のプログラムは、音声入出力装置及び撮影装置と接続されるコンピュータを、前記撮影装置から入力される映像を静止画像として取得する画像取得手段、前記音声入出力装置との間で入出力される音声を取得する音声取得手段、前記画像取得手段で取得された静止画像を一つ前のタイミングで取得された静止画像と比較し、前記画像取得手段で取得された静止画像が保存対象の静止画像であるか否かを判別する判別手段、前記画像取得手段で取得された静止画像が保存対象の静止画像であると判別された場合に、前記音声取得手段で取得された、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって前記画像取得手段で取得された静止画像に重要度のランク付けをするランク付け手段、当該重要度のランクの情報と、当該重要度のランク付けがされた静止画像と、前記音声取得手段で取得された音声とを関連付けて記憶する記憶手段、及び当該重要度のランクの情報に基づいて前記記憶手段に記憶された静止画像を検索する検索手段として機能させることを特徴とする。
【発明の効果】
【００１３】
請求項１，６の発明によれば、盛り上がったコミュニケーション時の関連画像を容易に検索することができる。
【００１４】
請求項２の発明によれば、静止画像の記憶量を削減することができる。
【００１５】
請求項３の発明によれば、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔又は前記音声の取得時間が短い静止画像は、画像変化が早く、重要な内容が議論される確率が低く、前回の保存対象の静止画像が取得されてから今回の保存対象の静止画像が取得されるまでの取得間隔又は前記音声の取得時間が長い静止画像は、画像変化が遅く、重要な内容が議論される確率が高いというコミュニケーション性質を利用した重要度のランク付けを実行することができる。
【００１６】
請求項４の発明によれば、判別手段の判別基準を設定することができる。
【００１７】
請求項５の発明によれば、重要度のランクの情報に基づいて音声を検索することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１９】
図１は、本発明の実施の形態に係る遠隔指示システムの構成を示すブロック図である。
【００２０】
図１の遠隔指示システムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１、クライアントとして機能するＰＣ２を備えており、これらは、ネットワーク３を介して互いに接続されている。ＰＣ１には、プロジェクタ４（投影装置）、第１カメラ５及び第２カメラ７が接続されている。
【００２１】
プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、テーブル９上に載置された対象物８及びスクリーン１２に対して、ハーフミラー６を介して単なる光線を照射する又はアノテーション画像（注釈画像）等を投影する。尚、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。
【００２２】
第１カメラ５は、ビデオカメラで構成され、テーブル上に設置されており、対象物８を含むスクリーン１２の反射画像をハーフミラー６を介して撮影し、撮影画像をＰＣ１に出力する。即ち、第１カメラ５は、対象物８の全体像を撮影する。プロジェクタ４の光軸及び画角は第１カメラ５の光軸及び画角と一致する。
【００２３】
第２カメラ７は、ＰＴＺ（Pan-Tilt-Zoom）カメラ、ネットワークカメラ又はビデオカメラ等のポータブルカメラで構成され、操作者が自由に移動させることができる。また、第２カメラ７は、第１カメラ５で撮影できない対象物８の部分（例えば、対象物８の正面からは見えない影となる部分）の撮影や対象物８の接写撮影をするために使用される。即ち、第２カメラ７は、対象物８の一部分を撮影する。第１カメラ５及び第２カメラ７は対象物９を定期的に（例えば、０．１秒間隔で）静止画像としてキャプチャする。
【００２４】
ＰＣ１は、第１カメラ５及び第２カメラ７により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２０５に接続されており、表示部２０５は、撮影画像の表示領域１５及びユーザインターフェース（ＵＩ）１４を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。
【００２５】
マイク７は、ＰＣ１のユーザの指示などの音声を入力し、ＰＣ２に接続されているスピーカ１９へ出力する。スピーカ８は、ＰＣ２に接続されているマイク１８から入力されたＰＣ２のユーザの指示などの音声を出力する。
【００２６】
ＵＩ１４は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１５には、第１カメラ５及び第２カメラ７で撮影された撮影画像が表示される。同図においては、対象物８を含むスクリーン１２を第１カメラ５により撮影した撮影画像が表示領域１５に表示され、さらに、第２カメラ７により撮影した撮影画像が表示領域１５内の表示枠１３に表示されている。ＰＣ２は、後述する操作部２０４から第２カメラ７を利用するコマンドが入力されると、表示部２０５の表示領域１５内に表示枠１３を表示させ、当該表示枠１３に第２カメラ７により撮影された撮影画像を表示させる。
【００２７】
例えば、ＵＩ１４のペンボタンが押下されて、表示領域１５内の対象物８上に図形等が記載されると、当該図形の情報（具体的には座標データ）がＰＣ２からＰＣ１へ出力される。ＰＣ１は、この図形の情報（具体的には座標データ）をデコードし、プロジェクタ４の投影画像に変換し、プロジェクタ４に出力する。プロジェクタ４は当該投影画像を対象物８上に投写する。
【００２８】
また、ＰＣ２は、ＰＣ１に対して制御コマンドを出力し、プロジェクタ４、第１カメラ５及び第２カメラ７の動作（例えば、第１カメラ５の撮影角度、第１カメラ５及び第２カメラ７の撮影画像の明るさ、並びにプロジェクタ４の投影画像の明るさなど）を制御することができる。
【００２９】
マイク１８は、ＰＣ２のユーザの指示などの音声を入力し、ＰＣ１に接続されているスピーカ８へ出力し、スピーカ１９は、ＰＣ１に接続されているマイク７から入力されたＰＣ１のユーザの指示などの音声を出力する。ＰＣ１側のユーザとＰＣ２側のユーザは、それぞれマイク７及びスピーカ８、並びにマイク１８及びスピーカ１９を使って、互いに音声でコミュニケーションをする。
【００３０】
尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、遠隔指示システムは、複数のクライアント（ＰＣ）を備えていてもよい。
【００３１】
図２は、ＰＣ１〜２の機能構成を示すブロック図である。
【００３２】
ＰＣ１は、装置全体を制御すると共にプロジェクタ４、第１カメラ５及び第２カメラ７の動作を制御する制御部１０１（画像取得手段、音声取得手段、判別手段、ランク付け手段、検索手段、設定手段）と、ネットワーク３を介してＰＣ２と情報やデータの送受信を行う送受信部１０２と、制御プログラム、データ及び情報等を記憶する記憶部１０３（記憶手段）と、プロジェクタ４、第１カメラ５及び第２カメラ７と接続するためのインターフェイス（ＩＦ）部１０４（画像取得手段、音声取得手段）と、第２カメラ７で撮影された撮影画像を表示するための表示部１０５とを備えている。制御部１０１は、送受信部１０２、記憶部１０３、ＩＦ部１０４及び表示部１０５に接続されており、さらにＩＦ部１０４を介してプロジェクタ４、第１カメラ５、第２カメラ７、マイク１０及びスピーカ１１に接続されている。
【００３３】
ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク３を介してＰＣ１と情報やデータの送受信を行う送受信部２０２と、制御プログラム、データ及び情報等を記憶する記憶部２０３と、マウスやキーボードなどで構成される操作部２０４と、表示部２０５と、ＩＦ部２０６とを備えている。制御部２０１は、送受信部２０２、記憶部２０３、操作部２０４、表示部２０５及びＩＦ部２０６に接続されており、さらにＩＦ部２０６を介してマイク１８及びスピーカ１９に接続されている。
【００３４】
図３は、ＰＣ１のハードウエア構成を示すブロック図である。
【００３５】
ＰＣ２は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、他のコンピュータと接続するためのネットワークインターフェース２６、液晶モニタ又はＣＲＴで構成されるディスプレイ２７、及び不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース２８を備えている。ＣＰＵ２１はシステムバス２９を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、マウス及びキーボード２５、ネットワークインターフェース２６、ディスプレイ２７及びＵＳＢインターフェース２８に接続されている。
【００３６】
制御部１０１は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部１０２は、ネットワークインターフェース２６に相当し、記憶部１０３は、ハードディスクドライブ（ＨＤＤ）２４に相当する。ＩＦ部１０４は、ＵＳＢインターフェース２８に相当し、表示部２０５は、ディスプレイ２７に相当する。
【００３７】
ＰＣ２は、ＰＣ１の構成に、マウス及びキーボード２５を追加した構成であるが、ＰＣ１がマウス及びキーボード２５を備えていてもよい。
【００３８】
図４は、ＰＣ１及びＰＣ２で実行される処理を示すフローチャートである。
【００３９】
まず、ＰＣ１で実行される処理を説明する。ＰＣ１の制御部１０１は、初期投射画像をプロジェクタ４に出力する（ステップＳ１）。初期投射画像とは、黒色の画像である。
【００４０】
次いで、制御部１０１は、第１カメラ５及び第２カメラ７の少なくとも一方で撮影された撮影画像を送受信部１０２及びネットワーク３を介してＰＣ２に出力し（ステップＳ２）、ＰＣ２からのコマンドを受信するまで待つ（ステップＳ３）。ステップＳ２で撮影された撮影画像は、第１カメラ５及び第２カメラ７の少なくとも一方で撮影されたキャプチャ画像（即ち静止画像）であり、ＰＣ２からのコマンドは、具体的には、アノテーション画像の座標データである。例えば、アノテーション画像が円の場合、円の中心と半径の長さをテキスト化した情報である。      
【００４１】
次に、送受信部１０２がＰＣ２からコマンドを受信すると（ステップＳ４）、制御部１０１は、当該コマンドに従って画像の投影処理を実行する（ステップＳ５）。具体的には、ＰＣ２からアノテーション画像の座標データを受信すると、制御部１０１は、当該アノテーション画像の座標データをデコードし、プロジェクタ４の投影画像に変換し、プロジェクタ４に出力する。プロジェクタ４はこの投影画像、即ち、アノテーション画像を対象物８及びスクリーン１２に投影する。
【００４２】
制御部１０１は、第１カメラ５及び第２カメラ７の少なくとも一方で撮影されたキャプチャ画像を一つ前のキャプチャ画像を比較し、撮影されたキャプチャ画像が保存対象の撮影されたキャプチャ画像であるか否かを判別する（ステップＳ６）。より具体的には、制御部１０１は、第１カメラ５及び第２カメラ７の少なくとも一方で撮影されたキャプチャ画像が一つ前のキャプチャ画像と比較し、予め設定した閾値以上の違いがあるか否かを判別する。例えば、第１カメラ５のキャプチャ画像を構成するドットが一つ前のキャプチャ画像を構成するドットと比べて１００ドット以上異なる場合、又は第１カメラ５のキャプチャ画像を構成する全ドットが一つ前のキャプチャ画像を構成する全ドットと比べて３％以上異なる場合に、制御部１０１は、上記所定の閾値以上の違いがある、即ち、保存対象の撮影されたキャプチャ画像であると判別する。尚、上記閾値は、操作部２０４を介して設定可能であり、さらにＰＣ１がキーボード及びマウス２５を備えるときは、キーボード及びマウス２５を介して設定可能である。
【００４３】
ステップＳ６でＹＥＳの場合には、制御部１０１は、画像及び音声の保存処理を実行する（ステップＳ７）。尚、画像及び音声の保存処理については後述する。ステップＳ６でＮＯの場合には、制御部１０１は、キャプチャ画像を廃棄し（ステップＳ８）、ステップＳ３に戻る。これにより、静止画像の記憶量を削減することができる。
【００４４】
ステップＳ７の処理後、制御部１０１は、ＰＣ２からのコマンドに従って実行する処理が全て終了したか否かを判別し（ステップＳ９）、ステップＳ９でＮＯの場合には、ステップＳ３に戻る。一方ステップＳ９でＹＥＳの場合には、ＰＣ１の処理を終了する。
【００４５】
次に、ＰＣ２で実行される処理を説明する。
【００４６】
制御部２０１は、操作部２０４からコマンドの入力を受け付けると（ステップＳ１１）、当該コマンドが第２カメラ７を利用するコマンドであるか否かを判別する（ステップＳ１２）。
【００４７】
ステップＳ１２でＹＥＳの場合には、表示部２０５は、表示領域１５内に表示枠１３を表示する（ステップＳ１３）。制御部２０１は、第２カメラ処理を実行して（ステップＳ１４）、ステップＳ１７に進む。第２カメラ処理の詳細は、後述する。
【００４８】
上記ステップＳ１２でＮＯの場合には、制御部２０１は、操作部２０４からアノテーション画像を描画する画面処理コマンドを受信したか否かを判別する（ステップＳ１５）。
【００４９】
ステップＳ１５でＮＯの場合には、ステップＳ１８に進む。ステップＳ１５でＹＥＳの場合には、制御部２０１は、当該画面処理コマンドに従って、アノテーション画像を表示領域１５に描画する（ステップＳ１６）。
【００５０】
次いで、制御部２０１は、コマンドとしてのアノテーション画像の座標データを送受信部２０２を介してＰＣ１に送信する（ステップＳ１７）。尚、ＰＣ１に送信されたコマンドは、上記ステップＳ４の処理で、送受信部１０２により受信される。
【００５１】
最後に、制御部２０１は、ＰＣ１で実行すべき処理が全て終了したか否かを判別し（ステップＳ１８）、ステップＳ１８でＮＯの場合には、ステップＳ１１に戻る。一方ステップＳ１８でＹＥＳの場合には、ＰＣ２の処理を終了する。
【００５２】
図５は、図４のステップＳ７の画像及び音声の保存処理を示すフローチャートである。
【００５３】
まず、制御部１０１は、録音ファイルを切り換える（ステップＳ２１）。ここで、録音済みの音声ファイルの録音時間は、前回の保存されたキャプチャ画像から今回保存されるキャプチャ画像までのキャプチャ間隔に対応する。即ち、前回の保存されたキャプチャ画像から今回保存されるキャプチャ画像までの間に、廃棄されたキャプチャ画像がある場合には、その廃棄されたキャプチャ画像に対応する時間も音声は録音されている。
【００５４】
次いで、制御部１０１は、録音済みの音声ファイルの音声の解析を行う（ステップＳ２２）。制御部１０１は、具体的には、音声レベルの大きさ又は音量の大きさを分析する。音声レベルの大きさの解析方法は、既知の手法によるが、例えば、音声をフーリエ変換し、所定の周波数帯のレベルを時間積分して、音声レベルの大きさを算出する、又は音量を時間積分することで音声レベルの大きさを算出する。制御部１０１が音量の大きさを分析する際には、単位時間あたりの音量の大きさを求めても、又は音量の大きさの最大値を求めてもよい。
【００５５】
制御部１０１は、分析した音声レベルの大きさ又は音量の大きさを数段階にレベル分けし、そのレベルをキャプチャ画像の属性情報に付加する（ステップＳ２３）。このようにして、制御部１０１は、音声レベルの大きさ又は音量の大きさに対応するキャプチャ画像の重要度を当該キャプチャ画像にランク付けする。
【００５６】
最後に、制御部１０１は、キャプチャ画像と、その属性情報と、録音済みの音声ファイルとを関連づけて記憶部１０３に記憶し（ステップＳ２４）、本処理を終了する。図６に、キャプチャ画像に関連付けされた属性情報の例を示す。属性情報は、キャプチャ画像のファイル名、録音開始時間、録音終了時間、音声ファイルのファイル名、及び音声レベルの大きさを含む。図６の例では、左端のキャプチャ画像のファイル名は「collabo000」であり、中央のキャプチャ画像のファイル名は「collabo008」である。これは、「collabo001」〜「collabo007」のキャプチャ画像に変化がないために、当該キャプチャ画像が廃棄されたことを示している。
【００５７】
図７は、図４のステップＳ１４の第２カメラ処理を示すフローチャートである。
【００５８】
図７の第２のカメラ処理では、まず、送受信部２０２が第２カメラ７から撮影画像を受信し（ステップＳ３１）、表示部２０５が表示領域１５内の表示枠１３に当該撮影画像を表示する（ステップＳ３２）。
【００５９】
次に、制御部２０１は、操作部２０４からアノテーション画像を表示枠１３内に描画する画面処理コマンドを受信したか否かを判別する（ステップＳ３３）。ステップＳ３３でＹＥＳの場合には、制御部２０１は、当該画面処理コマンドに従って、アノテーション画像を表示枠１３内に描画する（ステップＳ３４）。ステップＳ３３でＮＯの場合には、ステップＳ３５に進む。
【００６０】
次いで、制御部２０１は、操作部２０４から表示枠１３の表示を終了させるコマンドを受信したか否かを判別する（ステップＳ３５）。ステップＳ３５でＮＯの場合には、ステップＳ３１に戻る。一方、ステップＳ３５でＹＥＳの場合には、表示部２０５は表示枠１３の表示を終了し、同時に、ステップＳ３４で表示枠１３に描画されたアノテーション画像を表示領域１２に反映させ（ステップＳ３６）、図４のステップＳ１７に進む。
【００６１】
図８（Ａ）は、記憶部１０３に記憶された画像及び音声の検索画面の例を示す図であり、図８（Ｂ）は、検索結果の一例を示す図である。
【００６２】
ＰＣ２のユーザが操作部２０４を介して不図示の検索メニューを選択すると、制御部２０１は、図８（Ａ）に示す検索画面を表示部２０５に表示する。この検索画面において、例えば、音声レベル「５」のキャプチャ画像の検索を開始すると、ＰＣ２の制御部２０１は、音声レベル「５」の検索コマンドを制御部１０１に送信する。ＰＣ１の制御部１０１は、音声レベル「５」の検索コマンドに対応するキャプチャ画像の属性情報を収集し、音声レベル「５」の検索コマンドに対応するキャプチャ画像のサムネイルを作成し、当該サムネイルとキャプチャ画像の属性情報をＰＣ２の制御部２０１に送信する。制御部２０１は、音声レベル「５」の検索コマンドに対応するキャプチャ画像のサムネイルと当該キャプチャ画像の属性情報を検索結果として表示部２０５に表示する（図８（Ｂ）参照）。検索結果は、一覧表示され、キャプチャ画像のファイル名、録音開始時間、録音終了時間、音声ファイルのファイル名、音声レベルの大きさ、及びキャプチャ画像に対応するサムネイル画像の各データが含まれている。
【００６３】
以上詳細に説明したように、本実施の形態によれば、制御部１０１は、第１カメラ５又は第２カメラ７から入力される映像をキャプチャ画像（静止画像）として取得すると共にマイク１０から入力される音声及びスピーカ１１から出力される音声を取得する。さらに、制御部１０１は、取得されたキャプチャ画像を一つ前のタイミングで取得されたキャプチャ画像と比較し、取得されたキャプチャ画像が保存対象のキャプチャ画像であるか否かを判別し（ステップＳ６）、取得されたキャプチャ画像が保存対象のキャプチャ画像であると判別された場合に、前回の保存対象のキャプチャ画像が取得されてから今回の保存対象のキャプチャ画像が取得されるまでの取得間隔に対応する音声の音声レベル又は音量の大小によって取得されたキャプチャ画像に重要度のランク付けをする（ステップＳ２３）。その後、記憶部１０３が重要度のランクの情報と、重要度のランク付けがされたキャプチャ画像と、音声とを関連付けて記憶し（ステップＳ２４）、制御部１０１は、当該重要度のランクの情報に基づいて記憶部１０３に記憶されたキャプチャ画像を検索する。
【００６４】
よって、入力された音声の音声レベル又は音量の大小によってキャプチャ画像に重要度のランク付けがなされ、この重要度のランクの情報に基づいてキャプチャ画像が検索されるので、盛り上がったコミュニケーション時の関連画像を容易に検索することができる。
【００６５】
上記実施の形態では、制御部１０１は、音声レベルの大きさ又は音量の大きさに対応するキャプチャ画像の重要度を当該キャプチャ画像にランク付けしたが、このランク付けにキャプチャ間隔又は録音時間を加味してもよい。例えば、キャプチャ間隔が短い（例えば、廃棄されているキャプチャ画像が１０画像以内）又は録音時間が短い（例えば、３分以内）キャプチャ画像の重要度、即ち音声レベルが「５」である場合に、その音声レベルを「４」と減じてもよい。キャプチャ間隔又は録音時間が長いキャプチャ画像の重要度、即ち音声レベルが「５」であるキャプチャ画像は、その音声レベルを「６」と増加してもよい。これにより、キャプチャ間隔が短い又は録音時間が短いキャプチャ画像は、画像変化が早く、一般的に重要な内容が議論される確率が低く、キャプチャ間隔が長い又は録音時間が長いキャプチャ画像は、画像変化が遅く、一般的に重要な内容が議論される確率が高いというコミュニケーション性質を利用した重要度のランク付けを実行することができる。
【００６６】
また、上記実施の形態では、撮影画像のキャプチャ間隔は一定間隔であるとしたが、ＰＣ２からＰＣ１へキャプチャコマンドを送信することによって制御部１０１が撮影画像のキャプチャを実行してもよいし、ＰＣ１側のユーザがリモコン等のデバイスを介してＰＣ１にキャプチャコマンドを送信することによって制御部１０１が撮影画像のキャプチャを実行してもよいし、これらの組み合わせでもよい。
【００６７】
さらに、撮影画像のキャプチャの対象は、第１カメラ５の撮影画像に限定されず、第２カメラ７の撮影画像でもよい。また、記憶部１０３に記憶される画像は、第１カメラ５又は第２カメラ７の撮影画像に限定されず、アノテーション画像をキャプチャ画像に重ねたものでもよい。
【００６８】
ＰＣ１〜ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、各ＰＣに供給し、各ＰＣのＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。
【００６９】
また、各ＰＣのＣＰＵが、各ＰＣの機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。
【００７０】
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態に係る遠隔指示システムの構成を示すブロック図である。
【図２】ＰＣ１〜２の機能構成を示すブロック図である。
【図３】ＰＣ１のハードウエア構成を示すブロック図である。
【図４】ＰＣ１及びＰＣ２で実行される処理を示すフローチャートである。
【図５】図４のステップＳ７の画像及び音声の保存処理を示すフローチャートである。
【図６】キャプチャ画像に関連付けされた属性情報の例を示す図である。
【図７】図４のステップＳ１４の第２カメラ処理を示すフローチャートである。
【図８】（Ａ）は、記憶部１０３に記憶された画像及び音声の検索画面の例を示す図であり、（Ｂ）は、検索結果の一例を示す図である。
【符号の説明】
【００７２】
１，２  ＰＣ
３  ネットワーク
４  プロジェクタ
５  第１カメラ
６  ハーフミラー
７  第２カメラ
８  対象物
９  テーブル
１０，１８  マイク
１１，１９  スピーカ
１０１，２０１  制御部
１０２，２０２  送受信部
１０３，２０３  記憶部
１０４，２０６  ＩＦ部
１０５，２０５  表示部
２０４  操作部
【図１】
2009153077.tif 000003
【図２】
2009153077.tif 000004
【図３】
2009153077.tif 000005
【図４】
2009153077.tif 000006
【図５】
2009153077.tif 000007
【図６】
2009153077.tif 000008
【図７】
2009153077.tif 000009
【図８】
2009153077.tif 000010