(57)【要約】【課題】  実物体側に投影される注釈画像の視認性の低減を抑制し得る指示システムを提供する。【解決手段】  対象物を含む対象領域内を撮像するビデオカメラ２０と、ビデオカメラ２０で撮像された撮像画像に基づく指示に応じた注釈画像を対象領域内に投影するプロジェクタ４０と、注釈画像の視認性を判定する視認性判定部５５、注釈画像の投影態様を記憶する投影態様記憶部５７から、視認性判定部５５による判定結果に基づいて、注釈画像の好適な投影態様を特定する好適投影態様特定部５６、特定された投影態様を通知する投影態様通知部５８、通知された投影態様に基づく指示に応じた注釈画像をプロジェクタ４０に投影させる投影制御部５４とを具備するサーバ５０と、撮像画像及び通知された投影態様を受信する受信部並びに受信された撮像画像に基づく指示及び投影態様に基づく指示を送信する送信部を具備する端末と、を有する。【選択図】  図２
2010079550.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む対象領域内を撮像する撮像手段と、
前記撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を前記対象領域内に投影する投影手段と、
前記注釈画像の視認性を判定する判定部、前記注釈画像の投影態様を記憶する記憶部から、前記判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部、前記特定部により特定された投影態様を通知する通知部、前記通知部で通知された投影態様に基づく指示に応じた注釈画像を前記投影手段に投影させる投影制御部とを具備する制御手段と、
前記撮像画像及び前記通知部で通知された投影態様を受信する受信部並びに前記受信部により受信された撮像画像に基づく指示及び前記投影態様に基づく指示を送信する送信部を具備する端末と、
を有することを特徴とする指示システム。
【請求項２】
前記制御手段の前記判定部は、前記撮像画像に基づく指示に係る注釈画像及び該注釈画像により指示される撮像画像上の対象物、並びに、前記撮像画像に含まれる注釈画像及び該注釈画像により指示される対象物、の画像特徴量の比較により、判定することを特徴とする請求項１に記載の指示システム。
【請求項３】
前記制御手段の前記投影制御部は、前記制御手段の前記判定部が、予め設定された閾値との比較により、視認性に関し、前記注釈画像が小さいと判定した場合に、前記注釈画像の大きさを拡大して投影させることを特徴とする請求項１又は２に記載の指示システム。
【請求項４】
前記制御手段の前記投影制御部は、前記制御手段の前記判定部が、予め設定された閾値との比較により、前記注釈画像の形状が点又は矩形であり、かつ、視認性に関し、前記注釈画像が小さいと判定した場合に、前記注釈画像を注視させる動画を投影させることを特徴とする請求項１又は２に記載の指示システム。
【請求項５】
前記制御手段の前記投影制御部は、前記制御手段の前記判定部が、予め設定された閾値との比較により、前記注釈画像の色が、該注釈画像により指示される対象物の色と近似すると判定した場合に、前記注釈画像の色を、前記対象物の色に対して補色関係にある色に変更して投影させることを特徴とする請求項１から４のいずれか１項に記載の指示システム。
【請求項６】
前記制御手段の前記投影制御部は、さらに、色相対比が強い色を補色関係にある色から順次投影させることを特徴とする請求項５に記載の指示システム。
【請求項７】
前記制御手段の前記投影制御部は、前記制御手段の前記判定部が、画質の劣化評価手法により、前記注釈画像の画質が劣化していると判定した場合に、前記注釈画像の着目領域を投影させることを特徴とする請求項１から６のいずれか１項に記載の指示システム。
【請求項８】
前記制御手段の前記投影制御部は、さらに、色相対比が強い色を補色関係にある位置から順次投影させることを特徴とする請求項７に記載の指示システム。
【請求項９】
前記制御手段の前記投影制御部は、前記端末の送信部から送信された投影態様に基づく指示が該投影態様を否定する指示である場合に、該投影態様に基づく指示に応じた注釈画像の投影を中止させることを特徴とする請求項１から８のいずれか１項に記載の指示システム。
【請求項１０】
対象物を含む対象領域内を撮像する撮像手段によって撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像の視認性を判定する判定部と、
前記注釈画像の投影態様を記憶する記憶部から、前記判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部と、
前記特定部により特定された投影態様を通知する通知部と、
前記通知部で通知された投影態様に基づく指示に応じた注釈画像を、前記対象領域内に投影する投影手段に投影させる投影制御部と、
を有することを特徴とする指示装置。
【請求項１１】
コンピュータを、
対象物を含む対象領域内を撮像する撮像手段によって撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像の視認性を判定する判定部、
前記注釈画像の投影態様を記憶する記憶部から、前記判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部、
前記特定部により特定された投影態様を通知する通知部、
前記通知部で通知された投影態様に基づく指示に応じた注釈画像を、前記対象領域内に投影する投影手段に投影させる投影制御部、
として機能させることを特徴とする指示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示システム、指示装置、指示プログラムに関する。
【背景技術】
【０００２】
会議システム等においては、端末側から実物体側へ向けて作業手順の指示等の各種指示を行う必要がある。このような、端末側から実物体側への指示を行うことができる会議システムとしては、例えば、実物体側に存在する対象物をビデオカメラで撮像しつつその撮像画像を端末に送信すると共に、端末において撮像画像に基づいて操作者によって指示された注釈画像を実物体側でプロジェクタにより対象物へ投影する指示システムが知られている。
【０００３】
また、注釈画像等の画像の視認性を改善する技術も知られている。例えば、表示装置に表示される画像の中で視認性が悪い部分が含まれている場合に、その部分を抽出し、視認性を改善してから別の表示装置に表示する技術が知られている（例えば、特許文献１参照）。また、入力された指示に係る注釈画像が小さい場合に、注釈画像を画面上に表示させないようにして視認性の低減を抑える技術も知られている（例えば、特許文献２参照）。
【０００４】
さらに、ポインティングデバイスにダイヤル型の操作部を構成し、マウスポインタが指示する部分を、その操作部を回転させることにより、拡大・縮小させ、ポインタが指示する部分の視認性を向上させる技術も知られている（例えば、特許文献３参照）。さらに、遠隔地の端末と情報の送受を行う端末において、一方の端末で書き込んだ画像が他方の端末において表示枠を超えて表示される事象に対し、解像度の情報を送受することで端末間の調整を図り、書き込んだ画像の視認性の低減を抑える技術も知られている（例えば、特許文献４参照）。
【０００５】
【特許文献１】特開２００６−７２８７９号公報
【特許文献２】特開２００１−３０７１１７号公報
【特許文献３】特開平１０−２０７６８１号公報
【特許文献４】特開２００６−２０９７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、実物体側に投影される注釈画像の視認性の低減を抑制し得る指示システム、指示装置及び指示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、対象物を含む対象領域内を撮像する撮像手段と、撮像手段で撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像を対象領域内に投影する投影手段と、注釈画像の視認性を判定する判定部、注釈画像の投影態様を記憶する記憶部から、判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部、特定部により特定された投影態様を通知する通知部、通知部で通知された投影態様に基づく指示に応じた注釈画像を投影手段に投影させる投影制御部とを具備する制御手段と、撮像画像及び通知部で通知された投影態様を受信する受信部並びに受信部により受信された撮像画像に基づく指示及び投影態様に基づく指示を送信する送信部を具備する端末と、を有することを特徴とする指示システムである。
【０００８】
請求項２に記載の発明は、請求項１に記載の発明において、制御手段の判定部は、撮像画像に基づく指示に係る注釈画像及び該注釈画像により指示される撮像画像上の対象物、並びに、撮像画像に含まれる注釈画像及び該注釈画像により指示される対象物、の画像特徴量の比較により、判定することを特徴としている。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の発明において、制御手段の投影制御部は、制御手段の判定部が、予め設定された閾値との比較により、視認性に関し、注釈画像が小さいと判定した場合に、注釈画像の大きさを拡大して投影させることを特徴としている。
【００１０】
請求項４に記載の発明は、請求項１又は２に記載の発明において、制御手段の投影制御部は、制御手段の判定部が、予め設定された閾値との比較により、注釈画像の形状が点又は矩形であり、かつ、視認性に関し、注釈画像が小さいと判定した場合に、注釈画像を注視させる動画を投影させることを特徴としている。
【００１１】
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の発明において、制御手段の投影制御部は、制御手段の判定部が、予め設定された閾値との比較により、注釈画像の色が、該注釈画像により指示される対象物の色と近似すると判定した場合に、注釈画像の色を、対象物の色に対して補色関係にある色に変更して投影させることを特徴としている。
【００１２】
請求項６に記載の発明は、請求項５に記載の発明において、制御手段の投影制御部は、さらに、色相対比が強い色を補色関係にある色から順次投影させることを特徴としている。
【００１３】
請求項７に記載の発明は、請求項１から６のいずれか１項に記載の発明において、制御手段の投影制御部は、制御手段の判定部が、画質の劣化評価手法により、注釈画像の画質が劣化していると判定した場合に、注釈画像の着目領域を投影させることを特徴としている。
【００１４】
請求項８に記載の発明は、請求項７に記載の発明において、制御手段の投影制御部は、さらに、色相対比が強い色を補色関係にある位置から順次投影させることを特徴としている。
【００１５】
請求項９に記載の発明は、請求項１から８のいずれか１項に記載に発明において、制御手段の投影制御部は、端末の送信部から送信された投影態様に基づく指示が該投影態様を否定する指示である場合に、該投影態様に基づく指示に応じた注釈画像の投影を中止させることを特徴としている。
【００１６】
請求項１０に記載の発明は、対象物を含む対象領域内を撮像する撮像手段によって撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像の視認性を判定する判定部と、注釈画像の投影態様を記憶する記憶部から、判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部と、特定部により特定された投影態様を通知する通知部と、通知部で通知された投影態様に基づく指示に応じた注釈画像を、対象領域内に投影する投影手段に投影させる投影制御部と、を有することを特徴とする指示装置である。
【００１７】
請求項１１に記載の発明は、コンピュータを、対象物を含む対象領域内を撮像する撮像手段によって撮像された撮像画像に基づく指示に応じた注釈を表す注釈画像の視認性を判定する判定部、注釈画像の投影態様を記憶する記憶部から、判定部による判定結果に基づいて、注釈画像の好適な投影態様を特定する特定部、特定部により特定された投影態様を通知する通知部、通知部で通知された投影態様に基づく指示に応じた注釈画像を、対象領域内に投影する投影手段に投影させる投影制御部として機能させることを特徴とする指示プログラムである。
【発明の効果】
【００１８】
請求項１に記載の発明によれば、実物体側に投影される注釈画像の視認性の低減を抑制することができる。
【００１９】
請求項２に記載の発明によれば、視認性の低減を、撮像画像に基づく指示に係る注釈画像等と、撮像画像に含まれる注釈画像等との比較により判定することができる。
【００２０】
請求項３に記載の発明によれば、注釈画像が小さいことにより視認性が低減している場合、その注釈画像が拡大して投影される。
【００２１】
請求項４に記載の発明によれば、注釈画像が点や矩形であって、かつ、小さいことにより視認性が低減している場合、その注釈画像を注視させる動画が投影される。
【００２２】
請求項５に記載の発明によれば、注釈画像の色と、その注釈画像によって指示される対象物の色が近似する場合に、注釈画像の色を、対象物の色に対して補色関係にある色に変更して投影される。
【００２３】
請求項６に記載の発明によれば、対象物の色に対して、補色関係にある、色相対比が強い色の注釈画像が順次投影される。
【００２４】
請求項７に記載の発明によれば、注釈画像が劣化している場合に、注釈画像の着目領域が投影される。
【００２５】
請求項８に記載の発明によれば、注釈画像が劣化している場合、補色関係にある、色相対比が強い位置から順次投影される。
【００２６】
請求項９に記載の発明によれば、視認性の低減を抑える投影態様に基づく注釈画像の投影は、端末からの指示により選択的になされる。
【００２７】
請求項１０に記載の発明によれば、実物体側に投影される注釈画像の視認性の低減を抑制することができる。
【００２８】
請求項１１に記載の発明によれば、実物体側に投影される注釈画像の視認性の低減を抑制することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について図面を参照して説明する。
【００３０】
（第１実施形態）
図１は、本発明の指示システムの実施形態を示す構成図、図２は、サーバ５０の要部構成を例示するブロック図、図３は、サーバ５０のハードウェア構成を例示するブロック図である。
【００３１】
この指示システムは、図１に示すように、対象物側装置１０及び端末１００等を備えており、対象物側装置１０と端末１００とはネットワーク３００により相互に通信可能に接続されている。尚、図１においては、端末１００を一台のみ示しているが、複数の端末１００、１０１等をネットワーク３００を通じて対象物側装置１０の後述するサーバ５０へ接続可能である。
【００３２】
対象物側装置１０は、撮像手段としてのビデオカメラ２０、投影手段としてのプロジェクタ４０、制御手段または指示装置としてのサーバ５０、ハーフミラー６５等を含んで構成される。
【００３３】
ビデオカメラ２０は、例えばＣＣＤカメラ等で構成され、テーブル７０上に置かれた対象物２００を撮像すると共に、その撮像画像の情報はサーバ５０に取り込まれる。尚、ビデオカメラ２０は、ハーフミラー６５を透過した画像を撮像する。
【００３４】
プロジェクタ４０は、液晶プロジェクタ等で構成され、端末１００でなされた撮像画像に基づく指示に応じた注釈画像（以下、アノテーション画像という。）ＡＮを対象物２００に投影する。また、プロジェクタ４０は、その光学系が、ハーフミラー６５によりビデオカメラ２０と光学的な主点が略一致するように配置されている。このプロジェクタ４０は、サーバ５０から送信されたアノテーション画像ＡＮをその光学系を通じハーフミラー６５を介して対象物２００へ投影する。プロジェクタ４０からのアノテーション画像ＡＮは、ハーフミラー６５で反射して対象物２００へ投影される。尚、アノテーション画像ＡＮには、線、文字、図形等のあらゆる形態の画像が含まれる。また、ハーフミラーの反射率は０．３％程度であることが望ましい。
【００３５】
サーバ５０は、ビデオカメラ２０、プロジェクタ４０の動作を制御すると共に、ネットワーク３００を介して端末１００との間で各種情報を送受する。
【００３６】
より詳しくは、図２に示すように、ビデオカメラ２０を制御する撮像制御部５１と、ビデオカメラ２０によって撮像された撮像画像を端末１００に送信する画像送信部５２とを備える。また、サーバ５０は、端末１００からの描画指示等、各種指示を受信する指示受信部５３と、プロジェクタ４０を制御し、後述する投影態様通知部５８で通知された投影態様に基づく指示に応じたアノテーション画像ＡＮを投影させる投影制御部５４とを備える。さらに、投影されたアノテーション画像ＡＮの視認性を判定する視認性判定部５５、アノテーション画像ＡＮの投影態様を記憶する投影態様記憶部５７から、視認性判定部５５による判定結果に基づいて、アノテーション画像ＡＮの好適な投影態様を特定する好適投影態様特定部５６、好適投影態様特定部５６により特定された投影態様を通知する投影態様通知部５８とを備える。
【００３７】
したがって、サーバ５０は、ビデオカメラ２０が撮像した撮像画像を端末１００へ送信すると共に、端末１００でなされた撮像画像に基づく指示に応じたアノテーション画像ＡＮをプロジェクタ４０により対象物２００へ投影させる。そして、そのアノテーション画像ＡＮの視認性が確保されていない場合には、好適な投影態様に変更してアノテーション画像ＡＮを投影させる。
【００３８】
尚、サーバ５０は、図３に示すように、ＣＰＵ５０ａ、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic RAM)やＳＤＲＡＭ（Synchronous DRAM）、ＮＶＲＡＭ（Non Volatile RAM）等のＲＡＭ５０ｂ、フラッシュメモリ等のＲＯＭ(Read Only Memory)５０ｃ及び入出力を制御するＩ／Ｏインタフェース５０ｄやＬＡＮインタフェース５０ｅ等がバス５０ｆにより接続されたハードウェア構成により実現される。
【００３９】
したがって、ＣＰＵ５０ａがＲＡＭ５０ｂやＲＯＭ５０ｃ等の記憶装置に格納された所要のプログラムを読み込み、当該プログラムに従った演算を行うことにより、上述したサーバ５０の各機能が実現される。後述する端末１００のコンピュータ１２０ついても概ね同様の構成である。尚、このようなプログラムとしては後述するフローチャートに応じたプログラムとすることができる。また、同図に示すように、必要に応じて、バス５０ｆにＨＤＤ（ハードディスクドライブ）５０ｇ、ＣＤ−ＲＯＭドライブ５０ｈ、ＦＤドライブ５０ｉ、モデム５０ｊを接続するようにしてもよい。
【００４０】
端末１００は、図１に示すように、液晶ディスプレイやＣＲＴディスプレイ等からなる表示装置１１０、ネットワーク３００に接続されたコンピュータ１２０、コンピュータ１２０に接続されたポインティングデバイス（マウス）１３０等から構成されている。表示装置１１０及びポインティングデバイス１３０の動作はコンピュータ１２０によって制御される。
【００４１】
表示装置１１０は、その表示画面に対象物側装置１０から送信される撮像画像を表示する。
ポインティングデバイス１３０は、撮像画像が表示された表示画面においてポインタで各種ボタン等を操作することにより、対象物２００へ投影するアノテーション画像ＡＮに関する指示の形成を指定する操作に用いられる。
コンピュータ１２０は、撮像画像及び投影態様通知部５８で通知された投影態様を受信する受信部、撮像画像に対して行われたアノテーション画像の描画に関する描画指示等、各種指示を送信する送信部を含んで構成される。
【００４２】
次に、上記構成の指示システムの動作について図４から図６を参照して説明する。
【００４３】
まず、対象物側装置１０の動作について図４を参照して説明する。
図４は、対象物側装置１０のサーバ５０における処理の一例を示すフローチャートである。
【００４４】
サーバ５０は、図４に示すように、まず、ビデオカメラ２０のよる撮像画像の取り込みを開始し（ステップＳ１１）、端末１００のコンピュータ１２０から接続要求があるかを判断する（ステップＳ１２）。そして、サーバ５０は、コンピュータ１２０からの接続要求があったと判断した場合には、ビデオカメラ２０の撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信する（ステップＳ１３）。
【００４５】
サーバ５０は、次いで、コンピュータ１２０から描画指示の送信があるか否かを判断する（ステップＳ１４）。この描画指示は、アノテーション画像ＡＮの描画に関する指示である。サーバ５０は、上記の描画指示を受信した場合には、その描画指示の内容に応じて描画指示処理を行う（ステップＳ１５）。具体的には、描画指示に応じたアノテーション画像ＡＮを生成する。これにより、プロジェクタ４０に処理結果に基づくアノテーション画像ＡＮを投影させる。
【００４６】
一方、サーバ５０は、上記の描画指示を受信しない場合には、コンピュータ１２０から切断要求があるかを判断し（ステップＳ１６）、切断要求が無い場合には、ステップＳ１３に戻って新たな撮像画像をネットワーク３００を通じて端末１００のコンピュータ１２０へ送信し、切断要求があった場合には、ビデオカメラ２０の撮像画像の送信を停止する（ステップＳ１７）。そして、サーバ５０は、処理の終了要求があるかを判断し（ステップＳ１８）、終了要求がない場合には、ステップＳ１２に戻って上記の処理を繰り返し、終了要求があった場合には処理を終了する。
【００４７】
次に、端末１００の動作について図５及び図６を参照して説明する。
図５は、端末１００のコンピュータ１２０における画像形成における処理の一例を示すフローチャート、図６は、端末１００側の操作の一例を説明するための図である。
【００４８】
まず、図５に示すように、端末１００のコンピュータ１２０は、サーバ５０に対して接続要求を行う（ステップＳ２１）。次いで、コンピュータ１２０は、接続が完了した後、例えば、図６に示すように、対象物側のサーバ５０から送信される撮像画像１１１を表示装置１１０の画面上に表示する（ステップＳ２２）。尚、図６に示される撮像画像１１１は、テーブル７０の上に置かれた対象物２００ａ,２００ｂが、これらの上方に配置されたビデオカメラ２０によって撮像された画像を示している。
【００４９】
次いで、コンピュータ１２０は、表示装置１１０の画面上に表示された撮像画像１１１に対する操作者からのアノテーション画像ＡＮの描画指示があるかを判断し（ステップＳ２３）、アノテーション画像ＡＮの描画指示がある場合には、その描画指示に応じた処理を行う（ステップＳ２４）。
【００５０】
具体的には、端末１００の操作者は、図６に示すような表示装置１１０の画面上の撮像画像１１１を見ながら、画面上の指示画像としてのポインタＰｔをポインティングデバイス１３０の操作によって移動させ、アノテーション画像ＡＮを指示する。この指示は、例えば、ポインティングデバイス１３０を用いて画面上に形成された各種ボタンＢＴ等を操作することにより行われる。
【００５１】
アノテーション画像ＡＮの描画指示には、多角形や円、線分、矢印などの図形の描画を行わせる指示、あらかじめ用意されたビットマップ画像を投影させる指示、キーボードなどから入力されたテキスト画像の描画を行わせる指示、ポインティングデバイス１３０の動作を反映させた画像の描画を行わせる指示等がある。そして、コンピュータ１２０は、ステップＳ２４で特定された描画指示をサーバ５０へ送信する（ステップＳ２５）。
【００５２】
次いで、コンピュータ１２０は、端末１００でなされたビデオカメラ２０の撮像画像に基づく操作者による指示が完了したかを判断し（ステップＳ２６）、終了した場合には、サーバ５０に対して切断要求を行い（ステップＳ２７）、処理を終了する。端末１００の操作者による指示操作が終了していない場合には、ステップＳ２２に戻って上記の処理を繰り返す。
【００５３】
続いて、アノテーション画像ＡＮの投影態様を変化させる処理について図７から図１５を参照して説明する。
【００５４】
まず、視認性判定部５５の動作について図７から図１０を参照して説明する。
【００５５】
図７は、サーバ５０における視認性判定部５５の動作の一例を示すフローチャート、図８は、アノテーション画像ＡＮの投影例、図９は、アノテーション画像の他の投影例、図１０は、アノテーション画像ＡＮ等の比較を説明するための図である。尚、図７に示されるフローチャートは、図４に示されるステップＳ１５の処理に含められることが望ましい。後述するフローチャートについても同様である。
【００５６】
サーバ５０の視認性判定部５５は、まず、アノテーション画像ＡＮの投影部分の面積が閾値以下であるか否かを判定する（ステップＳ３１）。この閾値は予め設定すればよい。例えば、図８（ａ）に示すように、アノテーション画像ＡＮの形状が矢印である場合には、その矢印の面積が閾値以下であるか否かを判定する。また、図９（ａ）に示すように、アノテーション画像ＡＮの形状が円である場合には、その円の面積が閾値以下であるか否かを判定する。尚、円に代えて矩形を用いてもよい。
【００５７】
視認性判定部５５は、ステップＳ３１の処理において、投影部分の面積が閾値以下であると判定した場合、撮像画像を取得し、その撮像画像内におけるアノテーション画像ＡＮの部分を抽出する（ステップＳ３２）。この抽出処理は、既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出することで行われる。この抽出処理により、図８（ａ）や図９（ａ）に示すアノテーション画像ＡＮが抽出される。
【００５８】
視認性判定部５５は、次いで、ステップＳ３２の処理で抽出されたアノテーション画像ＡＮと、描画指示に係るアノテーション画像ＡＮの色を画素（ピクセル）ごとに比較する（ステップＳ３３）。具体的には、図１０に示すように、撮像画像に含まれる光学系としてのアノテーション画像ＡＮ１と、描画指示に係るデジタルデータとしてのアノテーション画像ＡＮ２とをこれらの画像特徴量に基づいて、パターンマッチング等により比較する。
【００５９】
視認性判定部５５は、ここで、色空間上における双方の距離が閾値以上となる画素の数が閾値以下であるか否かを判定する（ステップＳ３４）。具体的には、まず、アノテーション画像ＡＮを構成する双方の画素のうち、同じ部分の画素を比較する。色空間にあてはめて比較した結果、これらの画素の距離が、予め設定された閾値以上であるか否かを判定する。例えば、一方の画素が「黒」であり、他方の画素が「白」である場合、これらの画素の距離は相当離れており、予め設定された閾値以上である可能性が高い。そして、このような閾値以上である画素の数が、アノテーション画像ＡＮ全体を通していくつあるか計数し、この計数結果が閾値以下であるか否かを判定する。計数結果が閾値以下であれば、双方のアノテーション画像ＡＮの色は比較的近似していると判定され、アノテーション画像ＡＮの大きさが小さいことにより視認性が低減していると特定される。
【００６０】
視認性判定部５５は、さらに、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示であるか否かを判定する（ステップＳ３５）。
【００６１】
視認性判定部５５は、ステップＳ３５の処理において、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示でないと判定した場合、アノテーション画像ＡＮが小さいと判定する（ステップＳ３６）。例えば、図８（ａ）に示すように、アノテーション画像ＡＮの形状が矢印である場合には、円又は矩形でないと判定し、アノテーション画像ＡＮが小さいと判定する。この際、この判定結果に識別情報（例えば「００１」等）を付することが望ましい。
【００６２】
一方、視認性判定部５５は、ステップＳ３５の処理において、描画指示が円又は矩形のアノテーション画像ＡＮを投影させる描画指示であると判定した場合、アノテーション画像ＡＮが点等であり、かつ、小さいと判定する（ステップＳ３７）。例えば、図９（ａ）に示すように、アノテーション画像ＡＮの形状が円である場合には、円又は矩形であると判定し、アノテーション画像ＡＮがが点等であり、かつ、小さいと判定する。この際、この判定結果に識別情報（例えば「００２」等）を付することが望ましい。
【００６３】
尚、視認性判定部５５は、ステップＳ３１やステップＳ３４の処理において、投影部分の面積が閾値以下でない等と判定した場合には、視認性確保と判定する（ステップＳ３８）。この際、この判定結果に識別情報（例えば「０００」等）を付することが望ましい。
【００６４】
次に、投影態様特定部５６の動作について図１１及び図１２を参照して説明する。
【００６５】
図１１は、サーバ５０における好適投影態様特定部５６の動作の一例を示すフローチャート、図１２は、投影態様記憶部５７における投影態様テーブルの一例である。
【００６６】
好適投影態様特定部５６は、図１１に示すように、まず、アノテーション画像ＡＮの視認性が確保されているか否かを判定する（ステップＳ４１）。この判定は、例えば、上述した判定結果の識別情報が「０００」であるか否かを判定すればよい。
【００６７】
投影態様特定部５６は、ステップＳ４１の処理において、アノテーション画像ＡＮの視認性が確保されていないと判定した場合、すなわち、識別情報が「００１」や「００２」等である場合には、これらの判定結果に基づき、投影態様記憶部５７を検索する（ステップＳ４２）。
【００６８】
好適投影態様特定部５６は、次いで、判定結果に応じた投影態様を特定する（ステップＳ４３）。例えば、図１２に示すように、判定結果に係る識別情報が「００１」である場合には、投影態様「拡大して投影」を特定する。また、判定結果に係る識別情報が「００２」である場合には、投影態様「アノテーション画像を動画により投影」を特定する。これらの投影態様は、必要に応じて、適宜記憶させておけばよい。尚、判定結果に応じた投影態様がない場合には、投影態様を特定しない。
【００６９】
次に、投影態様通知部５８の動作について図１３及び図１４を参照して説明する。
【００７０】
図１３は、サーバ５０における投影態様通知部５８の動作の一例を示すフローチャート、図１４は、投影態様の変更を推薦する表示の一例である。
【００７１】
投影態様通知部５８は、図１３に示すように、まず、投影態様が特定されたか否かを判定する（ステップＳ５１）。この判定は、上述した好適投影態様特定部５６が投影態様を特定したか否かによって行われる。
【００７２】
投影態様通知部５８は、ステップＳ５１の処理において、投影態様が特定されたと判定した場合には、その投影態様を端末１００に通知する（ステップＳ５２）。この結果、図１４に示すように、表示装置１１０の画面上に、投影態様の変更を推薦する画面が表示される。図１４によれば、対象物２００ａに投影されたアノテーション画像ＡＮが小さくて見辛いと判定されたため、アノテーション画像ＡＮの大きさを変更することを推薦する旨の画面が表示される。
【００７３】
ここで、端末１００側の操作者がポインティングデバイス１３０を操作し、ポインタＰｔを移動させ、例えば「変更する」ボタンを指示すると、推薦された投影態様に変更する旨の変更指示が端末１００から送信される。逆に、「変更しない」ボタンを指示すると、推薦された投影態様に変更しない旨の変更指示が端末１００から送信される。
【００７４】
次に、指示受信部５３と投影制御部５４の動作について図１５と上述した図８及び図９を参照して説明する。
【００７５】
図１５は、指示受信部５３及び投影制御部５４の動作の一例を示すフローチャートである。
【００７６】
指示受信部５３は、まず、変更指示を受信したか否かを判定する（ステップＳ６１）。この判定は、上述したように、端末１００から投影態様を変更する旨の変更指示を受信したか否かによって行われる。したがって、変更しない旨の変更指示を受信した場合には、処理を終了する。
【００７７】
投影制御部５４は、ステップＳ６１の処理において、指示受信部５３が投影態様を変更する旨の変更指示を受信した場合には、その変更指示に応じたアノテーション画像の投影を行う（ステップＳ６２）。
【００７８】
例えば、図８（ａ）に示すように、アノテーション画像ＡＮが小さくて見辛いと判定されたものは、同図（ｂ）に示すように、アノテーション画像ＡＮの形状を拡大してプロジェクタ４０に投影させる。
【００７９】
また、図９（ａ）に示すように、アノテーション画像ＡＮの形状が点等であって、そのアノテーション画像ＡＮが小さくて見辛いと判定されたものは、そのアノテーション画像ＡＮを囲うような画像ＩＭを投影させる。そして、同図（ｂ）及び（ｃ）に示すように、アノテーション画像ＡＮを注視させるように、画像ＩＭの囲いを徐々に小さくしていく。これにより、画像ＩＭは動画のようになる。アノテーション画像ＡＮに接しない程度に小さくなった後、同図（ａ）に示すように、画像ＩＭの投影を初期の投影状態に戻す。尚、この画像ＩＭの形状は、円だけでなく、矩形や楕円等であってもよい。
【００８０】
（第２実施形態）
続いて、本発明の第２実施形態について図１６から図１８を参照して説明する。
【００８１】
図１６は、視認性判定部５５の動作の他の一例を示すフローチャート、図１７は、アノテーション画像等の比較処理を説明するための図、図１８は、投影態様変更前後のアノテーション画像ＡＮの投影例である。
【００８２】
本実施形態に係る指示システムは、撮像画像上におけるアノテーション画像ＡＮとそのアノテーション画像ＡＮによって指示された対象物２００ａとの色の関係について、描画指示に係るアノテーション画像ＡＮと撮像画像上の対象物２００ａとの色の組合せに基づいて、視認性が確保されているか否かを判定する点で、上述した第１実施形態と相違する。
【００８３】
視認性判定部５５は、図１６に示すように、まず、対象物２００ａ，２００ｂが載置されていないテーブル７０を含む対象領域内を撮像した画像を取得する（ステップＳ７１）。例えば、対象領域内に、図１７（ａ）に示すように、テーブル７０がある場合、ビデオカメラ２０はこれを撮像し、撮像されたこの画像を取得する。
【００８４】
視認性判定部５５は、次いで、対象物２００ａ，２００ｂが載置されたテーブル７０及びアノテーション画像ＡＮを含む撮像画像を取得し、アノテーション画像ＡＮの部分を抽出する（ステップＳ７２）。例えば、対象領域内に、図１７（ｂ）に示すように、アノテーション画像ＡＮが投影されている場合、ビデオカメラ２０はこれを撮像する。そして、この撮像画像から、図１７（ｃ）に示すように、アノテーション画像ＡＮの部分を抽出する。この抽出処理は既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出すればよい。
【００８５】
視認性判定部５５は、次いで、一時的にアノテーション画像ＡＮの投影を停止し、背景画像を取得する（ステップＳ７３）。この結果、視認性判定部５５は、図１７（ｄ）に示すように、背景画像を取得する。
【００８６】
視認性判定部５５は、次いで、背景画像の差分によりアノテーション画像ＡＮに指示された対象物を抽出する（ステップＳ７４）。具体的には、まず、図１７（ａ）に示すように、ステップＳ７１の処理で取得された、テーブル７０を含む撮像画像と、図１７（ｄ）に示すように、ステップＳ７３の処理で取得された背景画像との差分から、図１７（ｅ）に示すように、対象物２００ａ，２００ｂの画像を得る。そして、この対象物２００ａ，２００ｂの画像と、図１７（ｃ）で示す、ステップＳ７２で抽出されたアノテーション画像ＡＮと、比較により、アノテーション画像ＡＮによって指示された対象物２００ａ，２００ｂを特定する。この特定は、抽出されたアノテーション画像ＡＮの位置と大きさが既知であるため、取得された対象物２００ａ，２００ｂの画像の座標値と照らし合わせ、対象物２００ａ等にアノテーション画像ＡＮが被っているか否かを判定することで実現される。この結果、アノテーション画像ＡＮが対象物２００ａに被っている場合には、図１７（ｆ）に示すように、対象物２００ａがそのアノテーション画像ＡＮに指示された対象物となる。
【００８７】
視認性判定部５５は、次いで、描画指示に係るアノテーション画像ＡＮと、ステップＳ７４の処理で抽出された、対象物２００ａの画像（以下、被指示対象物という。）のコントラストと、撮像画像上でのアノテーション画像及び被指示対象物とのコントラストと、を色空間上で画素ごとに比較する（ステップＳ７５）。具体的には、図１７（ｇ）に示すように、撮像画像１１１上における光学系としてのアノテーション画像ＡＮ１と被指示対象物２００ａとのコントラストと、デジタルとしてのアノテーション画像ＡＮ２と抽出された被指示対象物２００ａとの組合せによるコントラストと、を比較する。
【００８８】
視認性判定部５５は、ここで、色空間上における双方の距離が予め設定された閾値以上離れているか否か判定する（ステップＳ７６）。
【００８９】
視認性判定部５５は、ステップＳ７６の処理において、双方の距離が予め設定された閾値以上離れていると判定した場合には、アノテーション画像ＡＮの投影色が指示対象の色と近似すると判定する（ステップＳ７７）。この際、この判定結果に識別情報（例えば「００３」等）を付することが望ましい。
【００９０】
一方、視認性判定部５５は、ステップＳ７５の処理において、双方の距離が予め設定された閾値以上離れていると判定した場合には、視認性確保と判定する（ステップＳ７８）。
【００９１】
この結果、好適投影態様特定部５６が、ステップＳ７７の処理における判定結果に応じた投影態様を特定する。具体的には、図１２に示すように、識別情報「００３」に対応する投影態様「投影色の変更」を特定する。そして、投影制御部５４がこの投影態様に応じたアノテーション画像ＡＮの投影をプロジェクタ４０に行わせる。
【００９２】
したがって、図１８（ａ）に示すように、アノテーション画像ＡＮの色と、このアノテーション画像ＡＮによって指示された対象物２００ａの色とのコントラストが高くない場合に、図１８（ｂ）に示すように、アノテーション画像ＡＮの色を、対象物２００ａの色に対してコントラストが高くなるように変更する。この変更は、例えば、補色関係となるようにすることが望ましい。
【００９３】
（第３実施形態）
続いて、本発明の第３実施形態について図１９及び図２０を参照して説明する。
【００９４】
図１９は、視認性判定部５５の動作の他の一例を示すフローチャート、図２０は、投影態様変更前後のアノテーション画像ＡＮの投影例である。
【００９５】
本実施形態に係る指示システムは、対象領域内に投影された文書や表等のアノテーション画像ＡＮが劣化している場合に、この劣化を抑制し得る投影態様に変更する点で、上述した第１実施形態、第２実施形態と相違する。
【００９６】
視認性判定部５５は、まず、図１９に示すように、アノテーション画像ＡＮが、画像であるか否かを判定する（ステップＳ８１）。この判定処理は、アノテーション画像ＡＮが、あらかじめ用意されたビットマップ画像から構成されたものであるか否かを判定すればよい。ここで、画像には、文字、文字列、表、グラフ、写真等が含まれる。尚、ビットマップ画像は一例であり、例えばＴＩＦＦやＪＰＥＧ等の画像形式であってもよい。
【００９７】
視認性判定部５５は、ステップＳ８１の処理において、アノテーション画像ＡＮが画像であると判定した場合、撮像画像を取得し、投影された表等の画像を抽出する（ステップＳ８２）。この抽出処理は、既知であるアノテーション画像の位置と大きさから撮像画像内の該当箇所を抽出することで行われる。
【００９８】
視認性判定部５５は、次いで、デジタルデータとしての画像と、ステップＳ８２の処理で抽出された光学系としての画像とを比較し、画質の劣化を評価する。この評価手法は、例えばＰＳＮＲ（Peak Signal to Noise Ratio）等の既存手法を用いればよい。
【００９９】
視認性判定部５５は、ここで、画質の劣化が、予め設定された閾値以上であるか否かを判定する（ステップＳ８４）。
【０１００】
視認性判定部５５は、ステップＳ８４の処理において、画質の劣化が、予め設定された閾値以上であると判定した場合には、投影された画像が劣化していると判定する（ステップＳ８５）。この際、この判定結果に識別情報（例えば「００４」等）を付することが望ましい。
【０１０１】
一方、視認性判定部５５は、ステップＳ８４の処理において、双方の距離が予め設定された閾値以上離れていないと判定した場合には、視認性確保と判定する（ステップＳ８６）。
【０１０２】
この結果、好適投影態様特定部５６が、ステップＳ８５の処理における判定結果に応じた投影態様を特定する。具体的には、識別情報「００４」に対応する投影態様を特定すればよい。この投影態様には、例えば、「画像の大きさを変える」こと、「コントラストの良い場所に移動する」こと、「解像度の高い画像を再送する」こと、「画像中のＲＯＩ（Region of Interest：着目領域）のみを対象領域内に投影する」こと等が含まれる。これらは、適宜、投影態様記憶部５７に記憶させておけばよい。そして、投影制御部５４がこの投影態様に応じたアノテーション画像ＡＮの投影をプロジェクタ４０に行わせる。
【０１０３】
具体的には、図２０（ａ）に示すように、グラフの画像ＩＭＧの画質が劣化により好ましくない場合に、図２０（ｂ）に示すように、グラフの画像ＩＭＧの画質が好ましくなるように変更する。この変更は、同図（ｂ）においては、解像度の高いグラフの画像を再送し、投影させている。
【０１０４】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、本発明のプログラムを通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。例えば、上述した各実施形態に係るサーバを選択的に組み合わせて構成するようにしてもよい。
【０１０５】
また、第２実施形態及び第３実施形態において、好適投影態様特定部５６の動作を変更するようにしてもよい。具体的には、図２１に示すようにステップＳ９２の処理において、判定結果に基づいて投影態様記憶部５７を検索した後、検索結果に応じた、対象候補となり得る投影態様のアノテーション画像ＡＮをプロジェクタ４０に順次投影させ、視認性判定処理を行う。そして、ステップＳ９３の処理において、対象候補となり得る投影態様がなくなったときに、ステップＳ９６の処理において、判定結果に応じた投影態様を特定するようにしてもよい。
【０１０６】
対象物の色と補色関係にある、色相対比が強い色のアノテーション画像ＡＮを推薦されても、その色を望まない利用者に他の投影態様の候補が推薦される点で好ましい。また、グラフ等の画像においては、投影位置を変更していったり、画像の大きさを変更していったりするようにしてもよい。尚、色相対比とは、異なる色相の色を組み合わせたときに生じる対比効果のことをいう。
【図面の簡単な説明】
【０１０７】
【図１】指示システムの実施形態を示す構成図である。
【図２】サーバの要部構成を例示するブロック図である。
【図３】サーバのハードウェア構成を例示するブロック図である。
【図４】対象物側装置のサーバにおける処理の一例を示すフローチャートである。
【図５】端末のコンピュータにおける画像形成における処理の一例を示すフローチャートである。
【図６】端末側の操作の一例を説明するための図である。
【図７】サーバにおける視認性判定部の動作の一例を示すフローチャートである。
【図８】アノテーション画像の投影例である。
【図９】アノテーション画像の他の投影例である。
【図１０】アノテーション画像等の比較を説明するための図である。
【図１１】サーバにおける好適投影態様特定部の動作の一例を示すフローチャートである。
【図１２】投影態様記憶部における投影態様テーブルの一例である。
【図１３】サーバにおける投影態様通知部の動作の一例を示すフローチャートである。
【図１４】投影態様の変更を推薦する表示の一例である。
【図１５】指示受信部及び投影制御部の動作の一例を示すフローチャートである。
【図１６】視認性判定部の動作の他の一例を示すフローチャートである。
【図１７】アノテーション画像等の比較処理を説明するための図である。
【図１８】投影態様変更前後のアノテーション画像の投影例である。
【図１９】視認性判定部の動作の他の一例を示すフローチャートである。
【図２０】投影態様変更前後のアノテーション画像ＡＮの投影例である。
【図２１】好適投影態様特定部の動作の一例を示すフローチャートである。
【符号の説明】
【０１０８】
１０  対象物側装置
２０  ビデオカメラ
４０  プロジェクタ
５０  サーバ
５１  撮像制御部
５２  画像送信部
５３  指示受信部
５４  投影制御部
５５  視認性判定部
５６  好適投影態様特定部
５７  投影態様記憶部
５８  投影態様通知部
６５  ハーフミラー
７０  テーブル
１００  端末
１１０  表示装置
１１１  撮像画像
１２０  コンピュータ
１３０  ポインティングデバイス
２００、２００ａ、２００ｂ  対象物
３００  ネットワーク
ＡＮ、ＡＮ１、ＡＮ２  アノテーション画像
Ｐｔ  ポインタ
ＢＴ  ボタン
【図１】
2010079550.tif 000003
【図２】
2010079550.tif 000004
【図３】
2010079550.tif 000005
【図４】
2010079550.tif 000006
【図５】
2010079550.tif 000007
【図６】
2010079550.tif 000008
【図７】
2010079550.tif 000009
【図８】
2010079550.tif 000010
【図９】
2010079550.tif 000011
【図１０】
2010079550.tif 000012
【図１１】
2010079550.tif 000013
【図１２】
2010079550.tif 000014
【図１３】
2010079550.tif 000015
【図１４】
2010079550.tif 000016
【図１５】
2010079550.tif 000017
【図１６】
2010079550.tif 000018
【図１７】
2010079550.tif 000019
【図１８】
2010079550.tif 000020
【図１９】
2010079550.tif 000021
【図２０】
2010079550.tif 000022
【図２１】
2010079550.tif 000023