(57)【要約】【課題】対象物を撮像した撮像画像において、対象物の色の階調を表現できない白飛びが発生している領域を、対象物に表示すること。【解決手段】本発明は、対象物９を撮像する撮像装置５により撮像された撮像画像から、撮像画像を構成する画素の明度に基づいて、対象物９の色の階調を表現できない白飛び領域７０を検出する検出手段と、検出手段により検出された白飛び領域７０に、白飛び領域を表示する白飛び表示画像７１を生成する生成手段と、生成手段により生成された白飛び表示画像７１と、端末装置２に送信した撮像画像に写された対象物９に対して注釈を付与する、端末装置２から受信した注釈画像７２とを、撮像装置５が撮像する領域に投影する投影装置４を制御して、対象物９に投影させる投影制御手段と、を備える画像処理装置である。【選択図】図７
2010081320.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出する検出手段と、
前記検出手段により検出された前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する生成手段と、
前記生成手段により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域に投影する投影装置を制御して、前記対象物に投影させる投影制御手段と、
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項２】
前記生成手段は、前記撮像画像のうち前記白飛び領域以外の領域を構成する画素の明度より高い明度の色を用いて前記白飛び表示画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記生成手段は、前記撮像画像に写された前記対象物の色の補色を用いて前記白飛び表示画像を生成することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記検出手段は、前記撮像画像を構成する画素のＲＧＢ値が取り得る最大の値により表される領域を検出することを特徴とする請求項１から３のいずれか一項記載の画像処理装置。
【請求項５】
対象物を撮像する撮像装置と、
前記撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出し、検出した前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する画像処理装置と、
前記画像処理装置により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域の前記対象物に投影する投影装置と、
を備えることを特徴とする画像処理システム。
【請求項６】
対象物を撮像する撮像装置と、
前記撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出し、検出した前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する画像処理装置と、
前記画像処理装置から受信した前記撮像画像を表示し、前記撮像画像に写された前記対象物に対して注釈を付与する注釈画像を生成する端末装置と、
前記端末装置により生成された前記注釈画像と、前記画像処理装置により生成された前記白飛び表示画像とを、前記撮像装置が撮像する領域の前記対象物に投影する投影装置と、
を備えることを特徴とする指示システム。
【請求項７】
コンピュータを、
対象物を撮像する撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出する検出手段と、
前記検出手段により検出された前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する生成手段と、
前記生成手段により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域に投影する投影装置を制御して前記対象物に投影させる投影制御手段と、
として機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、指示システム、及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続されるクライアント（例えばコンピュータ）とを備える指示システムが知られている（例えば、特許文献１参照）。
【０００３】
この指示システムでは、サーバに接続されているビデオカメラが対象物を撮像し、ネットワークを介して撮像画像をクライアントに送信する。クライアントは、表示装置の表示画面に撮像画像を表示し、当該表示画面上に注釈画像などが書き込まれると、当該注釈画像をネットワークを介してサーバに送信する。サーバは受信した注釈画像をプロジェクタに送信し、プロジェクタは受信した注釈画像を対象物を含む投影領域の適切な位置（クライアントが、撮像画像の範囲内で注釈画像を書き込んだ位置に対応）に投影する。
【０００４】
また、特許文献２には、カメラとプロジェクタとを備えた情報呈示装置において、カメラの撮影範囲内の照明が十分でない場合に、プロジェクタが投影処理を行っていない間、プロジェクタが上記撮影範囲に照明を当ることで、多数のユーザが同時且つ良好に情報を確認することを可能とする技術が開示されている。
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】特開２００７−２０６６１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、対象物を撮像した撮像画像において、対象物の色の階調を表現できない白飛びが発生している領域を、対象物に表示する画像処理装置、画像処理システム、指示システム、及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１の画像処理装置は、対象物を撮像する撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出する検出手段と、前記検出手段により検出された前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する生成手段と、前記生成手段により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域に投影する投影装置を制御して、前記対象物に投影させる投影制御手段と、を備えることを特徴とする。
【０００７】
請求項２の画像処理装置は、請求項１に記載の画像処理装置において、前記生成手段は、前記撮像画像のうち前記白飛び領域以外の領域を構成する画素の明度より高い明度の色を用いて前記白飛び表示画像を生成することを特徴とする。
【０００８】
請求項３の画像処理装置は、請求項１または２に記載の画像処理装置において、前記生成手段は、前記撮像装置に写された前記対象物の色の補色を用いて前記白飛び表示画像を生成することを特徴とする。
【０００９】
請求項４の画像処理装置は、請求項１から３のいずれか一項に記載の画像処理装置において、前記検出手段は、前記撮像画像を構成する画素のＲＧＢ値が取り得る最大の値により表される領域を検出することを特徴とする。
【００１０】
請求項５の画像処理システムは、対象物を撮像する撮像装置と、前記撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出し、検出した前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する画像処理装置と、前記画像処理装置により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域に投影する投影装置と、を備えることを特徴とする画像処理システム。
【００１１】
請求項６の指示システムは、対象物を撮像する撮像装置と、前記撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出し、検出した前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する画像処理装置と、前記画像処理装置から受信した前記撮像画像を表示し、前記撮像画像に写された前記対象物に対して注釈を付与する注釈画像を生成する端末装置と、前記端末装置により生成された前記注釈画像と、前記画像処理装置により生成された前記白飛び表示画像とを、前記撮像装置が撮像する領域に投影する投影装置と、を備えることを特徴とする指示システム。
【００１２】
請求項７の画像制御プログラムは、コンピュータを、対象物を撮像する撮像装置により撮像された撮像画像から、前記撮像画像を構成する画素の明度に基づいて、前記対象物の色の階調を表現できない白飛び領域を検出する検出手段、前記検出手段により検出された前記白飛び領域に、前記白飛び領域を表示する白飛び表示画像を生成する生成手段、前記生成手段により生成された前記白飛び表示画像と、端末装置に送信した前記撮像画像に写された前記対象物に対して注釈を付与する、前記端末装置から受信した注釈画像とを、前記撮像装置が撮像する領域に投影する投影装置を制御して投影させる投影制御手段、として機能させることを特徴とする画像処理プログラム。
【発明の効果】
【００１３】
請求項１の発明によれば、撮像画像に発生している白飛びの領域を、対象物に表示できる。
【００１４】
請求項２の発明によれば、本発明を用いない場合に比べて、白飛びが発生している領域を対象物に明確に表示できる。
【００１５】
請求項３の発明によれば、本発明を用いない場合に比べて、白飛びが発生している領域を対象物に明確に表示できる。
【００１６】
請求項４の発明によれば、本発明を用いない場合に比べて、撮像画像に発生している白飛び領域を、精度よく検出できる。
【００１７】
請求項５の発明によれば、撮像画像に発生している白飛びの領域を、対象物に表示できる。
【００１８】
請求項６の発明によれば、撮像画像に発生している白飛びの領域を、対象物に表示できる。
【００１９】
請求項７の発明によれば、撮像画像に発生している白飛びの領域を、対象物に表示できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２１】
図１は、本発明の実施の形態に係る指示システムの構成を示すブロック図である。
【００２２】
図１の指示システムは、サーバとして機能する画像処理装置１、クライアントとして機能する端末装置２を備えており、これらは、通信網３を介して互いに接続されている。画像処理装置１及び端末装置２は、例えばパーソナルコンピュータ（ＰＣ）を用いることができる。画像処理装置１には、プロジェクタなどの投影装置４、ビデオカメラなどの撮像装置５、スピーカーなどの音声出力装置７、及びマイクなどの音声入力装置８が接続されている。画像処理装置１、投影装置４、及び撮像装置５を含むシステムが画像処理システム６である。
【００２３】
投影装置４は、画像処理装置１からの制御コマンドに基づいて、対象物９に対して、ハーフミラー１１を介して全面黒色の画像、白飛び表示画像、及び注釈画像（アノテーション画像）などを投影する。なお、白飛び表示画像とは、撮像装置５により対象物９を撮像した撮像画像に白飛びが発生している場合に、白飛びが発生している領域を対象物９に表示する画像である。また、注釈画像には、線、文字、記号、図形、色、及び／又は書体などのあらゆる態様の画像を含んでもよい。
【００２４】
撮像装置５は、対象物９をハーフミラー１１を介して撮像し、撮像画像を画像処理装置１に送信する。なお、投影装置４と撮像装置５とは、ハーフミラー１１を介して画角と光軸とを一致させている。即ち、図１において、投影装置４は、撮像装置５が撮像する領域に投影する。なお、図２のように、ハーフミラー１１を介さずに、投影装置４の投影領域と撮像装置５の撮像領域とが一致するように、投影装置４と撮像装置５とを配置してもよい。
【００２５】
音声出力装置７は、端末装置２に接続されているマイクなどの音声入力装置１５から入力された、端末装置２のユーザからの指示などの音声を出力する。音声入力装置８は、画像処理装置１のユーザからの指示などの音声を入力し、端末装置２に接続されているスピーカーなどの音声出力装置１４へ出力する。
【００２６】
画像処理装置１は、撮像装置５により撮像された撮像画像を通信網３を介して端末装置２に送信する。また、画像処理装置１は、撮像画像に白飛びが発生している領域を検出し、白飛びが発生している領域に白飛び表示画像を生成し、投影装置４により、対象物９に白飛び表示画像を投影させる。
【００２７】
端末装置２は、表示装置１２、音声出力装置１４、及び音声入力装置１５に接続されている。表示装置１２は、例えば有機ＥＬ、液晶モニタ又はＣＲＴで構成されるディスプレイなどからなり、撮像画像の表示領域１６及びユーザーインターフェース（ＵＩ）１３を表示する。なお、端末装置２は、表示装置１２を備える一体型のパーソナルコンピュータで構成していてもよい。
【００２８】
音声出力装置１４は、画像処理装置１に接続されている音声入力装置８から入力された、画像処理装置１のユーザからの指示などの音声を出力する。音声入力装置１５は、端末装置２のユーザからの指示などの音声を入力し、画像処理装置１に接続されている音声出力装置７へ出力する。画像処理装置１側のユーザと端末装置２側のユーザとは、それぞれ音声出力装置７及び音声入力装置８、並びに音声出力装置１４及び音声入力装置１５を使って、互いに音声でコミュニケーションをとることができる。
【００２９】
ＵＩ１３は、ペン、テキスト、及び消去などのボタン群と、注釈画像の線種や色種を定めるためのアイコンとを含む。表示領域１６には、撮像装置５で撮像された撮像画像が表示される。図１においては、対象物９や台座１０などを撮像装置５により撮像した撮像画像が表示領域１６に表示されている。例えば、後述する端末装置２の操作部４３によってＵＩ１３のペンボタンが押下されて、表示領域１６内のある位置（例えば対象物９上）に図形などが記載されると、当該図形の情報は端末装置２から通信網３を介して画像処理装置１に送信される。投影装置４は、画像処理装置１からの当該図形の情報に基づいて、その図形が描かれた位置に対応する位置（例えば対象物９上）に図形を描く。
【００３０】
また、端末装置２は、画像処理装置１に対して制御コマンドを出力し、投影装置４及び撮像装置５の動作（例えば、撮像装置５の撮像角度及び撮像画像の明るさ、並びに投影装置４の投影画像の明るさなど）を制御できてもよい。
【００３１】
なお、図１においては、クライアントは、端末装置２の１台が記載されているが、指示システムは、複数のクライアント（端末装置）を備えていてもよく、勿論それらクライアントの一部又は全てが遠隔地にあっても構わない。
【００３２】
次に、図３に、画像処理装置１及び端末装置２の機能構成を示すブロック図を示す。
【００３３】
図３を参照に、画像処理装置１は、制御部３０、送受信部３１、記憶部３２、及び仲介部３３を備えている。また、表示部３４を更に備えていてもよい。制御部３０は、装置全体を制御すると共に、投影装置４、撮像装置５、音声出力装置７、及び音声入力装置８の動作を制御する。送受信部３１は、制御部３０から入力された情報などを、通信網３を介して端末装置２に送信する。また、送受信部３１は、端末装置２から送信された情報などを、通信網３を介して受信し、当該情報を制御部３０に出力する。記憶部３２は、制御部３０の動作を制御する制御プログラムを記憶するとともに、制御部３０から入力された情報などを記憶する。仲介部３３は、制御部３０と、投影装置４、撮像装置５、音声出力装置７、及び音声入力装置８との接続を行う。表示部３４は、撮像装置５で撮像された撮像画像を、制御部３０の指示に基づき表示する。制御部３０は、送受信部３１、記憶部３２、仲介部３３、及び表示部３４に接続されており、さらに仲介部３３を介して投影装置４、撮像装置５、音声出力装置７、及び音声入力装置８に接続されている。
【００３４】
端末装置２は、制御部４０、送受信部４１、記憶部４２、操作部４３、及び仲介部４４を備えている。制御部４０は、装置全体を制御すると共に、音声出力装置１４、音声入力装置１５、及び表示装置１２の動作を制御する。送受信部４１は、制御部４０から入力され情報などを、通信網３を介して画像処理装置１に送信する。また、送受信部４１は、画像処理装置１から送信された情報などを、通信網３を介して受信し、当該情報を制御部４０に出力する。記憶部４２は、制御部４０の動作を制御する制御プログラムを記憶するとともに、制御部４０から入力された情報などを記憶する。操作部４３は、例えば注釈画像などのコマンドを制御部４０に入力する。仲介部４４は、制御部４０と、音声出力装置１４、音声入力装置１５、及び表示装置１２との接続を行う。制御部４０は、送受信部４１、記憶部４２、操作部４３、及び仲介部４４に接続されており、さらに仲介部４４を介して音声出力装置１４、音声入力装置１５、及び表示装置１２に接続されている。
【００３５】
図４（ａ）は、画像処理装置１のハードウエア構成を示すブロック図であり、図４（ｂ）は、端末装置２のハードウエア構成を示すブロック図である。
【００３６】
図４（ａ）を参照に、画像処理装置１は、装置全体を制御するＣＰＵ（Central Processing Unit）５１、制御プログラムを備えるＲＯＭ（Read Only Memory）５２、ＣＰＵの作業領域（ワーキングエリア）として機能するＲＡＭ（Random Access Memory）５３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ：Hard Disk Drive）５４、他のコンピュータと接続するためのネットワークインターフェース５６、及びＵＳＢ機器と接続するためのＵＳＢ（Universal Serial Bus）インターフェース５８を備えている。ＣＰＵ５１は、システムバス５９を介してＲＯＭ５２、ＲＡＭ５３、ハードディスクドライブ（ＨＤＤ）５４、ネットワークインターフェース５６、及びＵＳＢインターフェース５８に接続されている。画像処理装置１は、ＵＳＢインターフェース５８を介して投影装置４、撮像装置５、音声出力装置７、及び音声入力装置８に接続されている。なお、画像処理装置１は、キーボード及びマウス５５、並びにディスプレイ５７を更に備えていてもよい。
【００３７】
図３における、制御部３０は、制御プログラムに従って各種の処理を実行するＣＰＵ５１に相当する。送受信部３１は、ネットワークインターフェース５６に相当する。記憶部３２は、ＲＯＭ５２、ＲＡＭ５３、及びハードディスクドライブ（ＨＤＤ）５４に相当する。仲介部３３は、ＵＳＢインターフェース５８に相当する。表示部３４は、ディスプレイ５７に相当する。
【００３８】
図４（ｂ）を参照に、端末装置２は、装置全体を制御するＣＰＵ６１、制御プログラムを備えるＲＯＭ６２、作業領域として機能するＲＡＭ６３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）６４、キーボード及びマウス６５、他のコンピュータと接続するためのネットワークインターフェース６６、及びＵＳＢ機器と接続するためのＵＳＢインターフェース６７を備えている。ＣＰＵ６１は、システムバス６８を介してＲＯＭ６２、ＲＡＭ６３、ハードディスクドライブ（ＨＤＤ）６４、キーボード及びマウス６５、ネットワークインターフェース６６、及びＵＳＢインターフェース６７に接続されている。端末装置２は、ＵＳＢインターフェース６７を介して音声出力装置１４、音声入力装置１５、及び表示装置１２に接続されている。
【００３９】
図３における、制御部４０は、制御プログラムに従って各種の処理を実行するＣＰＵ６１に相当する。送受信部４１は、ネットワークインターフェース６６に相当する。記憶部４２は、ＲＯＭ６２、ＲＡＭ６３、及びハードディスクドライブ（ＨＤＤ）６４に相当する。操作部４３は、キーボード及びマウス６５に相当し、仲介部４４は、ＵＳＢインターフェース６７に相当する。
【００４０】
図５は、画像処理装置１の制御部３０において、ＣＰＵ５１などのハードウエアとＲＯＭ５２などに記憶されたソフトウエアの協働によって実現される機能を示すブロック図である。
【００４１】
図５を参照に、制御部３０は、画像取得部３５、検出部３６（検出手段）、生成部３７（生成手段）、重畳部３８、及び投影制御部３９（投影制御手段）を備えている。画像取得部３５は、撮像装置５により対象物９を撮像した撮像画像を取得する。検出部３６は、画像取得部３５で取得した撮像画像に発生している白飛び領域を検出する。なお、白飛び領域とは、前述したように、対象物９の色の階調を表現できない領域のことをいう。言い換えると、撮像装置５に入射される光量が多すぎ露光過多となり、対象物９の色の明度が表現できない領域のことをいう。具体的には、例えば、対象物９を照らす光が対象物９で反射され、この反射光が写りこんだ領域のことをいう。生成部３７は、検出部３６で検出した白飛び領域に、白飛びが発生していることを表示する白飛び表示画像を生成する。重畳部３８は、生成部３７で生成した白飛び表示画像と、端末装置２から受信する注釈画像とを重畳させる。投影制御部３９は、重畳させた白飛び表示画像と注釈画像とを、投影装置４を制御して対象物９に投影させる。
【００４２】
次に、図６に、画像処理装置１及び端末装置２で実行される処理のフローチャートを示す。
【００４３】
まず、画像処理装置１で実行される処理を説明する。図６を参照に、画像処理装置１の制御部３０は、初期投影画像を投影装置４に出力し、投影装置４を制御して初期投影画像を投影領域に投影させる（ステップＳ１）。なお、初期投影画像とは、後述する図８（ｅ）に示すような、例えば全体が黒色の画像である。
【００４４】
次いで、制御部３０は、撮像装置５により対象物９を撮像した撮像画像を、送受信部３１及び通信網３を介して端末装置２に送信する（ステップＳ２）。その後、制御部３０は、白飛び表示画像を生成する照明処理を実行する（ステップＳ３）。ここで、図７のフローチャートを用い、照明処理について詳細に説明する。
【００４５】
図７を参照に、まず、制御部３０は、撮像装置５により対象物９を撮像した撮像画像を取得し（ステップＳ２０）、撮像画像中に照明処理を実行していない画素があるか否かを判断する（ステップＳ２１）。初めは、照明処理を実行していない画素しかないため、ステップＳ２２に進み、制御部３０は、撮像画像中の画素の明度の算出を行う（ステップＳ２２）。具体的な明度の算出方法として、例えば、制御部３０は、撮像画像の画素のＲＧＢデータから、ＲＧＢ値の最大値（Ｍａｘ（Ｒ、Ｇ、Ｂ））を算出して、この値に基づいて明度の算出を行うことができる。他の算出方法として、例えば、制御部３０は、撮像画像の画素のＲＧＢデータをＬ＊ａ＊ｂ＊データに変換し、Ｌ＊値に基づいて明度Ｌの算出を行うこともできる。また、その他の公知の明度の算出方法を用いてもよい。
【００４６】
次に、制御部３０は、ステップＳ２２で算出した明度が、予め設定された閾値以上であるか否かを判断する（ステップＳ２３）。つまり、明度の算出を行った画素に、白飛びが発生しているか否かを判断する。具体的には、例えば、ＲＧＢ値の最大値に基づいて明度を算出した場合、算出した明度が、ＲＧＢ値が取り得る最大の値であるか否かを判断する。例えば、ＲＧＢ値が８ｂｉｔで表される場合、算出した明度が、予め設定された閾値である２５５であるか否かを判断する。また、例えば、Ｌ＊値に基づいて明度Ｌを算出した場合、Ｌ＊値が予め設定された閾値（ＲＧＢ値が２５５である場合に対応するＬ＊値）以上であるか否かを判断する。明度が閾値以上であると判断された画素は、対象物９本来の色の階調が表現できない白飛び状態にあるとして検出される。なお、白飛び状態であるか否かを判断する明度の閾値は、上述した値に限らず、その他の任意の値を用いてもよい。例えば、対象物９が置かれた台座１０や対象物９の背景のＲＧＢ値又はＬ値を閾値として用いてもよい。
【００４７】
ステップ２３でＹｅｓと判断された場合、制御部３０は、明度が閾値以上である画素に対応する箇所を一定の色で表示する（ステップＳ２４）。その後、ステップＳ２１でＮｏと判断されるまで、ステップＳ２２からステップＳ２４を繰り返し実行する。このような照明処理を実行することで、白飛び状態にある領域を、一定の色で表示した白飛び表示画像が生成される。ここで、一定の色には、撮像画像のうち白飛び状態にある領域以外の領域の画素の明度より高い明度の色を用いることが好ましく、撮像画像に撮像された対象物９の色の補色を用いることが更に好ましい。
【００４８】
ここで、ステップＳ２０を実行するＣＰＵは、図５における画像取得部３５に相当する。ステップＳ２２及びＳ２３を実行するＣＰＵは、図５における検出部３６に相当し、ステップＳ２４を実行するＣＰＵは、図５における生成部３７に相当する。
【００４９】
ステップＳ２１で、照明処理を実行していない画素がない場合（Ｎｏ）には、照明処理を終了し、図６のステップＳ４の処理に進む。
【００５０】
図６に戻り、制御部３０は、端末装置２からコマンドを受信するまで待つ（ステップＳ４）。端末装置２からのコマンドは、具体的には、注釈画像のデータ及び当該データに基づく注釈画像の描画指示を含む。注釈画像のデータとは、注釈画像を描くために必要なベクトル情報又は座標情報などであり、例えば、注釈画像が円の場合、円の中心と半径の長さをテキスト化した情報である。
【００５１】
次に、制御部３０は、送受信部３１が端末装置２からコマンドを受信すると（ステップＳ５）、照明処理により生成した白飛び表示画像と当該コマンドに従った注釈画像との重畳処理を実行する（ステップＳ６）。その後、制御部３０は、重畳処理をした白飛び表示画像と注釈画像とを対象物９に投影させるため、投影装置４を制御する投影制御処理を実行する（ステップＳ７）。具体的には、制御部３０は、重畳処理をした白飛び表示画像と注釈画像とのデータを投影装置４に出力し、投影装置４に、このデータに基づいて画像を投影させる。
【００５２】
ここで、ステップＳ６を実行するＣＰＵは、図５における重畳部３８に相当し、ステップＳ７を実行するＣＰＵは、図５における投影制御部３９に相当する。
【００５３】
制御部３０は、予め設定された撮像画像の保存タイミングに達したか否かを判断する（ステップＳ８）。予め設定された撮像画像のタイミングとは、例えば、０．２秒毎に撮像画像を保存すると設定されている場合には、その０．２秒が経過するタイミングである。ステップＳ８でＹｅｓの場合には、制御部３０は、撮像装置５で撮像された撮像画像を記憶部３２に保存させる（ステップＳ９）。ステップＳ８でＮｏの場合には、ステップＳ４の処理に戻る。
【００５４】
制御部３０は、端末装置２からのコマンドに従って実行する処理が全て終了したかを判断し（ステップＳ１０）、ステップＳ１０でＮｏの場合には、ステップＳ４に戻る。ステップＳ１０でＹｅｓの場合には、画像処理装置１の処理を終了する。
【００５５】
次に、端末装置２で実行される処理を説明する。制御部４０は、操作部４３からコマンドの入力を受け付ける（ステップＳ１１）。制御部４０は、入力されたコマンドが注釈画像を描画する画面処理コマンドであるか否かを判断する（ステップＳ１２）。ステップＳ１２でＮｏの場合には、後述するステップＳ１５に進む。ステップＳ１２でＹｅｓの場合には、制御部４０は、当該画面処理コマンドに従って、注釈画像を表示装置１２の表示領域１６に描画する（ステップＳ１３）。
【００５６】
次に、制御部４０は、コマンドとしての注釈画像のデータを、送受信部４１及び通信網３を介して画像処理装置１に送信する（ステップＳ１４）。なお、画像処理装置１に送信されたコマンドは、上記ステップＳ５の処理で、画像処理装置１の送受信部３１で受信される。
【００５７】
制御部４０は、端末装置２で実行すべき処理が全て終了したか否かを判断し（ステップＳ１５）、ステップＳ１５でＮｏの場合には、ステップＳ１１に戻る。ステップＳ１５でＹｅｓの場合には、端末装置２の処理を終了する。
【００５８】
次に、図８（ａ）から図８（ｆ）を用いて、図６及び図７で説明した画像処理装置１及び端末装置２が行う処理を説明する。図８（ａ）及び図８（ｂ）は、撮像装置５により撮像された撮像画像の例を示し、図８（ｃ）及び図８（ｄ）は、対象物９を直接視認する場合の例を示し、図８（ｅ）及び図８（ｆ）は、投影装置４により投影される投影画像の例を示す。
【００５９】
図８（ａ）のように、撮像装置５の撮像範囲内に対象物９が置かれると、撮像装置５により対象物９が撮像される。この際、例えば、天井照明の光が対象物９で反射されることなどにより、対象物９の色の階調が表現できない白飛び領域７０が、撮像画像に発生する場合がある。
【００６０】
撮像画像で、図８（ａ）のように、白飛び領域７０が発生している場合でも、対象物９を直接視認しているユーザは、撮像装置５が設置されている場所と異なる場所に居る（つまり、対象物９を頂点として天井照明とユーザとのなす角度は、天井照明と撮像装置５とのなす角度と異なる）ため、図８（ｃ）のように、天井照明の光が対象物９で反射することなく、対象物９を見ることができる。
【００６１】
投影装置４は、初期状態においては、図８（ｅ）のような、例えば全面が黒色の画像である初期投影画像を投影している。ここで、画像処理装置１で図７で説明した照明処理が実行されて白飛び表示画像７１が生成されると、白飛び表示画像７１と注釈画像７２とが重畳されて投影装置４に入力される。投影装置４は、図８（ｆ）のような、重畳された白飛び表示画像７１と注釈画像７２とが描かれた投影画像を投影する。
【００６２】
投影装置４により、白飛び表示画像７１と注釈画像７２とが対象物９に投影されると、図８（ｄ）のようになる。また、白飛び表示画像７１と注釈画像７２とが対象物９に投影された後に、撮像装置５が撮像した撮像画像は、図８（ｂ）のようになる。図８（ｂ）及び図８（ｄ）のように、撮像画像に発生している白飛び領域７０は、白飛び表示画像７１により対象物９に表示される。
【００６３】
画像処理装置１及び端末装置２の機能を実現するためのソフトウエアのプログラムが記録されている記録媒体を、画像処理装置１及び端末装置２それぞれに供給し、画像処理装置１及び端末装置２のＣＰＵが記録媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤ、及びＳＤカードなどがある。
【００６４】
なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。
【図面の簡単な説明】
【００６５】
【図１】図１は本発明の実施の形態に係る指示システムの構成例を示すブロック図である。
【図２】図２は投影装置及び撮像装置の配置例を示す図である。
【図３】図３は画像処理装置及び端末装置の機能構成例を示すブロック図である。
【図４】図４（ａ）は画像処理装置のハードウエア構成例を示すブロック図であり、図４（ｂ）は端末装置のハードウエア構成例を示すブロック図である。
【図５】図５は画像処理装置の制御部の機能構成例を示すブロック図である。
【図６】図６は画像処理装置及び端末装置で実行される処理の一例を示すフローチャートである。
【図７】図７は図６のステップＳ３で実行される照明処理の一例を示すフローチャートである。
【図８】図８は図６及び図７で示された処理の一例を説明するための図である。
【符号の説明】
【００６６】
１  画像処理装置
２  端末装置
３  通信網
４  投影装置
５  撮像装置
６  画像処理システム
９  対象物
１０  台座
１１  ハーフミラー
１２  表示装置
３０  （画像処理装置）制御部
３１  （画像処理装置）送受信部
３２  （画像処理装置）記憶部
３３  （画像処理装置）仲介部（
３４  表示部
３５  画像取得部
３６  検出部（検出手段）
３７  生成部（生成手段）
３８  重畳部
３９  投影制御部（投影制御手段）
４０  （端末装置）制御部
４１  （端末装置）送受信部
４２  （端末装置）記憶部
４３  （端末装置）操作部
４４  （端末装置）仲介部
７０  白飛び領域
７１  白飛び表示画像
７２  注釈画像
【図１】
2010081320.tif 000003
【図２】
2010081320.tif 000004
【図３】
2010081320.tif 000005
【図４】
2010081320.tif 000006
【図５】
2010081320.tif 000007
【図６】
2010081320.tif 000008
【図７】
2010081320.tif 000009
【図８】
2010081320.tif 000010