(57)【特許請求の範囲】
【請求項１】
被写体を撮影するカメラとこのカメラによって取得された撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる撮影画像処理システムにおいて、
指示体、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、
少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、
前記指示体の３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部、
前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び
前記表示画像を前記モニタに転送する表示画像転送部が備えられている撮影画像処理システム。
【請求項２】
前記指示体３次元位置演算部は、前記撮影画像における前記指示体領域の大きさから前記指示体のカメラ光軸に沿ったＺ軸座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定することを特徴とする請求項１に記載の撮影画像処理システム。
【請求項３】
前記カメラと前記指示体との間の距離を測距計で測定し、指示体距離を取得する指示体距離取得部がさらに備えられ、かつ、前記指示体３次元位置演算部は、前記指示体距離から前記指示体のカメラ光軸に沿ったＺ座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定することを特徴とする請求項１に記載の撮影画像処理システム。
【請求項４】
被写体とカメラの間に指示体を配置した状態で前記カメラによって前記被写体と前記指示体とを撮影して得られた撮影画像を処理して生成された表示画像をモニタに転送する撮影画像処理システムための表示画像生成プログラムにおいて、
前記カメラから送られてきた前記撮影画像をメモリに記録する機能と、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する機能と、
少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する機能と、
前記メモリに展開されている撮影画像から前記指示体の３次元位置に基づいて特定される特定部分撮影画像を切り出す機能と、
前記特定部分撮影画像を前記表示画像として生成する機能と、
をコンピュータに実現させる表示画像生成プログラム。
【請求項５】
カメラと、被写体を撮影して取得された被写体撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる撮影画像処理システムにおいて、
指示体、
前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、
前記指示体領域検出部により前記指示体領域が検出されない場合に、前記被写体撮影画像を記録する画像記録部、
前記指示体領域が検出された場合に、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、
前記指示体の３次元位置に基づいて前記画像記録部から読み出された被写体撮影画像における特定部分撮影画像を特定する特定部、
前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び
前記表示画像を前記モニタに転送する表示画像転送部が備えられている撮影画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影するカメラによって取得された撮影画像を適宜処理して生成された表示画像をモニタに転送する画像処理技術に関する。
【背景技術】
【０００２】
従来より、被写体を撮影して表示する装置において、ユーザが何らかの指示を行うことにより被写体の表示形態を制御する技術の検討が行われてきている。例えば、書画等を被写体とし、被写体上の２点を指示ペンにより指定することで、指定された２点を対角線とする矩形領域を注目領域として決定し、注目領域を所定サイズに拡大表示するためにカメラのパン、チルト、ズーム等を制御する装置が知られている（特許文献１）。また、被写体の撮影時に、被写体（人物）が有しているリモコンの発光部を被写体と共に撮影し、撮影画面においてこの発光部が所定位置となるように、少なくとも撮影画面内に収まるように、カメラの画角を制御（ズーミング）する技術も知られている（特許文献２）。この装置によれば、被写体である人物は被撮影時に手にしているリモコンを上下左右に移動させることでカメラの画角を変更することができる。さらに、原稿のマーカ指定された領域のみを拡大／縮小して複写することのできるデジタル複写機（特許文献３）や、プロジェクタによる投影像の上にレーザポインタにより所定の形状を照射し、カメラによりその形状を認識し、プロジェクタの投影像を制御する装置（特許文献４）なども知られている。
【０００３】
【特許文献１】特開平０８−１２５９２１（段落番号００１０−００１１、図１）
【特許文献２】特開２００３−２８９４６４（要約、図３）
【特許文献３】特開２００４−２２１８９８（段落番号０００６）
【特許文献４】特開２００４−０７８６８２（要約、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、撮影位置を変更するには再度２点を指定する必要があり、表示領域を頻繁に変更する場合には操作が煩雑になる。また、カメラに対するリモートコントロール系が必要となる。特許文献２の技術は、撮影画面における被写体が所持しているリモコンの発光部が撮影画面の所定位置にくるようにカメラ画角を調整するだけであり、被写体に関係付けられる１つの点の撮影画面における位置を制御できるとしても、被写体に関係付けられる１つのエリアを自在に表示させるといった技術には無関係であるし、カメラ光学機構に対するリモートコントロール系が必要となる。特許文献３の技術は、原稿に直接マーカにより指示を行うため、直感的な操作を行うことができる。しかし、原稿に直接書き込んでいるために、容易に指示領域を変更することができず、操作性に問題がある。また、特許文献４の技術は、プロジェクタの投影像上のレーザポインタによる照射図形を認識して、投影光学系を制御する必要があり、さらにその認識精度が環境の影響を受けやすいという問題がある。
【０００５】
上記実状に鑑み、本発明の課題は、被写体を撮影して得られた撮影画像から、カメラを光学制御することなしに、被写体における任意のエリアを自在にモニタに表示することを可能にする画像処理技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、被写体を撮影するカメラとこのカメラによって取得された撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる、本発明による撮影画像処理システムは、任意の位置に配置される指示体、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、前記指示体の３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び前記表示画像を前記モニタに転送する表示画像転送部から構成されている。
【０００７】
上記構成による撮影画像処理システムでは、操作者は任意の位置に指示体を配置することができ、指示体が被写体とカメラの間に配置された場合には、指示体の３次元位置が演算され、この指示体の３次元位置に基づいて撮影画像における特定のエリアが特定部分撮影画像としてモニタに表示される。特定部分撮影画像をモニタに表示する際、特定部分撮影画像はモニタ、又はモニタ画面に設定された画像表示領域の表示解像度や表示サイズなどの表示特性に適合する表示画像に変換される。指示体のＸ−Ｙ座標位置に基づいて撮影画像における特定部分撮影画像の切り出し基準位置が、そして指示体のＺ座標位置に基づいて特定部分撮影画像の切り出しサイズが決定され、撮影画像から切り出された特定部分撮影画像が表示画像としてモニタに表示される。つまり、指示体を動かすことにより指示体のＸ−Ｙ座標位置が変化すると撮影画像から取り出される特定部分撮影画像の位置が変化し、指示体のＺ座標位置が変化すると撮影画像から取り出される特定部分撮影画像の大きさが変化する。従って、本発明によれば、操作者が被写体とカメラの間で指示体を所望の位置にもってくることにより、被写体の所望のエリアの被写体画像をモニタに表示することが可能となる。
【０００８】
前記指示体３次元位置演算部の好適な構成の１つでは、前記撮影画像における前記指示体領域の大きさから前記指示体のカメラ光軸に沿ったＺ軸座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定することにより、指示体の３次元位置が求められる。この指示体３次元位置演算部の構成では、カメラによって取得された撮影画像を画像解析するだけで指示体の３次元位置（Ｘ−Ｙ−Ｚ軸座標）を求めることができるので、装置の簡素化に有効である。
【０００９】
もちろん、物体の位置を測定するデバイスは数多く流通しており、物体までの距離を測定する測距計は、レーザー測距計や超音波測距計などのように非接触で高精度であるので、特にカメラと指示体までの距離を測定するためにこれを利用することも可能である。そのような実施形態の１つでは、前記カメラと前記指示体との間の距離を測距計で測定し、指示体距離を取得する指示体距離取得部がさらに備えられ、かつ、前記指示体３次元位置演算部は、前記指示体距離から前記指示体のカメラ光軸に沿ったＺ座標を算定し、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を前記撮影画像における前記指示体領域の位置から算定するように構成されている。この構成では、モニタにおける被写体の表示エリア、実際的には被写体のモニタ表示拡大率を決定づける指示体のＺ軸座標を高速かつ正確に行うことができるので、拡大縮小表示の操作がスムーズとなる。
【００１０】
上述した本発明による撮影画像処理システムの技術的特徴は、このシステムに用いられる撮影表示方法や、このシステムの画像処理装置に用いられる表示画像生成プログラムにも適用可能である。例えば、被写体とカメラの間に指示体を配置した状態で前記カメラによって前記被写体と前記指示体とを撮影して得られた撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置ための、本発明による表示画像生成プログラムは、前記カメラから送られてきた前記撮影画像をメモリに記録する機能と、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する機能と、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する機能と、前記メモリに展開されている撮影画像から前記指示体の３次元位置に基づいて特定される特定部分撮影画像を切り出す機能と、前記特定部分撮影画像を前記表示画像として生成する機能とをコンピュータに実現させる。当然ながら、このような表示画像生成プログラムも上述した撮影画像処理システムで述べた作用効果を得ることができ、さらにその実施形態例として上述したいくつかの付加的技術を組み込むことも可能である。
【００１１】
さらに、上記課題を解決するため、カメラと、被写体を撮影して取得された被写体撮影画像を処理して生成された表示画像をモニタに転送する画像処理装置とからなる、本発明による撮影画像処理システムは、任意の位置に配置される指示体、前記カメラによって取得された撮影画像から前記指示体の領域である指示体領域を検出する指示体領域検出部を備えると共に、前記指示体領域検出部により前記指示体領域が検出されない場合に、前記被写体画像を記録する画像記録部、前記指示体領域が検出された場合に、少なくとも前記指示体領域の検出情報を用いて前記指示体の３次元位置を演算する指示体３次元位置演算部、前記指示体の３次元位置に基づいて前記画像記録部から読み出された被写体撮影画像における特定部分撮影画像を特定する特定部、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部、及び前記表示画像を前記モニタに転送する表示画像転送部を備えている。この撮影画像処理システムでは、画像記録部に記録されている画像を液晶ディスプレイや大型スクリーンなどのモニタに表示する際に、カメラの前に位置する指示体の位置に応じて、その画像における表示領域を変更することができる。従って操作者がカメラの前で指示体を所望の位置にもってくることにより、被写体撮影画像の所望のエリアをモニタに表示することが可能となる。また、指示体が被写体と重なることにより被写体の一部がカメラから撮影されない場合がある。このような場合には、指示体がカメラの撮影空間外に配置されたときに被写体画像を記録しておき、指示体がカメラの撮影空間に配置された場合には記録された被写体画像を用いて表示画像を生成することにより、指示体の影響を排除することができる。
【発明を実施するための最良の形態】
【００１２】
本発明による撮影画像処理システムを学校教育支援システムに適用した例が図１に示されている。図１に示された教育現場では、教壇に立つ先生の周辺には、本発明による画像処理装置１として機能する教師側コンピュータと、この画像処理装置１に接続されているＵＳＢカメラ（以下単にカメラと称する）２が配置されている。カメラ２は机に置かれた教材としての世界地図を被写体３として写している。先生は指示体付き差し棒４を手にしており、この指示体付き差し棒４の先端には球状の指示体４ａが設けられている。各生徒の机には、画像処理装置１とネットワーク５を通じて接続された生徒側コンピュータ６が配置されており、生徒側コンピュータ６の液晶ディスプレイ（モニタの一例）６ａには、カメラ２で撮影され、画像処理装置１で画像処理された画像が表示可能である。さらにネットワーク５にはプロジェクタ７（モニタの一例）が接続されており、カメラ２で撮影され、画像処理装置１で画像処理された画像を教室正面に掛けられた大型スクリーン７ａに表示することができる。なお、先生の机には教師側コンピュータ１に接続された液晶ディスプレイ（モニタの一例）１ａも配置されており、先生はこの液晶ディスプレイ１ａを通じて生徒側コンピュータ６の液晶ディスプレイ６ａやプロジェクタ７によって大型スクリーン７ａに表示されている画像を確認することができる。
【００１３】
この撮影画像処理システムでは、先生が手にしている指示体付き差し棒４の指示体４ａをカメラ２の撮影視野内に入れた場合、被写体３をＸ−Ｙ軸面としカメラ光軸をＺ軸とする撮影空間における、その指示体４ａの３次元位置によって、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示される撮影画像の領域が変化するように構成されている。つまり、画像処理装置１は、以下に詳しく説明するが、カメラ２が被写体３を撮影することによって得られた、被写体全体を写した撮影画像を指示体４ａの３次元位置に基づいて処理して、被写体全体を、もしくは被写体の拡大された任意の部分を示す表示画像を生成し、その表示画像をモニタとして機能している液晶ディスプレイ１ａや６ａ、さらには大型スクリーン７ａに表示させる。つまり、カメラ２の撮影空間における指示体４ａのＸ−Ｙ軸座標が撮影画像から表示画像を取り出す際の基点となり、指示体４ａのＺ軸座標が撮影画像から表示画像のために取り出される領域の大きさを決定するように構成されている。従って、先生が指示体４ａを被写体３である世界地図の上方で右から左に移動させると、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示される世界地図も右から左に移動するように表示される。また、先生が指示体４ａを被写体３である世界地図の方に近づけると、表示される世界地図が拡大され、指示体４ａを世界地図から遠ざけると、表示される世界地図が縮小されたように表示される。もちろん、指示体４ａの被写体３である世界地図における左右移動と表示の左右移動の関係、及び被写体３に対する遠近移動と表示の拡縮の関係は、先の説明の逆にすることも可能である。
【００１４】
上述した学校教育支援システムに用いられている画像処理装置１の第１実施形態を図２の機能ブロック図を用いて説明する。この実施形態での画像処理装置１は、指示体４ａの３次元位置（Ｘ−Ｙ−Ｚ軸座標）を、カメラ２によって取得された撮影画像を画像処理することにより求めるように構成されている。
【００１５】
この画像処理装置１は、汎用コンピュータによって構成されており、その機能は、標準装備されているハードウエア、標準インストールされているＯＳ、及び特別にインストールされた表示画像生成プログラムによって実現される。この画像処理装置１の重要な働きは、カメラ２で取得された撮影画像を画像入力部１０での前処理を経て、メモリ１１に展開し、必要な画像処理を施して、表示画像として表示画像転送部５０からネットワーク５を通じて、生徒側コンピュータ６やプロジェクタ７に送り出すことである。このため、画像処理装置１には、カメラ２によって取得された撮影画像から当該撮影画像における指示体４ａの領域である指示体領域を検出する指示体領域検出部２０、この指示体領域検出部２０から与えられる指示体領域の検出情報を用いて指示体４ａの３次元位置を演算する指示体３次元位置演算部３０、求められた指示体４ａの３次元位置に基づいて前記撮影画像における特定部分撮影画像を特定する特定部４０Ａ、前記特定部分撮影画像を前記表示画像として生成する表示画像生成部４０Ｂが実質的にはソフトウエアの実行を通じて構築される。
【００１６】
指示体領域検出部２０は、指示体４ａが図３で模式化されているような撮影空間に配置された場合に、カメラ２によって取得されてメモリ１１に記録される図４に示すような撮影画像から、指示体４ａの画像領域である指示体領域を、物体検出アルゴリズムを通じて検出する。輝度情報からだけで指示体領域を検出し易くするためには、指示体４ａを再帰性反射材料で作るとよい。また、指示体４ａをＬＥＤなど自己発光体として作製してもよく、そのような自己発光体も含め、カメラによって撮影される表示態様の指標となる物体を、本発明では指示体４ａと呼ぶことにしている。
【００１７】
指示体領域検出部２０によって出力される検出情報を用いて指示体４ａの３次元位置を演算するために、指示体３次元位置演算部３０は、指示体領域の大きさ（面積）を演算するとともにこの指示体領域の大きさからカメラ光軸に沿ったＺ軸座標を算定するＺ座標演算部３２と、前記指示体領域の重心位置といった所定位置を演算するとともにこの所定位置：（ｘ0,ｙ0）と前記Ｚ軸座標とに基づいて、前記指示体４ａの前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標を算定するＸＹ座標演算部３１とを備えている。Ｚ座標演算部３２は、カメラ２の光学的特性と実際の指示体４ａの大きさがわかっていれば、その撮影画像における大きさでカメラ２からの距離を求めること可能であることを利用しており、予めそのＺ軸での位置と撮影画像における大きさを測定しておきテーブル化又は関数化しておくと好都合である。例えば、関数化している場合、その指示体領域の大きさをＳとすると、Ｚ軸座標：ｚは、ｚ＝ｆ(Ｓ)で簡単に求めることができる。また、ＸＹ座標演算部３１は、カメラ２の光学的特性がわかっていると、算定されたＺ軸座標：ｚと、撮影画像における指示体領域の所定位置：（ｘ0,ｙ0）とから、前記Ｚ軸座標におけるカメラ光軸横断面でのＸ−Ｙ軸座標：（ｘ＝ｇ(ｘ0,ｙ0,ｚ）, ｙ＝ｈ(ｘ0,ｙ0,ｚ）を求めることができる。これにより、指示体３次元位置演算部３０は、検出情報から指示体４ａの３次元位置：（ｘ,ｙ,ｚ)を求めて、特定部４０Ａに与えることができる。
【００１８】
特定部４０Ａは、指示体３次元位置演算部３０から与えられた指示体４ａの３次元位置に基づいてメモリ１１に展開されている撮影画像から生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタでの表示画像とするための特定部分撮影画像を特定する。そのために、特定部４０Ａは、特定部分撮影画像の位置とサイズを含む切り出し情報を生成する切り出し情報生成部４１と、この切り出し情報を一時的に記憶する切り出し情報記憶部４２とを備えている。表示画像生成部４０Ｂは、特定部４０Ａから受け取った切り出し情報に基づき、表示画像を生成する。そのため、表示画像生成部４０Ｂは、切り出し情報生成部４１から直接受け取った切り出し情報又は切り出し情報記憶部４２から読み出した切り出し情報に基づいてメモリ１１上の撮影画像から特定部分撮影画像を切り出す特定部分撮影画像切り出し部４３と、切り出された特定部分撮影画像を生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタでの表示画像に適合するように画像変換する画像変換部４４とを備えている。
【００１９】
切り出し情報生成部４１は、被写体３は日本地図となっている図５で模式的に示されているように、３次元位置：（ｘ,ｙ,ｚ）の値ｘ,ｙ（単位はドット）で定まる点から所定量：Δｘ，Δｙだけオフセットされた位置：（ｘ＋Δｘ，ｙ＋Δｙ）を切り出し基準点Ｐとし、３次元位置：（ｘ,ｙ,ｚ）の値ｚ（単位はｃｍ）によって導かれる数値：ｍとｎ（単位はドット）を撮影画像から切り出される特定部分撮影画像の大きさ、つまり切り出しサイズｍ×ｎとする切り出し情報を生成する。特定部分撮影画像は、基準点Ｐを基点とする横×縦がｍ×ｎとなる矩形形状である。また、オフセット量は、任意に設定可能であり、オフセットゼロの場合、指示体領域の所定位置が切り出し基準点となる。値ｚと数値：ｎとｍの関係は、この実施の形態では、逆比例の関係となっており、図５の（ａ）では、ｚ＝２０ｃｍで、ｍ＝４５０、ｎ＝３００のサイズが示され、図５の（ｂ）では、ｚ＝１０ｃｍで、ｍ＝９００、ｎ＝６００のサイズが示され、図５の（ｃ）では、ｚ＝５ｃｍで、ｍ＝１８００、ｎ＝１２００のサイズが示されている。従って、指示体４ａがカメラ２から遠ざかり、結果的に、指示体４ａが被写体３に近づくほど、拡大された被写体３の撮影画像が表示されることになる。このような切り出し情報に基づいて特定部分撮影画像切り出し部４３によって、メモリ１１上の撮影画像から切り出された特定部分撮影画像は、画像変換部４４において、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタにおける表示画面特性に合わせて、間引き処理や補間処理などを施されたのち、表示画像として出力される。つまり、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａなどのモニタ画面には、撮影画像から切り出された特定部分撮影画像だけが表示されるので、図５から理解できるように、切り出された特定部分撮影画像のサイズが小さいほど、大きな拡大率で拡大された被写体３を表示することになる。この特定部分撮影画像は、先生側のモニタである液晶ディスプレイ１ａにも表示されるので、先生はこのモニタ画面を確認しながら指示体４ａの位置を動かすことで、被写体３における所望の領域だけが拡大された画像を生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示させることができる。
【００２０】
切り出し情報記憶部４２には、切り出し情報生成部４１で生成された最新の切り出し情報が記憶されているので、もし指示体領域検出部２０で撮影画像から指示体領域の検出ができなかった場合には、特定部分撮影画像切り出し部４３は、切り出し情報記憶部４２から読み出した切り出し情報に基づいて特定部分撮影画像を切り出すように切り換えられる。そして、再び指示体領域が検出されると解除信号が発生され、特定部分撮影画像切り出し部４３は、直接切り出し情報生成部４１から受け取った切り出し情報に基づいて特定部分撮影画像を切り出すように切り換えられる。この構成により、先生が現状で表示されている画像をそのままの状態で保持したい場合には、指示体４ａを素早くカメラ２の撮影視野外に移動させるだけでよい。また、指示体領域の検出の可否にかかわらず現時点の表示画像をそのままにしておきたい場合には、表示保持スイッチ８をＯＮ操作することにより、切り出し情報記憶部４２に記憶されている切り出し情報を一時的に固定するような構成を採用することも可能である。この場合、従来の状態に復帰するためには、表示保持スイッチ８をＯＦＦ操作して、切り出し情報記憶部４２における切り出し情報の一時保持を解除する解除信号を強制的に発生させるようにするとよい。表示保持スイッチ８としては、キーボードの特定のキーを割り当てるとよい。解除信号により切り出し情報が消去されることにより、解除信号を発生した際に、指示体４ａが検出されなければ、撮影画像がそのまま表示され、一方、指示体４ａが検出されると、その指示体４ａにより切り出し情報が再設定され、この切り出し情報に基づいて撮影画像から切り出された特定部分撮影画像が表示される。
【００２１】
以上のように構成された撮影画像処理システムにおける撮影表示制御の流れを図６に示された撮影表示ルーチンを参照しながら説明する。
まず、画像入力部１０がカメラ２で取得された、メガピクセルレベルの撮影画像を取り込んでメモリ１１に展開する（＃０２）。メモリ１１に展開された撮影画像から、指示体４ａの像である指示体領域が検出しやすくなるように輝度変換や色調変換、必要に応じて解像度変換などの前処理を施した指示体検出処理用画像を生成する（＃０４）。生成された指示体検出処理用画像に対して指示体領域検出処理を行う（＃０６）。指示体領域検出処理で指示体領域が検出された場合（＃０８Yes分岐）、指示体３次元位置演算部３０は、指示体領域の所定位置（ｘ,ｙ）とその大きさ：Ｓを求め（＃１０）、さらに、求められた大きさ：Ｓから指示体４ａのＺ軸座標：ｚを算定し、指示体４ａの３次元位置座標（ｘ,ｙ,ｚ）を決定する（＃１２）。
【００２２】
切り出し情報作成部４１は、決定された３次元位置座標（ｘ,ｙ,ｚ）のｘ値とｙ値に基づいて特定部分撮影画像の撮影画像からの切り出し基準点Ｐを求め（＃１４）、ｚ値に基づいて切り出しサイズ：ｍ×ｎを求める（＃１６）。この切り出し基準点と切り出しサイズとを含む切り出し情報が生成され、この切り出し情報は特定部分撮影画像切り出し部４３に与えられ、かつこの切り出し情報を切り出し情報記憶部４２に記憶させる（＃１８）。特定部分撮影画像切り出し部４３は、読み出された切り出し情報に基づいて（＃１９）、メモリ１１に記録された撮影画像から特定部分撮影画像を切り出す（＃２０）。切り出された特定部分撮影画像は、表示モニタの画像階調度に合わせた画像変換を施され（＃２２）、表示画像として先生側のモニタである液晶ディスプレイ１ａ、及び生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに転送され、そこで表示される（＃２４）。
【００２３】
指示体領域検出部２０で指示体領域が検出されなかった場合（＃０８No分岐）、まず解除信号の発生により直前画像の表示維持が強制的に解除されたかどうかをチェックし、解除されない限り（＃２６No分岐）、切り出し情報記憶部４２から切り出し情報を読み出し（＃２８）、ステップ＃２０に移行して、特定部分撮影画像が切り出される。直前画像の表示維持が解除されると（＃２６Yes分岐）、メモリ１１に展開されている撮影画像がそのまま表示画像に画像変換され（＃３０）、ステップ＃２０に移行する。
【００２４】
上述したステップ＃０２から＃３０の処理が表示終了コマンドが入るまで続行され、先生が被写体３の上方に差し出す差し棒４の指示体４ａの３次元位置によって特定される領域の被写体画像が、生徒側コンピュータ６の液晶ディスプレイ６ａや大型スクリーン７ａに表示され、生徒に対する教材の表示が効率的に行われる。
【００２５】
なお、ステップ＃０８で指示体領域が検出されているにもかかわらず、直前の表示画像を維持したいという要望を満たすためには、図７のフローチャートで示すように、追加されているステップ＃０９でさらに表示維持モードが設定されたかどうかがチェックされ、表示維持モードが設定されていると（＃０９Yes分岐）、切り出し情報記憶部４２から読み出された直前の切り出し情報を一時的にバッファしておいて、以後このバッファから切り出し情報が表示維持モードが非設定となるまでバッファされた切り出し情報が読み出されて（＃２９）、ステップ＃２０に移行して、特定部分撮影画像切り出し部４３に利用されるようにしておくとよい。表示維持モードの設定と解除は、表示保持スイッチ８などによって行ってもよいし、差し棒４に設けたスイッチを利用してもよい。
【００２６】
図８には、上述した学校教育支援システムに用いられている画像処理装置１の第２実施形態における機能ブロック図が示されている。この実施形態での画像処理装置１は、指示体４ａの３次元位置（Ｘ−Ｙ−Ｚ軸座標）のうちＸ−Ｙ軸座標はカメラ２によって取得された撮影画像を画像処理することにより求められ、Ｚ軸座標はカメラ２の周辺部に設けられた測距計９によって求められる。測距計９としては、レーザー測距計や超音波測距計として知られている非接触測距計が好都合であるが、指示体４ａは、Ｘ−Ｙ軸方向に所定の範囲で移動するので、広範囲の測距ビーム幅を持つものか、あるいは測距ビームをスキャニングさせるものが好ましい。測距計９で得られた指示体４ａの測距データは、画像処理装置１の測距データ入力部１２に転送され、ここで所定のデータ形式に変換され、指示体３次元位置演算部３０に与えられる。従って、この実施形態でのＺ座標演算部３２は、単に測距データ入力部１２から受け取った測距データからｚ値を読み取る機能を有する。ＸＹ座標演算部３１は、第１実施形態と同様であり、指示体領域検出部２０から出力された検出情報における指示体領域の所定位置を演算するとともにこの所定位置：（ｘ,ｙ）を指示体４ａのＸ−Ｙ軸座標として算定する。表示画像生成部４０Ｂや表示画像転送部５０の構成は第１実施形態と同じである。
【００２７】
上述した実施の形態では、指示体領域が検出されない場合、切り出し情報記憶部４２に記憶されている切り出し情報を用い、表示画像が維持される構成を採用しているが、これに代え、指示体領域が検出されない場合、切り出し情報を用いずに、撮影画像をそのまま表示画像とする構成を採用してもよい。
【００２８】
上述した実施の形態では、指示体４ａは被写体３と同じ撮影画像に写されているので、指示体４ａの位置によっては、最終的に生成される表示画像において指示体４ａの像が邪魔になる場合がある。このような問題を避けるために、指示体４ａを可視光を透過させて非可視光を反射させる特性の材料で構成し、カメラ２は可視光撮影画像と非可視光撮影画像を取得するものとして構成し、指示体領域検出部２０は非可視光撮影画像を用いて生成された指示体検出処理用画像を用いて指示体４ａの３次元位置を求めるようにしてもよい。
【００２９】
図９には、本発明による撮影画像処理システムの別な実施形態での機能ブロック図が示されている。この別な実施形態は先の実施形態と較べ、予め画像記録部６０に記録されている被写体撮影画像を指示体４の３次元位置に基づいて拡縮表示することで異なっている。つまり、この実施形態では、以下の処理が行われる。指示体４ａが撮影空間外に配置され、指示体領域検出部２０により指示体４ａが検出されない場合には、カメラ２により撮影された画像は、被写体撮影画像（被写体のみが撮影された画像）として画像記録部６０に記録される。一方、指示体４ａが撮影空間内に配置され、指示体領域検出部２０により指示体４ａが検出された場合には、指示体領域の検出情報が取得されると共に以下の処理が行われる。先ず、カメラ２からの撮影画像は指示体撮影画像（被写体および指示体４ａ又は指示体４ａのみが撮影された画像）として画像入力部１０を通じてメモリ１１に転送され、画像記録部６０に記録されている被写体３の被写体撮影画像は、この画像記録部６０から画像入力部１０を通じてメモリ１１に転送される。画像記録部６０は、被写体撮影画像を記録しているものであれば何でもよく、例えば、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスク、半導体メモリなどが代表的なものとして挙げられる。また、画像記録部６０に記録される被写体撮影画像のフォーマットは静止画でも動画でもよい。次に、指示体３次元位置演算部３０により、上述の指示体領域検出部２０の処理により取得された指示体領域の検出情報を用いて、指示体４ａの３次元位置が算出される。さらに、この算出された指示体４ａの３次元位置に基づいて、特定部４０Ａの切り出し情報生成部４１により作成された切り出し情報により特定部分撮影画像が特定される。さらに、表示画像生成部４０Ｂの特定部分撮影画像切り出し部４３により、前記切り出し情報に基づき、メモリ１１に転送されている被写体撮影画像から特定部分撮影画像が切り出され、画像変換部４４により表示画像が生成される。このようにして生成された表示画像は、表示画像転送部５０によりモニタに転送される。この実施形態では、画像記録部６０に記録されている画像を液晶ディスプレイ６ａや大型スクリーン７ａに表示する際に、カメラ２の前に位置する指示体４ａの位置に応じて、その画像における表示領域、結果的にはその画像の拡縮表示状態が決定される。
【００３０】
指示体４ａの３次元位置を求める方法として、上述した方法以外に、コンピュータビジョンの分野で使われているステレオ画像を用いた３次元位置演算法を採用してもよい。つまり、被写体３に照準を合わせたカメラ２以外にもう１台のカメラを用意し、この２つの撮影画像をステレオ画像として指示体４ａの３次元位置を演算する、それ自体は公知のアルゴリズムを指示体３次元位置演算部３０に組み込むことで指示体４ａの３次元位置を求める構成が実現できる。
【００３１】
上述した上述した実施の形態では、本発明による撮影画像処理システムを学校教育支援システムに適用した例で説明しているが、もちろんこの撮影画像処理システムは学校教育の場に限られず、画像を表示する種々の分野に適用可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明による撮影画像処理システムを学校教育支援システムに適用した際の概要全体図
【図２】学校教育支援システムに用いられている画像処理装置１の機能ブロック図
【図３】撮影空間の模式図
【図４】メモリに展開された撮影画像の一例を説明する説明図
【図５】指示体の位置と撮影画像から切り出される特定部分撮影画像との関係を説明する説明図
【図６】撮影表示制御の流れの一例を示すフローチャート
【図７】撮影表示制御の流れの変形例を示すフローチャート
【図８】学校教育支援システムに用いられている画像処理装置１の第２実施形態における機能ブロック図
【図９】本発明による撮影画像処理システムの別な実施形態における画像処理装置１の機能ブロック図
【符号の説明】
【００３３】
１：画像処理装置（先生側のコンピュータ）
２：カメラ
３：被写体
４：差し棒
４ａ：指示体
５：ネットワーク
６ａ：生徒側のコンピュータの液晶ディスプレイ（モニタ）
７：プロジェクタ（モニタ）
８：表示保持スイッチ
９：測距計
２０：指示体領域検出部
３０：指示体３次元位置演算部
３１：ＸＹ座標演算部
３２：Ｚ座標演算部
４０Ａ：特定部
４１：切り出し情報生成部
４２：切り出し情報記憶部
４０Ｂ：表示画像生成部
４３：特定部分撮影画像切り出し部
４４：画像変換部
５０：表示画像転送部
６０：画像記録部
【図１】
0004854033.tif 000002
【図２】
0004854033.tif 000003
【図３】
0004854033.tif 000004
【図４】
0004854033.tif 000005
【図５】
0004854033.tif 000006
【図６】
0004854033.tif 000007
【図７】
0004854033.tif 000008
【図８】
0004854033.tif 000009
【図９】
0004854033.tif 000010