(57)【要約】【課題】  より迅速に、より簡単に追尾する画像オブジェクトをポインティングする。【解決手段】  リモートコントローラ２０２の撮像部２４３は、画像処理装置２０１から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する。リモートコントローラ２０２の送信部２４２は、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信する。画像処理装置２０１の受信部２８１は、リモートコントローラ２０２から送信されてきた第２の画像データを受信する。画像処理装置２０１の追尾処理部３０４は、第２の画像データを基に、第１の画像データから画像オブジェクトを検出することができる。本発明は、画像オブジェクトを追尾する画像処理システムに適用できる。【選択図】  図１２
2005184722.tif 000002
【特許請求の範囲】
【請求項１】
リモートコントローラおよび画像オブジェクトを追尾する画像処理装置からなる画像処理システムにおいて、
前記リモートコントローラは、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの撮像によって得られた第２の画像データを前記画像処理装置に送信する送信手段と
を含み
前記画像処理装置は、
前記リモートコントローラから送信されてきた前記第２の画像データを受信する受信手段と、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と
を含むことを特徴とする画像処理システム。
【請求項２】
画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示するリモートコントローラにおいて、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトを撮像する撮像手段と、
前記画像オブジェクトの撮像によって得られた第２の画像データを前記画像処理装置に送信する送信手段と
を備えることを特徴とするリモートコントローラ。
【請求項３】
前記送信手段は、さらに前記画像処理装置に、前記画像オブジェクトの拡大率の指示を送信する
ことを特徴とする請求項２に記載のリモートコントローラ。
【請求項４】
画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御方法において、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データの前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とする制御方法。
【請求項５】
画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理用のプログラムであって、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データの前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
画像オブジェクトを追尾する画像処理装置に、前記画像オブジェクトの追尾を指示する制御処理を、コンピュータに行わせるプログラムにおいて、
前記画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、前記画像オブジェクトの撮像を制御する撮像制御ステップと、
前記画像オブジェクトの撮像によって得られた第２の画像データの前記画像処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするプログラム。
【請求項７】
リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置において、
前記リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信する受信手段と、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出手段と
を備えることを特徴とする画像処理装置。
【請求項８】
検出された前記画像オブジェクトを示す枠を表示させるように、前記画像の表示を制御する表示制御手段
をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記受信手段は、前記リモートコントローラから送信されてきた、前記画像オブジェクトの拡大率の指示をさらに受信し、
前記表示制御手段は、指示された拡大率に対応する、前記枠を表示させるように、前記画像の表示を制御する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理方法において、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと
を含むことを特徴とする画像処理方法。
【請求項１１】
リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理用のプログラムであって、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１２】
リモートコントローラの指示の基に、画像オブジェクトを追尾する画像処理装置の画像処理を、前記画像処理装置のコンピュータに行わせるプログラムにおいて、
前記リモートコントローラから送信されてきた、前記画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、
前記第２の画像データを基に、前記第１の画像データから前記画像オブジェクトを検出する検出ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像オブジェクトをポインティングするか、画像オブジェクトを追尾する画像処理システム、リモートコントローラおよび方法、画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像処理装置から出力される画像データにより表示される画像に含まれる画像オブジェクトを追尾の対象として設定し、設定された画像オブジェクトを追尾する画像処理システムが利用されている。
【０００３】
図１は、画像オブジェクトを追跡する画像処理システムの従来の構成を示す図である。
【０００４】
画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置１２に供給する。
【０００５】
画像処理装置１２は、リモートコントローラ１３より供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。
【０００６】
リモートコントローラ１３は、ユーザの操作により、制御信号を生成し、生成した制御信号を画像処理装置１２に供給する。
【０００７】
画像提示装置１４は、液晶表示装置などからなり、画像処理装置１２から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。
【０００８】
画像処理装置１２は、画像入出力部３１、制御部３２、画像追尾処理部３３、および画像拡大処理部３４から構成される。
【０００９】
画像入出力部３１は、画像再生装置１１から供給された画像データを入力し、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。制御部３２は、画像処理装置１２全体を制御する。画像追尾処理部３３は、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾し、追尾された画像オブジェクトの画面上の位置を画像拡大処理部３４に供給する。画像拡大処理部３４は、画像追尾処理部３３から供給された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大して、拡大した画像オブジェクトを表示させる画像データを画像入出力部３１に供給する。
【００１０】
画像入出力部３１は、画像入力部５１および画像出力部５２から構成される。
【００１１】
画像入力部５１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部５２および画像追尾処理部３３に供給する。
【００１２】
画像出力部５２は、画像入力部５１より供給された画像データ、または画像拡大処理部３４から供給された画像データのいずれか一方を選択する。また、画像出力部５２は、制御部３２から供給された表示データを選択した画像データに重畳する。画像出力部５２は、選択した画像データを画像提示装置１４に供給する。
【００１３】
リモートコントローラ１３は、キー入力部７１および送信部７２から構成される。
【００１４】
ユーザによりキー入力部７１のボタンが押下された場合、キー入力部７１は、ボタンに対応する操作信号を送信部７２に供給する。
【００１５】
送信部７２は、キー入力部７１より供給された操作信号に対応する制御信号を制御部３２に送信する。
【００１６】
制御部３２は、受信部９１、制御ＣＰＵ（Central Processing Unit）９２、およびＯＳＤ（On Screen Display）表示制御部９３から構成される。
【００１７】
受信部９１は、送信部７２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ９２に供給する。
【００１８】
制御ＣＰＵ９２は、受信部９１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部９３、画像追尾処理部３３および画像拡大処理部３４に供給する。
【００１９】
ＯＳＤ表示制御部９３は、制御ＣＰＵ９２より供給されたＯＳＤ表示制御信号を基に、枠などを表示させるための表示データを生成し、生成した表示データを画像出力部５２に供給する。
【００２０】
画像追尾処理部３３は、追尾オブジェクト指示部１１１、テンプレート記憶部１１２、サーチエリア記憶部１１３、および追尾処理部１１４から構成される。
【００２１】
追尾オブジェクト指示部１１１は、制御ＣＰＵ９２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部１１２に供給する。
【００２２】
テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された追尾領域の位置情報を基に、画像入力部５１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。テンプレート記憶部１１２は、記憶している画像オブジェクトを追尾処理部１１４に供給する。
【００２３】
サーチエリア記憶部１１３は、画像入力部５１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部１１３は、記憶している検索領域の画像データを追尾処理部１１４に供給する。
【００２４】
追尾処理部１１４は、サーチエリア記憶部１１３より供給された検索領域から、テンプレート記憶部１１２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部１１１および画像拡大処理部３４に供給する。
【００２５】
画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部１１１は、追尾処理部１１４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部１１２に供給する。その後、テンプレート記憶部１１２は、追尾オブジェクト指示部１１１より供給された位置情報を基に、画像入力部５１より供給された画像データから画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶して、追尾の処理が繰り返される。
【００２６】
画像拡大処理部３４は、拡大パラメータ指示部１３１および拡大処理部１３２から構成される。
【００２７】
拡大パラメータ指示部１３１は、制御ＣＰＵ９２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部１１４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部１３２に供給する。
【００２８】
拡大処理部１３２は、拡大パラメータ指示部１３１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の一部を示す画像データ（画像オブジェクト）を画像入出力部３１の画像出力部５２に供給する。
【００２９】
画像入出力部３１の画像出力部５２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。
【００３０】
以下、図２乃至図７の図を参照して、リモートコントローラ１３による画像オブジェクトの設定の処理について説明する。
【００３１】
図２乃至図７で示される例において、画像提示装置１４は、人の画像を表示している。また、リモートコントローラ１３のキー入力部７１は、追尾位置指定ボタン１４１、枠移動ボタン１４２、拡大ボタン１４３、縮小ボタン１４４、および決定ボタン１４５を備える。
【００３２】
図２で示される例において、画像提示装置１４は、画像出力部５２より供給された画像データを基に、人の全身の画像を表示している。また、ユーザによりリモートコントローラ１３は操作されていない。
【００３３】
図３で示されるように、ユーザによりリモートコントローラ１３の追尾位置指定ボタン１４１が押下された場合、キー入力部７１は、追尾位置の指定の開始を示す操作信号を生成し、生成した操作信号を送信部７２に供給する。送信部７２は、操作信号に対応する、追尾位置の指定の開始を指示する制御信号を画像処理装置１２に送信する。
【００３４】
画像処理装置１２は、リモートコントローラ１３から送信されてきた、追尾位置の指定の開始を指示する制御信号を受信すると、図３で示されるように、画像提示装置１４に、枠１５１が重畳された画像を表示させる。なお、枠１５１は、初期位置に表示される。
【００３５】
図４で示されるように、ユーザによりリモートコントローラ１３の枠移動ボタン１４２が押下された場合、画像処理装置１２は、図４で示されるように、画像提示装置１４に、枠１５１を移動させた画像を表示させる。
【００３６】
図５で示されるように、ユーザによりリモートコントローラ１３の拡大ボタン１４３が押下された場合、画像処理装置１２は、図５で示されるように、画像提示装置１４に、拡大した枠１５１を重畳した画像を表示させる。すなわち、図５において、枠１５１の外側の四角の枠が拡大後の枠１５１となる。
【００３７】
図６で示されるように、ユーザによりリモートコントローラ１３の縮小ボタン１４４が押下された場合、画像処理装置１２は、図６で示されるように、画像提示装置１４に、縮小した枠１５１を重畳した画像を表示させる。すなわち、図６において、枠１５１の内側の四角の枠が縮小後の枠１５１となる。
【００３８】
図７で示されるように、ユーザによりリモートコントローラ１３の決定ボタン１４５が押下された場合、画像処理装置１２は、枠１５１で指定されていた人の顔の画像である画像オブジェクトを拡大して、画像提示装置１４に、拡大した人の顔の画像を表示しさせる。そして、追尾の処理が開始される。すなわち、この拡大された人の顔の画像は、追尾される画像オブジェクトである。
【００３９】
次に、図８および図９を参照して追尾について説明する。
【００４０】
追尾とは、追尾の対象とした画像オブジェクトを画像から検出し、画像上の画像オブジェクトの位置を特定することをいう。
【００４１】
図８は、歩いている人の画像の例を示す図である。図８Ａで示されるように、所定の時刻において、画面の左側に表示されている、左から右に歩いている人の画像は、所定の時刻を経過すると、図８Ｂで示されるように、画面の右側に表示される。
【００４２】
追尾をしない場合、画像提示装置１４に、歩いている人の全身が表示される。
【００４３】
一方、追尾をする場合、リモートコントローラ１３を操作することで、枠１５１の位置または大きさが指定され、追尾の対象（画像オブジェクト）が決定される。例えば、図８Ａで示されるように、画像提示装置１４に表示された人の顔に枠１５１を指定することにより、追尾の対象となる画像オブジェクトである人の顔の追尾が指示される。
【００４４】
図９は、追尾され、拡大された画像オブジェクトの例を示す図である。図９Ａで示される画像は、図８Ａの枠１５１で指定されている、追尾の対象である画像オブジェクトを拡大したものである。また、図９Ｂで示される画像は、追尾された画像オブジェクト（図８Ｂの枠１５１で示される画像オブジェクト）を拡大したものである。
【００４５】
追尾の対象となる画像オブジェクトである人の顔の追尾が指示されると、画像処理装置１２は、入力された画像データから、追尾の対象となる画像オブジェクトを検出して、画像上の画像オブジェクトの位置を特定し、特定された位置を基準として、画像を拡大して、画像提示装置１４に表示させる。その結果、画像提示装置１４に、追尾の対象とした人の顔を拡大した画像が表示される。
【００４６】
以上のようにして、追尾が行われる。
【００４７】
また、提示された画像をＣＣＤ（Charge Coupled Devices）で撮影し、ポインティングを行う画像処理システムが用いられている。
【００４８】
冷蔵庫に保管される保管物を各々表す複数のアイコンデータをサーバに接続されているハードディスクに予め記憶しておき、冷蔵庫に保管物を保管する際に当該保管物を示す画像の画像データをリモコンのＣＣＤセンサによって取得し、取得した画像データに基づいて当該保管物を特定し、特定した保管物に対応するアイコンデータが示すアイコンを必要に応じてモニタに表示する手法がある。（例えば、特許文献１参照）
【００４９】
また、キーを押下するとレーザーポインタが発光し、キーを放すとＣＣＤカメラが表示画面を撮像し、表示画面像及び指示ポイント像を含むＣＣＤ入力画像を取得し、表示画面像の辺や指示ポイント像の画像上の位置情報を求め、位置情報から表示画面上の指示ポイントの座標を求め、座標情報を指示画面表示装置に送信する手法がある。（例えば、特許文献２参照）
【００５０】
また、赤外ポインターを用いて画像表示領域に投写されたスポット光の位置検出を行うシステムにおいて、画像表示領域を撮像するＣＣＤカメラと、撮像された画像表示領域に含まれるスポット光の指示位置を検出し、赤外ポインターによる指示動作時に、赤外ポインターから送信されてくる状態信号を受信し、状態信号の受信タイミングに基づくスポット光の検出位置を画像表示領域上における指示位置として検出するように構成する手法がある。（例えば、特許文献３参照）
【００５１】
また、画像を表示する為のプロジェクタと、ディスプレイ領域を撮像するＣＣＤカメラと、撮像信号に基づき、ディスプレイ領域に含まれるプレゼンターの指示画像の影の領域、または実像領域からポインティング位置を検出する手法がある。（例えば、特許文献４参照）
【００５２】
【特許文献１】特開２００２−９２３０８号公報
【００５３】
【特許文献２】特開２００１−２３６１８１号公報
【００５４】
【特許文献３】特開２００１−２３６１７９号公報
【００５５】
【特許文献４】特開平１１−３４５０８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００５６】
しかしながら、従来は、ＯＳＤ（On Screen Device）とカーソルなどを組み合わせてポインティングをしていたため、所望の位置のポインティングを迅速かつ簡単に行うことができなかった。
【００５７】
また、ＣＣＤの撮像時の部屋の明るさなどの影響を受けてしまうと、検出する座標の位置などに誤差が生じてしまい、画像オブジェクトのポインティングを正確に行うことができなかった。
【００５８】
そのため、画像オブジェクトのポインティングにおいて、迅速に簡単なポインティングが行われているとは言えなかった。
【課題を解決するための手段】
【００５９】
本発明の画像処理システムは、リモートコントローラが、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信する送信手段とを含み、画像処理装置は、リモートコントローラから送信されてきた第２の画像データを受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段とを含むことを特徴とする。
【００６０】
本発明のリモートコントローラは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段と、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信する送信手段とを備えることを特徴とする。
【００６１】
送信手段は、さらに画像処理装置に、画像オブジェクトの拡大率の指示を送信するようにすることができる。
【００６２】
制御方法は、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データの画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００６３】
本発明の第１の記録媒体のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データの画像処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００６４】
本発明の第１のプログラムは、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップと、画像オブジェクトの撮像によって得られた第２の画像データの画像処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。
【００６５】
本発明の画像処理装置は、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信する受信手段と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段とを備える。
【００６６】
本発明の画像処理装置は、検出された画像オブジェクトを示す枠を表示させるように、画像の表示を制御する表示制御手段をさらに備える。
【００６７】
受信手段は、リモートコントローラから送信されてきた、画像オブジェクトの拡大率の指示をさらに受信し、表示制御手段は、指示された拡大率に対応する、枠を表示させるように、画像の表示を制御するようにすることができる。
【００６８】
本発明の画像処理方法は、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップとを含むことを特徴とする。
【００６９】
本発明の第２の記録媒体のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップとを含むことを特徴とする。
【００７０】
本発明の第２のプログラムは、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップと、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップとをコンピュータに実行させることを特徴とする。
【００７１】
本発明の画像処理システムにおいては、リモートコントローラが、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信し、画像処理装置が、リモートコントローラから送信されてきた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する。
【００７２】
本発明のリモートコントローラおよび方法、第１の記録媒体、並びに第１のプログラムにおいては、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信する。
【００７３】
本発明の画像処理装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、リモートコントローラから送信されてきた、画像処理装置が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する。
【発明の効果】
【００７４】
第１の本発明によれば、画像オブジェクトを追尾することができる。また、第１の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。
【００７５】
第２の本発明によれば、画像処理装置において、画像オブジェクトをポインティングすることができる。また、第２の本発明によれば、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。
【００７６】
第３の本発明によれば、画像オブジェクトを追尾することができる。また、第３の本発明によれば、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。
【発明を実施するための最良の形態】
【００７７】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。本明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応していないものであることを意味するものではない。
【００７８】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
【００７９】
本発明によれば、画像処理システムが提供される。この画像処理システム（例えば、図１２の画像処理システム２）は、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）が、画像処理装置（例えば、図１２の画像処理装置２０１）から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段（例えば、図１２の撮像部２４３）と、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置（例えば、図１２の画像処理装置２０１）に送信する送信手段（例えば、図１２の送信部２４２）とを含み、画像処理装置（例えば、図１２の画像処理装置２０１）が、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）から送信されてきた第２の画像データを受信する受信手段（例えば、図１２の受信部２８１）と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段（例えば、図１２の追尾処理部３０４）とを含む。
【００８０】
本発明によれば、リモートコントローラが提供される。このリモートコントローラ（例えば、図１２のリモートコントローラ２０２）は、画像処理装置（例えば、図１２の画像処理装置２０１）から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像する撮像手段（例えば、図１２の撮像部２４３）と、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置（例えば、図１２の画像処理装置２０１）に送信する送信手段（例えば、図１２の送信部２４２）とを備える。
【００８１】
送信手段は、さらに画像処理装置に、画像オブジェクトの拡大率の指示を送信する（例えば、図１２の送信部２４２による、図１５のステップＳ１０８の処理）ようにすることができる。
【００８２】
また、本発明によれば、制御方法が提供される。この方法は、画像処理装置（例えば、図１２の画像処理装置２０１）から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトの撮像を制御する撮像制御ステップ（例えば、図１５のステップＳ１０１の処理）と、画像オブジェクトの撮像によって得られた第２の画像データの画像処理装置（例えば、図１２の画像処理装置２０１）への送信を制御する送信制御ステップ（例えば、図１５のステップＳ１０２の処理）とを含む。
【００８３】
また、本発明によれば、プログラムが提供される。このプログラムは、画像処理装置（例えば、図１２の画像処理装置２０１）から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像を制御する撮像制御ステップ（例えば、図１５のステップＳ１０１の処理）と、画像オブジェクトの撮像によって得られた第２の画像データの画像処理装置（例えば、図１２の画像処理装置２０１）への送信を制御する送信制御ステップ（例えば、図１５のステップＳ１０２の処理）とをコンピュータに実行させる。
【００８４】
制御処理のプログラムは、記録媒体（例えば、図３６の磁気ディスク５２１）に記録することができる。
【００８５】
本発明によれば、画像処理装置が提供される。画像処理装置（例えば、図１２の画像処理装置２０１）は、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）から送信されてきた、自分（例えば、図１２の画像処理装置２０１）が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信する受信手段（例えば、図１２の受信部２８１）と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出手段（例えば、図１２の追尾処理部３０４）とを備える。
【００８６】
検出された画像オブジェクトを示す枠（例えば、図２４の拡大枠３７１）を表示させるように、画像の表示を制御する表示制御手段（例えば、図１２のＯＳＤ表示制御部２８３）をさらに備える。
【００８７】
受信手段は、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）から送信されてきた、画像オブジェクトの拡大率の指示をさらに受信し（例えば、図１５のステップＳ１０３の処理）、表示制御手段は、指示された拡大率に対応する、枠（例えば、図２３の拡大枠３７１）を表示させるように、画像の表示を制御する（例えば、図１５のステップＳ１０５の処理）ようにすることができる。
【００８８】
また、本発明によれば、画像処理方法が提供される。画像処理方法は、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）から送信されてきた、画像処理装置（例えば、図１２の画像処理装置２０１）が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップ（例えば、図１５のステップＳ１０３の処理）と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップ（例えば、図３１のステップＳ２０２の処理）とを含む。
【００８９】
また、本発明によれば、プログラムが提供される。このプログラムは、リモートコントローラ（例えば、図１２のリモートコントローラ２０２）から送信されてきた、画像処理装置（例えば、図１２の画像処理装置２０１）が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データの受信を制御する受信制御ステップ（例えば、図１５のステップＳ１０３の処理）と、第２の画像データを基に、第１の画像データから画像オブジェクトを検出する検出ステップ（例えば、図３１のステップＳ２０２の処理）とをコンピュータに実行させる。
【００９０】
画像処理のプログラムは、記録媒体（例えば、図３６の磁気ディスク５２１）に記録することができる。
【００９１】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００９２】
図１０は、本発明に係る画像処理システムの一実施の形態の構成を示す図である。
【００９３】
画像処理システム２は、画像再生装置１１、画像提示装置１４、画像処理装置２０１、およびリモートコントローラ２０２を含むように構成される。
【００９４】
画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。例えば、画像再生装置１１は、ビデオカセットレコーダ、ハードディスクレコーダ、およびＤＶＤ（Digital Versatile Disk）プレーヤなどの画像再生装置、並びにテレビチューナなどの放送受信装置とすることが可能である。
【００９５】
画像提示装置１４は、ＣＲＴ（Cathode-Ray Tube）表示装置または液晶表示装置などからなり、画像処理装置２０１から供給された、画像オブジェクトを追尾した結果の画像データを基に、追尾されている画像オブジェクトを表示する。
【００９６】
画像処理装置２０１は、リモートコントローラ２０２から供給された制御信号を基に、画像再生装置１１より供給された画像データから、画像オブジェクトを追尾した結果の画像データを生成し、画像提示装置１４に供給する。
【００９７】
また、画像処理装置２０１は、例えば、従来のリモートコントローラ１３（図１）にから供給された制御信号を基に、画像データを処理することができる。すなわち、画像処理装置２０１は、単独で画像オブジェクトを追尾する画像処理装置として機能することができる。
【００９８】
リモートコントローラ２０２は、ユーザの操作により、画像処理装置２０１を制御するための制御信号（コマンド）を生成し、生成した制御信号を画像処理装置２０１に供給する。リモートコントローラ２０２の詳細については、図１１を参照して後述する。
【００９９】
画像処理装置２０１は、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４をさらに含む。例えば、画像入出力部２２１、制御部２２２、画像追尾処理部２２３、および画像拡大処理部２２４は、それぞれ、１つの基板として構成される。このようにすることで、機能の追加が容易になる。
【０１００】
画像入出力部２２１は、画像再生装置１１から供給された画像データを入力する。また、画像入出力部２２１は、画像オブジェクトを追尾した結果の画像データを画像提示装置１４に供給する。
【０１０１】
制御部２２２は、リモートコントローラ２０２から送信されてきた制御信号、および追尾する画像オブジェクトの画像データを受信する。制御部２２２は、制御信号および受信した画像データを基に、画像処理装置２０１全体を制御する。制御部２２２は、追尾する画像オブジェクトの画像データを画像追尾処理部２２３に供給する。
【０１０２】
画像追尾処理部２２３は、リモートコントローラ２０２から送信され、制御部２２２によって受信され、制御部２２２から供給された追尾する画像オブジェクトの画像データを基に、画像処再生装置１１より供給された画像データから、画像オブジェクトを追尾する。画像追尾処理部２２３は、追尾した画像オブジェクトの画面上の位置を画像拡大処理部２２４に供給する。
【０１０３】
画像拡大処理部２２４は、画像追尾処理部２２３から供給された、追尾された画像オブジェクトの画面上の位置を基に、画像に含まれる画像オブジェクトを拡大する。画像拡大処理部２２４は、拡大した画像オブジェクトを表示させる画像データを画像入出力部２２１に供給する。
【０１０４】
次に、リモートコントローラ２０２の外観について、図１１を参照して説明する。
【０１０５】
リモートコントローラ２０２の上面には、ユーザにより押圧操作されるキー入力部２４１が配置され、リモートコントローラ２０２がユーザに把持された場合、リモートコントローラ２０２の画像処理装置２０１側を向く面には、送信部２４２および撮像部２４３が配置されている。
【０１０６】
キー入力部２４１は、画像オブジェクトを指定するとき、または拡大率を画像処理装置２０１に指示するときなど、ユーザによって操作される。
【０１０７】
また、リモートコントローラ２０２は、単独で視聴環境のセンサとしても機能する。例えば、チャンネルの切り替え、音量の制御、またはその他画質を制御するパラメータの変更などを指示することが可能である。
【０１０８】
送信部２４２は、画像処理装置２０１に制御信号を送信する。制御信号等を、送信部２４２が画像処理装置２０１に送信する方式、すなわち、リモートコントローラ２０２と画像処理装置２０１との間の通信方式は特に限定しない。例えば、通信方式として、赤外線または無線を用いることができる。
【０１０９】
撮像部２４３は、画像提示装置１４に表示された画像を撮像する。例えば、撮像部２４３は、ＣＣＤ（Charge Coupled Device）とすることができる。例えば、撮像部２４３は、望遠レンズからなる光学系を有し、撮像部２４３の視野角は、極めて狭く設定される。
【０１１０】
このように、撮像部２４３は、画像提示装置１４に表示された画像のうち、一部の画像である画像オブジェクトを撮像するのに適するように構成される。送信部２４２は、撮像された画像オブジェクトの画像データを画像処理装置２０１に送信する。
【０１１１】
図１２は、図１０の構成を有する画像処理システムの構成を示すブロック図である。
【０１１２】
リモートコントローラ２０２は、キー入力部２４１、送信部２４２、および撮像部２４３に加えて、制御部２４４を含むように構成されている。
【０１１３】
ユーザによりキー入力部２４１のボタンが押下された場合、キー入力部２４１は、押下されたボタンに対応する操作信号を制御部２４４に供給する。
【０１１４】
撮像部２４３は、制御部２４４の制御を基に、画像提示装置１４に表示された画像のうち、追尾する画像オブジェクトを撮像し、撮像により生成された画像データを制御部２４４に供給する。
【０１１５】
以下、撮像部２４３の撮像により生成された画像データを、撮像データと称する。
【０１１６】
送信部２４２は、制御部２４４の制御を基に、キー入力部２４１からの操作信号に対応する制御信号を画像処理装置２０１に送信すると共に、撮像部２４３の撮像により生成された撮像データを画像処理装置２０１に送信する。
【０１１７】
画像入出力部２２１は、画像入力部２６１および画像出力部２６２をさらに含むように構成される。
【０１１８】
画像入力部２６１は、画像再生装置１１より供給された画像データを入力して、入力した画像データを画像出力部２６２および画像追尾処理部２２３に供給する。
【０１１９】
画像出力部２６２は、画像入力部２６１より供給された画像データ、または画像拡大処理部２２４から供給された、追尾する画像オブジェクトを拡大した画像データのいずれか一方を選択する。また、画像処理部２６２は、制御部２２２から供給された、後述する枠などを表示するための表示データを、選択した画像データに重畳する。画像出力部２６２は、選択した画像データを画像提示装置１４に供給する。
【０１２０】
制御部２２２は、受信部２８１、制御ＣＰＵ２８２、およびＯＳＤ表示制御部２８３を含むように構成される。
【０１２１】
受信部２８１は、送信部２４２より送信された制御信号を受信し、受信した制御信号を制御ＣＰＵ２８２に供給する。また、受信部２８１は、送信部２４２より送信された、追尾する画像オブジェクトの撮像データを受信し、受信した撮像データを画像追尾処理部２２３に供給する。
【０１２２】
制御ＣＰＵ２８２は、受信部２８１より供給された制御信号を基に、ＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を生成し、生成したＯＳＤ表示制御信号、追尾制御信号および拡大制御信号を、それぞれ、ＯＳＤ表示制御部２８３、画像追尾処理部２２３および画像拡大処理部２２４に供給する。
【０１２３】
画像追尾処理部２２３は、追尾オブジェクト指示部３０１、テンプレート記憶部３０２、サーチエリア記憶部３０３、および追尾処理部３０４を含むように構成される。
【０１２４】
追尾オブジェクト指示部３０１は、制御ＣＰＵ２８２より供給された追尾制御信号に含まれる追尾領域の位置情報を抽出し、抽出した追尾領域の位置情報をテンプレート記憶部３０２に供給する。
【０１２５】
テンプレート記憶部３０２は、追尾する画像オブジェクトを示す、受信部２８１から供給された撮像データを記憶する。または、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された追尾領域の位置情報を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。
【０１２６】
例えば、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから、６４画素×６４画素の領域の画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶する。
【０１２７】
以下、追尾される画像オブジェクトが抽出される領域を追尾領域とも称する。
【０１２８】
テンプレート記憶部３０２は、記憶している画像オブジェクトを示す画像データを追尾処理部３０４に供給する。
【０１２９】
サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。
【０１３０】
例えば、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、１２８画素×１２８画素の検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。
【０１３１】
追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された画像データより示される、追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および画像拡大処理部２２４に供給する。
【０１３２】
画像オブジェクトの追尾が指示されている場合、追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。その後、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、画像入力部２６１より供給された画像データから画像オブジェクト（の画像データ）を抽出し、抽出した画像オブジェクトを追尾する画像オブジェクトとして記憶して、追尾の処理が繰り返される。
【０１３３】
画像拡大処理部２２４は、拡大パラメータ指示部３２１および拡大処理部３２２を含むように構成される。
【０１３４】
拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率などを指定するパラメータ）を生成し、生成した拡大パラメータを拡大処理部３２２に供給する。
【０１３５】
拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部２６１より供給された画像データにより表示される画像データの一部を拡大し、拡大した画像の画像データ（画像オブジェクト）を画像入出力部２２１の画像出力部２６２に供給する。
【０１３６】
画像入出力部２２１の画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に追尾され、拡大された画像オブジェクトを表示させる。
【０１３７】
画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。
【０１３８】
このように、リモートコントローラ２０２は、表示されている画像から追尾する画像オブジェクトを撮像して、追尾する画像オブジェクトを示す撮像データを生成して、生成した撮像データを画像処理装置２０１に供給する。画像処理装置２０１は、リモートコントローラ２０２から供給された、追尾する画像オブジェクトを示す撮像データを基に、画像データから画像オブジェクトを検出して、検出した画像オブジェクトの位置を特定することができる。
【０１３９】
図１３は、図１２の構成を有する画像処理システムによる、追尾の処理を説明するフローチャートである。
【０１４０】
ステップＳ１において、画像再生装置１１は、画像を再生するか、または放送を受信して画像データを生成し、生成した画像データを画像処理装置２０１に供給する。
【０１４１】
ステップＳ２において、画像処理装置２０１の画像入力部２６１は、画像再生装置１１より供給された画像データを取得し、取得した画像データを画像出力部２６２に供給する。画像出力部２６２は、画像入力部２６１より供給された画像データを取得し、取得した画像データを画像提示装置１４に供給する。
【０１４２】
ステップＳ３において、画像提示装置１４は、画像出力部２６２より供給された画像データを基に、画像を表示する。この場合、追尾の指定を行っていないので、画像再生装置１１より供給された画像データが、そのまま画像提示装置１４に供給され、画像データによる画像が画像提示装置１４に表示される。
【０１４３】
図１４の左側は、画像提示装置１４に表示されている画像を示す。例えば、画像提示装置１４には、人の画像が表示される。
【０１４４】
また、図１４の右側は、リモートコントローラ２０２を示す。リモートコントローラ２０２のキー入力部２４１は、追尾位置指定ボタン３４１、拡大ボタン３４２、縮小ボタン３４３、および決定ボタン３４４を備える。
【０１４５】
ステップＳ４において、制御部２４４は、キー入力部２４１からの操作信号を基に、ユーザがキー入力部２４１の追尾位置指定ボタン３４１を押下したか否か判定する。
【０１４６】
ステップＳ４において、ユーザが追尾位置指定ボタン３４１を押下したと判定された場合、ステップＳ５に進み、画像処理装置２０１およびリモートコントローラ２０２は、追尾設定の処理を実行する。追尾の設定の処理の詳細は後述する。
【０１４７】
ステップＳ６において、画像処理装置２０１は、追尾の処理を実行して、処理は終了する。追尾の処理の詳細は後述する。
【０１４８】
ステップＳ４において、ユーザが追尾指定ボタン３４１を押下していないと判定された場合、ステップＳ５およびステップＳ６の処理はスキップされて、追尾の処理は実行されず、画像提示装置１４は、画像再生装置１１より供給された画像を表示して、処理は終了する。
【０１４９】
次に、ステップＳ５の追尾の設定の処理に対応する、追尾の設定の処理の詳細について、図１５のフローチャートを参照して説明する。
【０１５０】
ステップＳ１０１において、ユーザによる、リモートコントローラ２０２の操作に対応して、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示されている画像を撮像する。
【０１５１】
図１６で示されるように、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される画像のうち、図中において円で示される領域の画像を撮像する。ユーザは、リモートコントローラ２０２を上下左右に動かしたり、向きを変えたりすることで、画像提示装置１４に表示される画像のうち、所望の領域の画像をリモートコントローラ２０２に撮像させることができる。
【０１５２】
撮像部２４３が撮像する撮像データの詳細について、図１７を参照して説明する。
【０１５３】
図１７Ａは、画像提示装置１４に表示される円を含む画像の例を示す。
【０１５４】
図１７Ｂは、画像提示装置１４に表示される円を含む画像のうち、リモートコントローラ２０２の撮像部２４３により、撮像されている領域３５１を示す。ユーザがリモートコントローラ２０２を動かすとと、画像提示装置１４に表示される画像のうち、リモートコントローラ２０２の撮像部２４３により、表示されている画像に対して、撮像される領域３５１が移動する。例えば、図１７Ｂに示される例においては、リモートコントローラ２０２の撮像部２４３は、画像提示装置１４に表示される円を含む画像のうち、円の左上の扇形の部分を撮像している。
【０１５５】
図１７Ｃは、撮像部２４３が、撮像した画像３５２を表す。例えば、撮像部２４３は、画像提示装置１４に表示される画像のうち、円の左上の扇形の部分の画像３５２を撮像する。
【０１５６】
ステップＳ１０２において、リモートコントローラ２０２の送信部２４２は、ステップＳ１０１において、撮像部２４３により撮像された画像３５２を、画像処理装置２０１の受信部２８１に送信する。より詳細には、ステップＳ１０２において、送信部２４２は、撮像部２４３により撮像された画像３５２に対応する撮像データを、受信部２８１に送信する。
【０１５７】
ステップＳ１０３において、画像処理装置２０１の受信部２８１は、リモートコントローラ２０２の送信部２４２から送信された撮像データを受信し、受信した撮像データを制御ＣＰＵ２８２およびテンプレート記憶部３０２に供給する。
【０１５８】
図１８は、画像再生装置１１によって再生され、画像処理装置１２を介して供給された画像データを基に、画像提示装置１４が表示している人の画像の例を示す図である。リモートコントローラ２０２を操作して、画像提示装置１４に表示される人の顔の画像に撮像部２４３を向けた場合、撮像部２４３は、表示されている画像のうち、人の顔の画像を撮像し、撮像した人の顔の撮像データを制御部２４４を介して送信部２４２に供給する。リモートコントローラ２０２の送信部２４２は、撮像部２４３から供給された撮像データを画像処理装置２０１の受信部２８１に送信する。受信部２８１は、送信部２４２から送信されてきた撮像データを受信して、受信した撮像データをテンプレート記憶部３０２に供給する。
【０１５９】
テンプレート記憶部３０２は、受信部２８１から供給された撮像データを記憶する。
【０１６０】
図１９で示される例において、図中左側は、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２を表す。より詳細には、テンプレート記憶部３０２に記憶されている撮像データに対応する画像３５２は、テンプレート記憶部３０２のメモリに記憶される。例えば、撮像データは、６４画素×６４画素からなる。
【０１６１】
ステップＳ１０４において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域を抽出し、抽出した検索領域を追尾処理部３０４に供給する。
【０１６２】
図１９で示される例において、図中右側は、サーチエリア記憶部３０３に記憶されている画像データに対応する画像３６１を表す。サーチエリア記憶部３０３に記憶されている画像データは、画像入力部２２１より供給された画像データであるフレームの一部であり、フレームの検索対象となる領域の画像データが、サーチエリア記憶部３０３に備えるメモリに記憶される。例えば、検索対象となる領域は、１２８画素×１２８画素の領域である。
【０１６３】
以下、検索対象となる領域の画像データを、検出対象画像データとも称する。
【０１６４】
ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから画像を検索する。例えば、ステップＳ１０４において、追尾処理部３０４は、テンプレート記憶部３０２より供給された撮像データを基に、サーチエリア記憶部３０３より供給された検出対象画像データから、撮像データに最も類似する画像オブジェクトを検出する。
【０１６５】
類似する画像オブジェクトの検出の方法の詳細について、図２０乃至図２２を参照して説明する。図２０で示されるように、例えば、追尾処理部３０４は、検出対象画像データに対する撮像データの位置を、いわゆるラスタスキャン順に移動させて、その位置における検出対象画像データの画像オブジェクトと撮像データで示される画像オブジェクトとの類似の度合いを評価して、撮像データ３５１で示される画像オブジェクトに最も類似する、検出対象画像データに含まれる画像オブジェクトを検出する。
【０１６６】
例えば、画像オブジェクトを検出において、検出対象画像データに対する撮像データの位置は、検出対象画像データの左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような撮像データの位置の移動は、撮像データが検出対象画像データの右下に達するまで繰り返される。
【０１６７】
例えば、検出対象画像データに対する撮像データの１つの位置毎に、検出対象画像データの画素の画素値と、撮像データの対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる撮像データの位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。
【０１６８】
なお、検出対象画像データに対する撮像データの移動の間隔は、例えば、１画素ずつ移動するようにすることができる。
【０１６９】
この場合、移動の間隔は所望の間隔とすることが可能である。検出対象画像データに対する撮像データの移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。
【０１７０】
図２１は、画像オブジェクトの検出の処理において、ラスタスキャン順に撮像データを移動させる場合の、検出対象画像データの画像３６１に対する、撮像データの画像３５１の最初の位置の例を示す。すなわち、図２１は、図２０で示される左上の画像を拡大したものである。図２１で示されるように、撮像データと、検出対象画像データの背景の部分とが比較されることになるので、画素値の差の絶対値が大きくなり、検出しようとする画像オブジェクトは存在しないと判定される。
【０１７１】
これに対して、図２２で示されるように、撮像データの画像３５１と検出対象画像データの画像３６１のもっとも類似する部分の画像とが、重なる位置においては、検出しようとする画像オブジェクトを示す撮像データと、画像データに含まれる、検出されるべき画像オブジェクトとが比較され、画素値の差が小さくなる。従って、この位置における、画素値の差の絶対値（評価値）が、他の位置における画素値の差の絶対値（評価値）よりも小さくなり、検出しようとする画像オブジェクトがその位置に存在すると判定される。
【０１７２】
画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。
【０１７３】
また、追尾処理部３０４は、画像オブジェクトを検出する場合、撮像データおよび検出対象画像データを内部に備えるメモリに記憶する。撮像データおよび検出対象画像データのデータ量が、追尾処理部３０４の内部のメモリの容量よりも大きい場合、撮像データおよび検出対象画像データについて、データの間引きの処理を行い、データ量を少なくしてから、処理を実行するようにしてもよい。
【０１７４】
図１５に戻り、ステップＳ１０５において、追尾処理部３０４は、検出した画像オブジェクトから、画像オブジェクトの中心位置を取得する。例えば、ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置として、検出しようとする画像オブジェクトが存在すると判定された位置における、撮像データと比較された検出対象画像データの領域の中心位置を取得する。
【０１７５】
また、例えば、画像オブジェクトの中心位置は、画像オブジェクトの重心とするようにしてもよい。
【０１７６】
このように、画像オブジェクトの中心位置を検出することで、後の処理において、より正確に画像オブジェクトの位置を表示できるようになると共に、より正確に画像オブジェクトを追尾することができるようになる。
【０１７７】
ステップＳ１０５において、追尾処理部３０４は、画像オブジェクトの中心位置を示す位置データを追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。さらに、追尾オブジェクト指示部３０１は、検出した画像オブジェクトの中心位置を示す位置データをＯＳＤ表示制御部２８３に供給する。
【０１７８】
ステップＳ１０６において、ＯＳＤ表示制御部２８３は、画像提示装置１４に、拡大枠を表示させる。例えば、ステップＳ１０６において、ＯＳＤ表示制御部２８３は、ステップＳ１０５の処理で検出された画像オブジェクトの中心位置に、拡大枠を画像提示装置１４に表示させる表示データを生成して、生成した表示データを画像出力部２６２に供給する。画像出力部２６２は、画像データに表示データを重畳して、表示データを重畳した画像データを画像提示装置１４に供給する。
【０１７９】
図２３で示される例は、図１８で示される人の顔を画像オブジェクトとした場合の、画像提示装置１４に表示される画像オブジェクトの中心位置ｔを示す。
【０１８０】
ステップＳ１０７において、制御ＣＰＵ２８２は、リモートコントローラ２０２から送信されてくる制御信号を基に、拡大率が指定されたか否かを判定する。
【０１８１】
例えば、ユーザが拡大ボタン３４２または縮小ボタン３４３を押下し、拡大率が指定された場合、キー入力部２４１から供給される操作信号を基に、制御部２４４は、拡大または縮小の制御信号を生成し、生成した拡大または縮小の制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、拡大または縮小の制御信号を画像処理装置２０１に送信する。
【０１８２】
画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、拡大または縮小の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された拡大または縮小の制御信号を基に、拡大率が指定されたか否かを判定する。
【０１８３】
ステップＳ１０７において、拡大率が指定されたと判定された場合、ステップＳ１０８に進み、制御ＣＰＵ２８２は、拡大率を設定して、ステップＳ１０９に進む。例えば、ステップＳ１０８において、制御ＣＰＵ２８２は、受信部２８１より供給された、拡大または縮小制御信号を基に、ＯＳＤ表示制御信号を生成し、生成したＯＳＤ表示制御信号をＯＳＤ表示制御部２８３に供給する。また、ステップＳ１０８において、制御ＣＰＵ２８２は、拡大または縮小制御信号を基に、拡大率を指示する拡大制御信号を生成し、生成した拡大制御信号を画像拡大処理部２２４に供給する。
【０１８４】
ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２より供給されたＯＳＤ表示制御信号を基に、枠３７１の大きさを制御する。また、画像拡大処理部２２４の拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号を基に、拡大パラメータを生成する。
【０１８５】
一方、ステップＳ１０７において、拡大率が指定されなかったと判定された場合、ステップＳ１０８の処理はスキップされ、手続きは、ステップＳ１０９に進む。
【０１８６】
ステップＳ１０９において、制御ＣＰＵ２８２は、受信した制御信号を基に、決定ボタン３４４が押下されたか否かを判定する。
【０１８７】
ユーザが決定ボタン３４４を押下した場合、キー入力部２４１は、決定ボタン３４４に対応する操作信号を制御部２２４に供給する。制御部２２４は、決定ボタン３４４に対応する操作信号が供給された場合、決定の制御信号を生成して、生成した制御信号を送信部２４２に供給する。送信部２４２は、制御部２４４の制御の基に、決定の制御信号を画像処理装置２０１に送信する。
【０１８８】
画像処理装置２０１の受信部２８１は、送信部２８１より送信されてきた、決定の制御信号を受信して、受信した制御信号を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された決定の制御信号を基に、決定ボタン３４４が押下されたと判定する。
【０１８９】
また、決定ボタン３４４が押下されていない場合、画像処理装置２０１には、決定の制御信号が送信されないので、制御ＣＰＵ２８２は、決定ボタン３４４が押下されていないと判定する。
【０１９０】
ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１０１に戻り、決定ボタン３４４が押下されるまで、上述した追尾の設定の処理が繰り返される。
【０１９１】
ステップＳ１０１乃至ステップＳ１０６が繰り返されることにより、リモートコントローラ２０２の動きまたは向きによって、新たな画像オブジェクトを撮像して、撮像された画像オブジェクトを基に、追尾する画像オブジェクトが検出されるので、追尾する画像オブジェクトを簡単に変更することができる。
【０１９２】
図２４は、画像提示装置１４に表示される拡大枠の例を示す図である。
【０１９３】
追尾位置指定ボタン３４１を押下し、リモートコントローラ２０２が、追尾開始の制御信号を画像処理装置２０１に送信して、画像処理装置２０１が追尾の設定の処理を開始した場合、ステップＳ１０１乃至ステップＳ１０４の処理を実行する前に、画像処理装置２０１は、画像提示装置１４に、画像データに対応する人の画像に重畳させて、表示データに対応する枠３７１を表示させる。なお、この場合、枠３７１は、初期位置に表示される。
【０１９４】
図２５で示されるように、ステップＳ１０１乃至ステップＳ１０６が繰り返し実行されている場合、ユーザがリモートコントローラ２０２を上下左右に動かすことで、画像提示装置１４に表示する画像に重畳した拡大枠３７１が移動する。
【０１９５】
このように、リモートコントローラ２０２を動かすことでポインティングを行い、同時にポインティングした画像を撮像しているので、ユーザは、画像を撮像していることを意識する必要はない。
【０１９６】
すなわち、リモートコントローラ２０２を向けた方向の画像オブジェクトが、追尾の対象となるので、より直感的なポインティングをすることができる。
【０１９７】
また、図２６で示されるように、ユーザが拡大ボタン３４２を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、拡大した枠３７１を表示させる。すなわち、図２６における枠３７１の外側の四角が拡大後の枠３７１となる。
【０１９８】
図２７で示されるように、ユーザが縮小ボタン３４３を押下した場合、画像処理装置２０１は、画像提示装置１４に、人の画像に重畳して、縮小した枠３７１を表示させる。すなわち、図２７における枠３７１の内側の四角が縮小後の枠３７１となる。
【０１９９】
ステップＳ１０９において、決定ボタン３４４が押下されていないと判定された場合、ステップＳ１１０に進み、テンプレート記憶部３０２は、拡大枠の画像をテンプレートとして記憶して、処理は終了する。
【０２００】
例えば、ステップＳ１１０において、テンプレート記憶部３０２は、設定された拡大率に対応する撮像データをテンプレートとして記憶する。
【０２０１】
すなわち、例えば、追尾オブジェクト指示部３０１は、ステップＳ１０４の検索の処理得られた画像オブジェクトから、テンプレートをステップＳ１０８の処理で設定された拡大率、およびステップＳ１０５の処理で取得した検出した画像オブジェクトの中心位置を基に、追尾する画像オブジェクトを示すテンプレートを抽出する。
【０２０２】
例えば、最初の設定の拡大率に比較して、２倍の拡大率が設定された場合（枠３７１の大きさが半分に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に半分の数の画素、および縦方向に半分の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。
【０２０３】
例えば、最初の設定の拡大率に比較して、半分の拡大率が設定された場合（枠３７１の大きさが２倍に設定された場合）、追尾オブジェクト指示部３０１は、中心位置を中心として、ステップＳ１０４の検索の処理得られた画像オブジェクトに対して、横方向に２倍の数の画素、および縦方向に２倍の数の画素を画像データからテンプレートとして抽出するように、テンプレート記憶部３０２に指示する。
【０２０４】
テンプレート記憶部３０２は、追尾オブジェクト指示部３０１からの指示の基に、画像データからテンプレートとして抽出して、抽出したテンプレートを記憶する。
【０２０５】
このように、画像オブジェクトの検出は撮像データ３５１または画像データ３６１を変更しながら実行することで、拡大ボタン３４２または縮小ボタン３４３の押下より大きさの異なる画像オブジェクトを検出することができる。
【０２０６】
図２８で示されるように、ユーザが決定ボタン３４４を押下した場合、画像処理装置２０１は、画像提示装置１４に、枠３７１で指定した、画像オブジェクトを拡大して表示させる。
【０２０７】
次に、図２９および図３０を参照して、部屋の明るさに対応した画像出力について説明する。
【０２０８】
図２９は、暗い部屋の画像提示装置１４により表示されている画像を示す。図３０は、明るい部屋の画像提示装置１４に表示される画像示す。
【０２０９】
撮像部２４３は、部屋を撮像し、撮像した撮像データを制御部２４４に供給する。
【０２１０】
制御部２４４は、撮像部２４３から供給される撮像データを基に、画質情報（例えば、部屋の明るさの情報）を生成し、生成した画質情報を送信部２４２に供給する。送信部２４２は、制御部２４４から供給された画質情報を受信部２８１に送信する。
【０２１１】
受信部２８１は、送信部２４２から供給された画質情報を制御ＣＰＵ２８２に供給する。制御ＣＰＵ２８２は、受信部２８１から供給された画質情報を基に、画質パラメータを生成し、例えば、拡大パラメータ指示部３２１に供給する。
【０２１２】
拡大パラメータ指示部３２１は、制御ＣＰＵ２８２から供給される画質パラメータを基に、明るさの指示を含む拡大パラメータを生成し、生成した拡大パラメータを拡大処理部３２２に供給する。
【０２１３】
拡大処理部３２２は、画像入力部２２１から供給される画像データおよび拡大パラメータ指示部３２１から供給される、明るさの指示を含む拡大パラメータを基に、画像データの明るさを変更して、画像出力部２６２に供給する。
【０２１４】
画像出力部２６２は、画像データを画像提示装置１４に供給する。画像処理装置２０１は、画像提示装置１４に、部屋の明るさに対応した画像を表示させる。例えば、画像処理装置２０１は、部屋が暗い場合、画像提示装置１４に暗い画像を表示させる。
【０２１５】
例えば、画像処理装置２０１は、部屋が明るい場合、画像提示装置１４に明るい画像を表示させる。
【０２１６】
また、上述した処理は、ＯＳＤ表示制御部２８３が行うようにしてもよい。すなわち、制御ＣＰＵ２８２は、受信部２８２から供給された画質パラメータをＯＳＤ表示制御部２８３に供給する。
【０２１７】
ＯＳＤ表示制御部２８３は、制御ＣＰＵ２８２から供給された画質パラメータを基に、表示データを生成し、生成した表示データを画像処理部２６２に供給することで、画像提示装置１４は、部屋の明るさに対応した画像を表示する。このようにすることで、環境が変化しても、確実に、画像オブジェクトをポインティングすることができる。
【０２１８】
また、画質パラメータの設定は上述した例に限定されるものではない。例えば、ユーザにより設定されるようにしてもよい。
【０２１９】
次にステップＳ６の追尾の処理に対応する、追尾の処理の詳細について、図３１のフローチャートを参照して説明する。
【０２２０】
ステップＳ２０１において、サーチエリア記憶部３０３は、画像入力部２６１より供給された画像データから、検索領域（サーチエリア）の画像データを抽出し、抽出した検索領域の画像データを記憶する。例えば、検索領域の画像データは、１２８画素×１２８画素とされる。サーチエリア記憶部３０３は、記憶している検索領域の画像データを追尾処理部３０４に供給する。例えば、検索領域は、ステップＳ１０５の処理で取得された中心位置、または、後述するステップＳ２０３の処理で更新される拡大中心位置を基準として抽出される。
【０２２１】
ステップＳ２０２において、画像追尾処理部２２３は、画像を検索する。例えば、ステップＳ２０２において、画像追尾処理部２２３の追尾処理部３０４は、サーチエリア記憶部３０３より供給された検索領域から、テンプレート記憶部３０２より供給された追尾の対象となる画像オブジェクトを検出し、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。
【０２２２】
図３２は、歩いている人の画像を示す図である。図３２Ａで示されるように、時刻ｔ−１において、画面の左側に表示されている左から右に歩いている人の画像は、時刻ｔになると、図３２Ｂに示されるように、図３２Ａより右側に表示される。
【０２２３】
図３２Ａで示される、時刻ｔ−１の画像における、画像オブジェクト３８１は、追尾の対象となる画像オブジェクトである。図３２Ｂで示される、時刻ｔの画像における検索領域３９１から、画像オブジェクト３８１が検出される。
【０２２４】
図３３で示されるように、追尾処理部３０４は、サーチエリア記憶部３０３より供給された時刻ｔにおける検索領域３９１（図３３Ｂ）からテンプレート記憶部３０２より供給された時刻ｔ−１における追尾の対象となる画像オブジェクト３８１（図３３Ａ）を検出する。
【０２２５】
画像オブジェクトの検出の方法の詳細について、図３４を参照して説明する。
【０２２６】
図３４で示されるように、例えば、追尾処理部３０４は、検索領域３９１に対する画像オブジェクト３８１の位置を、いわゆるラスタスキャン順に移動させて、その位置における検索領域３９１の画像オブジェクトと画像オブジェクト３８１との類似の度合いを評価して、画像オブジェクト３８１に最も類似する、検索領域３９１に含まれる画像オブジェクトを検出する。
【０２２７】
例えば、画像オブジェクトを検出において、検索領域３９１に対する画像オブジェクト３８１の位置は、検索領域３９１の左上の隅から右側に順に平行に移動し、右端に達すると、所定の画素数だけ下であって、最も左に移動して、そこからまた右側に順に平行に移動する。このような画像オブジェクト３８１の位置の移動は、画像オブジェクト３８１が検索領域３９１の右下に達するまで繰り返される。
【０２２８】
例えば、検索領域３９１に対する画像オブジェクト３８１の１つの位置毎に、検索領域３９１の画素の画素値と、画像オブジェクト３８１の対応する位置の画素の画素値との差が算出され、その差の絶対値の総和が評価値として算出される。例えば、評価値としての画素値の差の絶対値が最小となる画像オブジェクト３８１の位置が、画像データにおける、検出しようとする画像オブジェクトの位置である。
【０２２９】
なお、検索領域３９１に対する画像オブジェクト３８１の移動の間隔は、例えば、１画素ずつ移動するようにすることができる。
【０２３０】
この場合、移動の間隔は所望の間隔とすることが可能である。検索領域３９１に対する画像オブジェクト３８１の移動の間隔をより小さくしたほうが、より正確に類似する画像オブジェクトを検出することができる。
【０２３１】
画像オブジェクトを検出する評価値は、画素値の差分の絶対値の総和に限らず、画素値の差分の自乗の総和など、画像の相関を示すものであれば良い。
【０２３２】
例えば、図３４で示される例の右端の列の中央の画像が画像オブジェクト３８１に最も類似する画像オブジェクトととして検出される。
【０２３３】
追尾処理部３０４は、検出した画像オブジェクトの位置を示す位置情報を追尾オブジェクト指示部３０１および拡大パラメータ指示部３２１に供給する。追尾オブジェクト指示部３０１は、追尾処理部３０４より供給された、検出した画像オブジェクトの位置を示す位置情報を取得し、取得した位置情報をテンプレート記憶部３０２に供給する。
【０２３４】
ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報を基に、追尾する画像オブジェクトの位置を示す位置情報（拡大中心位置）を更新する。
【０２３５】
図３５は、画像提示装置１４に表示される、歩いている人の画像を示す例である。図中の「＋印」は、画像オブジェクトの位置を示す位置情報であり、時刻ｔ−１および時刻ｔにおける、画像オブジェクトの位置を示す。
【０２３６】
位置情報を更新した場合、画像オブジェクトの位置は、時刻ｔ−１の位置から時刻ｔの位置に移動する。
【０２３７】
例えば、ステップＳ２０３において、位置情報が、図３５で示される、時刻ｔ−１の位置から時刻ｔの位置に更新される。
【０２３８】
ステップＳ２０３において、テンプレート記憶部３０２は、追尾オブジェクト指示部３０１より供給された位置情報および設定されている拡大率を基に、画像入力部２６１より供給された画像データから追尾領域の画像オブジェクトを抽出し、抽出した画像オブジェクトを記憶する。
【０２３９】
画像オブジェクトの追尾の処理が実行されている場合、ステップＳ２０３の処理を繰り返すたびに、テンプレート記憶部３０２に記憶される画像オブジェクトは、繰り返し更新される。
【０２４０】
ステップＳ２０４において、拡大パラメータ指示部３２１は、検出した画像オブジェクトの位置を示す位置情報およびステップＳ１０８の処理で設定された拡大率を基に、拡大処理部３２２に画像の拡大を指示する。例えば、ステップＳ２０４において、拡大パラメータ指示部３２１は、画像オブジェクトの位置を示す位置情報および拡大パラメータを拡大処理部３２２に供給することにより、拡大処理部３２２に画像の拡大を指示する。
【０２４１】
なお、ステップＳ２０４において、拡大パラメータ指示部３２１は、制御ＣＰＵ２８２より供給された拡大制御信号から拡大率を抽出して、抽出された拡大率、および追尾処理部３０４より供給された、追尾される画像オブジェクトの位置を示す位置情報を基に、拡大パラメータ（拡大位置、拡大率）を生成し、生成した拡大パラメータを拡大処理部３２２に供給するようにしてもよい。
【０２４２】
ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１からの指示の基に、画像を拡大する。例えば、ステップＳ２０５において、拡大処理部３２２は、拡大パラメータ指示部３２１より供給された拡大パラメータを基に、画像入力部５１より供給された画像データのうち、位置情報により示される位置の画像を拡大し、拡大した画像を示す画像データ（画像オブジェクト）を画像出力部５２に供給する。
【０２４３】
ステップＳ２０６において、画像出力部２６２は、追尾され、拡大された画像オブジェクトを示す画像データを画像提示装置１４に出力して、画像提示装置１４に、追尾され、拡大された画像オブジェクトを表示させる。
【０２４４】
ステップＳ２０７において、制御ＣＰＵ２８２は、追尾の処理が終了したか否かを判定する。
【０２４５】
例えば、リモートコントローラ２０２に図示せぬ、追尾終了ボタンを押下し、リモートコントローラ２０２が上述した処理と同様の処理で追尾終了制御信号を画像処理装置２０１に送信することで、制御ＣＰＵ２８２が終了の判定するようにしてもよいし、追尾の処理を実行中に追尾位置指定ボタン３４１を押下することで、追尾終了制御信号を送信し、制御ＣＰＵ２８２が終了の判定するようにしてもよい。
【０２４６】
また、追尾の処理の終了の方法は、上述した例に限定されるものではない。
【０２４７】
ステップＳ２０７において、終了が指示されていないと判定された場合、ステップＳ２０１に戻り、上述した追尾の処理が繰り返される。ステップＳ２０１乃至ステップＳ２０７の処理を繰り返すことで、ステップＳ２０３において、テンプレート記憶部３０２に記憶される画像オブジェクトが、繰り返し更新されることにより追尾の処理が実行される。
【０２４８】
より具体的には、追尾オブジェクト指示部３０１は、追尾する画像オブジェクトの位置の初期値として、追尾の設定の処理において取得された中心位置をテンプレート記憶部３０２に供給し、追尾の処理が開始されると、追尾する画像オブジェクトの位置として、更新された拡大中心位置をテンプレート記憶部３０２に供給する。
【０２４９】
すなわち、追尾する画像オブジェクトは、１フレーム毎に更新されることになる。
【０２５０】
このようにすることで、例えば、顔の向きが変わるなど、追尾しようとする画像オブジェクトの画素値が変化しても、正確に画像オブジェクトを追尾して、追尾した画像オブジェクトを表示することができる。
【０２５１】
ステップＳ２０７において、終了が指示された場合、処理は終了する。
【０２５２】
以上のように、ユーザは、リモートコントローラ２０２が向けられた方向をポインティングできるので、より直感的なポインティングで追尾の対象を指定することが可能となる。
【０２５３】
画像処理装置がリモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信し、リモートコントローラから送信されてきた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。
【０２５４】
制御信号を送信するようにした場合、画像処理装置において、画像オブジェクトをポインティングすることができる。また、画像処理装置から出力された第１の画像データによって表示されている画像に含まれている、画像オブジェクトを撮像し、画像オブジェクトの撮像によって得られた第２の画像データを画像処理装置に送信するようにした場合、画像処理装置において、より迅速に、より簡単に画像オブジェクトをポインティングすることができる。
【０２５５】
リモートコントローラから送信されたデータを受信するようにした場合、そのデータを基に、画像オブジェクトを追尾することができる。また、リモートコントローラから送信されてきた、自分が出力した第１の画像データによって表示されている画像が撮像されることによって得られた第２の画像データを受信し、第２の画像データを基に、第１の画像データから画像オブジェクトを検出するようにした場合、より迅速に、より簡単に追尾する画像オブジェクトをポインティングすることができる。
【０２５６】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２５７】
図３６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。ＣＰＵ（Central Processing Unit）５０１は、ＲＯＭ（Read Only Memory）５０２、または記録部５０８に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ５０１、ＲＯＭ２０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
【０２５８】
ＣＰＵ５０１にはまた、バス５０４を介して入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＵＰ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ５０１は、処理の結果得られた画像等を出力部５０７に出力する。
【０２５９】
入出力インタフェース５０５に接続されている記録部５０８は、例えばハードディスクなどで構成され、ＣＰＵ５０１が実行するプログラムや各種のデータを記録する。通信部５０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部５０９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０２６０】
また、通信部５０９を介してプログラムを取得し、記録部５０８に記録してもよい。
【０２６１】
入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク５２１、光ディスク５２２、光磁気ディスク５２３、或いは半導体メモリ５２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部５０８に転送され、記録される。
【０２６２】
一連の処理をさせるプログラムが格納されている記録媒体は、図３６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５２１（フレキシブルディスクを含む）、光ディスク５２２（ＣＤ-ＲＯＭ（Compact Disc-Read Only Memory)、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク５２３（ＭＤ（Mini-Disc）（商標）を含む）、若しくは半導体メモリ５２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ５０２や、記録部５０８に含まれるハードディスクなどで構成される。
【０２６３】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０２６４】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２６５】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０２６６】
【図１】従来の画像処理システムの構成を示す図である
【図２】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図３】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図４】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図５】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図６】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図７】従来のリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図８】追尾の概念を説明する図である。
【図９】追尾の概念を説明する図である。
【図１０】本発明に係る画像処理システムの一実施の形態を示す図である。
【図１１】本発明のリモートコントローラの外観を示す図である。
【図１２】本発明に係る画像処理システムの一実施の形態の構成を示すブロック図である。
【図１３】追尾の処理を説明するフローチャートである。
【図１４】本発明によるリモートコントローラによる画像オブジェクトの設定を説明する図である。
【図１５】追尾の設定の詳細の処理を説明するフローチャートである。
【図１６】追尾の設定を説明する図である。
【図１７】追尾の設定を説明する図である。
【図１８】画像提示装置により表示される画像の例を示す図である。
【図１９】撮像データおよび検索領域を説明する図である。
【図２０】画像の検索を説明する図である。
【図２１】画像の検索を説明する図である。
【図２２】画像の検索を説明する図である。
【図２３】中心位置を説明する図である。
【図２４】画像オブジェクトの設定を説明する図である。
【図２５】画像オブジェクトの設定を説明する図である。
【図２６】画像オブジェクトの設定を説明する図である。
【図２７】画像オブジェクトの設定を説明する図である。
【図２８】画像オブジェクトの設定を説明する図である。
【図２９】部屋の明るさに対応した画像出力について説明する図である。
【図３０】部屋の明るさに対応した画像出力について説明する図である。
【図３１】追尾の処理の詳細の処理を説明するフローチャートである。
【図３２】追尾の処理を説明する図である。
【図３３】画像オブジェクトおよび検索領域を説明する図である。
【図３４】画像オブジェクトの検出を説明する図である。
【図３５】中心位置を説明する図である。
【図３６】パーソナルコンピュータの構成を説明するブロック図である。
【符号の説明】
【０２６７】
２  画像処理システム，  １１  画像再生装置，  １４  画像提示装置，  ２０１  画像処理装置，  ２０２  リモートコントローラ，  ２２１  画像入出力部，  ２２２  制御部，  ２２３  画像追尾処理部，  ２２４  画像拡大処理部，  ２４１  キー入力部，  ２４２  送信部，  ２４３  撮像部，  ２４４  制御部，  ２６１  画像入力部，  ２６２  画像出力部，  ２８１  受信部，  ２８２  制御ＣＰＵ，  ２８３  ＯＳＤ表示制御部，  ３０１  追尾オブジェクト指示部，  ３０２  テンプレート記憶部，  ３０３  サーチエリア記憶部，  ３０４  追尾処理部，  ３２１  拡大パラメータ指示部，  ３２２  拡大処理部
【図１】
2005184722.tif 000003
【図２】
2005184722.tif 000004
【図３】
2005184722.tif 000005
【図４】
2005184722.tif 000006
【図５】
2005184722.tif 000007
【図６】
2005184722.tif 000008
【図７】
2005184722.tif 000009
【図８】
2005184722.tif 000010
【図９】
2005184722.tif 000011
【図１０】
2005184722.tif 000012
【図１１】
2005184722.tif 000013
【図１２】
2005184722.tif 000014
【図１３】
2005184722.tif 000015
【図１４】
2005184722.tif 000016
【図１５】
2005184722.tif 000017
【図１６】
2005184722.tif 000018
【図１７】
2005184722.tif 000019
【図１８】
2005184722.tif 000020
【図１９】
2005184722.tif 000021
【図２０】
2005184722.tif 000022
【図２１】
2005184722.tif 000023
【図２２】
2005184722.tif 000024
【図２３】
2005184722.tif 000025
【図２４】
2005184722.tif 000026
【図２５】
2005184722.tif 000027
【図２６】
2005184722.tif 000028
【図２７】
2005184722.tif 000029
【図２８】
2005184722.tif 000030
【図２９】
2005184722.tif 000031
【図３０】
2005184722.tif 000032
【図３１】
2005184722.tif 000033
【図３２】
2005184722.tif 000034
【図３３】
2005184722.tif 000035
【図３４】
2005184722.tif 000036
【図３５】
2005184722.tif 000037
【図３６】
2005184722.tif 000038