(57)【特許請求の範囲】
【請求項１】
撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得し、
前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定し、
前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力するように構成されている、電気回路を備え、
前記電気回路は、取得された画像データから前記対象オブジェクトを検出し、検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定する、情報処理システム。
【請求項２】
前記電気回路は、センサと前記対象オブジェクトとの距離を検出する前記センサの出力に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定するように構成されている、請求項１に記載の情報処理システム。
【請求項３】
前記電気回路は、前記対象オブジェクトによるジェスチャの認識のために前記距離が小さすぎるとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定するように構成されている、請求項１に記載の情報処理システム。
【請求項４】
前記電気回路は、
前記対象オブジェクトと撮像デバイスとの距離を決定し、
前記距離を、所定の閾値と比較し、
前記距離が前記所定の閾値よりも小さいとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定するように構成されている、請求項１に記載の情報処理システム。
【請求項５】
前記電気回路により算出される前記動き情報は、前記対象オブジェクトに対応する動きベクトルである、請求項１に記載の情報処理システム。
【請求項６】
前記電気回路は、算出された前記対象オブジェクトの動きに対応する動き情報に基づいて、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定するように構成されている、請求項１に記載の情報処理システム。
【請求項７】
前記電気回路は、前記動き情報が、前記対象オブジェクトによるジェスチャの認識のために前記距離が小さすぎることを示すとき、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定するように構成されている、請求項１に記載の情報処理システム。
【請求項８】
前記電気回路は、取得された画像データと、前記動き情報に基づく前記対象オブジェクトの動きの軌跡に対応する図形の通知とを表示するための表示を制御するように構成されている、請求項１に記載の情報処理システム。
【請求項９】
前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないことを示す図形の通知を表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
【請求項１０】
前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの前記距離が小さすぎることを示す図形の通知を表示するための表示を、制御するように構成されている、請求項３に記載の情報処理システム。
【請求項１１】
前記電気回路は、取得された前記画像データと、前記通知としての、表示された取得された前記画像データに含まれる前記対象オブジェクトの位置に基づく、取得された前記画像データに重ね合わせた図形の通知とを、表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
【請求項１２】
前記電気回路は、前記通知としての、表示された取得された前記画像データに含まれる前記対象オブジェクトに重ね合わせた図形の通知を表示するための表示を、制御するように構成されている、請求項１１に記載の情報処理システム。
【請求項１３】
前記電気回路は、表示された取得された前記画像データに含まれる前記対象オブジェクトの中心に対応する位置の通知を表示するための表示を、制御するように構成されている、請求項１２に記載の情報処理システム。
【請求項１４】
前記電気回路は、取得された前記画像データと、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの前記距離が小さすぎることを示す、前記対象オブジェクトに重ねられた図形の通知と、を表示するための表示を、制御するように構成されている、請求項３に記載の情報処理システム。
【請求項１５】
前記電気回路は、前記通知としての、前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないことを示す、前記動き情報に対応する図形の通知を表示するための表示を、制御するように構成されている、請求項１に記載の情報処理システム。
【請求項１６】
前記電気回路は、前記通知としての音声を出力させるために、スピーカを制御するように構成されている、請求項１に記載の情報処理システム。
【請求項１７】
前記電気回路は、前記動き情報に基づき算出される特定の動き方向に対応する領域の面積に基づいて、前記対象オブジェクトと撮像デバイスとの距離を決定する、請求項１に記載の情報処理システム。
【請求項１８】
撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得し、
前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定し、
前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力し、
前記対象オブジェクトと撮像デバイスとの距離は、取得された画像データから検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、決定される、
情報処理システムにより実行される、方法。
【請求項１９】
コンピュータに、
撮像デバイスによって記録され、ジェスチャを認識する対象である対象オブジェクトに対応する画像データを取得させ、
前記対象オブジェクトによるジェスチャの認識のために対象オブジェクトと撮像デバイスとの距離が十分ではないかどうかを決定させ、
前記対象オブジェクトによるジェスチャの認識のために前記対象オブジェクトと撮像デバイスとの距離が十分ではないと決定されたとき、通知を出力させ、
前記対象オブジェクトと撮像デバイスとの距離は、取得された画像データから検出された前記対象オブジェクトに対応する領域における、前記対象オブジェクトの動きに対応する動き情報に基づいて、決定される、
プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical  User  Interface）が採用されており、ユーザは、ＣＵＩ（Character  User  Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ポインティングデバイスを用いて操作が行われるＧＵＩは必ずしも操作性のよいユーザインタフェースではない。
【０００３】
また、ユーザの身振りや手振りに応じて処理を実行させる技術が開発されている。ユーザの身振りや手振りに応じて処理を実行させる技術としては、例えば、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１４６７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１に記載の技術では、発光素子から発光された光が受光素子で受光されるまでの時間や、受光した回数に基づいて、実行する処理を切り替える。よって、例えば特許文献１に記載の技術を用いる場合には、ユーザの身振りや手振りに応じて処理を実行させることができる可能性はある。
【０００６】
しかしながら、例えば特許文献１に記載の技術は、発光素子から発光された光が受光素子で受光されるまでの時間や、受光した回数に基づいて、実行する処理を切り替えるものである。そのため、特許文献１に記載の技術が用いられる場合には、ユーザが行う身振りや手振りを、実行した処理の結果でしかユーザにフィードバックすることができない。よって、例えば特許文献１に記載の技術を用いる場合には、例えば、ユーザが行わなければならない身振りや手振りの数が増える程、または、ユーザが行わなければならない身振りや手振りが複雑になればなる程、ユーザが誤操作する可能性が高くなる。
【０００７】
本開示では、ユーザにジェスチャ動作をフィードバックすることが可能な、新規かつ改良された画像処理装置、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、表示画面全体に対応する表示領域に表示される画像、または、上記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する画像処理部と、合成された画像を、表示画面に表示させる表示制御部と、を備える、画像処理装置が提供される。
【０００９】
また、本開示によれば、コンピュータを、表示画面全体に対応する表示領域に表示される画像、または、上記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する手段、合成された画像を、表示画面に表示させる手段、として機能させるためのプログラムが提供される。
【発明の効果】
【００１０】
本開示によれば、ユーザにジェスチャ動作をフィードバックすることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図２】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図３】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図４】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図５】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図６】本実施形態に係る画像処理装置における画像処理を説明するための説明図である。
【図７】本実施形態に係る画像処理装置における近距離判定処理、および通知処理の概要を説明するための説明図である。
【図８】本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。
【図９】本実施形態に係る画像処理装置における画像処理の一例を示す流れ図である。
【図１０】本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図１１】本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１４】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００１５】
本実施形態に係る画像処理装置は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する（画像処理）。そして、本実施形態に係る画像処理装置は、合成された画像を、表示画面に表示させる（表示制御処理）。
【００１６】
ここで、本実施形態に係る表示領域とは、表示画面全体に対応する領域であり、ジェスチャ認識が行われうる領域である。また、本実施形態に係る表示領域における一部の領域は、ジェスチャ認識が行われうる領域である。本実施形態に係る表示領域における一部の領域としては、例えば、表示領域の一部に表示されるシェル画面などが挙げられる。ここで、ジェスチャ認識に係る処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置が行ってもよい。以下では、ジェスチャ認識に係る処理を行う本実施形態に係る画像処理装置、および／または、ジェスチャ認識に係る処理を行う外部装置を、「ジェスチャ認識に係る処理を行う装置」と示す。
【００１７】
また、本実施形態に係る表示画面としては、例えば、外部の表示装置における表示画面、または、本実施形態に係る画像処理装置が表示部（後述する）を備える場合には、当該表示部（後述する）における表示画面が挙げられる。また、本実施形態に係る表示画面は、例えば、プロジェクタにより投影された画像が表示されるスクリーンや壁などにおける、画像が表示される領域であってもよい。
【００１８】
また、本実施形態に係る撮像画像とは、例えば、外部の撮像装置、または、本実施形態に係る画像処理装置が撮像部（後述する）を備える場合には当該撮像部（後述する）によって撮像された画像に対して、鏡像処理（左右反転処理）が施された画像である。本実施形態に係る撮像画像は、ユーザにジェスチャ動作をフィードバックする役目を果たす。ここで、鏡像処理は、本実施形態に係る画像処理装置が行ってもよいし、または、撮像を行った撮像装置などの外部装置において行われてもよい。また、本実施形態に係る撮像画像としては、例えば、動画像（または、複数の静止画像）が挙げられる。以下では、本実施形態に係る撮像画像が、複数のフレーム画像からなる動画像である場合を例に挙げて説明する。
【００１９】
本実施形態に係る外部の撮像装置、撮像部（後述する）としては、例えば、ＲＧＢの輝度情報が取得可能なカメラが挙げられるが、本実施形態に係る外部の撮像装置、撮像部（後述する）は、上記に限られない。例えば、本実施形態に係る外部の撮像装置、撮像部（後述する）は、デプスカメラのような深度情報が取得可能な特殊なカメラであってもよい。
【００２０】
なお、本実施形態に係る撮像画像は、鏡像処理（左右反転処理）が施された画像に限られない。例えば、撮像装置や撮像部（後述する）において鏡像が撮像される場合には、本実施形態に係る撮像画像は、撮像された画像そのものであってもよい。
【００２１】
本実施形態に係る画像処理装置が上記のような処理を行うことによって、表示領域全体、または、表示領域の一部の領域に、撮像画像が合成された画像が表示される。撮像画像が合成された画像が、表示画面に表示されることによって、ユーザは、例えば、自己の手をスライドさせる、自己の手を用いて押す操作を行う、複数本の指で拡大操作、縮小操作、移動操作を行うなど、自己のジェスチャの内容を視覚的に確認することができる。したがって、本実施形態に係る画像処理装置が上記のような処理を行うことによって、本実施形態に係る画像処理装置は、ユーザに対してジェスチャ動作をフィードバックすることができる。
【００２２】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）画像処理、および（２）表示制御処理を行う。以下、本実施形態に係る画像処理方法に係る処理についてより具体的に説明する。
【００２３】
（１）画像処理
本実施形態に係る画像処理装置は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。
【００２４】
なお、本実施形態に係る画像処理装置における画像処理は、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを、単に合成することに限られない。
【００２５】
（１−１）画像処理の第１の例
例えば、表示領域に表示される画像と、表示領域における一部の領域に表示される画像とには、ボタンやアイコン、メニュー、コンテンツを示すサムネイル（例えば、再生中のコンテンツを示すサムネイルを含む。）などのユーザによる操作が可能な、ジェスチャ認識の結果に応じて操作される、操作の対象となるオブジェクト（以下、「操作対象オブジェクト」と示す。）が含まれる場合がある。操作対象オブジェクトが、撮像画像を合成させる表示領域に表示される画像、または、撮像画像を合成させる表示領域における一部の領域に表示される画像に含まれる場合には、本実施形態に係る画像処理装置は、例えば、操作対象オブジェクトが配置される領域に、撮像画像を合成させないことが可能である。
【００２６】
上記のように、操作対象オブジェクトが配置される領域に撮像画像を合成させないことによって、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性が合成によって低下する可能性を低減させることができる。
【００２７】
（１−２）画像処理の第２の例
表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを、単に合成する場合には、例えば、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に含まれている操作対象オブジェクトの視認性が低下する可能性がある。そこで、本実施形態に係る画像処理装置は、上記のような操作対象オブジェクトの視認性が低下する可能性を低減させるために、例えば、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成することも可能である。
【００２８】
ここで、本実施形態に係る撮像画像の可視化の程度の変化としては、例えば、撮像画像を平滑化する平滑化の度合いを変化させることが挙げられる。
【００２９】
本実施形態に係る画像処理装置は、例えば、撮像画像を平滑化することによって、あたかも画家が描いたような絵画調の効果（例えば、筆触効果等）が撮像画像に対して与える。より具体的には、本実施形態に係る画像処理装置は、例えば、画像におけるエッジのベクトル方向（または、当該ベクトルと、画像の垂直方向や水平方向などの基準方向との角度）を算出し、当該ベクトル方向に基づいて、エッジ保存平滑化フィルタの強弱を調整する。そして、本実施形態に係る画像処理装置は、調整されたエッジ保存平滑化フィルタを用いて撮像画像を平滑化することによって、絵画調の効果を撮像画像に対して与える。ここで、本実施形態に係るエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタ（bilateral  filter）などのようなエッジを保存することが可能な平滑化フィルタが挙げられる。なお、本実施形態に係る画像処理装置における、絵画調の効果を撮像画像に対して与えるための処理は、上記に限られない。本実施形態に係る画像処理装置は、絵画調の効果を撮像画像に対して与えることが可能な任意の技術を用いることが可能である。
【００３０】
なお、本実施形態に係る撮像画像の可視化の程度の変化は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像に対してガウシアンフィルタ（gaussian  filter）などを適用することによって、撮像画像に対してぼかし効果を与えてもよい。また、本実施形態に係る画像処理装置は、例えば、ポスタリゼーションや、モザイク、線画、シルエット表示など、撮像画像に対する様々な画像処理を行うことによって、撮像画像の可視化の程度を変化させてもよい。
【００３１】
また、本実施形態に係る画像処理装置は、例えば、撮像画像を透過させる度合いを、撮像画像内で変化させることによって、撮像画像を部分的に可視化してもよい。より具体的には、本実施形態に係る画像処理装置は、例えば、撮像画像の背景部分における空間周波数や色合いを検出し、検出結果に応じて動的に透過度を変える。本実施形態に係る画像処理装置は、例えば、検出された空間周波数が高い程（複雑な画像である程）、透過度を低くし、また、検出された色合いが濃い程、透過度を低くする。例えば上記のように、検出された空間周波数が高い程、透過度を低くし、また、検出された色合いが濃い程、透過度を低くすることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下をより防止することができる。
【００３２】
以下、本実施形態に係る画像処理装置が、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成する場合を主に例に挙げて、本実施形態に係る画像処理の一例について説明する。
【００３３】
図１は、本実施形態に係る画像処理装置における画像処理を説明するための説明図であり、本実施形態に係る画像処理装置が表示画面に表示させる画像の一例を示している。ここで、図１に示すＡは、画像処理において表示領域に表示される画像と撮像画像とが合成された画像の一例を示しており、図１に示すＢは、画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成された画像の一例を示している。また、図１に示す“ＳＣ１”は、表示領域を示しており、図１に示す“ＳＣ２”は、表示領域における一部の領域を示している。
【００３４】
図１のＡに示すように、本実施形態に係る画像処理装置は、表示領域ＳＣ１に表示される画像と撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。よって、図１のＡに示すように、表示領域ＳＣ１に表示される画像と撮像画像とが合成される場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
【００３５】
また、図１のＢに示すように、本実施形態に係る画像処理装置は、表示領域における一部の領域ＳＣ２に表示される画像と撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。よって、図１のＢに示すように、表示領域における一部の領域ＳＣ２に表示される画像と撮像画像とが合成される場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。ここで、表示領域における一部の領域ＳＣ２の大きさや、位置は、例えば、予め設定されるが、本実施形態に係る表示領域における一部の領域ＳＣ２は、上記に限られない。例えば、本実施形態に係る表示領域における一部の領域ＳＣ２の大きさや、位置は、ユーザなどが自由に設定することが可能であってもよい。
【００３６】
以下、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とが合成される場合、および本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合それぞれにおいて、表示画面に表示される画像の一例について、説明する。
【００３７】
（Ｉ）表示領域に表示される画像と撮像画像とが合成される場合
図２は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図２は、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とが合成される場合に、本実施形態に係る表示制御処理により表示画面に表示される画像の一例を示している。なお、図２では、説明の便宜上、本実施形態に係る画像処理によって合成された画像ではなく、撮像画像が合成される前の表示領域に表示される画像の一例のみを示している。
【００３８】
図２に示すように、表示領域に表示される画像には、ボタンやアイコン、メニュー、コンテンツを示すサムネイルなどのユーザによる操作可能な、操作対象オブジェクトが含まれうる。また、図２のＡ〜Ｆに示すように、操作対象オブジェクトは、表示領域内の様々な位置に配置されうる。ここで、表示領域内において操作対象オブジェクトは、例えば、図２のＡ〜Ｃに示すように表示領域内で自由に配置されてもよいし、図２のＤ、Ｅに示すような水平方向に重きが置かれる配置や図２のＦに示すような垂直方向に重きが置かれる配置など、特定の方向に重きが置かれて配置されてもよい。また、表示領域に表示される画像には、例えば、図２のＢ〜Ｆに示す操作対象オブジェクトＯ１のように、表示画面に表示される画像の一部の操作対象オブジェクトを水平方向または垂直方向にスライドさせて表示させるための（いわゆるスクロールをさせるための）操作対象オブジェクトが含まれていてもよい。
【００３９】
例えば、図２のＡに示す画像（より厳密には、図２のＡに示す画像と撮像画像とが合成された画像。以下、同様とする。）が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）や、ユーザ（操作者）が、所望の操作対象オブジェクトを設定された所定の時間手で触れ続けるジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。ここで、上記の例は、ユーザの手が、ジェスチャ認識が行われる対象のオブジェクト（以下、「認識対象オブジェクト」と示す。）である場合における例を示している。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。ここで、操作対象オブジェクトに対応付られた処理としては、例えば、対応するコンテンツデータを再生する再生処理や、対応付けられたアプリケーションを実行する処理、他の操作画面へと画面遷移する処理などが挙げられる。なお、本実施形態に係るジェスチャ認識に係る処理を行う装置が認識するジェスチャ操作が、操作対象オブジェクトを手で叩くようなジェスチャや、所望の操作対象オブジェクトを所定の時間手で触れ続けるジェスチャに限られないこと、および、本実施形態に係るジェスチャ認識に係る処理を行う装置が認識したジェスチャ操作に応じて行う処理が、上記に示す例に限られないことは、言うまでもない。
【００４０】
また、図２のＢ〜Ｆに示す画像（より厳密には、図２のＢ〜Ｆに示す画像と撮像画像とが合成された画像。以下、同様とする。）が表示画面に表示されている場合においても、上記図２のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、実行操作を認識する。そして、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
【００４１】
例えば、図２のＢ〜Ｆに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、一部の操作対象オブジェクトをスクロールをさせるためのスクロール処理を行う。より具体的には、例えば、図２のＢ、Ｃに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＢに示す操作対象オブジェクトＯ２、図２のＣに示す操作対象オブジェクトＯ３以外に表示可能な操作対象オブジェクトが存在しないので、ジェスチャ認識に係る処理を行う装置は、操作対象オブジェクトＯ２、操作対象オブジェクトＯ３をスクロールさせない。また、例えば、図２のＤ、Ｅに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＤに示す操作対象オブジェクトＯ４、図２のＥに示す操作対象オブジェクトＯ５を、水平方向（例えば、表示画面における向かって右方向）に、操作対象オブジェクトＯ４、操作対象オブジェクトＯ５をスクロールさせる。また、例えば、図２のＦに示す操作対象オブジェクトＯ１に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、図２のＦに示す操作対象オブジェクトＯ６を、垂直方向（例えば、表示画面における向かって下方向）に、操作対象オブジェクトＯ６をスクロールさせる。
【００４２】
（ＩＩ）表示領域における一部の領域に表示される画像と撮像画像とが合成される場合
図３は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図３は、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合に、本実施形態に係る表示制御処理により表示画面に表示される画像の一例を示している。例えば、図３に示すＡ、Ｄは、シェル画面を示す画像が、表示領域における一部の領域に表示される画像として表示画面に表示される例を示している。また、例えば、図３に示すＢ、Ｅは、コンテンツのタイトルを示す画像が、表示領域における一部の領域に表示される画像として表示画面に表示される例（タイトル表示の一例）を示している。また、例えば、図３に示すＣ、Ｆは、表示領域における一部の領域に操作対象オブジェクトが含まれ、かつ、表示領域における一部の領域がグラデーション表示されている例（グラデーション表示の一例）を示している。また、図３では、コンテンツデータが再生されているときに表示画面の一部に表示される画像の一例を示している。また、図３に示す“ＳＣ１”は、表示領域を示しており、図３に示す“ＳＣ２”は、表示領域における一部の領域を示している。
【００４３】
図３のＡ〜Ｃに示す表示領域における一部の領域ＳＣ２に示すように、本実施形態に係る画像処理装置における画像処理、表示制御処理によって、表示領域における一部の領域に表示される画像と撮像画像とが合成された画像が、表示画面に表示される。表示領域における一部の領域に表示される画像には、上述したように、例えば、ボタンやアイコン、メニュー、コンテンツを示すサムネイルなどのユーザによる操作可能な、操作対象オブジェクトが含まれうる。よって、ジェスチャ認識に係る処理を行う装置は、表示領域に表示される画像と撮像画像とが合成される場合と同様に、例えば、ユーザによるジェスチャ操作を認識し、認識したジェスチャ操作に対応する処理を行うことが可能である。
【００４４】
例えば、図３のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
【００４５】
また、図３のＢ、Ｃに示す画像が表示画面に表示されている場合においても、上記図３のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、実行操作を認識する。そして、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図３のＢに示す画像が表示画面に表示されている場合、ジェスチャ認識に係る処理を行う装置は、実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータを再生する再生処理を行う。実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータを再生する再生処理を行うことによって、表示画面には、実行操作が行われた対象の操作対象オブジェクトに対応付られたコンテンツデータが示すコンテンツが表示されることとなる。
【００４６】
例えば図３のＡ〜Ｃに示すように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理において、表示領域における一部の領域に表示される画像と撮像画像とを合成し、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。
【００４７】
なお、本実施形態に係る画像処理装置が、表示画面に表示させる画像は、表示領域における一部の領域に表示される画像と撮像画像とが合成された画像に限られない。例えば、本実施形態に係る画像処理装置は、図３のＤ〜Ｆに示すように、表示領域における一部の領域に表示される画像と撮像画像とを合成させずに、表示領域における一部の領域に表示される画像を表示させることも可能である。例えば図３のＤ〜Ｆに示すように、表示領域における一部の領域に表示される画像が表示画面に表示される場合には、ユーザ（操作者）は、例えば、マウスなどのポインティングデバイスや、ボタンなどの操作デバイス、リモート・コントローラなどの外部操作デバイスを用いた操作を行う。そして、処理を実行する装置（例えば、本実施形態に係る画像処理装置、および／または、外部装置）は、上記のような各種デバイスから伝達されるユーザ操作に応じた操作信号に基づいて、当該ユーザ操作に対応する処理を行う。
【００４８】
本実施形態に係る画像処理装置は、例えば、図２、図３に示すように、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成し、合成された画像を表示画面に表示させる。よって、本実施形態に係る画像処理装置は、表示画面全体、または、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
【００４９】
なお、本実施形態に係る画像処理、および表示制御処理によって表示画面に表示される画像は、図２、図３に示す例に限られない。
【００５０】
図４は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図４は、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。なお、図４に示す画像の例は、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とが合成される場合にも適用することが可能である。
【００５１】
例えば図４のＡは、音量を変更するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上に、指（ジェスチャ認識が行われる認識対象オブジェクトの一例）を移動させると、ジェスチャ認識に係る処理を行う装置は、認識対象オブジェクトであるユーザの指を検出する。そして、ジェスチャ認識に係る処理を行う装置は、表示画面上でジェスチャ認識がされる位置を示すポインタを、検出された指の位置へと移動させる。
【００５２】
図４のＡに示す画像が表示画面に表示されている場合において、ユーザ（操作者）が、所望の操作対象オブジェクト上で、当該操作対象オブジェクトを手で叩く（タッチする）ようなジェスチャ（ジェスチャの一例）を行うと、ジェスチャ認識に係る処理を行う装置は、例えば、当該操作対象オブジェクトに対応する処理をジェスチャ認識に係る処理を行う装置に実行させるための実行操作が行われたと認識する。そして、実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。
【００５３】
よって、図４のＡに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、消音や音量の増加、減少に係る処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００５４】
また、例えば図４のＢは、テレビジョン放送におけるチャンネルを変更するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＢに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図４のＢに示す“ｂａｃｋ”に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、チャンネルを現在のチャンネルの１つ前のチャンネルへと変える。また、例えば、図４のＢに示す“ｎｅｘｔ”に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、チャンネルを現在のチャンネルの１つ後のチャンネルへと変える。
【００５５】
よって、図４のＢに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、チャンネルの変更に係る処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００５６】
また、例えば図４のＣは、再生させるコンテンツデータを選択するための画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＣに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、図４のＣに示す“ｃｏｎｔｅｎｔＡ”、“ｃｏｎｔｅｎｔＢ”、“ｃｏｎｔｅｎｔＣ”のいずれかに対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応付けられたコンテンツデータを再生させる。
【００５７】
よって、図４のＣに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望のコンテンツを示すコンテンツデータを生成する再生処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００５８】
また、例えば、図４のＤは、ＥＰＧ（Electronic  Program  Guide）を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＤに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、ＥＰＧが示す番組の中の一の番組に対応する操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応する番組の録画予約を行う、当該番組の情報を検索して表示する、などの処理を行う。
【００５９】
よって、図４のＣに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望の番組に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００６０】
また、例えば、図４のＥは、地図を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＥに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、地図内の一の地点（操作対象オブジェクトに該当する。）に対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された地点を拡大表示する、当該地点の情報を検索して表示する、などの処理を行う。
【００６１】
よって、図４のＤに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、所望の地点に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００６２】
また、例えば、図４のＦは、音声入力に対する出力結果を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＦに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、音声入力に対する出力結果を示す操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応するアプリケーションやデータを実行するなどの処理を行う。
【００６３】
よって、図４のＦに示す画像が表示画面に表示されている場合において、ジェスチャ認識に係る処理を行う装置が、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行うことにより、ユーザは、ジェスチャ操作によって、例えば、音声入力に対する出力結果に関する処理を、ジェスチャ認識に係る処理を行う装置に行わせることができる。
【００６４】
また、例えば、図４のＧは、ＡＲ（Augmented  Reality）の出力結果を示す画像（表示領域に表示される画像の一例）と、撮像画像とが合成された画像の一例を示している。例えば、図４のＧに示す画像が表示画面に表示されている場合においても、上記図４のＡに示す画像が表示画面に表示されている場合と同様に、ジェスチャ認識に係る処理を行う装置は、例えば、実行操作を認識し、実行操作が行われた対象の操作対象オブジェクトに対応付られた処理を行う。例えば、ＡＲの出力結果を示す操作対象オブジェクトに対して実行操作が行われたと認識された場合には、ジェスチャ認識に係る処理を行う装置は、実行操作が行われたと認識された操作対象オブジェクトに対応するアプリケーションやデータを実行するなどの処理を行う。
【００６５】
本実施形態に係る画像処理装置は、例えば、図２〜図４に示すように、本実施形態に係る画像処理、および表示制御処理によって、様々な画像を表示画面に表示させる。なお、本実施形態に係る画像処理装置が、表示画面に表示させる画像が、図２〜図４に示す例に限られないことは、言うまでもない。
【００６６】
本実施形態に係る画像処理装置は、上述したように、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する処理を、本実施形態に係る画像処理として行う。なお、本実施形態に係る画像処理装置における画像処理は、上述した処理に限られない。
【００６７】
（１−３）画像処理の第３の例
例えば、本実施形態に係る画像処理装置は、撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、検出された認識対象オブジェクトの位置に基づいて、操作対象オブジェクトを、撮像画像が合成される表示領域に表示される画像、または、撮像画像が合成される表示領域における一部の領域に表示される画像に配置してもよい。
【００６８】
図５は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図５に示すＡは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図５に示すＢは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図５に示す“ＳＣ１”は、表示領域を示しており、図５に示す“ＳＣ２”は、表示領域における一部の領域を示している。
【００６９】
また、図５は、本実施形態に係る画像処理装置が、ユーザの指を認識対象オブジェクトとして検出する場合において表示される画像の一例を示している。なお、本実施形態に係る認識対象オブジェクトは、ユーザの指に限られず、例えば、ユーザの手や、特定のデバイスなど、特定のオブジェクトであってもよい。
【００７０】
本実施形態に係る画像処理装置は、撮像画像からユーザの指（認識対象オブジェクトの一例）を検出する。ここで、本実施形態に係る画像処理装置は、例えば、撮像画像からエッジを検出し、検出されたエッジを示すエッジ画像と、テンプレート画像とに基づくテンプレートマッチング処理を行うことによって、撮像画像からユーザの指を検出する。なお、本実施形態に係る画像処理装置は、任意の指検出技術を用いて、撮像画像からユーザの指を検出してもよい。
【００７１】
撮像画像からユーザの指が検出されると、本実施形態に係る画像処理装置は、撮像画像において検出された指の位置（例えば、座標で表される。以下、同様とする。）に基づいて、当該撮像画像が合成される表示領域に表示される画像、または、当該撮像画像が合成される表示領域における一部の領域に表示される画像における、操作対象オブジェクトを配置する位置を決定する。本実施形態に係る画像処理装置は、例えば、検出された指の位置から所定の距離離れた位置を、操作対象オブジェクトを配置する位置として決定する。上記所定の距離は、例えば、予め設定される固定値であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。また、本実施形態に係る画像処理装置は、設定されている優先度に基づいて、操作対象オブジェクトを配置する位置を決定してもよい。上記優先度の設定例としては、例えば、検出された指の位置から水平方向に所定の距離離れた位置が優先度が高く設定され、検出された指の位置から垂直方向に所定の距離離れた位置が優先度が低く設定されることが挙げられる。
【００７２】
撮像画像が合成される表示領域に表示される画像、または、撮像画像が合成される表示領域における一部の領域に表示される画像における、操作対象オブジェクトを配置する位置が決定されると、本実施形態に係る画像処理装置は、例えば、当該表示領域に表示される画像、または、当該表示領域における一部の領域に表示される画像に、操作対象オブジェクトを配置する。また、本実施形態に係る画像処理装置は、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、本実施形態に係る画像処理装置は、後述する（２）の処理（表示制御処理）において、合成された画像を表示画面に表示させる。
【００７３】
例えば上記のような処理を行うことによって、本実施形態に係る画像処理装置は、例えば、図５のＡ、Ｂに示すように、ユーザの指（認識対象オブジェクトの一例）の近辺に操作対象オブジェクトが表示される画像を、表示画面に表示させることができる。
【００７４】
（１−４）画像処理の第４の例
また、本実施形態に係る画像処理装置は、例えば、撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、検出された認識対象オブジェクトの動きに基づいて、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に、操作対象オブジェクトを新たに配置することも可能である。
【００７５】
図６は、本実施形態に係る画像処理装置における画像処理を説明するための説明図である。ここで、図６に示すＡは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図６に示すＢは、本実施形態に係る画像処理装置が、本実施形態に係る画像処理において表示領域における一部の領域に表示される画像と撮像画像とを合成した場合に表示画面に表示される画像の一例を示している。また、図６に示す“ＳＣ１”は、表示領域を示しており、図６に示す“ＳＣ２”は、表示領域における一部の領域を示している。
【００７６】
また、図６は、図５に示す例と同様に、本実施形態に係る画像処理装置が、ユーザの指を認識対象オブジェクトとして検出する場合において表示される画像の一例を示している。なお、上述したように、本実施形態に係る認識対象オブジェクトは、ユーザの指に限られず、例えば、ユーザの手や、特定のデバイスなど、特定のオブジェクトであってもよい。また、図６に示す上向きの矢印は、ユーザの指（認識対象オブジェクトの一例）の動きの一例を、便宜上図示しているものである。
【００７７】
本実施形態に係る画像処理装置は、撮像画像からユーザの指（認識対象オブジェクトの一例）を検出する。ここで、本実施形態に係る画像処理装置は、ユーザの指の検出に係る処理を、定期的／非定期的に繰り返す。
【００７８】
また、本実施形態に係る画像処理装置は、前回検出された指の位置と今回検出された指の位置とに基づいて、ユーザの指（認識対象オブジェクトの一例）の動きを検出する。そして、本実施形態に係る画像処理装置は、検出された動きが所定の動きである場合に、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像に、操作対象オブジェクトを新たに配置する。
【００７９】
例えば、ユーザの指の動きとして、ユーザの指が上に動いたことが検出された場合には、図６に示すＡ、Ｂに示すように、新たな操作対象オブジェクトである“Ａｄｄ  Ａ”、“Ａｄｄ  Ｂ”を、新たに配置する。
【００８０】
例えば上記のような処理を行うことによって、本実施形態に係る画像処理装置は、例えば、図６のＡ、Ｂに示すように、ユーザの指（認識対象オブジェクトの一例）の動きに基づいて、操作対象オブジェクトが新たに配置される画像を、表示画面に表示させることができる。なお、上記では、ユーザの指（認識対象オブジェクトの一例）が上に動いたことが検出された場合における処理の例を示したが、本実施形態に係る画像処理装置が検出する動きは、上記に限られない。例えば、本実施形態に係る画像処理装置は、ユーザの指が下、や左右に動いたことが検出された場合には、当該動きに基づいて操作対象オブジェクトを新たに配置することも可能である。ここで、本実施形態に係る画像処理装置が新たな操作対象オブジェクトを配置する位置は、検出された動きの方向に対応する位置であってもよいし、予め設定された方向対応する位置であってもよい。
【００８１】
（２）表示制御処理
本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において合成された画像を表示画面に表示させる。
【００８２】
ここで、本実施形態に係る画像処理装置が外部の表示装置の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、例えば、上記画像を示す画像信号を当該表示装置へ送信することによって、当該表示装置に上記画像を表示させる。また、本実施形態に係る画像処理装置が表示部（後述する）の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、表示部（後述する）に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
【００８３】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行う。本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、合成された画像は、上記（２）の処理（表示制御処理）によって表示画面に表示される。
【００８４】
ここで、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。また、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示領域における一部の領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
【００８５】
したがって、本実施形態に係る画像処理装置は、ユーザにジェスチャ動作をフィードバックすることができる。
【００８６】
なお、本実施形態に係る画像処理装置における、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）に限られない。
【００８７】
例えば、ユーザがジェスチャ動作を行う場合、撮像画像を撮像した撮像デバイス（撮像装置）と、ユーザの手などのジェスチャ認識が行われる認識対象オブジェクトとの距離が近い場合には、ジェスチャ認識に係る処理を行う装置において、ジェスチャ操作を認識できないことが起こりうる。上記は、例えば、撮像画像からユーザの手の形状が全て検出できない場合など、認識対象オブジェクトが正常に検出できない場合に生じる。
【００８８】
ここで、上記のようなジェスチャ操作を認識できない事態を防止する方法としては、例えば、“赤外線センサやレーザーなどの距離を測定可能なデバイスを用いて近距離であるかを判定し、近距離であると判定した場合にユーザに対して通知を行う方法”や、“撮像画像の輝度値の変化に基づき近距離であるかを判定し、近距離であると判定した場合にユーザに対して通知を行う方法”が考えられる。
【００８９】
しかしながら、赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法は、当該デバイスが必要であり、当該デバイスを備えていない装置には、当該方法は、適用することができない。また、撮像画像の輝度値の変化に基づき近距離であるかを判定する方法は、撮像画像の輝度値の変化に基づき近距離であるかを判定するので、撮像デバイスにおける撮像条件によっては、誤判定が起こりうる。
【００９０】
そこで、本実施形態に係る画像処理装置は、撮像画像に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離が、近距離であるかを判定する（近距離判定処理）。
【００９１】
より具体的には、本実施形態に係る画像処理装置は、撮像画像に基づき算出されるオブジェクトの動きを示す動き情報に基づいて、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。本実施形態に係る画像処理装置は、例えば、動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出し、算出された面積と所定の閾値とに基づく閾値処理によって、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。
【００９２】
ここで、本実施形態に係る動き情報としては、例えば、撮像画像から算出される動きベクトル（オプティカルフロー）が挙げられる。本実施形態に係る画像処理装置は、例えば、撮像画像における輝度情報を用いて動きベクトルを算出する。撮像画像の画像サイズが、ＶＧＡや
ＱＶＧＡである場合、本実施形態に係る画像処理装置は、例えば、３２×３２のブロック単位、またはそれ以上の大きさのブロック単位で、動きベクトルを算出する。なお、本実施形態に係る画像処理装置が動きベクトルを算出するブロックサイズは、上記に限られず、本実施形態に係る画像処理装置は、例えば、画素ごとや、４×４のブロック単位に、動きベクトルを算出してもよい。また、本実施形態に係る画像処理装置は、例えば、ジェスチャ認識が行われる認識対象オブジェクトや、ジェスチャ認識が行われるジェスチャ動作に応じて、動きベクトルを算出するブロックサイズを変えてもよい。
【００９３】
なお、本実施形態に係る画像処理装置における動きベクトルの算出に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像における特定の色（例えば、肌色や、緑色など）を示す色情報を用いて、動きベクトルを算出することも可能である。また、撮像画像が複数のフレーム画像からなる動画像である場合、本実施形態に係る画像処理装置は、例えば、時系列的に連続するフレーム画像間の差分をとることによって、動きベクトルを算出する。
【００９４】
また、本実施形態に係る画像処理装置における動きベクトルの算出方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像に基づいて動きベクトルを算出可能な任意の方法を用いて、動きベクトルを算出してもよい。また、本実施形態に係る画像処理装置は、例えば、撮像画像からユーザの手などのジェスチャ認識が行われる認識対象オブジェクトを検出し、認識対象オブジェクトの検出位置や認識対象オブジェクトが検出された領域（例えば、認識対象オブジェクトが手である場合には、肌色を示す領域など）に基づいて、撮像画像において動きベクトルを算出する対象の領域を限定してもよい。動きベクトルを算出する対象の領域を限定することによって、本実施形態に係る画像処理装置は、動きベクトルの算出に係る処理量を軽減することができる。
【００９５】
上記近距離判定処理が行われると、本実施形態に係る画像処理装置は、上記近距離判定処理における距離に関する判定結果に基づいて、距離に関する判定結果を、ユーザに対して選択的に通知させる（通知処理）。より具体的には、本実施形態に係る画像処理装置は、上記近距離判定処理において近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。また、本実施形態に係る画像処理装置は、例えば、上記近距離判定処理において近距離であると判定されない場合には、距離に関する判定結果をユーザに対して通知させない。
【００９６】
図７は、本実施形態に係る画像処理装置における近距離判定処理、および通知処理の概要を説明するための説明図である。
【００９７】
図７のＡに示すように、ユーザが、例えば手を用いたジェスチャ動作を行うと、本実施形態に係る画像処理装置は、例えば図７のＢに示すように、撮像画像から算出されたオブジェクトの動きを示す動き情報を算出する。ここで、図７のＢでは、説明の便宜上、算出された動きベクトル（動き情報）を撮像画像上に図示している。
【００９８】
また、本実施形態に係る画像処理装置は、動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出する。
【００９９】
より具体的には、本実施形態に係る画像処理装置は、算出された動きベクトル（動き情報）それぞれについて、例えば下記の数式１を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、算出された動きベクトル（動き情報）のうち、下記の数式１を満たす動きベクトルを、特定の動き方向を示す動きベクトルとして決定する。ここで、本実施形態に係る画像処理装置が動き方向を決定する理由は、例えば、撮像デバイス（撮像装置）におけるＡｕｔｏＷＢ（White  Balance）処理やＡｕｔｏＧａｉｎ処理などの各種処理や、ノイズなどによる動き検出のあばれと、オブジェクトの動きとを区別するためである。動き方向を決定することによって、例えば、ノイズなどの影響を除外することが可能となる。なお、本実施形態に係る画像処理装置は、例えば、水平方向および垂直方向の４方向や、水平方向または垂直方向の２方向など、特定の動き方向を予め限定して、特定の動き方向を示す動きベクトルを決定してもよい。
【０１００】
ここで、下記の数式１に示す“ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ”は、動きベクトルの大きさを示し、また、下記の数式１に示す“ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ”は、設定されている閾値を示している。また、閾値ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓは、例えば、予め設定されている固定値であってもよいし、ユーザ操作などに基づいて変更可能な可変値であってもよい。
【０１０１】
なお、本実施形態に係る画像処理装置における特定の動き方向を示す動きベクトルの決定に係る処理は、下記の数式１を用いる処理に限られない。例えば、本実施形態に係る画像処理装置は、閾値ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ以上の大きさの動きベクトルを、特定の動き方向を示す動きベクトルとして決定してもよい。
【０１０２】
ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ＞ｄｉｒｅｃｔｉｏｎ_ｓｉｚｅ_ｔｈｒｅｓ
・・・（数式１）
【０１０３】
特定の動き方向を示す動きベクトルが決定されると、本実施形態に係る画像処理装置は、例えば、特定の動き方向ごとに、同一の動き方向を有するベクトルの面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏを算出する。
【０１０４】
特定の動き方向ごとの面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏが算出されると、本実施形態に係る画像処理装置は、例えば、算出された面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏそれぞれについて、下記の数式２を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、算出された面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏのいずれかが下記の数式２を満たすと判定された場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定する。
【０１０５】
ここで、下記の数式２に示す“ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ”は、設定されている閾値を示している。また、閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓとしては、例えば、予め設定されている固定値が挙げられるが、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、上記に限られない。例えば、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、ユーザ操作などに基づいて変更可能な可変値であってもよい。また、本実施形態に係る閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓは、例えば、ジェスチャ認識に係る処理を行う装置やジェスチャ認識に係る処理を行うアプリケーションそれぞれにおける、動き方向の大きさや使用される距離などに基づいて、ジェスチャ認識に係る処理を行う装置やジェスチャ認識に係る処理を行うアプリケーションごとに設定されてもよい。
【０１０６】
なお、本実施形態に係る画像処理装置における近距離であるか否かの判定に係る処理は、下記の数式２を用いる処理に限られない。例えば、本実施形態に係る画像処理装置は、面積ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏが閾値ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ以上となった場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定してもよい。
【０１０７】
ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ＞ｄｉｒｅｃｔｉｏｎ_ｒａｔｉｏ_ｔｈｒｅｓ
・・・（数式２）
【０１０８】
例えば数式２に示すように、算出された面積と所定の閾値とに基づく閾値処理によって、オブジェクトと撮像装置との間の距離が近距離であるかが判定されると、本実施形態に係る画像処理装置は、図７のＣに示すように、近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。
【０１０９】
ここで、本実施形態に係る画像処理装置は、例えば図７のＣに示す“距離が近すぎます”というような文字を表示画面に表示させることなどによる、視覚的な通知方法によって、距離に関する判定結果をユーザに対して通知させる。なお、本実施形態に係る画像処理装置における距離に関する判定結果の通知方法は、視覚的な通知方法に限られない。例えば、本実施形態に係る画像処理装置は、音声（音楽やビープ音などを含む。以下、同様とする。）を用いた聴覚的な通知方法によって、距離に関する判定結果をユーザに対して通知させてもよい。また、本実施形態に係る画像処理装置は、例えば、視覚的な通知方法と聴覚的な通知方法とを組み合わせた通知方法によって、距離に関する判定結果をユーザに対して通知させることも可能である。
【０１１０】
ここで、本実施形態に係る画像処理装置が通知を行わせる対象としては、例えば、自装置（本実施形態に係る画像処理装置）が備える表示部（後述する）や音声出力部（後述する）、および／または、外部表示装置や外部音声出力装置などの外部装置などが挙げられる。
【０１１１】
図８は、本実施形態に係る画像処理装置における通知処理の一例を説明するための説明図である。ここで、図８は、ユーザ（操作者）が手を用いたジェスチャ操作を行った場合における、本実施形態に係る通知の例を示している。
【０１１２】
本実施形態に係る画像処理装置は、例えば、図８のＡに示すように、算出された動き情報に基づいて動きの軌跡を表示画面に表示させることによって、距離に関する判定結果を通知する。例えば図８のＡに示すように、動きの軌跡が表示画面に表示されることによって、ユーザは、自己のジェスチャ動作の動作方向を視覚的に確認することができる。また、本実施形態に係る画像処理装置が、さらに上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行っている場合には、ユーザは、例えば、ジェスチャ動作がジェスチャ認識に係る処理を行う装置において、自己のジェスチャ動作が認識されているかを視覚的に把握することができる。
【０１１３】
また、本実施形態に係る画像処理装置は、例えば、図８のＢに示すように、文字を表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）における重心位置を算出し、算出された重心位置に文字を表示させる。なお、本実施形態に係る画像処理装置が文字を表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、予め設定されている位置に文字を表示させてもよい。
【０１１４】
また、本実施形態に係る画像処理装置は、例えば、図８のＣに示すように、アイコン（例えば、マークや、手形状など）を表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）内の位置に、アイコンを表示させる。なお、本実施形態に係る画像処理装置がアイコンを表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、近距離であると判定されたオブジェクトに係る領域における重心位置にアイコンを表示させてもよく、また、予め設定されている位置にアイコンを表示させてもよい。
【０１１５】
また、本実施形態に係る画像処理装置は、例えば、図８のＤに示すように、動きの大きさに対応する大きさの矩形などを表示画面に表示させることによって、距離に関する判定結果を通知する。ここで、本実施形態に係る画像処理装置は、例えば、近距離であると判定されたオブジェクトに係る領域（動きがある領域）内の位置に、矩形などを表示させる。なお、本実施形態に係る画像処理装置が矩形などを表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、近距離であると判定されたオブジェクトに係る領域における重心位置に矩形などを表示させてもよく、また、予め設定されている位置に矩形などを表示させてもよい。
【０１１６】
また、本実施形態に係る画像処理装置は、例えば、図８のＥに示すように、表示画面に文字などを表示させる通知方法を用いず、音声によって距離に関する判定結果を通知してもよい。
【０１１７】
本実施形態に係る画像処理装置は、例えば図８に示すような様々な通知方法によって、距離に関する判定結果を、ユーザに対して通知させる。
【０１１８】
なお、本実施形態に係る通知は、図８に示す例に限られない。例えば、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）を行っていない場合には、本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）に係る合成された画像を表示画面に表示させずに、ジェスチャ操作に応じて操作されるポインタを表示画面に表示させる。そして、本実施形態に係る画像処理装置は、例えば、上記の場合において距離に関する判定結果が近距離であることを示すときに、撮像画像、または、上記（１）の処理（画像処理）に係る合成された画像を、表示画面に表示させることによって、距離に関する判定結果を、ユーザに対して通知させることも可能である。
【０１１９】
本実施形態に係る画像処理装置は、例えば、（３）近距離判定処理、および（４）通知処理を行うことによって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離が、近距離であるかを撮像画像に基づいて判定し、距離に関する判定結果を、近距離であると判定された場合にユーザに対して選択的に通知させる。
【０１２０】
ここで、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）において、撮像画像から算出される動きベクトル（動き情報）に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像デバイス（撮像装置）との間の距離が近距離であるか否かを判定する。よって、本実施形態に係る画像処理装置は、上記赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法のように、距離を測定可能なデバイスを備えていない装置においても、近距離であるかを判定することができる。また、本実施形態に係る画像処理装置は、撮像画像から算出される動きベクトル（動き情報）に基づいて近距離であるかを判定するので、上記撮像画像の輝度値の変化に基づき近距離であるかを判定する方法のように、撮像デバイスにおける撮像条件によらずに、近距離であるかを判定することが可能である。
【０１２１】
したがって、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
【０１２２】
また、本実施形態に係る画像処理装置が距離に関する判定結果を選択的に通知することによって、ユーザは、例えば、自己のジェスチャ動作が近距離で行われているかや、自己のジェスチャ動作の間違いに気づくことができる。また、距離に関する判定結果を選択的に通知することによって、ユーザを、ジェスチャ動作を行うより適切な位置に、誘導するきっかけを与えることができるので、本実施形態に係る画像処理装置は、ユーザの利便性を向上させることができる。
【０１２３】
なお、本実施形態に係る画像処理装置における、本実施形態に係る画像処理方法に係る処理は、“上記（１）の処理（画像処理）、および（２）の処理（表示制御処理）”や、“上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）”に限られない。
【０１２４】
例えば、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）を、記憶部（後述する）や外部記録媒体などの記録媒体に記録させてもよい（記録処理）。上記（３）の処理（近距離判定処理）に係るデータを外部記録媒体に記録させる場合には、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）に係るデータと、データを記録させるための記録命令とを、外部記録媒体に対して送信する。本実施形態に係る画像処理装置が、上記（３）の処理（近距離判定処理）に係るデータを記録媒体に記録させることによって、例えば、ジェスチャ動作がジェスチャ認識に係る処理を行う装置において認識されない原因を事後的に解析する解析システムや、固定の撮像デバイス（撮像装置）などにおける通常の動きと異なる撮像デバイスの操作や撮像デバイスに対するいたずらなどを検出する監視システムを、実現することが可能となる。
【０１２５】
また、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）によって近距離であると判定された場合に、別のアプリケーションを実行させる切替制御処理を行うことも可能である。上記切替制御処理が行われる場合には、上記（３）の処理（近距離判定処理）は、アプリケーションを切り替えるスイッチの役目を果たすこととなる。
【０１２６】
また、上記では、本実施形態に係る画像処理装置が上記（４）の処理（通知処理）を行う例を示したが、本実施形態に係る画像処理装置は、上記（４）の処理（通知処理）を行わないことも可能である。例えば、本実施形態に係る画像処理装置は、上記（４）の処理（通知処理）を行わずに、上記記録処理や、上記切替制御処理を行ってもよい。
【０１２７】
さらに、本実施形態に係る画像処理装置は、例えば、“上記（１）の処理（画像処理）〜上記（４）の処理（通知処理）”や、“上記（１）の処理（画像処理）〜上記（３）の処理（近距離判定処理）”など、上述した本実施形態に係る画像処理に係る処理のうち、組み合わせ可能な処理を、本実施形態に係る画像処理として行うことが可能である。
【０１２８】
図９は、本実施形態に係る画像処理装置における画像処理の一例を示す流れ図である。ここで、図９は、本実施形態に係る画像処理装置が、本実施形態に係る画像処理として、上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）を行う場合の処理の一例を示している。また、図９では、例えば、ステップＳ１００〜Ｓ１０８の処理が、上記（３）の処理（近距離判定処理）に該当し、また、ステップＳ１１０の処理が、上記（４）の処理（通知処理）に該当する。
【０１２９】
本実施形態に係る画像処理装置は、撮像画像に基づいて、動きベクトル（動き情報）を算出する（Ｓ１００）。
【０１３０】
本実施形態に係る画像処理装置は、ステップＳ１００において算出された動きベクトルに基づいて、動き方向を決定する（Ｓ１０２）。本実施形態に係る画像処理装置は、例えば、上記数式１を満たす動きベクトルを判定し、上記数式１を満たす動きベクトルが示す動き方向を、特定の動き方向として決定する。ステップＳ１０２の処理は、例えば、上記数式１を満たす動きベクトルを、特定の動き方向を示す動きベクトルとして決定する処理に相当する。
【０１３１】
本実施形態に係る画像処理装置は、ステップＳ１０２において決定された動き方向に基づいて、動き面積を算出する（Ｓ１０４）。本実施形態に係る画像処理装置は、例えば、決定された動き方向に対応する、同一の動き方向を有する動きベクトルに対応する領域の面積を算出し、算出された面積を動き面積とする。
【０１３２】
本実施形態に係る画像処理装置は、算出された動き面積に基づいて、近距離判定を行う（Ｓ１０８）。本実施形態に係る画像処理装置は、例えば、ステップＳ１０４において算出された動き面積それぞれについて、上記数式２を満たすか否かを判定する。そして、本実施形態に係る画像処理装置は、例えば、ステップＳ１０４において算出された動き面積のいずれかが上記数式２を満たすと判定された場合に、撮像画像に含まれるオブジェクトと撮像装置との間の距離が、近距離であると判定する。
【０１３３】
ステップＳ１０６の処理が行われると、本実施形態に係る画像処理装置は、近距離と判定されたか否かを判定する（Ｓ１０８）。
【０１３４】
ステップＳ１０８において近距離と判定されない場合には、本実施形態に係る画像処理装置は、本実施形態に係る画像処理を終了する。
【０１３５】
また、ステップＳ１０８において近距離と判定された場合には、本実施形態に係る画像処理装置は、判定結果を、ユーザに対して通知させる（Ｓ１１０）。そして、本実施形態に係る画像処理装置は、本実施形態に係る画像処理を終了する。
【０１３６】
本実施形態に係る画像処理装置は、例えば図９に示す処理を行うことによって、本実施形態に係る画像処理方法に係る上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）を実現する。なお、本実施形態に係る画像処理方法に係る処理が、図９に示す処理に限られないことは、言うまでもない。
【０１３７】
（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
【０１３８】
図１０は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。ここで、図１０では、撮像を行う撮像装置２００と、画像を表示画面に表示可能な表示装置３００とを併せて示している。
【０１３９】
画像処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
【０１４０】
また、画像処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【０１４１】
ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０１４２】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、表示領域に表示される画像や表示領域における一部の領域に表示される画像を示す画像データや、撮像画像を示す画像データ、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【０１４３】
また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【０１４４】
［画像処理装置１００のハードウェア構成例］
図１１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
【０１４５】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する画像処理部１１０、表示制御部１１２、近距離判定部１１４、および通知処理部１１６の役目を果たす。
【０１４６】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１４７】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、表示領域に表示される画像や表示領域における一部の領域に表示される画像を示す画像データや、撮像画像を示す画像データ、上記（３）の処理（近距離判定処理）に係るデータ（例えば、判定結果を示す判定結果データや、当該判定結果データに対応する動き情報など）、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。
【０１４８】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display；ＬＣＤ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）ともよばれる。）などが挙げられる。
【０１４９】
なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１５０】
通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置２００や、表示装置３００、サーバなどの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１５１】
画像処理装置１００は、例えば図１０に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。
【０１５２】
なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図１０に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
【０１５３】
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１５４】
また、画像処理装置１００は、例えば、音声を出力する音声出力部（図示せず）の役目を果たす、ＤＳＰ（Digital  Signal  Processor）と音声出力デバイスとをさらに備えていてもよい。本実施形態に係る音声出力デバイスとしては、例えば、増幅器（アンプ）およびスピーカなどが挙げられる。ＤＳＰと音声出力デバイスとをさらに備える場合には、画像処理装置１００は、音声出力デバイスから出力される音声によって、上記（３）の処理（近距離判定処理）における距離に関する判定結果をユーザに対して通知させることが可能となる。
【０１５５】
また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
【０１５６】
再度図１０を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置２００や、表示装置３００、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
【０１５７】
制御部１０４は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、画像処理部１１０と、表示制御部１１２と、近距離判定部１１４と、通知処理部１１６とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。
【０１５８】
画像処理部１１０は、上記（１）の処理（画像処理）を主導的に行う役目を果たし、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。また、画像処理部１１０は、例えば、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示領域に表示される画像、または、表示領域における一部の領域に表示される画像とを合成してもよい。
【０１５９】
表示制御部１１２は、上記（２）の処理（表示制御処理）を主導的に行う役目を果たし、画像処理部１１０によって合成された画像を、表示画面に表示させる。
【０１６０】
近距離判定部１１４は、上記（３）の処理（近距離判定処理）を主導的に行う役目を果たし、撮像画像に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置（例えば、撮像装置２００や、撮像部（図示せず））との間の距離が、近距離であるかを判定する。近距離判定部１１４は、例えば、撮像画像に基づき算出されるオブジェクトの動きを示す動き情報に基づいて、撮像画像における特定の動き方向に対応する領域の面積を算出する。そして、近距離判定部１１４は、算出された面積と所定の閾値とに基づいて、オブジェクトと撮像装置との間の距離が、近距離であるかを判定する。
【０１６１】
通知処理部１１６は、上記（４）の処理（通知処理）を主導的に行う役目を果たし、近距離判定部１１４における距離に関する判定結果に基づいて、距離に関する判定結果を、ユーザに対して選択的に通知させる。ここで、通知処理部１１６は、例えば、近距離判定部１１４において近距離であると判定された場合に、距離に関する判定結果をユーザに対して通知させる。また、通知処理部１１６は、例えば、近距離判定部１１４において近距離であると判定されない場合には、距離に関する判定結果をユーザに対して通知させない。
【０１６２】
制御部１０４は、例えば、画像処理部１１０、表示制御部１１２、近距離判定部１１４、および通知処理部１１６を備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（画像処理）〜上記（４）の処理（通知処理））を主導的に行う。
【０１６３】
なお、本実施形態に係る制御部の構成は、図１０に示す構成に限られない。例えば、本実施形態に係る制御部は、上記記録処理を行う記録処理部（図示せず）、および／または、上記切替制御処理を行う切替制御処理部（図示せず）をさらに備えていてもよい。また、本実施形態に係る制御部は、例えば、撮像画像が合成された表示領域、または、撮像画像が合成された表示領域の一部の領域においてジェスチャ操作を認識し、認識されたジェスチャ操作に対応するジェスチャ認識に係る処理を行うジェスチャ認識処理部（図示せず）をさらに備えていてもよい。
【０１６４】
また、本実施形態に係る制御部は、例えば、通知処理部１１６とを備えない構成をとってもよい。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、（１）の処理（画像処理）〜上記（３）の処理（近距離判定処理）を、本実施形態に係る画像処理方法に係る処理として行う。
【０１６５】
また、本実施形態に係る制御部は、例えば、近距離判定部１１４と通知処理部１１６とを備えない構成をとってもよい。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、（１）の処理（画像処理）、および上記（２）の処理（表示制御処理）を、本実施形態に係る画像処理方法に係る処理として行う。
【０１６６】
また、本実施形態に係る制御部は、例えば、画像処理部１１０と表示制御部１１２とを備えない構成をとることも可能である。上記の構成をとる場合には、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を、本実施形態に係る画像処理方法に係る処理として行う。
【０１６７】
画像処理装置１００は、例えば図１０に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（画像処理）〜上記（４）の処理（通知処理））を行う。したがって、画像処理装置１００は、例えば図１０に示す構成によって、ユーザにジェスチャ動作をフィードバックすることができる。また、画像処理装置１００は、例えば図１０に示す構成によって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置（例えば、撮像装置２００や、撮像部（図示せず））との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
【０１６８】
なお、本実施形態に係る画像処理装置の構成は、図１０に示す構成に限られない。例えば、本実施形態に係る画像処理装置は、本実施形態に係る制御部を構成する各部のうちの１または２以上を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１６９】
また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を処理することが可能となる。
【０１７０】
また、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）を備えていてもよい。表示部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）の表示画面に、画像処理部１１０により合成された画像を表示させることができる。また、表示部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、表示部（図示せず）の表示画面を用いて、図８のＡ〜Ｄに示すような近距離判定部１１４における判定結果をユーザに視覚的に通知することができる。
【０１７１】
また、本実施形態に係る画像処理装置は、例えば、音声を出力することが可能な音声出力部（図示せず）を備えていてもよい。音声出力部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、例えば、音声出力部（図示せず）から出力される音声によって、近距離判定部１１４における判定結果をユーザに通知することができる。
【０１７２】
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。
【０１７３】
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（領域設定処理）と上記（２）の処理（画像処理）とを行う。本実施形態に係る画像処理装置は、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像、または、表示領域における一部の領域に表示される画像と、撮像画像とを合成する。そして、合成された画像は、上記（２）の処理（表示制御処理）によって表示画面に表示される。
【０１７４】
ここで、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示画面全体に対応する表示領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面全体を用いて、ユーザにジェスチャ動作をフィードバックすることができる。また、本実施形態に係る画像処理装置が、上記（１）の処理（画像処理）において、表示領域における一部の領域に表示される画像と撮像画像とを合成する場合には、本実施形態に係る画像処理装置は、表示画面の一部を用いて、ユーザにジェスチャ動作をフィードバックすることができる。
【０１７５】
したがって、本実施形態に係る画像処理装置は、ユーザにジェスチャ動作をフィードバックすることができる。
【０１７６】
また、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を行うことも可能である。上記（３）の処理（近距離判定処理）、および上記（４）の処理（通知処理）を行う場合、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像デバイス（撮像装置）との間の距離が、近距離であるかを撮像画像に基づいて判定し、距離に関する判定結果を、近距離であると判定された場合にユーザに対して選択的に通知させる。
【０１７７】
ここで、本実施形態に係る画像処理装置は、上記（３）の処理（近距離判定処理）において、撮像画像から算出される動きベクトル（動き情報）に基づいて、撮像画像に含まれる動きがあるオブジェクトと撮像デバイス（撮像装置）との間の距離が近距離であるか否かを判定する。よって、本実施形態に係る画像処理装置は、上記赤外線センサなどの距離を測定可能なデバイスを用いて近距離であるかを判定する方法のように、距離を測定可能なデバイスを備えていない装置においても、近距離であるかを判定することができる。また、本実施形態に係る画像処理装置は、撮像画像から算出される動きベクトル（動き情報）に基づいて近距離であるかを判定するので、上記撮像画像の輝度値の変化に基づき近距離であるかを判定する方法のように、撮像デバイスにおける撮像条件によらずに、近距離であるかを判定することが可能である。
【０１７８】
したがって、本実施形態に係る画像処理装置は、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
【０１７９】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal  Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、デジタルカメラなどの撮像装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１８０】
また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなる画像処理システムにより実現されてもよい。
【０１８１】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（領域設定処理）および上記（２）の処理（画像処理）”や、
“上記（１）の処理（領域設定処理）〜上記（３）の処理（近距離判定処理）”、“上記（１）の処理（領域設定処理）〜上記（４）の処理（通知処理）”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、ユーザにジェスチャ動作をフィードバックすることができる。
【０１８２】
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（３）の処理（近距離判定処理）および上記（４）の処理（通知処理）”や、“上記（１）の処理（領域設定処理）〜上記（４）の処理（通知処理）”
など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、撮像画像に含まれる動きがあるオブジェクトと撮像画像を撮像した撮像装置との間の距離に関する、より正確な判定結果を、ユーザに対して選択的に通知させることができる。
【０１８３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８４】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１８５】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１８６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備える、画像処理装置。
（２）
前記表示領域に表示される画像と、前記表示領域における一部の領域に表示される画像とには、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトが含まれ、
前記画像処理部は、前記操作対象オブジェクトが配置される領域には、前記撮像画像を合成させない、（１）に記載の画像処理装置。
（３）
前記画像処理部は、
前記撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、
検出された前記認識対象オブジェクトの位置に基づいて、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトを、前記撮像画像が合成される前記表示領域に表示される画像、または、前記撮像画像が合成される前記表示領域における一部の領域に表示される画像に配置する、（１）、または（２）に記載の画像処理装置。
（４）
前記画像処理部は、
前記撮像画像からジェスチャ認識が行われる認識対象オブジェクトを検出し、
検出された前記認識対象オブジェクトの動きに基づいて、前記表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像に、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトを新たに配置する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像処理部は、前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と、表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像とを合成する、（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）
前記撮像画像に基づいて、前記撮像画像に含まれる動きがあるオブジェクトと、前記撮像画像を撮像した撮像装置との間の距離が、近距離であるかを判定する近距離判定部と、
前記距離に関する判定結果に基づいて、前記距離に関する判定結果を、ユーザに対して選択的に通知させる通知処理部と、
をさらに備える、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記近距離判定部は、
前記撮像画像に基づき算出される前記オブジェクトの動きを示す動き情報に基づいて、前記撮像画像における特定の動き方向に対応する領域の面積を算出し、
算出された前記面積と所定の閾値とに基づいて、前記オブジェクトと前記撮像装置との間の距離が、近距離であるかを判定し、
前記通知処理部は、近距離であると判定された場合に、前記距離に関する判定結果をユーザに対して通知させる、（６）に記載の画像処理装置。
（８）
コンピュータを、
表示画面全体に対応する表示領域に表示される画像、または、前記表示領域における一部の領域に表示される画像と、ユーザにジェスチャ動作をフィードバックするための撮像画像とを合成する手段、
合成された画像を、表示画面に表示させる手段、
として機能させるためのプログラム。
【符号の説明】
【０１８７】
１００    画像処理装置
１０２    通信部
１０４    制御部
１１０    画像処理部
１１２    表示制御部
１１４    近距離判定部
１１６    通知処理部
２００    撮像装置
３００    表示装置
【図２】
0005900161.tif 000002
【図７】
0005900161.tif 000003
【図９】
0005900161.tif 000004
【図１０】
0005900161.tif 000005
【図１１】
0005900161.tif 000006
【図１】
0005900161.tif 000007
【図３】
0005900161.tif 000008
【図４】
0005900161.tif 000009
【図５】
0005900161.tif 000010
【図６】
0005900161.tif 000011
【図８】
0005900161.tif 000012