(57)【要約】【課題】画像認識に基づくリモコン受信装置で、被写体人物サイズが過小または過大であっても意図したタイミングでの制御を確実に行う。【解決手段】原画像データのリサイズ処理手段２と、被写体人物の顔領域Ｋを検出する顔領域検出手段３と、顔サイズ比率が規定範囲を下回るときは画像サイズのより大きいリサイズ処理を、規定範囲を上回るときは画像サイズのより小さいリサイズ処理を行わせる顔サイズ比率判定手段４と、顔サイズ比率が規定範囲にありかつ検出顔領域が位置的に安定したときに安定した顔領域を基準にして画像認識領域Ｎを設定する認識領域設定手段５と、画像認識領域における任意の動作について時間軸での動きベクトル変化Ｖを抽出する動きベクトル抽出手段６と、動きベクトル変化が規定のものであるかの判定を行う画像認識手段７と、その判定結果に応じて制御信号Ｓｃを生成する制御手段８を備える。【選択図】図３
2011166409.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段によって取得された原画像データに対して任意の画像サイズへのリサイズ処理を行い、リサイズ画像データを生成するリサイズ処理手段と、
前記リサイズ処理手段から送られてくる前記リサイズ画像データにおける被写体人物の顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された顔領域の顔サイズ比率を規定範囲と比較し、規定範囲を下回るときは画像サイズのより大きいリサイズ処理を行わせ、規定範囲を上回るときは画像サイズのより小さいリサイズ処理を行わせるように前記リサイズ処理手段を制御する顔サイズ比率判定手段と、
前記顔サイズ比率判定手段により判定した顔サイズ比率が規定範囲にあり、かつ前記顔領域検出手段によって検出された顔領域が位置的に安定したことを検出したときに、安定した顔領域を基準にして画像認識領域を設定する認識領域設定手段と、
前記認識領域設定手段によって設定された前記画像認識領域を調べ、前記画像認識領域における任意の動作について時間軸での動きベクトル変化を抽出する動きベクトル抽出手段と、
前記動きベクトル抽出手段による動きベクトル変化が規定のものであるかの判定を行う画像認識手段と、
前記画像認識手段による判定結果に応じて制御信号を生成する制御手段とを備えた動き認識リモコン受信装置。
【請求項２】
撮像手段によって取得された原画像データから互いに異なる画像サイズの複数のリサイズ画像データを生成する複数のリサイズ処理手段と、
前記複数のリサイズ処理手段のうちの任意１つのリサイズ処理手段による前記リサイズ画像データから各被写体人物の各顔領域を検出する顔領域検出手段と、
前記顔領域検出手段によって検出された各顔領域が位置的に安定するかを個別に監視し、安定した各顔領域を基準にして前記各リサイズ画像データそれぞれに個別に各画像認識領域を設定する複数の認識領域設定手段と、
前記各認識領域設定手段によって各リサイズ画像データそれぞれに設定された各画像認識領域を調べ、前記各画像認識領域における任意の動作について時間軸での各動きベクトル変化を抽出する複数の動きベクトル抽出手段と、
前記各動きベクトル抽出手段それぞれによる各動きベクトル変化が規定のものであるかを個別に判定する複数の画像認識手段と、
前記各画像認識手段それぞれからの各動きベクトル変化についての判定結果を示す各認識信号を参照して制御信号を生成する制御手段とを備えた動き認識リモコン受信装置。
【請求項３】
さらに、前記顔領域検出手段から前記複数のリサイズ処理手段へのフィードバック系として顔サイズ比率判定手段が設けられており、
この顔サイズ比率判定手段は、前記顔領域検出手段によって検出された各顔領域の情報においてフレーム画像内の各被写体人物の顔サイズを検出し、検出した顔サイズ情報を基に、フレームサイズ内での各被写体人物の顔サイズのマクロブロックサイズに対する比率である顔サイズ比率を判定し、その判定結果に応じて前記複数の動き認識系につき選択的に起動または停止する制御を行うものとして構成されている請求項２に記載の動き認識リモコン受信装置。
【請求項４】
前記複数のリサイズ処理手段のいずれかについては、原画像データにおいてトリミングする機能を併せ有し、そのトリミング画像データに対してリサイズ処理を行うように構成されている請求項２または請求項３に記載の動き認識リモコン受信装置。
【請求項５】
前記制御手段は、前記複数のリサイズ画像データにおける前記複数の画像認識手段による画像認識が成立しない場合には前記複数の画像認識手段での画像認識動作を継続し、画像認識が少なくともいずれか１つで成立した場合に前記制御信号を生成するように構成されている請求項２から請求項４までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項６】
前記制御手段は、前記複数の画像認識手段による判定が１つ成立するたびにカウントアップした上で前記複数の画像認識手段の画像認識動作を継続させ、カウント値が規定値となったときに前記制御信号を生成するように構成されている請求項２から請求項４までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項７】
前記制御手段は、前記複数の画像認識手段による判定が１つ成立するたびにカウントアップした上で前記複数の画像認識手段の画像認識動作を継続させる際に、認識対象として被写体人物の異なる複数の動作を用意しておき、あらかじめ設定された動作の組み合わせどおりに順番に画像認識が行われ、カウント値が規定値となったときに制御信号を生成するように構成されている請求項６に記載の動き認識リモコン受信装置。
【請求項８】
前記複数の動きベクトル抽出手段は、画像サイズを異にする複数のリサイズ画像データに対して、動画を構成する複数のフレーム間の動きによる時間的変化量を個別的に抽出するように構成されている請求項２から請求項７までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項９】
前記複数の動きベクトル抽出手段は、動画圧縮の中間処理として機能するものとして構成され、入力画像として、画像サイズの異なる複数の動画規格サイズの動画画像、または装置本体での表示サイズまたは任意サイズにリサイズされた動画像、または任意にトリミング・リサイズされた動画像などの複数の画像入力に対応できるマルチエンコード並列処理を用いて、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を複数の画像ごとに抽出する請求項２から請求項７までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１０】
前記顔領域検出手段は、前記原画像データから表示サイズにリサイズされた画像データのリアルタイムの表示中に、動画を構成する複数フレームのうち特定のフレーム画像内の被写体人物それぞれについてその顔領域をフレーム毎に検出するように構成されている請求項１から請求項９までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１１】
前記認識領域設定手段は、前記顔領域検出手段による安定した顔領域を基準にして規定範囲内に設定する前記各画像認識領域について、各被写体人物を含む同一の原画像データより異なる画像サイズに縮小リサイズされた複数の画像それぞれに対して、検出された各顔領域の各被写体人物のそれぞれの胸元の規定範囲に対応する胸元エリアを設定するように構成されている請求項１から請求項１０までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１２】
前記画像認識手段は、前記撮像手段で取得され表示サイズにリサイズされたリアルタイム画像の表示中に、前記動きベクトル抽出手段による一定期間中の各動きベクトル変化が規定のものであることを認識したときに撮影トリガー信号を発生するように構成されている請求項１から請求項１１までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１３】
前記画像認識手段は、前記動きベクトル抽出手段による前記動きベクトル変化が周期的な変化であることを認識したときに撮影トリガー信号を発生するように構成されている請求項１から請求項１２までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１４】
前記画像認識手段は、前記撮像手段からのリアルタイムの画像の表示中に、前記画像認識領域内で一定期間の継続的な回転運動を認識するように構成されている請求項１から請求項１３までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１５】
前記画像認識手段は、前記撮像手段からのスルー画像の表示中に、前記画像認識領域内で一定期間の継続的な直線運動を認識するように構成されている請求項１から請求項１３までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１６】
前記画像認識手段は、前記撮像手段からのリアルタイムの画像の表示中に、一定期間中の前記動きベクトル抽出手段によるフレーム間の動きによる時間的変化が一定時間持続して検出され、動きの種類によらず所定の変化量を超える動作であると認識したときに撮影トリガー信号を発生するように構成されている請求項２から請求項１５までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１７】
さらに、装置本体の振動を検出し継続的な振動がないと判定すると、前記認識領域設定手段、前記画像認識手段を起動する振動検出手段を備えている請求項１から請求項１６までのいずれか１項に記載の動き認識リモコン受信装置。
【請求項１８】
前記動きベクトル抽出手段および前記画像認識手段については、前記撮像手段からのリアルタイム画像の表示中において、前記振動検出手段により当該装置が固定された状態であると判定したときは、前記顔領域検出手段、前記認識領域設定手段に引き続いて前記動きベクトル抽出手段と前記画像認識手段を起動するように構成されている請求項１７に記載の動き認識リモコン受信装置。
【請求項１９】
前記振動検出手段は、ジャイロセンサで構成されている請求項１７または請求項１８に記載の動き認識リモコン受信装置。
【請求項２０】
撮像によって送られてくる原画像データに対して任意の画像サイズへのリサイズ処理を行い、リサイズ画像データを生成するステップと、
生成された前記リサイズ画像データにおける被写体人物の顔領域を検出するステップと、
検出された顔領域の顔サイズ比率を規定範囲と比較し、前記規定範囲を下回るときは画像サイズのより大きいリサイズ処理を行わせ、前記規定範囲を上回るときは画像サイズのより小さいリサイズ処理を行わせるように制御するステップと、
前記顔サイズ比率が前記規定範囲にあり、かつ前記検出顔領域が位置的に安定するかを監視し、安定した前記検出顔領域を基準にして画像認識領域を設定するステップと、
設定された前記画像認識領域を調べ、前記画像認識領域における任意の動作について時間軸での動きベクトル変化を抽出するステップと、
抽出した前記動きベクトル変化が規定のものであるかの判定を行うステップと、
前記動きベクトル変化についての判定結果に応じて制御信号を生成するステップとを含む動き認識リモコン制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識に基づいたリモコン操作を行う動き認識リモコン受信装置および動き認識リモコン制御方法にかかわり、詳しくは、撮影視野内における被写体人物サイズ（検出顔サイズ）が過小または過大であっても意図したタイミングでの制御が確実に行えるようにするための技術に関する。
【背景技術】
【０００２】
画像認識に基づくリモコン操作は、リモコン送信機を用いないで遠隔操作できる利点がある。画像認識に基づくリモコン操作の方式については、次のようなものが考えられる。
【０００３】
撮像で取得した画像データをリサイズしてリサイズ画像データを作成し、作成したリサイズ画像データにおいて被写体人物の顔領域を検出し、顔領域を基準にして画像認識領域を設定し、画像認識領域における動きベクトル変化を抽出し、動きベクトル変化が規定のものかを判定し、規定のものであるときにリモコン操作の制御信号を生成出力する。リサイズというのは、ＶＧＡ（６４０ドット×４８０ドット）、ＱＶＧＡ（３２０ドット×２４０ドット）などの画像サイズ（ｍドット×ｎドット：解像度規格）を変換（縮小・拡大）することである。
【０００４】
画像認識に基づくリモコン操作の技術を撮像装置に適用した場合は、次のような利点がある。被写体でもあるリモコン操作者が手を回すなどのある動きを行う。その動きを画像認識して規定の動きであると判定すれば、トリガー信号を出力して撮像データの記録を実行する。したがって、リモコン操作者（被写体人物）が意図したタイミングでの撮像が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１２２９３４号公報
【特許文献２】特開２００８−２８３５０２号公報
【特許文献３】特開２００９−１４７５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影視野内での被写体人物サイズが小さすぎる場合や大きすぎる場合には、動きベクトル変化の抽出・判定の精度が劣化し、制御信号生成の信頼性が低くなり、シャッタ操作などの制御が意図しないタイミングで行われてしまうという問題がある。
【０００７】
本発明は、このような事情に鑑みて創作したものであり、画像認識に基づいたリモコン操作を行う動き認識リモコン受信装置において、撮影視野内における被写体人物サイズが過小または過大であっても意図したタイミングでの制御が確実に行えるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明では、上記の課題の原因を次のように考える。被写体人物サイズ（顔サイズ）には、動きベクトル数や動きベクトルサイズが関係する。顔サイズ比率（顔サイズのマクロブロックサイズに対する比率）が規定範囲を下回るときは、検出される「動きベクトル数」が不足する。また、顔サイズ比率が規定範囲を上回るときは、「動きベクトルサイズ」が過大となる。このような関係のために、いずれの場合も、検出した動きベクトルが規定のものに該当するかの判定の精度が低いものとなり、信頼性低下につながる。
【０００９】
いうまでもないことであるが、撮影視野内の被写体人物サイズと顔サイズは比例する。図１６（ａ１）に示すように、撮影視野内の被写体人物サイズが小さいと、それに比例して撮影視野内の顔サイズも小さくなり、逆に、図１６（ｂ１）に示すように、撮影視野内の被写体人物サイズが大きいと、それに比例して撮影視野内の顔サイズも大きくなる。
【００１０】
画像認識領域Ｎは、検出顔領域Ｋを基準にして規定の方向・距離で検出顔サイズに比例した大きさに設定され、そこで動きベクトルが調べられる。顔サイズが小さいときは、図１６（ａ２）のように顔サイズに比例して画像認識領域Ｎも小さくなり、画像認識領域Ｎに含まれるマクロブロック数も少なくなる。マクロブロックは細い線で格子状に図示されている。動きベクトルはマクロブロック単位で検出されることから、マクロブロック数が少ないと、検出される動きベクトル数も少なくなる。動きベクトルは矢印で代表させている。動きベクトル数が少ないと、検出した動きベクトルが規定のものに該当するかの判定に影響する（検出精度低下）。
【００１１】
一方、顔サイズが大きいときは、図１６（ｂ２）のように顔サイズに比例して画像認識領域Ｎも大きくなり、画像認識領域Ｎに含まれるマクロブロック数も多くなる。マクロブロック数が多いと、検出される動きベクトル数は多くなり、これはプラス要因である。ところが、マクロブロック単位に対する一定大きさの動きベクトルサイズの比は、顔サイズが大きいほど大きくなる。図１６（ａ３），（ｂ３）は同じ大きさの動きベクトルを表している。（ｂ３）の動きベクトルサイズが（ａ３）より大きく図示されているのは、画像認識領域Ｎ（被写体人物サイズ）が（ｂ３）の方が大きいからである。実際は、同じ大きさの動きベクトルを示している。これは、画像認識領域Ｎの大きさに対する動きベクトルの大きさの比が同じになっていることからも理解される。ここでは、マクロブロック単位に対する動きベクトルの大きさの相対的な関係を見ている。
【００１２】
図１６（ａ４）に示すように、画像認識領域Ｎが小さいときは、同じ動きでも、マクロブロック単位Ｕに対する動きベクトルサイズは小さい。画像認識領域Ｎが大きいときは、図１６（ｂ４）に示すように、同じ動きでも、マクロブロック単位Ｕに対する動きベクトルサイズは大きい。したがって、図１６（ｂ４）に示すように、マクロブロック単位Ｕに対して動きベクトルサイズが大きくなり過ぎ、動きベクトルの検出範囲を超えたものとなる。そうなると、動きベクトルの大きさや向きが正確に検出できなくなり、やはり検出した動きベクトルが規定のものに該当するかの判定に影響する（検出精度低下）。
【００１３】
まとめると、顔サイズ（画像認識領域Ｎ）が規定範囲を下回るときは、図１６（ａ２）のように画像認識領域Ｎに含まれるマクロブロック数が不足し、検出される動きベクトル数も不足する関係で、検出した動きベクトルが規定のものに該当するかの判定の精度が低いものとなり、信頼性が低下する。一方、顔サイズ比率が規定範囲を上回るときは、図１６（ｂ４）のようにマクロブロック単位Ｕに対して動きベクトルサイズが大きくなり過ぎ、動きベクトルの大きさや向きが正確に検出できなくなり、やはり検出した動きベクトルが規定のものに該当するかの判定の精度が低いものとなり、信頼性が低下する。
【００１４】
以上が、上記の課題の原因について、本発明創作の準備において想到した事柄（新知見）である。
【００１５】
《１》本発明は、課題の要因が上記の点にあると考えて、次のような手段を講じることにより上記の課題を解決する。
【００１６】
顔サイズ比率（撮影視野における被写体人物の顔サイズの割合に対応）に応じてリサイズ処理の画像サイズ（ｍドット×ｎドット）を調整することとする。図１を用いて説明する。図１（ａ１）と（ａ２）とは対応し、顔サイズ比率が小さい場合に相当する。図１（ｂ１）と（ｂ２）とは対応し、顔サイズ比率を大きくした場合に相当する。図１（ａ１）から図１（ｂ１）への推移と図１（ａ２）から図１（ｂ２）への推移とは対応している。上段の（ａ１），（ｂ１）は被写体人物サイズ（顔サイズ）を等しく表しており、マクロブロック単位のサイズ（画像サイズ（ｍ×ｎ））は相違している。桝目はマクロブロック単位に相当する。左側の（ａ１）では桝目が大きくて桝目数が少なく、右側の（ｂ１）では桝目が小さくて桝目数が多い。下段の（ａ２），（ｂ２）はマクロブロック単位（桝目）のサイズを等しく表しており、相対的に被写体人物サイズ（顔サイズ）は相違している（実際の被写体人物サイズは同じ）。基準を何におくかによって、見え方が異なっている。
【００１７】
図１（ａ１）では顔サイズが小さくて顔サイズ比率（顔サイズのマクロブロックサイズに対する比率）が規定範囲を下回っているとする。このときは、図１（ａ２）のように動きベクトル数は少ない。そこで、顔サイズ比率が規定範囲を下回っているときには、図１（ｂ１）のように画像サイズ（ｍ×ｎ）のより大きい（桝目が増える）リサイズ処理を行うこととする。Ｄ１は画像サイズが拡大されたリサイズ画像データである。この場合の動きベクトル数は図１（ｂ２）のように増加し適正化される。
【００１８】
なお、図１（ｂ１）は（ａ１）に比べて桝目のサイズが細かくなっているが、これは画像サイズ（ｍ×ｎ）が大きいリサイズ画像データであることを意味している。図１（ａ１）の被写体人物サイズと（ｂ１）の被写体人物サイズとは同じに表現している。ただし、画像サイズの大きい（ｂ１）の桝目のサイズは細かく表現されている。図１（ｂ２）の被写体人物サイズは（ａ２）の被写体人物サイズより大きく表現されている。ただし、桝目のサイズのサイズは（ａ２）と（ｂ２）で同じである。
【００１９】
一方、図２（ａ１）では顔サイズが大きくて顔サイズ比率が規定範囲を上回っているとする。このときは、図２（ａ２）のように動きベクトル数は多いが、（ａ３）のようにマクロブロック単位に対する動きベクトルサイズが大きすぎる。そこで、図２（ｂ１）のように画像サイズ（ｍ×ｎ）のより小さい（桝目が減る）リサイズ処理を行うこととする。Ｄ２は画像サイズが縮小されたリサイズ画像データである。この場合の動きベクトルサイズは図２（ｂ３）のように減少し適正化される。
【００２０】
なお、図２（ｂ１）は（ａ１）に比べて桝目のサイズが粗くなっているが、これは画像サイズ（ｍ×ｎ）が小さいリサイズ画像データであることを意味している。図２（ａ１）の被写体人物サイズと（ｂ１）の被写体人物サイズとは同じに表現している。ただし、画像サイズの小さい（ｂ１）の桝目のサイズは粗く表現されている。図２（ｂ２）の被写体人物サイズは（ａ２）の被写体人物サイズより小さく表現されている。ただし、桝目のサイズのサイズは（ａ２）と（ｂ２）で同じである。
【００２１】
以上を踏まえて本発明の動き認識リモコン受信装置の構成要素を検討する。図３を用いて説明する。
【００２２】
本発明の動き認識リモコン受信装置は、撮像手段１につながるリサイズ処理手段２、顔領域検出手段３、顔サイズ比率判定手段４、認識領域設定手段５、動きベクトル抽出手段６、画像認識手段７および制御手段８を備える。これらのうちで特に重要な役割を担うのがリサイズ処理手段２、顔領域検出手段３および顔サイズ比率判定手段４の協働である。ちなみに、本出願人は、本発明者の創案にかかわる先行特許出願として特願２００９−２５１７５９号を出願しているが、その先行特許出願（本願出願時点で未公開）においては、リサイズ処理手段２、顔サイズ比率判定手段４までは考慮していないが、顔領域検出手段３、認識領域設定手段５、動きベクトル抽出手段６、画像認識手段７および制御手段８を備えた構成をもち、特許文献１、特許文献２に認められた課題の解決を図っている。
【００２３】
リサイズ処理手段２は、撮像手段１によって得られる被写体の原画像データを取り込み、その原画像データに対して任意の画像サイズ（ｍ×ｎ）へのリサイズ処理を行い、リサイズ画像データＤを生成するものとして構成されている。顔領域検出手段３は、リサイズ処理手段２から送られてくるリサイズ画像データＤにおける被写体人物の顔の位置情報と大きさ情報からなる顔領域Ｋを検出し、その検出顔領域Ｋの情報を顔サイズ比率判定手段４と認識領域設定手段５に渡す機能を有するものとして構成されている。
【００２４】
顔サイズ比率判定手段４は、顔領域検出手段３によって検出された顔領域Ｋの情報から顔サイズ比率を算出し、算出した顔サイズ比率を規定範囲と比較し、規定範囲を下回るときはリサイズ処理手段２に画像サイズ（ｍ×ｎ）のより大きいリサイズ処理を行わせる制御を行い（図１参照）、規定範囲を上回るときはリサイズ処理手段２に画像サイズ（ｍ×ｎ）のより小さいリサイズ処理を行わせる制御を行う（図２参照）機能を有するものとして構成されている。また、顔サイズ比率判定手段４は、認識領域設定手段５の起動タイミングを制御するものとして構成されている。
【００２５】
認識領域設定手段５は、顔サイズ比率判定手段４により判定した顔サイズ比率が規定範囲にあり、かつ顔領域検出手段３によって検出された顔領域Ｋが位置的に安定するかを監視し、安定した顔領域Ｋを基準にしてリサイズ画像データＤにおいて画像認識領域Ｎを設定し、その画像認識領域Ｎの情報を動きベクトル抽出手段６に渡す機能を有するものとして構成されている。動きベクトル抽出手段６は、認識領域設定手段５によって設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化Ｖを抽出し、抽出した動きベクトル変化Ｖを画像認識手段７に渡す機能を有するものとして構成されている。画像認識手段７は、動きベクトル変化Ｖが規定のものであるかどうかの認識を行い、その判定結果を制御手段８に渡す機能を有するものとして構成されている。制御手段８は、画像認識手段７による判定結果に応じて制御信号Ｓｃを生成するものとして構成されている。制御手段８が撮影制御手段であるときは、制御信号Ｓｃは撮影に関するもの（例えば撮影トリガー信号）となる。
【００２６】
なお、顔サイズ比率判定手段４が顔サイズ比率を比較するときの基準となる規定範囲については、その下限値と上限値が異なる場合と、下限値と上限値が同じである場合との両方を想定している。後者の場合は、規定範囲は規定値と読み替えて解釈することが許される。
【００２７】
以上を要するに、本発明の動き認識リモコン受信装置は、
撮像手段１によって取得された原画像データに対して任意の画像サイズ（ｍ×ｎ）へのリサイズ処理を行い、リサイズ画像データＤを生成するリサイズ処理手段２と、
リサイズ処理手段２から送られてくるリサイズ画像データＤにおける被写体人物の顔領域Ｋを検出する顔領域検出手段３と、
顔領域検出手段３によって検出された顔領域Ｋの顔サイズ比率を規定範囲と比較し、規定範囲を下回るときは画像サイズのより大きいリサイズ処理を行わせ、規定範囲を上回るときは画像サイズのより小さいリサイズ処理を行わせるようにリサイズ処理手段２を制御する顔サイズ比率判定手段４と、
顔サイズ比率判定手段４により判定した顔サイズ比率が規定範囲にあり、かつ顔領域検出手段３によって検出された顔領域Ｋが位置的に安定したことを検出したときに、安定した顔領域Ｋを基準にして画像認識領域Ｎを設定する認識領域設定手段５と、
認識領域設定手段５によって設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化を抽出する動きベクトル抽出手段６と、
動きベクトル抽出手段６による動きベクトル変化が規定のものであるかの判定を行う画像認識手段７と、
画像認識手段７による判定結果に応じて制御信号Ｓｃを生成する制御手段８とを備えたものである。
【００２８】
上記の解決手段を動き認識リモコン制御方法として記述すると、次のようになる（《２０》）。すなわち、本発明による動き認識リモコン制御方法は、
撮像によって送られてくる原画像データに対して任意の画像サイズへのリサイズ処理を行い、リサイズ画像データＤを生成するステップと、
生成されたリサイズ画像データＤにおける被写体人物の顔領域Ｋを検出するステップと、
検出された顔領域Ｋの顔サイズ比率を規定範囲と比較し、規定範囲を下回るときは画像サイズのより大きいリサイズ処理を行わせ、規定範囲を上回るときは画像サイズのより小さいリサイズ処理を行わせるように制御するステップと、
顔サイズ比率が規定範囲にあり、かつ検出顔領域Ｋが位置的に安定するかを監視し、安定した顔領域Ｋを基準にして画像認識領域Ｎを設定するステップと、
設定された画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について時間軸での動きベクトル変化を抽出するステップと、
抽出した動きベクトル変化Ｖが規定のものであるかの判定を行うステップと、
動きベクトル変化Ｖについての判定結果に応じて制御信号Ｓｃを生成するステップとを含むものである。
【００２９】
上記の構成においては、リサイズ処理手段２は、撮像手段１によって取得された原画像データに対して任意の画像サイズ（ｍ×ｎ）のリサイズ処理を行い、生成したリサイズ画像データＤを顔領域検出手段３に渡す。顔領域検出手段３は、受け取ったリサイズ画像データＤにおいて被写体人物の顔の位置情報と大きさ情報からなる顔領域Ｋを検出し（図３（ｂ）参照）、その検出顔領域Ｋの情報を顔サイズ比率判定手段４に渡す。顔サイズ比率判定手段４は、顔領域検出手段３から受け取った検出顔領域Ｋの顔サイズ比率を規定範囲と比較する。そして、例えば図１（ａ１）のように顔サイズ比率が規定範囲を下回るときはリサイズ処理手段２に、画像サイズをより大きくしてリサイズ処理を行うように指示を与える。この指示は、例えば図１（ａ１）から（ｂ１）へのリサイズ処理調整に対応する。逆に、例えば図２（ａ１）のように顔サイズ比率が規定範囲を上回るときはリサイズ処理手段２に、画像サイズをより小さくしてリサイズ処理を行うように指示を与える。この指示は、例えば図２（ａ１）から（ｂ２）へのリサイズ処理調整に対応する。
【００３０】
このような顔サイズ比率判定とリサイズ処理調整の結果、画像認識領域Ｎ内でのマクロブロック単位の占有数が適正範囲に収まる状態でのリサイズ画像データが得られることになり、その適正なリサイズ画像データにおいて顔領域検出手段３が検出した顔領域Ｋの情報が認識領域設定手段５に渡される。図１の場合は、図１（ｂ１），（ｂ２）に示すように、画像サイズが拡大されたリサイズ画像データＤ１へと調整され、図２の場合は、図２（ｂ１），（ｂ２）に示すように、画像サイズ（ｍ×ｎ）が縮小されたリサイズ画像データＤ２へと調整される。いずれの場合も、画像認識領域Ｎ内でのマクロブロック単位の占有数ひいては検出される動きベクトル数が適正化され、かつマクロブロック単位に対する動きベクトルサイズが適正化される。
【００３１】
より分かりやすいように動作の一例を挙げる。原画像データの初期のリサイズ画像データが例えば画像サイズＶＧＡ（６４０×４８０）であるとする。
【００３２】
画像サイズＶＧＡ（６４０×４８０）のリサイズ画像データにおいて顔サイズ比率が規定範囲を下回るときは例えば画像サイズ４ＶＧＡ（１２８０×９６０）となるようにリサイズ処理調整を行う。画像サイズ４ＶＧＡ（１２８０×９６０）のリサイズ画像データにおいては、画像認識領域Ｎ内でのマクロブロック単位の占有数ひいては検出される動きベクトル数、およびマクロブロック単位に対する動きベクトルサイズは適正なものとなる。
【００３３】
また、画像サイズＶＧＡ（６４０×４８０）のリサイズ画像データにおいて顔サイズ比率が規定範囲を上回るときは例えば画像サイズＱＶＧＡ（３２０×２４０）となるようにリサイズ処理調整を行う。画像サイズＱＶＧＡ（３２０×２４０）のリサイズ画像データにおいては、画像認識領域Ｎ内でのマクロブロック単位の占有数ひいては検出される動きベクトル数、およびマクロブロック単位に対する動きベクトルサイズは適正なものとなる。
【００３４】
なお、画像サイズＶＧＡ（６４０×４８０）のリサイズ画像データにおいて顔サイズ比率が規定範囲内に収まっているときは、リサイズ処理手段２に対するリサイズ処理の再設定は行わないですむ。
【００３５】
動きベクトル数と動きベクトルサイズが適正化された顔領域Ｋの情報を受け取った認識領域設定手段５は、検出顔領域Ｋが位置的に安定するかを監視し、安定すれば、適正化されたリサイズ画像データにおいて、その安定した顔領域Ｋを基準にして画像認識領域Ｎを設定し（図３（ｃ）参照）、動きベクトル抽出手段６に伝える。動きベクトル抽出手段６は、画像認識領域Ｎを調べ、画像認識領域Ｎにおける任意の動作について、時間軸での動きベクトル変化Ｖを抽出し、抽出した動きベクトル変化Ｖを画像認識手段７に渡す。画像認識手段７は、動きベクトル変化Ｖが規定のものであるかどうか判定し（図３（ｄ）参照）、その判定結果を制御手段８に渡す。制御手段８は、画像認識手段７による判定結果に応じて制御信号Ｓｃを生成する。
【００３６】
基本的な機能として、位置が安定化した検出顔領域を基準に画像認識領域を設定し、画像認識領域での動きベクトル変化が規定のものであるかの判定を行った上でその判定結果に応じた制御を行わせるように構成したので、リモコン操作者としては被写界内で体の動きを止め、手など体の一部を画像認識領域相当の特定範囲で動かすだけでよく、それだけでリモコン操作者が意図したタイミングでの制御を実現することができる。
【００３７】
さらに、顔サイズ比率判定を行って、顔サイズ比率に応じてリサイズ処理の画像サイズ（ｍ×ｎ）を自動調整するように構成したので、動きベクトル数についてもマクロブロック単位に対する動きベクトルサイズについても適正化が行われることになり、動きベクトルの検出、検出した動きベクトルが規定のものに該当するかの判定の信頼性が向上する。ひいては、検出速度が遅いとか検出不能といった検出ミスによる誤動作が抑えられ、処理スピードと効率を上げることが可能となる。
【００３８】
以上のトータルで、リモコン操作者が意図したタイミングでの確実な制御を実現することが可能となっている。
【００３９】
《２》次に、被写体人物が複数である場合を検討する。被写体人物が複数の場合、被写体人物サイズの適正については、いろいろな組み合わせがある。一例として被写体人物が２人であるとする。被写体人物サイズが２人とも適正な場合と、１人は適正で、もう１人は不適正な場合と、２人とも不適正な場合とがある。さらに、不適正な場合には、被写体人物サイズが小さすぎる場合と、大きすぎる場合とがある。つまり、１人は適正で、もう１人が小さすぎる場合、１人は適正で、もう１人が大きすぎる場合、２人とも小さすぎる場合、２人とも大きすぎる場合、１人は小さすぎ、もう１人は大きすぎる場合である。
【００４０】
一方、装置側としては、被写体人物が複数の場合に、どの被写体人物がサインを出すのかは判定してみなければ分からない。どの被写体人物がサインを出しても動きを正しく検出し判断することが必要である。その対策として、リサイズ処理手段、認識領域設定手段、動きベクトル抽出手段、画像認識手段をそれぞれ複数設けることとする。図４を用いて説明する。図４ではリサイズ処理手段、認識領域設定手段、動きベクトル抽出手段、画像認識手段をそれぞれ２つとする。すなわち、第１および第２のリサイズ処理手段２ａ，２ｂ、第１および第２の認識領域設定手段５ａ，５ｂ、第１および第２の動きベクトル抽出手段６ａ，６ｂ、第１および第２の画像認識手段７ａ，７ｂを備えているものとする。ただし、これは一例であり、それぞれは３つ以上でもよきものである。
【００４１】
第１のリサイズ処理手段２ａは顔領域検出手段３につながっている。顔領域検出手段３の出力側は第１の認識領域設定手段５ａと第２の認識領域設定手段５ｂとにつながっている。それぞれ第１のリサイズ処理手段２ａ、認識領域設定手段５ａ、動きベクトル抽出手段６ａおよび画像認識手段７ａが第１の動き認識系Ｕａを構成し、それぞれ第２のリサイズ処理手段２ａ、認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂが第２の動き認識系Ｕｂを構成している。
【００４２】
第１の動き認識系Ｕａにおけるリサイズ処理手段２ａは、撮像手段１によって取得された原画像データに対して原則拡大のリサイズ処理を行い、リサイズ画像データＤ１を顔領域検出手段３と第１の認識領域設定手段５ａとに渡すものとして構成されている。第２の動き認識系Ｕｂにおけるリサイズ処理手段２ｂは、撮像手段１によって取得された原画像データに対して原則縮小のリサイズ処理を行い、リサイズ画像データＤ２を第２の認識領域設定手段５ｂに渡すものとして構成されている。
【００４３】
第１の動き認識系Ｕａにおける認識領域設定手段５ａ、動きベクトル抽出手段６ａおよび画像認識手段７ａは、画像サイズ（ｍ×ｎ）が原則拡大されたリサイズ画像データＤ１に対して処理を行うものとして構成されている。また、第２の動き認識系Ｕｂにおける認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂは、画像サイズ（ｍ×ｎ）が原則縮小されたリサイズ画像データＤ２に対して処理を行うものとして構成されている。
【００４４】
第１のリサイズ処理手段２ａは、撮像手段１によって取得された原画像データに対して原則拡大のリサイズ処理を行い、リサイズ画像データＤ１を顔領域検出手段３に渡す。顔領域検出手段３は、受け取ったリサイズ画像データＤ１において各被写体人物の顔の位置情報と大きさ情報からなる各顔領域Ｋ１，Ｋ２を検出し（図５参照）、その検出された各顔領域Ｋ１，Ｋ２の情報をそれぞれ第１および第２の認識領域設定手段５ａ，５ｂに渡す。
【００４５】
顔領域検出手段３から顔領域Ｋ１の情報を受け取った第１の認識領域設定手段５ａは、図５（ｂ１）に示す第１のリサイズ処理手段２ａからの画像サイズの大きいリサイズ画像データＤ１において例えば左側に位置する顔サイズ比率の小さい被写体人物の検出顔領域Ｋ１が位置的に安定するかを監視し、安定すれば、画像サイズの大きいリサイズ画像データＤ１において、その安定した顔領域Ｋ１を基準にして画像認識領域Ｎ１を設定し、第１の動きベクトル抽出手段６ａに伝える。第１の動きベクトル抽出手段６ａは、画像サイズの大きいリサイズ画像データＤ１において画像認識領域Ｎ１を調べ、画像認識領域Ｎ１における任意の動作について、時間軸での動きベクトル変化Ｖ１を抽出し、抽出した動きベクトル変化Ｖ１を第１の画像認識手段７ａに渡す。第１の画像認識手段７ａは、動きベクトル変化Ｖ１が規定のものであるかどうか判定し、その判定結果を示す認識信号Ｓａを制御手段８に渡す。
【００４６】
同様に、顔領域検出手段３から顔領域Ｋ２の情報を受け取った第２の認識領域設定手段５ｂは、図５（ｂ２）に示す第２のリサイズ処理手段２ｂからの画像サイズの小さいリサイズ画像データＤ２において例えば右側に位置する顔サイズ比率の大きい被写体人物の検出顔領域Ｋ２が位置的に安定するかを監視し、安定すれば、画像サイズの小さいリサイズ画像データＤ２において、その安定した顔領域Ｋ２を基準にして画像認識領域Ｎ２を設定し、第２の動きベクトル抽出手段６ｂに伝える。第２の動きベクトル抽出手段６ｂは、画像サイズの小さいリサイズ画像データＤ２において画像認識領域Ｎ２を調べ、画像認識領域Ｎ２における任意の動作について、時間軸での動きベクトル変化Ｖ２を抽出し、抽出した動きベクトル変化Ｖ２を第２の画像認識手段７ｂに渡す。第２の画像認識手段７ｂは、動きベクトル変化Ｖ２が規定のものであるかどうか判定し、その判定結果を示す認識信号Ｓｂを制御手段８に渡す。
【００４７】
第１の画像認識手段７ａからの動きベクトル変化Ｖ１についての認識信号Ｓａと第２の画像認識手段７ｂからの動きベクトル変化Ｖ２についての認識信号Ｓｂを受け取った制御手段８は、それら２つの認識信号Ｓａ，Ｓｂを参照して制御信号Ｓｃを生成する。詳しくは、次のとおりである。各認識信号Ｓａ，Ｓｂにつきアクティブを示すときは“Ｈ”とし、インアクティブを示すときは“Ｌ”とする（一例。反対論理でもかまわない）。
【００４８】
（Ｓａ，Ｓｂ）＝（“Ｌ”，“Ｌ”）のときは、制御手段８は制御信号Ｓｃ＝“Ｌ”のままとする。
【００４９】
（Ｓａ，Ｓｂ）＝（“Ｈ”，“Ｌ”）のときは、制御手段８は制御信号Ｓｃ＝“Ｈ”とする。これは、画像サイズの大きいリサイズ画像データＤ１における顔サイズ比率の小さい被写体人物についての画像認識領域Ｎ１で動きベクトル変化Ｖ１がリサイズ画像データＤ２においてよりも、先に規定のものとして検出された場合である。結果、左側に位置する被写体人物のサインによって規定の動き認識リモコン制御が行われることになる。
【００５０】
（Ｓａ，Ｓｂ）＝（“Ｌ”，“Ｈ”）のときも、制御手段８は制御信号Ｓｃ＝“Ｈ”とする。これは、画像サイズの小さいリサイズ画像データＤ２における顔サイズ比率の大きい被写体人物についての画像認識領域Ｎ２で動きベクトル変化Ｖ２がリサイズ画像データＤ１においてよりも、先に規定のものとして検出された場合である。結果、右側に位置する被写体人物のサインによって規定の動き認識リモコン制御が行われることになる。
【００５１】
もし、（Ｓａ，Ｓｂ）＝（“Ｈ”，“Ｈ”）となったときは、制御手段８は制御信号Ｓｃ＝“Ｈ”とする。これは、左側に位置する被写体人物と右側に位置する被写体人物の同時サインによって規定の動き認識リモコン制御が行われることになる。
【００５２】
ここの説明で重要なことは、動き認識系Ｕａ，Ｕｂを複数備えていることから、被写体人物サイズが過小であろうと過大であろうと、その被写体人物のサインを検出する精度が高いものであり、サインを出したリモコン操作者が意図したタイミングでの制御を確実に行うことができるということである。
【００５３】
上記の機能は、被写体人物が１人であっても有効である。このことは、例えば図５（ｂ１）で被写体人物が左側の１人のみの場合や図５（ｂ２）で被写体人物が右側の１人のみの場合を想定すれば、容易に理解されるはずである。被写体人物サイズが過小であれば画像サイズの大きいリサイズ画像データＤ１において判定がなされ、被写体人物サイズが過大であれば画像サイズの小さいリサイズ画像データＤ２において判定がなされ、いずれの判定も精度の高いものとなるということである。
【００５４】
なお、画像サイズの大きいリサイズ画像データＤ１は顔サイズ比率の小さい被写体人物を対象とし、画像サイズの小さいリサイズ画像データＤ２は顔サイズ比率の大きい被写体人物を対象とするが、リサイズ画像データＤ１での認識信号Ｓａによる制御信号Ｓｃとリサイズ画像データＤ２での認識信号Ｓｂによる制御信号Ｓｃとで制御内容を異にしてもよい。
【００５５】
上述の《１》では、リサイズ処理手段２、認識領域設定手段５、動きベクトル抽出手段６および画像認識手段７が１系統であることに対応して、リサイズ処理手段２を可変式とし、顔サイズ比率判定手段４を設け、判定結果に応じてリサイズ処理手段２のリサイズ処理調整を行う。これに対して、本項《２》では、リサイズ処理手段２、認識領域設定手段５、動きベクトル抽出手段６および画像認識手段７をそれぞれａ，ｂの２系統（一般的には複数系統）とし、《１》の場合の顔サイズ比率判定手段４は用いない。もっとも、顔サイズ比率判定手段４を用いる方式もある（後述の《３》参照）。
【００５６】
以上を要するに、《２》の動き認識リモコン受信装置は、
撮像手段１によって取得された原画像データから互いに異なる画像サイズ（ｍ×ｎ）の複数のリサイズ画像データＤ１，Ｄ２を生成する複数のリサイズ処理手段２ａ，２ｂと、
複数のリサイズ処理手段２ａ，２ｂのうちの任意１つのリサイズ処理手段２ａによるリサイズ画像データＤ１から各被写体人物の各顔領域Ｋ１，Ｋ２を検出する顔領域検出手段３と、
顔領域検出手段３によって検出された各顔領域Ｋ１，Ｋ２が位置的に安定するかを個別に監視し、安定した各顔領域Ｋ１，Ｋ２を基準にして各リサイズ画像データＤ１，Ｄ２それぞれに個別に各画像認識領域Ｎ１，Ｎ２を設定する複数の認識領域設定手段５ａ，５ｂと、
各認識領域設定手段５ａ，５ｂによって各リサイズ画像データＤ１，Ｄ２それぞれに設定された各画像認識領域Ｎ１，Ｎ２を調べ、各画像認識領域Ｎ１，Ｎ２における任意の動作について時間軸での各動きベクトル変化Ｖ１，Ｖ２を抽出する複数の動きベクトル抽出手段６ａ，６ｂと、
各動きベクトル抽出手段６ａ，６ｂそれぞれによる各動きベクトル変化Ｖ１，Ｖ２が規定のものであるかを個別に判定する複数の画像認識手段７ａ，７ｂと、
各画像認識手段７ａ，７ｂそれぞれからの各動きベクトル変化Ｖ１，Ｖ２についての判定結果を示す各認識信号Ｓａ，Ｓｂを参照して制御信号Ｓｃを生成する制御手段８とを備えた構成とされている。
【００５７】
顔サイズ比率が規定範囲を下回る被写体人物サイズについては画像サイズの大きいリサイズ画像データＤ１において画像認識領域Ｎ１が設定され、画像認識領域Ｎ１において動きベクトル変化Ｖ１の抽出が行われる。また、顔サイズ比率が規定範囲を上回る被写体人物サイズについては画像サイズの小さいリサイズ画像データＤ２において画像認識領域Ｎ２が設定され、画像認識領域Ｎ２において動きベクトル変化Ｖ２の抽出が行われる。いずれの場合も、動きベクトル数が適正化され、かつマクロブロック単位に対する動きベクトルサイズが適正化される。
【００５８】
動きベクトル数と動きベクトルサイズが適正化された各顔領域Ｋ１，Ｋ２の情報を受け取った複数の認識領域設定手段５ａ，５ｂはそれぞれ、検出された各顔領域Ｋ１，Ｋ２が位置的に安定するかを監視し、安定すれば、適正化されたリサイズ画像データＤ１，Ｄ２において、その安定した各顔領域Ｋ１，Ｋ２を基準にして各画像認識領域Ｎ１，Ｎ２を設定し、それぞれ動きベクトル抽出手段６ａ，６ｂに伝える。動きベクトル抽出手段６ａ，６ｂはそれぞれ各画像認識領域Ｎ１，Ｎ２を調べ、各画像認識領域Ｎ１，Ｎ２における任意の動作について、時間軸での各動きベクトル変化Ｖ１，Ｖ２を抽出し、抽出した各動きベクトル変化Ｖ１，Ｖ２をそれぞれ画像認識手段７ａ，７ｂに渡す。画像認識手段７ａ，７ｂはそれぞれ各動きベクトル変化Ｖ１，Ｖ２が規定のものであるかどうか判定し、その判定結果を示す各認識信号Ｓａ，Ｓｂを制御手段８に渡す。制御手段８は、画像認識手段７ａ，７ｂによる判定結果を示す各認識信号Ｓａ，Ｓｂを総合して制御信号Ｓｃを生成する。
【００５９】
顔サイズの小さい被写体人物がサインを出したときは、例えば図５（ｂ１）に示すような画像サイズの大きなリサイズ画像データＤ１について認識領域設定手段５ａ、動きベクトル抽出手段６ａおよび画像認識手段７ａが処理を行い、アクティブを示す認識信号Ｓａが制御手段８に渡される。
【００６０】
また、顔サイズの大きい被写体人物がサインを出したときは、例えば図５（ｂ２）に示すような画像サイズの小さなリサイズ画像データＤ２について認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂが処理を行い、アクティブを示す認識信号Ｓｂが制御手段８に渡される。
【００６１】
また、顔サイズの小さい被写体人物と顔サイズの大きい被写体人物が同時にサインを出したときは、アクティブを示す認識信号Ｓａおよび認識信号Ｓｂが制御手段８に渡される。
【００６２】
制御手段８は、認識信号Ｓａおよび認識信号Ｓｂを監視し、少なくともいずれか一方がアクティブに反転したタイミングで撮影トリガ信号など所定の制御信号Ｓｃを出力する。
【００６３】
以上により、被写体人物が複数の場合にも、そして被写体人物サイズが様々でも、被写体でもあるリモコン操作者の希望するタイミング（サインを出すタイミング）での制御が確実となる。
【００６４】
認識領域設定手段、動きベクトル抽出手段、画像認識領域の系統を３つ以上とすれば、例えば図６に示すような被写体人物が３人以上の場合にも対応することができる。図６（ａ）は原画像データ、図６（ｂ）は画像サイズの大きいリサイズ画像データＤ１、図６（ｃ）は画像サイズの中規模のリサイズ画像データＤ、図６（ｄ）は画像サイズの小さいリサイズ画像データＤ２である。
【００６５】
《３》次に、複数の動き認識系Ｕａ，Ｕｂを有する態様において、さらに顔サイズ比率判定手段４をもつ態様の動き認識リモコン受信装置について説明する。図７を用いて説明する。図７においては、図４に示す構成においてさらに顔サイズ比率判定手段４が追加されている。
【００６６】
顔サイズ比率判定手段４は、顔領域検出手段３からリサイズ処理手段２ａ，２ｂへのフィードバック系として配置されている。また、顔サイズ比率判定手段４は、認識領域設定手段５ａ，５ｂの起動タイミングを制御するものとして構成されている。
【００６７】
顔領域検出手段３は、上記《２》で説明した機能のほか、撮像手段１からのリアルタイムでの画像の表示中に、第１のリサイズ処理手段２ａによるリサイズ画像データＤ１において、フレーム画像内の各被写体人物の顔サイズを検出し、検出した顔サイズ情報を顔サイズ比率判定手段４に渡す機能を有するものとして構成されている。顔サイズ比率判定手段４は、受け取った顔サイズの情報を基に、フレームサイズ内での各被写体人物の顔サイズのマクロブロックサイズに対する比率である顔サイズ比率を規定範囲との比較において判定し、その判定結果に応じて複数の動き認識系Ｕａ，Ｕｂにつき選択的に起動または停止する制御を行うものとして構成されている。
【００６８】
顔サイズ比率判定手段４は、次のような制御を行う。
【００６９】
顔領域検出手段３からの検出顔領域の個数が単数である場合には、第２の動き認識系Ｕｂにおけるリサイズ処理手段２ｂ、認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂを動作停止状態に制御する。そして、顔サイズ比率が適正であれば、第１のリサイズ処理手段２ａによる現在のリサイズ画像データＤ１を採用し、処理を実行する。顔サイズ比率が規定範囲を下回るときは第１のリサイズ処理手段２ａを制御して、画像サイズ（ｍ×ｎ）のより大きいリサイズ処理を行わせ、顔サイズ比率を適正範囲に制御する。また、顔サイズ比率が規定範囲を上回るときは同じく第１のリサイズ処理手段２ａを制御して、画像サイズ（ｍ×ｎ）のより小さいリサイズ処理を行わせ、顔サイズ比率を適正範囲に制御する。
【００７０】
また、顔領域検出手段３からの検出顔領域の個数が複数である場合には、次のように制御する。複数の顔サイズ比率の組み合わせにおいて（適正，適正）のときは、第２の動き認識系Ｕｂにおけるリサイズ処理手段２ｂ、認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂを上記と同様に動作停止状態に制御する。（適正，適正）以外のときは、第２の動き認識系Ｕｂにおけるリサイズ処理手段２ｂ、認識領域設定手段５ｂ、動きベクトル抽出手段６ｂおよび画像認識手段７ｂを動作状態に制御する。そして、複数の顔サイズ比率の適・不適の組み合わせに応じてそれぞれの制御を行う。（適正，適正）以外の組み合わせには、（適正，過小）、（適正，過大）、（過小，過大）、（過大，過大）、（過小，過小）の５つのパターンがある。
【００７１】
（適正，過小）の組み合わせのときは、顔サイズ比率判定手段４は、第１のリサイズ処理手段２ａを制御して、画像サイズのより大きいリサイズ処理を行わせ、顔サイズ比率を適正範囲に制御する。
【００７２】
（適正，過大）の組み合わせのときは、顔サイズ比率判定手段４は、第２のリサイズ処理手段２ｂを制御して、画像サイズのより小さいリサイズ処理を行わせ、顔サイズ比率を適正範囲に制御する。
【００７３】
（過小，過大）の組み合わせのときは、顔サイズ比率判定手段４は、第１のリサイズ処理手段２ａを制御して、画像サイズのより大きいリサイズ処理を行わせるとともに、第２のリサイズ処理手段２ｂを制御して、画像サイズのより小さいリサイズ処理を行わせ、いずれも顔サイズ比率を適正範囲に制御する。
【００７４】
（過大，過大）の組み合わせのときは、顔サイズ比率判定手段４は、第１のリサイズ処理手段２ａおよび第２のリサイズ処理手段２ｂを制御して、ともに画像サイズのより小さいリサイズ処理を行わせ、いずれも顔サイズ比率を適正範囲に制御する。この場合は、（適正，過大）の経過をたどることもあれば、直ちに（適正，適正）となることもある。
【００７５】
（過小，過小）の組み合わせのときは、顔サイズ比率判定手段４は、第１のリサイズ処理手段２ａおよび第２のリサイズ処理手段２ｂを制御して、ともに画像サイズのより大きいリサイズ処理を行わせ、いずれも顔サイズ比率を適正範囲に制御する。この場合は、（適正，過小）の経過をたどることもあれば、直ちに（適正，適正）となることもある。
【００７６】
以上を要するに、上記《２》において、さらに、顔領域検出手段３から複数のリサイズ処理手段２ａ，２ｂへのフィードバック系として顔サイズ比率判定手段４が設けられており、この顔サイズ比率判定手段４は、顔領域検出手段３によって検出された各顔領域Ｋ１，Ｋ２の情報においてフレーム画像内の各被写体人物の顔サイズを検出し、検出した顔サイズ情報を基に、フレームサイズ内での各被写体人物の顔サイズのマクロブロックサイズに対する比率である顔サイズ比率を判定し、その判定結果に応じて複数の動き認識系Ｕａ，Ｕｂにつき選択的に起動または停止する制御を行うものとして構成されているという態様である。
【００７７】
これは、次のように言い換えることも可能である。すなわち、上記《２》において、さらに、顔領域検出手段３によって検出された各顔領域Ｋ１，Ｋ２の顔サイズ比率を規定範囲と比較判定し、その判定結果に応じて、各リサイズ処理手段２ａ，２ｂ、各認識領域設定手段５ａ，５ｂ、各動きベクトル抽出手段６ａ，６ｂおよび各画像認識手段７ａ，７ｂからなる複数の動き認識系Ｕａ，Ｕｂを選択的に作動または停止する顔サイズ比率判定手段４を備えているという態様である。
【００７８】
このように構成すれば、被写体人物サイズの様々な組み合わせの変容に応じて複数のリサイズ処理手段２ａ，２ｂのリサイズ比率を変更するので、被写体人物サイズに広範な変化があっても、柔軟な対応が可能となり、いずれの場合にもリモコン操作者の希望するタイミング（サインを出すタイミング）での制御が確実となる。
【００７９】
《４》上記《２》，《３》において、複数のリサイズ処理手段２ａ，２ｂのいずれかについては、原画像データにおいてトリミングする機能を併せ有し、そのトリミング画像データに対してリサイズ処理を行うように構成されていることが好ましい。被写体人物の顔サイズが小さすぎるときは、リサイズ処理手段におけるトリミング機能を働かせるものとする。図８はその処理の一例を示す。この場合は、被写体人物サイズが過大の被写体人物については、処理対象外とされることがある。
【００８０】
このように構成すれば、被写体人物が小さすぎ、画像認識領域が小さすぎても、トリミングとリサイズ処理との協働により動きベクトル数が適正化され、かつマクロブロック単位に対する動きベクトルサイズが適正化される。
【発明の効果】
【００８１】
本発明によれば、リサイズ処理の画像サイズの調整を通じて、動きベクトル数についてもマクロブロック単位に対する動きベクトルサイズについても適正化が行われ、検出した動きベクトルが規定のものに該当するかの判定の信頼性を向上することができる。リモコン操作者としては被写界内で体の動きを止め、手など体の一部を動かすだけで、意図したタイミングでの制御を確実化なものにすることができる。
【図面の簡単な説明】
【００８２】
【図１】本発明創作の準備において想到した新知見の説明図（その１）
【図２】本発明創作の準備において想到した新知見の説明図（その２）
【図３】本発明の動き認識リモコン受信装置の第１の基本的構成を示すブロック図
【図４】本発明の動き認識リモコン受信装置の第２の基本的構成を示すブロック図
【図５】第２の基本的構成の動き認識リモコン受信装置の機能説明図
【図６】第２の基本的構成の応用例の機能説明図
【図７】本発明の動き認識リモコン受信装置の第３の基本的構成を示すブロック図
【図８】第３の基本的構成の応用例の機能説明図
【図９】本発明の実施の形態１における動き認識リモコン受信装置の構成を示すブロック図
【図１０】本発明の実施の形態２における動き認識リモコン受信装置の構成を示すブロック図
【図１１】本発明の実施例における動き認識リモコン受信装置が搭載された撮像装置の構成を示すブロック図
【図１２】実施例の動き認識リモコン受信装置の動作を示すフローチャート
【図１３】実施例の動き認識リモコン受信装置において動きベクトル変化が周期的な変化である場合の動作説明図（その１）
【図１４】実施例の動き認識リモコン受信装置において動きベクトル変化が周期的な変化である場合の動作説明図（その２）
【図１５】実施例の動き認識リモコン受信装置において動きベクトル変化が周期的な変化である場合の動作説明図（その３）
【図１６】解決すべき課題の説明図
【発明を実施するための形態】
【００８３】
上記した本発明の動き認識リモコン受信装置ならびに動き認識リモコン制御方法は、次のような実施の形態においてさらに有利に展開することが可能である。
【００８４】
上記《１》〜《４》におけるリサイズ処理手段２，２ａ，２ｂが取り扱うリサイズ画像データのデータ形式としては、動画規格サイズの動画像データでもよいし、あるいは装置本体での表示サイズの画像データでもよきものとする。リサイズ画像データが２つの場合は、例えばＱＶＧＡサイズ（３２０×２４０）とＶＧＡサイズ（６４０×４８０）のようにどちらも原画像データに対しては縮小リサイズでありながら、相対的な比率を４倍程度にとることが好ましい。そうすれば、撮影視野内での被写体人物サイズの大小変化にかかわらず、制御信号Ｓｃの生成の信頼性が高いものとなる。
【００８５】
《５》上記《２》〜《４》の制御手段８について、次のような好ましい態様がある。同一の原画像データからの異なる画像サイズの複数のリサイズ画像データＤ１，Ｄ２に対する画像認識手段７ａ，７ｂによる画像認識が成立しない場合には、複数の画像認識手段７ａ，７ｂの画像認識動作を継続し、画像認識が少なくともいずれか１つで成立した場合に制御信号Ｓｃを生成するものとする。
【００８６】
《６》上記《２》〜《４》の制御手段８について、次のように構成することも好ましい態様である。すなわち、複数の画像認識手段７ａ，７ｂによる判定が１つ成立するたびにカウントアップした上で複数の画像認識手段７ａ，７ｂの画像認識動作を継続させ、カウント値が規定値となったときに制御信号Ｓｃを生成するという態様である。これは、周期的な動作を検出する上で、検出精度を向上させる効果がある。
【００８７】
《７》上記《６》の制御手段８について、次のように構成することも好ましい態様である。すなわち、複数の画像認識手段７ａ，７ｂによる判定が１つ成立するたびにカウントアップした上で複数の画像認識手段７ａ，７ｂの画像認識動作を継続させる際に、認識対象として被写体人物の異なる複数の動作を用意しておき、あらかじめ設定された動作の組み合わせどおりに順番に画像認識が行われ、カウント値が規定値となったときに制御信号Ｓｃを生成するという態様である。このように構成すれば、より高度できめ細かい制御が可能となる。
【００８８】
《８》上記《２》〜《７》の複数の動きベクトル抽出手段６ａ，６ｂについては、画像サイズを異にする複数のリサイズ画像データＤ１，Ｄ２に対して、動画を構成する複数のフレーム間の動きによる時間的変化量を個別的に抽出するように構成されているという態様がある。動画規格サイズの動画像、表示サイズまたは任意サイズにリサイズされた動画像、または任意にトリミングリサイズされた動画像などがある。基本ブロック単位の動きベクトルの方向は検出せず、基本ブロック単位の動きベクトルのスカラー量変化のみを検出する。
【００８９】
《９》上記《２》〜《７》の複数の動きベクトル抽出手段６ａ，６ｂについては、次のような好ましい態様がある。図９に示すように、動画圧縮手段５０は、リサイズ画像に対して動画圧縮を行うものであるが、複数の動きベクトル抽出手段６ａ，６ｂは、動画圧縮の中間処理として機能するものとして構成されているという態様である。入力画像として、画像サイズの異なる複数の動画規格サイズの動画画像、または装置本体での表示サイズまたは任意サイズにリサイズされた動画像、または任意にトリミング・リサイズされた動画像などの複数の画像入力に対応できるマルチエンコード並列処理を用いて、基本ブロック単位の動きベクトルの方向と動画を構成する複数のフレーム間の時間的変化を複数の画像ごとに抽出する。
【００９０】
一般的に撮像装置に搭載されている動画圧縮手段５０は、その動画圧縮の中間処理として動きベクトル抽出を行う機能を備えている。さらに複数の画像に対して同時に動画圧縮処理を実施するマルチエンコード処理の実施が可能である。ここでは、動画圧縮手段５０を用いたマルチエンコード処理により、サイズの異なる複数の画像に対して時分割同時に処理を実施できる動きベクトル抽出手段６ａ，６ｂを利用するという趣旨である。もちろん、マルチエンコード可能な動画圧縮手段でなく、動画圧縮手段を複数用いて動きベクトル検出を実施することも可能である。
【００９１】
《１０》上記《１》〜《９》の顔領域検出手段３については、次のような好ましい態様がある。その顔領域検出手段３は、撮像手段１で取得した原画像データから表示サイズにリサイズされた画像データのリアルタイムの表示中に、動画を構成する複数フレームのうち特定のフレーム画像内の被写体人物それぞれについてその顔領域をフレーム毎に検出する。このとき、フレーム毎に連続的に検出するものとする。
【００９２】
撮像装置では一般的に、撮像手段１からの画像データに対する一連のシーケンス処理（画像信号処理、リサイズ処理、顔検出処理、動きベクトル検出処理、圧縮処理、表示処理の並行処理）をリアルタイム画像の表示中に行うモニタモードがある。このモニタモードでのシーケンス処理において、当該の顔検出処理も行うこととするものである。動画を実現する複数フレームのうち特定のフレーム画像内の被写体人物についてその顔領域（顔の位置と大きさ情報）をフレーム毎に連続的に検出し、その検出で得た情報を利用するものである。
【００９３】
《１１》上記《１》〜《１０》の認識領域設定手段５，５ａ，５ｂについては、次のような好ましい態様がある。顔領域検出手段３による安定した顔領域を基準にして規定範囲内に設定する各画像認識領域Ｎ，Ｎ１，Ｎ２について、各被写体人物を含む同一の原画像データより異なる画像サイズに縮小リサイズされた複数の画像それぞれに対して、検出された各顔領域Ｋ，Ｋ１，Ｋ２の各被写体人物のそれぞれの胸元の規定範囲に設定するように構成されている。この胸元エリアである画像認識領域における任意の動作について、時間軸での各動きベクトル変化Ｖ，Ｖ１，Ｖ２が抽出されることになる。被写体でもあるリモコン操作者は、制御信号Ｓｃを生成するための動作を行うに当たって、その動作を行うべきエリアについては、自らの胸元のエリアが最も分かりやすく、記憶しやすく、動作もしやすいエリアである。装置側でも、検出された各顔領域Ｋ，Ｋ１，Ｋ２からの相対位置関係（方向および距離）が非常に単純な関係であり、演算処理量も少なくてすむ。
【００９４】
《１２》上記《１》〜《１１》の動きベクトル変化Ｖ，Ｖ１，Ｖ２が規定のものであるかの判定を行う画像認識手段７，７ａ，７ｂについては、次のような好ましい態様がある。それは、撮像手段１で取得され表示サイズにリサイズされたリアルタイム画像の表示中に、画像認識手段７，７ａ，７ｂが、動きベクトル抽出手段６，６ａ，６ｂによる一定期間中の各動きベクトル変化Ｖ，Ｖ１，Ｖ２が規定のものであることを認識したときに撮影トリガー信号を発生するというものである。これはいわゆるモニタモードにおいて、本発明のメインテーマの処理を遂行するということである。
【００９５】
《１３》上記《１》〜《１２》の画像認識手段７，７ａ，７ｂについてはまた、次のような好ましい態様がある。撮影トリガー信号を発生する条件は、一定期間中の各動きベクトル変化Ｖ，Ｖ１，Ｖ２が規定のものであることであるが、これを各動きベクトル変化Ｖ，Ｖ１，Ｖ２が周期的な変化であることとする。つまり、画像認識手段７，７ａ，７ｂは、動きベクトル抽出手段６，６ａ，６ｂによって検出したそれぞれの各動きベクトル変化Ｖ，Ｖ１，Ｖ２について、どちらかまたは片方が周期的な変化であると認識すると、撮影トリガー信号を発生するというものである。複数の画像より周期的変化を捉えるので、各動きベクトル変化Ｖ，Ｖ１，Ｖ２の検出の精度が高くなる。
【００９６】
《１４》また、上記《１》〜《１３》の画像認識手段７，７ａ，７ｂは、撮像手段１からのリアルタイムのスルー画像の表示中に、同一の原画像データから異なる画像サイズにリサイズされた複数の画像に対して各画像認識領域Ｎ，Ｎ１，Ｎ２内で一定期間の継続的な回転運動を認識するという態様もある。
【００９７】
《１５》また、上記《１》〜《１３》の画像認識手段７，７ａ，７ｂは、撮像手段１からのリアルタイムのスルー画像の表示中に、同一の原画像データから異なる画像サイズにリサイズされた複数の画像に対して各画像認識領域Ｎ，Ｎ１，Ｎ２内で一定期間の継続的な直線的運動を認識するという態様もある。
【００９８】
《１６》上記《１》〜《１５》の画像認識手段７，７ａ，７ｂは、撮像手段１からのリアルタイムの画像の表示中に、一定期間中の動きベクトル抽出手段６，６ａ，６ｂによるフレーム間の動きによる時間的変化が一定時間持続して検出され、動きの種類によらず所定の変化量を超える動作であると認識したときに撮影トリガー信号を発生するように構成されているという態様がある。
【００９９】
《１７》上記《１》〜《１６》の動き認識リモコン受信装置では、上記の一連のステップからなるシーケンスを開始するのに先立って、動き認識リモコン受信装置（または撮像装置）の振れがないことを検査し、振れがないことが確認されたときに初めて、上記のシーケンスを開始するように構成することが考えられる。この場合には、例えば図１０に示すように、さらに、装置本体の振動を検出する振動検出手段９を利用するものとする。この態様は、動き認識リモコン受信装置が撮像装置に搭載されている場合に特に有用となる。撮影者が撮像装置を手に持って撮影の作業を行っているときは、手ぶれの可能性が高く、振動検出手段９が振動検出の信号を出力する。一方、遠隔撮影状況のときは撮像装置が三脚などに固定されるため、振動検出手段９が振動検出の信号を継続的に出力しないことになる。振動検出手段９は、動き認識リモコン受信装置（撮像装置）の継続的な振動無し状態を検出することを通じて、動き認識リモコン受信装置が固定された状態であると判定するものである。つまり、振動検出による遠隔撮影状況そのものの自動検出である。
【０１００】
なお、図１０の構成は一例であって図７の構成に適用したものであるが、本項の技術内容は図４の構成に適用してもよく、さらには動き認識系が１つの場合の図３の構成に適用してもよい。
【０１０１】
要するに、上記《１》〜《１６》の動き認識リモコン受信装置において、さらに、動き認識リモコン受信装置の振動を検出し継続的な振動がないと判定すると、認識領域設定手段５，５ａ，５ｂ、画像認識手段７，７ａ，７ｂを起動する振動検出手段９を備えているという態様である。
【０１０２】
このように構成すれば、振動検出手段９による装置本体の振動検出の検出結果（否定の結果：振動なし）を利用して、遠隔撮影等リモコン制御状況であることそのものの自動検出が可能となる。振動検出手段９において動き認識リモコン受信装置の振動があると判定すれば認識領域設定手段５，５ａ，５ｂ、画像認識手段７，７ａ，７ｂの起動はなく、上記の一連のシーケンスは機能しないが、振動検出手段９において動き認識リモコン受信装置の継続的な振動がないと判定すれば認識領域設定手段５，５ａ，５ｂ、画像認識手段７，７ａ，７ｂを起動し、上記の一連のシーケンスを機能させることになる。
【０１０３】
遠隔操作ではない通常の手持ち撮影処理において、装置本体を持っているリモコン操作者が自己の意図したタイミングで撮影を行いたい場合に、リモコン操作者以外の者で被写体となっている者が特定の動きをしたために、リモコン操作者の意図に反したタイミングで制御が行われてしまうといった不都合を回避することが可能となる。
【０１０４】
《１８》上記《１７》の振動検出手段９をもつ構成において、その動きベクトル抽出手段６，６ａ，６ｂおよび画像認識手段７，７ａ，７ｂについては、次のような好ましい態様がある。それは、撮像手段１からのリアルタイム画像の表示中において、振動検出手段９により当該装置が固定された状態であると判定すれば、顔領域検出手段３、認識領域設定手段５，５ａ，５ｂに引き続いて動きベクトル抽出手段６，６ａ，６ｂと画像認識手段７，７ａ，７ｂを起動するように構成されているという態様である。これは、これら複数の手段による一連の動作を有機的に結びつけるものである。
【０１０５】
《１９》上記《１７》，《１８》の振動検出手段９について、これをジャイロセンサで構成する態様は好ましいものである。ジャイロセンサを用いて実施すれば、簡単でありながら振動検出の精度が高い。
【実施例】
【０１０６】
以下、図面を参照して本発明の実施例について説明する。
【０１０７】
図１１は本発明の実施例における動き認識リモコン受信装置が搭載された撮像装置の構成を示すブロック図である。この撮像装置１００は、撮像した被写体の光学像をデジタルの画像データに変換して記録メディア３５に記録する単板式のデジタルカメラである。
【０１０８】
まず、撮像装置１００の全体的な概要を説明し、次いで、発明相当部分に関する説明へと移る。
【０１０９】
〔全体的概要の説明〕
撮像部１０は、光学レンズ１１、光学ローパスフィルタ（ＬＰＦ）１２、カラーフィルタ１３、撮像素子１４、アナログフロントエンド部１５を含む。撮像素子１４は、ＣＣＤ型あるいはＣＭＯＳ型などに代表されるイメージセンサである。撮像素子１４の受光面には多数のフォトダイオード（感光画素）が二次元的に配列されており、光学レンズ１１を通過した被写体情報を光電変換する。光学ローパスフィルタ１２は、撮像素子１４の画素ピッチなどに依存するサンプリング周波数以上の高周波成分を除去する作用を有し、画像再現（信号処理）後の最終画像におけるエリアジング（キー信号の高周波成分が低周波成分に折り返す現象）の発生を防止する。カラーフィルタ１３は、撮像素子１４の１画素に対応する位置にＲ，Ｇ，Ｂの何れかの色が存在するような所定の色配列を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。光学レンズ１１を通過した光は、光学ローパスフィルタ１２とカラーフィルタ１３を通過して撮像素子１４に入射する。撮像素子１４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。撮像素子１４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子１４の動作（露光、読み出し等）はＣＰＵ２１により制御される。撮像素子１４から出力された画像信号はアナログフロントエンド部１５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理の後、Ａ／Ｄ変換処理によりデジタル信号に変換される。また、ＣＭＯＳ型に代表される撮像素子１４においては、高速読み出しを実現する手段として、素子内にノイズ処理部とＡ／Ｄ変換器を実装し、撮像素子から直接デジタル信号として出力する形態もある。Ａ／Ｄ変換された画像データは、撮像装置１００の動作モードに従い必要な信号処理を経て、または信号処理を省略して、記録メディア３５に記録される。本例の撮像装置１００は、ＪＰＥＧ形式、ＭＰＥＧ形式、Ｈ．２６４形式などの圧縮データ形式での静止画像記録と動画像記録が可能であるとともに、Ａ／Ｄ変換した直後のＲＡＷ画像データ（生データ）を記録することができる。また、手振れ検出部４０を用いて撮像装置１００のぶれを検出し、検出したぶれ量を光学レンズ１１と撮像素子１４を含むセンサユニット部にフィードバックし、光学手振れ補正、センサシフトによる手振れ補正が行われる。手振れ検出部４０はジャイロセンサが用いられる。
【０１１０】
圧縮データ形式で記録する場合、Ａ／Ｄ変換された画像データは前処理部２４を経て画像信号処理部２７に送られる。前処理部２４と画像信号処理部２７は、同時化（カラーフィルタ配列に伴う色信号の空間的なずれを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する画像処理手段であり、ＣＰＵ２１からのコマンドに従って画像信号を処理する。前処理部２４と画像信号処理部２７は、メモリ制御部２５を介して処理途中の画像を一時記憶できる画像メモリ２６を備えており、画像メモリ２６を利用しながら画像信号の処理を行う。前処理部２４と画像信号処理部２７において所定の信号処理を経た画像データは、規格化されたサイズの画像データとして記録する場合や、モニタインターフェース３３を介して液晶モニタに表示するため、リサイズ処理部２９で画像サイズを規格サイズに変更する。
【０１１１】
リサイズされた画像データに対しては必要に応じて顔領域検出部３０で被写体人物の顔の位置・大きさ・傾きなどの情報検出を行う。また、リサイズされた画像データは圧縮伸張部２８に送ることで、各種形式の圧縮フォーマットに従って圧縮される。このとき使用される圧縮形式に対応した圧縮符号化アルゴリズムが用いられる。ＭＰＥＧ形式、Ｈ．２６４形式などの動画圧縮データ形式に従って規格化サイズで画像データを圧縮する場合は、並行処理によって圧縮伸張部２８でメモリ制御部２５を介して画像メモリ２６からリサイズデータまたはリサイズ画像を入力として周期的に読み出し、入力されるフレームデータの圧縮を行った後、画像メモリ２６に書き戻すことにより、圧縮データをメモリ空間内に格納する。その際、動画圧縮の中間処理として基本ブロック単位の動き検出ベクトル検出処理が実施され、検出された動き検出ベクトルデータはメモリ制御部２５により画像メモリ２６に格納したり、圧縮伸張部２８の内部のレジスタに格納することができる。圧縮された画像データは、記録メディアインターフェース３１を介して記録メディア３５に記録される。画像データを保存する記録メディア３５は、メモリカードで代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１００に内蔵された記録媒体（内部メモリ）であってもよい。
【０１１２】
ＣＰＵ２１は所定のプログラムに従って本カメラシステムを統括制御する制御部であり、操作パネル３４からの指示信号に基づいて撮像装置１００内の各回路の動作を制御する。ＲＯＭ２２にはＣＰＵ２１が実行するプログラムおよび制御に必要な各種データ等が格納され、ＲＡＭ２３はＣＰＵ２１の作業用領域として利用される。
【０１１３】
操作パネル３４は撮像装置１００に対してユーザが各種の指示を入力するための手段であり、例えば撮像装置１００の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなど各種の操作手段を含む。
【０１１４】
ＣＰＵ２１は操作パネル３４から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像素子１４などの撮像部１０を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア３５の読み書き制御などを行う。
【０１１５】
例えばＣＰＵ２１は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光および読み出し制御を開始する。また、ＣＰＵ２１は必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。
【０１１６】
前処理部２４は、自動露出制御、自動焦点調節制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ２１に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ２１は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１１を合焦位置に移動させるとともに、絞りや電子シャッタを制御して露出制御を行う。こうして、取り込まれた画像データは、記録モードに従って記録メディア３５に記録される。また、このデジタルカメラは、液晶モニタにより構成される表示を実現するために、表示処理部３２とモニタインターフェース３３を有している。
【０１１７】
本発明に関係する動き認識リモコン制御方法（撮影制御方法）を実施する際には、電源投入後、モニタモードと呼ばれる基本モードで動作スタートし、連続的に撮像素子１４から出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、顔領域検出処理、圧縮処理、動きベクトル検出処理、表示処理を１シーケンス処理として並列処理を行い、リアルタイム画像を液晶モニタに表示する。
【０１１８】
〔発明相当部分の説明〕
撮像部１０と前処理部２４とメモリ制御部２５と画像メモリ２６と画像信号処理部２７は上述した〔課題を解決するための手段〕の撮像手段１に相当する。撮像手段１では、メモリ制御部２５を介した画像メモリ２６への書き込みと読み出し処理により動き認識リモコン受信装置として扱う原画像データが生成される。リサイズ処理部２９は第１のリサイズ処理手段２ａおよびトリミング機能を併せ有する第２のリサイズ処理手段２ｂに相当し、顔領域検出部３０は顔領域検出手段３に相当し、ＣＰＵ２１は第１および第２の認識領域設定手段５ａ，５ｂと第１および第２の画像認識手段７ａ，７ｂとに相当し、圧縮伸張部２８は第１および第２の動きベクトル抽出手段６ａ，６ｂの機能を含み、ＣＰＵ２１のプログラムは、所定の認識対象の判定結果に応じて撮影に関する所定の制御信号Ｓｃを生成する制御手段８に相当し、手振れ検出部４０は振動検出手段９に相当する。
【０１１９】
図１２に撮像装置１００を用いて本発明に関係する動き認識リモコン制御方法を実施する際に基本となる動作のフローチャートを示す。
【０１２０】
まずステップＳ０において、撮像装置１００は、操作パネル３４に割り当てられた電源投入動作により撮影動作を開始する。
【０１２１】
次いでステップＳ１において、ＣＰＵ２１は操作パネル３４に割り当てられた動作モードが撮影モードであることを認識した場合、撮像素子１４から連続的に出力されるフレームデータに対して、前記の前処理、画像信号処理、リサイズ処理、表示処理を１シーケンス処理として連続的な並列処理を行う。これをモニタモードと称する。
【０１２２】
次いでステップＳ２において、モニタモード動作中に、撮像装置１００の本体が手持ちの状態にあるか、固定設置されているかの判断処理を実施する。判断処理に当たっては、ＣＰＵ２１が手振れ検出部４０を用いてカメラの振動が継続的にほとんどないことを検出することで、カメラが手持ちではなく任意の場所に固定された状態であると判定する。手振れ検出部４０としては、ジャイロセンサを用いて実施するのが好ましく、構造簡単にして検出精度が高い。カメラの振動が検出され、手持ちであると判断された場合は、本発明に関係する動き認識リモコン受信（撮影制御）処理は実施せず、通常の手持ち撮影処理を実施する。固定設置撮影であると判断された場合は、次のステップＳ３へ進む。
【０１２３】
次いでステップＳ３において、リサイズ処理部２９を起動し、リサイズ処理を開始する。このリサイズ処理においては、メモリ制御部２５を介して画像メモリ２６から読み出した原画像データに対して初期設定のリサイズ比率でのリサイズ処理を施し、得られたリサイズ画像データをメモリ制御部２５を介して画像メモリ２６に格納する。
【０１２４】
次いでステップＳ４においては、ＣＰＵ２１が顔領域検出部３０を用いて顔領域検出処理を行う。顔領域検出処理は、モニタモードおいて撮像部１０からのリアルタイム画像の表示中に、動画を構成する複数フレームのうち所定のフレーム画像内の顔の位置と大きさ情報を連続的に検出し、検出情報をＣＰＵ２１により読み出す。
【０１２５】
次いでステップＳ５において、ＣＰＵ２１を用いて顔領域検出部３０が検出を実施した画像フレームサイズに対して、検出した被写体人物それぞれの顔の大きさ情報より画像フレームに占める顔の大きさ割合である顔サイズ比率を算出する。そして、顔サイズ比率が規定範囲を下回っているか上回っているかに応じて、また検出された顔領域の数および顔サイズの組み合わせに応じて、リサイズ画像データとして１つだけのリサイズ画像データＤ１のみの生成に止めるのか、それとも画像サイズ（ｍ×ｎ）を異にする２つのリサイズ画像データＤ１，Ｄ２を生成するのか、あるいはトリミングした上でリサイズ画像データを生成するのかを決定する。トリミングを併用するときは、被写体人物の顔サイズ比率が過剰に小さい場合である。これらは、換言すれば、次のステップでの動きベクトル抽出において、抽出対象とすべきリサイズ画像データにつき、リサイズ画像データＤ１のみとするか、２つのリサイズ画像データＤ１，Ｄ２とするか、トリミングされたリサイズ画像データとするかを、被写体人物の状況に応じて事前調整する趣旨である。
【０１２６】
次いでステップＳ６において、ステップＳ５で決定したリサイズ画像データにおいて動きベクトルを抽出する。画像サイズを異にする２つのリサイズ画像データＤ１，Ｄ２において同時に動き検出処理を実施する場合は、圧縮伸張部２８の圧縮動作をマルチエンコードモードでスタートして中間処理機能を働かせる。例えば１つを任意の動画規格サイズ、もう１つを本体の表示サイズにリサイズし、それら２つのリサイズ画像データにおいて基本ブロック単位の動きベクトルを抽出し、それぞれに抽出した動きベクトルを画像メモリ２６に転送する。この動作はモニタモードでのスルー画像表示中に行われる。画像メモリ２６に格納された２つの画像の動きベクトルは、ＣＰＵ２１によりメモリ制御部２５を介して読み出される。
【０１２７】
次いでステップＳ７において、ＣＰＵ２１はスルー画像の表示中に検出顔領域の位置が安定するのを待つ。安定すれば、次のステップＳ８に進む。
【０１２８】
次いでステップＳ８において、ＣＰＵ２１は原則２つのリサイズ画像データＤ１，Ｄ２それぞれに対してフレーム画像内の被写体人物の顔領域の下となる胸元位置の所定範囲のエリアを各画像認識領域Ｎ１，Ｎ２として設定する。この際、顔サイズ比率が規定範囲を下回っているときには、画像サイズのより大きいリサイズ画像データＤ１において画像認識領域Ｎ１を設定し（図１（ｂ１）参照）、顔サイズ比率が規定範囲を上回っているときには、画像サイズのより小さいリサイズ画像データＤ２において画像認識領域Ｎ２を設定する（図２（ｂ１）参照）。
【０１２９】
次いでステップＳ９において、原則２つのリサイズ画像データＤ１，Ｄ２においてそれぞれ設定された胸元に設定された画像認識領域Ｎ１，Ｎ２内の動きベクトル情報を抽出して、メモリ制御部２５を介して画像メモリ２６に転送する。画像認識手段７ａ，７ｂとなるＣＰＵ２１では各胸元に設定された画像認識領域Ｎ１，Ｎ２内で認識に必要な最低限の動きベクトルデータを用いて動きベクトルの時間的変化（想定するサイン動作）を検出する。
【０１３０】
次いでステップＳ１０において、ＣＰＵ２１が画像認識処理として原則２つの胸元に設定された画像認識領域Ｎ１，Ｎ２の動きベクトルの変化を認識処理していく。所定の変化がない場合には、ステップＳ７に戻り、再度顔の位置と大きさに変化がないかどうかの認識処理を実施する。以降、ステップＳ７→Ｓ８→Ｓ９→Ｓ１０を繰り返し、ＣＰＵ２１が画像認識処理として、撮影視野内の原則複数の被写体人物の顔の位置と大きさ情報の変化と胸元に設定された画像認識領域Ｎ１，Ｎ２の動きベクトルの変化を同時に認識処理していく。その際、顔の位置と大きさがほとんど変化しない条件で、２つの胸元に設定された画像認識領域Ｎ１，Ｎ２内の動きベクトルのうちの少なくともいずれか一方が一定期間中所定の変化をしたとき、ステップＳ１１へ移り、設定動作をスタートさせるための制御信号Ｓｃとして撮影トリガー信号を発生する。
【０１３１】
次に、動きベクトル変化が周期的な変化である場合の具体例を説明する。
【０１３２】
図１３は胸元に設定された画像認識領域（胸元エリア）Ｎでリモコン操作者が行う手の周期的な回転運動の動きベクトル変化Ｖの検出状態を示す概念図である。動きベクトル変化Ｖの検出については、周期的な動きである円運動を想定して、画像認識領域Ｎ全域ではなく、画像認識領域Ｎ内のある円周上位置すなわち太い実線で矩形状に示す基本小ブロックａ，ｂ，ｃ，ｄごとに動きベクトル変化Ｖを抽出するものとする。画像認識手段７ａ，７ｂを構成するＣＰＵ２１は、これら基本小ブロックａ，ｂ，ｃ，ｄごとに動きベクトル変化Ｖを抽出することにより、被写体人物が胸元で手を回していることを検出する。
【０１３３】
上記で図５を用いて説明してきたこととの対応関係を説明する。
【０１３４】
図１３（ａ），（ｂ），（ｃ）は同じ原画像データにおいて、顔サイズ比率が過大の場合、適正の場合、過小の場合をそれぞれ示している。同じ原画像データであることは、（ａ），（ｂ），（ｃ）とも細い線で格子状に図示した桝目のサイズが同じであることに表れている。
【０１３５】
原画像データにおいて図１３（ｂ）の状態であれば、そのままの状態で４つの基本小ブロックａ，ｂ，ｃ，ｄごとに動きベクトル変化Ｖを抽出する。
【０１３６】
原画像データにおいて図１３（ｃ）の状態であれば（これは図５（ａ１）の左側の小さい画像に相当）、画像サイズ（ｍ×ｎ）のより大きいリサイズ処理を行って図１３（ｂ）の状態へと切り替える（これは図５（ｂ１）の左側の小さい画像に相当）。基本小ブロックａ，ｂ，ｃ，ｄのサイズに対する桝目のサイズが適正化されている。
【０１３７】
原画像データにおいて図１３（ａ）の状態であれば（これは図５（ａ１）の右側の大きい画像に相当）、画像サイズ（ｍ×ｎ）のより小さいリサイズ処理を行って図１３（ｂ）の状態へと切り替える（これは図５（ｂ２）の右側の大きい画像に相当）。この場合も、基本小ブロックａ，ｂ，ｃ，ｄのサイズに対する桝目のサイズが適正化されている。
【０１３８】
なお、右回しと左回しとを区別した認識が可能である。
【０１３９】
図１４は胸元に設定された画像認識領域Ｎ内でリモコン操作者が行う手の周期的な左右方向動作の動きベクトル変化Ｖの検出状態を示す概念図である。動きベクトル変化Ｖの検出については、周期的な動きである左右方向動作を想定して、画像認識領域Ｎ全域ではなく、画像認識領域Ｎ内の左右に示す基本小ブロックａ，ｂごとに動きベクトル変化Ｖを抽出するものとする。画像認識手段７ａ，７ｂを構成するＣＰＵ２１は、これら基本小ブロックａ，ｂごとに動きベクトル変化Ｖを抽出することにより、被写体人物が胸元で手を左右に動かしていることを検出する。
【０１４０】
図１４（ａ），（ｂ），（ｃ）は同じ原画像データにおいて、顔サイズ比率が過大の場合、適正の場合、過小の場合をそれぞれ示している。
【０１４１】
原画像データにおいて図１４（ｂ）の状態であれば、そのままの状態で２つの基本小ブロックａ，ｂごとに動きベクトル変化Ｖを抽出する。
【０１４２】
原画像データにおいて図１４（ｃ）の状態であれば（これは図５（ａ１）の左側の小さい画像に相当）、画像サイズのより大きいリサイズ処理を行って図１４（ｂ）の状態へと切り替える（これは図５（ｂ１）の左側の小さい画像に相当）。基本小ブロックａ，ｂのサイズに対する桝目のサイズが適正化されている。
【０１４３】
原画像データにおいて図１４（ａ）の状態であれば（これは図５（ａ１）の右側の大きい画像に相当）、画像サイズのより小さいリサイズ処理を行って図１４（ｂ）の状態へと切り替える（これは図５（ｂ２）の右側の大きい画像に相当）。この場合も、基本小ブロックａ，ｂのサイズに対する桝目のサイズが適正化されている。
【０１４４】
図１５は胸元に設定された画像認識領域Ｎ内でリモコン操作者が行う手の周期的な上下方向動作の動きベクトル変化Ｖの検出状態を示す概念図である。動きベクトル変化Ｖの検出については、周期的な動きである上下方向動作を想定して、画像認識領域Ｎ全域ではなく、画像認識領域Ｎ内の中央に示す基本小ブロックｃで動きベクトル変化Ｖを抽出するものとする。画像認識手段７ａ，７ｂを構成するＣＰＵ２１は、基本小ブロックｃで動きベクトル変化Ｖを抽出することにより、被写体人物が胸元で手を上下に動かしていることを検出する。
【０１４５】
図１５（ａ），（ｂ），（ｃ）は同じ原画像データにおいて、顔サイズ比率が過大の場合、適正の場合、過小の場合をそれぞれ示している。
【０１４６】
原画像データにおいて図１５（ｂ）の状態であれば、そのままの状態で基本小ブロックｃで動きベクトル変化Ｖを抽出する。
【０１４７】
原画像データにおいて図１５（ｃ）の状態であれば（これは図５（ａ１）の左側の小さい画像に相当）、画像サイズのより大きいリサイズ処理を行って図１５（ｂ）の状態へと切り替える（これは図５（ｂ１）の左側の小さい画像に相当）。基本小ブロックｃのサイズに対する桝目のサイズが適正化されている。
【０１４８】
原画像データにおいて図１５（ａ）の状態であれば（これは図５（ａ１）の右側の大きい画像に相当）、画像サイズのより小さいリサイズ処理を行って図１５（ｂ）の状態へと切り替える（これは図５（ｂ２）の右側の大きい画像に相当）。この場合も、基本小ブロックｃのサイズに対する桝目のサイズが適正化されている。
【０１４９】
以上で理解されるように、図１３〜図１５の方式では、動きベクトル変化Ｖの検出領域を画像認識領域Ｎ全域とするのではなく、基本小ブロックに限定している。部分的であるので、全域の場合に比べて処理すべきデータ量が少なく、検出のスピードを速くすることが可能である。しかし、基本小ブロックそれぞれにおける動きベクトル数は少なくなる。特に被写体人物サイズが小さくなるほど動きベクトル数は少なくなる。この動きベクトル数の少なさを解消するために、上述してきたリサイズ比率を変えるリサイズ処理調整を行うのである。したがって、本発明の技術は、特に動きが周期的であって基本小ブロックで動きベクトル変化Ｖを捉える場合に有効となり、検出のスピードと信頼性とを両立させることが可能になる。
【０１５０】
所定の動作の検出に基づいて制御信号Ｓｃである撮影トリガー信号を生成し、デジタルカメラ（三脚などで固定）の撮影レリーズ動作を自動で行うことができる。
【０１５１】
動きベクトル変化Ｖの検出対象として周期的動作に特化し、そのことを利用して検出エリアを画像認識領域Ｎの全体ではなくその一部分に限定するので、処理データ量が削減され、画像認識に伴う処理負担（本実施例ではＣＰＵの処理負担）を軽減することができる。
【０１５２】
なお、動作が認識できたことをＬＥＤの点滅開始によりリモコン操作者に報知するように構成すれば、リモコン操作者はカメラ側の処理状態を確認できるため、その後における撮影に関する動作タイミングを明確に知ることができる。
【０１５３】
以上に述べたように、本実施例においては、撮影視野内の胸元位置で例えば手を周期的に回転動作させたり、周期的な左右動作や上下動作を行うことで、被写体であるリモコン操作者自身が意図したタイミングでの撮影を確実に行うことができる。
【０１５４】
さらに、リサイズ処理の画像サイズの調整を通じて、動きベクトル数についてもマクロブロック単位に対する動きベクトルサイズについても適正化が行われ、検出した動きベクトルが規定のものに該当するかの判定の信頼性を高いものにすることができる。リモコン操作者としては被写界内で体の動きを止め、手など体の一部を動かすだけで、意図したタイミングでの制御を確実なものにすることができる。
【０１５５】
被写体人物の顔サイズが極端に小さい場合でも、その小さな人物部分をトリミングした上でリサイズ処理すれば、動きベクトル変化の判定の精度は高いものとなる。
【０１５６】
上記の実施例はあくまで一例に過ぎず、本発明の趣旨を逸脱しない範囲で様々な改変が可能であることはいうまでもない。
【０１５７】
なお、本発明を実施する際の制御処理の手順、それに関わる手段の機能をパソコンやマイクロコンピュータなどのコンピュータ上でプログラムにより実現することも可能である。また、画像処理はその処理の一部または全部を専用のハードウェア（信号処理回路）態様に限らず、一部分をプログラムで実現してもよい。そのためのプログラムと、それが記録された各種の記録（記憶）媒体も本発明に包含される。また、そのような手順による処理の方法も本発明に包含されることは当然である。
【産業上の利用可能性】
【０１５８】
本発明は、取得した画像データを介してレリーズ動作を遠隔的に行わせるデジタルスチルカメラなどの画像処理装置等（「人とカメラのモーションインターフェース技術」として）に有用である。
【符号の説明】
【０１５９】
１  撮像手段
２，２ａ，２ｂ  リサイズ処理手段
３  顔領域検出手段
４  顔サイズ比率判定手段
５，５ａ，５ｂ  認識領域設定手段
６，６ａ，６ｂ  動きベクトル抽出手段
７，７ａ，７ｂ  画像認識手段
８  制御手段
９  手振れ検出手段
８  動画圧縮手段
１０  撮像部
１４  撮像素子
２１  ＣＰＵ
２４  前処理部
２５  メモリ制御部
２６  画像メモリ
２７  画像信号処理部
２８  圧縮伸張部（動きベクトル検出含む）
２９  リサイズ処理部
３０  顔領域検出部
４０  手振れ検出部
５０  動画圧縮手段
１００  撮像装置
Ｄ１  画像サイズの大きいリサイズ画像データ
Ｄ２  画像サイズの小さいリサイズ画像データ
Ｋ，Ｋ１，Ｋ２  検出顔領域
Ｎ，Ｎ１，Ｎ２  画像認識領域（胸元エリア）
Ｕａ，Ｕｂ  動き認識系
Ｖ  動きベクトル変化
【図１】
2011166409.tif 000003
【図２】
2011166409.tif 000004
【図３】
2011166409.tif 000005
【図４】
2011166409.tif 000006
【図５】
2011166409.tif 000007
【図６】
2011166409.tif 000008
【図７】
2011166409.tif 000009
【図８】
2011166409.tif 000010
【図９】
2011166409.tif 000011
【図１０】
2011166409.tif 000012
【図１１】
2011166409.tif 000013
【図１２】
2011166409.tif 000014
【図１３】
2011166409.tif 000015
【図１４】
2011166409.tif 000016
【図１５】
2011166409.tif 000017
【図１６】
2011166409.tif 000018