(57)【要約】【課題】動いている被写体を追尾して撮影する場合に、最適なトリミングを実現する。【解決手段】本開示に係る画像処理装置は、撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する動作検出処理部と、前記被写体の動作に基づいて、撮像画像のトリミング判定を行うトリミング判定処理部と、を備える。この構成により、被写体の動作を正確に検出することができるため、動いている被写体を追尾して撮影する場合に、最適なトリミングを実現することが可能となる。【選択図】図１
2014123815.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する動作検出処理部と、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行うトリミング判定処理部と、
を備える、画像処理装置。
【請求項２】
前記トリミング判定に基づいて、撮像画像のトリミング処理を行うトリミング処理部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記被写体の動作に関する情報は、撮像画像中の当該被写体の追尾座標を含む、請求項１に記載の画像処理装置。
【請求項４】
前記被写体の動作に関する情報は、前記追尾座標と撮像レンズの画角に応じた係数とを乗算して得られる値である、請求項３に記載の画像処理装置。
【請求項５】
前記トリミング判定処理部は、前記被写体の動作方向に空間を設けるように前記トリミング判定を行う、請求項１に記載の画像処理装置。
【請求項６】
前記トリミング判定処理部は、前記被写体が停止している場合は、前記被写体の動作に応じたトリミングは行わないことを判定する、請求項１に記載の画像処理装置。
【請求項７】
前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、動作量が同一の場合は、前記被写体が停止していることを検出する、請求項１に記載の画像処理装置。
【請求項８】
前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、一方の動作の量が他方よりも大きい場合は、当該一方の動作の方向に基づいて前記被写体の動作を検出する、請求項１に記載の画像処理装置。
【請求項９】
前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報の一方のみが検出された場合は、当該一方の情報に基づいて前記被写体の動作を検出する、請求項１に記載の画像処理装置。
【請求項１０】
前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の２次元方向の動作に関する情報である、請求項１に記載の画像処理装置。
【請求項１１】
前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の奥行き方向の動作に関する情報である、請求項１に記載の画像処理装置。
【請求項１２】
撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出することと、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行うことと、
を備える、画像処理方法。
【請求項１３】
撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する手段、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行う手段、
としてコンピュータを機能させるためのプログラムが格納された、記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び記録媒体に関する。
【背景技術】
【０００２】
近時においては、デジタルスチルカメラ等の撮像装置が広く普及しており、顔検出技術やオートフォーカス技術などを用いて被写体を撮影することが可能である。しかし、撮影時の構図合わせは、ユーザーの技量に依存してしまい、必ずしも撮影した画像がバランスの良い構図となっているとは限らない。このため近年、人物の顔や被写体を抽出し、追尾などを行い、それに対して自動で良好な構図でトリミング(切り出し)を行う技術が提案されている。
【０００３】
例えば、下記の特許文献１には、被写体の移動方向を考慮してより好ましい構図の画像を容易に取得できる手段を提供することを想定した技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８８７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
追尾被写体のトリミングにおいては、特許文献１に記載されているような、被写体の動作方向に空間を持たせてトリミングを行うものがある。しかしながら、例えば被写体が動いる場合に、ユーザーがカメラの向きを変えて被写体を画面の中央に捕え続けた場合、画面内で被写体の位置は変化しないため、被写体が動いていないと判断されてしまう。この場合、動いている被写体であっても、動いていない被写体と判断されてしまうため、動作方向に空間を持たせたトリミングを行うことはできない。
【０００６】
そこで、動いている被写体を追尾して撮影する場合に、最適なトリミングをすることが求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する動作検出処理部と、前記被写体の動作に基づいて、撮像画像のトリミング判定を行うトリミング判定処理部と、を備える、画像処理装置が提供される。
【０００８】
また、前記トリミング判定に基づいて、撮像画像のトリミング処理を行うトリミング処理部を更に備えるものであっても良い。
【０００９】
また、前記被写体の動作に関する情報は、撮像画像中の当該被写体の追尾座標を含むものであっても良い。
【００１０】
また、前記被写体の動作に関する情報は、前記追尾座標と撮像レンズの画角に応じた係数とを乗算して得られる値であっても良い。
【００１１】
また、前記トリミング判定処理部は、前記被写体の動作方向に空間を設けるように前記トリミング判定を行うものであっても良い。
【００１２】
また、前記トリミング判定処理部は、前記被写体が停止している場合は、前記被写体の動作に応じたトリミングは行わないことを判定するものであっても良い。
【００１３】
また、前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、動作量が同一の場合は、前記被写体が停止していることを検出するものであっても良い。
【００１４】
また、前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、一方の動作の量が他方よりも大きい場合は、当該一方の動作の方向に基づいて前記被写体の動作を検出するものであっても良い。
【００１５】
また、前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報の一方のみが検出された場合は、当該一方の情報に基づいて前記被写体の動作を検出するものであっても良い。
【００１６】
また、前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の２次元方向の動作に関する情報であっても良い。
【００１７】
また、前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の奥行き方向の動作に関する情報であっても良い。
【００１８】
また、本開示によれば、撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出することと、前記被写体の動作に基づいて、撮像画像のトリミング判定を行うことと、を備える、画像処理方法が提供される。
【００１９】
また、本開示によれば、撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する手段、前記被写体の動作に基づいて、撮像画像のトリミング判定を行う手段、としてコンピュータを機能させるためのプログラムが記録された、記録媒体が提供される。
【発明の効果】
【００２０】
本開示によれば、動いている被写体を追尾して撮影する場合に、最適なトリミングをすることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本開示の各実施形態に係る撮像装置の概略構成を示す模式図である。
【図２】デジタル信号処理部で行われる主な処理を示すフローチャートである。
【図３】第１の実施形態において、動作方向検出処理部による動作方向検出のアルゴリズムを説明するための模式図である。
【図４】第１の実施形態における動作方向検出の処理を示すフローチャートである。
【図５】第１の実施形態における動作方向検出の具体例を説明するための模式図である。
【図６】第１の実施形態における動作方向検出の具体例を説明するための模式図である。
【図７】第２の実施形態において、動作方向検出処理部による動作方向検出のアルゴリズムを説明するための模式図である。
【図８】第２の実施形態における動作方向検出の具体例を説明するための模式図である。
【図９】第２の実施形態における動作方向検出の具体例を説明するための模式図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．撮像装置の構成例
１．２．デジタル信号処理部で行われる主な処理
１．３．動作方向検出のアルゴリズムの概要
１．４．動作方向検出の処理
１．５．動作方向検出の具体例
２．第２の実施形態
２．１．第２の実施形態の概要
２．２．動作方向検出のアルゴリズムの概要
２．３．動作方向検出の具体例
【００２４】
＜１．第１の実施形態＞
［１．１．撮像装置の構成例］
まず、図１を参照して、本開示の各実施形態に係る撮像装置１００の概略構成について説明する。図１に示すように、撮像装置１００は、レンズ１０２、レンズドライバ１０３、絞り１０４、撮像素子１０６、タイミングジェネレータ（ＴＧ）１０７、アナログ信号処理部１０８、ジャイロセンサ１１０、Ａ／Ｄ変換部１１２、システムコントローラ１１４、デジタル信号処理部１２０、を有して構成されている。また、撮像装置１００には、外部から記録メディア１３０が接続されている。
【００２５】
デジタル信号処理部１２０は、例えば中央演算処理装置（ＣＰＵ）から構成され、信号保存処理部１２２、動作方向検出処理部１２４、トリミング判定処理部１２６、トリミング処理部１２８、メモリ１２９を構成する。例えば、メモリ等に記憶されたプログラムによって、中央演算処理装置（ＣＰＵ）をデジタル信号処理部１２０の各構成要素として機能させることができる。そのプログラムは、撮像装置１００が備えるメモリ、または外部から撮像装置１００に接続されるメモリ等に記録されることができる。
【００２６】
図１に示す構成において、被写体像は、レンズ１０２によって撮像素子１０６の撮像面に結像される。レンズ１０２及び絞り１０４は、レンズドライバ１０３によって駆動される。レンズドライバ１０３は、レンズ１０２を駆動してフォーカス、ズーム（画角）を調整する。また、レンズトライバ１０３は、絞りを駆動して被写体の光量を調整する。
【００２７】
撮像素子１０６は、ＣＭＯＳセンサ、ＣＣＤセンサ等から構成され、被写体像を光電変換し、画像信号として出力する。タイミングジェネレータ１０７は、撮像素子１０６を駆動する際のタイミング信号を生成する。アナログ信号処理部１０８は、画像信号に対してアナログ信号処理を施す。ジャイロセンサ１１０は、撮像装置１００の動きを検出する。Ａ／Ｄ変換部１１２は、アナログ信号である画像信号をデジタルの画像データに変換する。また、Ａ／Ｄ変換部１１２は、アナログ信号であるジャイロ信号をデジタルのデータに変換する。
【００２８】
Ａ／Ｄ変換部１１２でＡ／Ｄ変換を行って生成された画像データは、デジタル信号処理部１２０に送られる。また、Ａ／Ｄ変換部１１２でＡ／Ｄ変換を行って生成されたジャイロ信号は、デジタル信号処理部１２０に送られる。デジタル信号処理部１２０の信号保存処理部１２２は、画像データをメモリ１２９に保存する処理を行う。動作方向検出処理部１２４は、画像データから追尾信号を抽出し、追尾信号とジャイロセンサの信号から被写体の動作方向を検出する。
【００２９】
トリミング判定処理部１２６は、被写体の動作に基づいて、被写体画像のトリミングを判定する。トリミング処理部１２８は、トリミング判定処理部１２６の判定結果に基づいて、トリミング処理を行う。
【００３０】
また、システムコントローラは、レンズドライバ１０３、タイミングジェネレータ１０７、アナログ信号処理部１０８、デジタル信号処理部１２０を制御する。
【００３１】
［１．２．デジタル信号処理部で行われる主な処理］
次に、デジタル信号処理部１２０で行われる主な処理について、図２のフローチャートに基づいて説明する。先ず、ステップＳ１０では、被写体の動作方向の計算が行われる。ここでは、図１の動作方向検出処理部１２４によって、追尾信号とジャイロ信号とから被写体の動作方向が検出される。次のステップＳ１２では、トリミングについての判定が行われる。ここでは、トリミング判定処理部１２６が、被写体の動作方向に基づいてトリミングを行うか否かを判定し、またトリミングを行う場合は、被写体に対してどのように空間を配置してトリミングを行うかを判定する。次のステップＳ１４では、トリミング処理部１２８によってトリミング処理が行われる。次のステップＳ１６では、トリミング処理が行われた画像が記録メディア１３０に記録される。ステップＳ１６の後は処理を終了する。
【００３２】
［１．３．動作方向検出のアルゴリズムの概要］
次に、図３に基づいて、動作方向検出処理部１２４による動作方向検出のアルゴリズムについて説明する。動作方向検出処理部１２４は、追尾信号とジャイロ信号を比較することによって、被写体の動作方向を検出する。追尾信号とは、撮像画像中で追尾している被写体の座標（追尾座標）の変化量に基づく値である。図３に基づいて、Ｘ軸方向の追尾信号について説明する。先ず、所定の時間間隔で、被写体の画像データとしての撮像画像を取得する。ここでは、時刻ｔ１で撮像画像１を取得し、時刻ｔ２で撮像画像２を取得するものとする。
【００３３】
図３に示すように、撮像画像１，２には、主被写体として「犬」が写っている。撮像画像１では画像全体の左端に「犬」が位置しており、「犬」の座標（追尾座標）は（Ｘ１，Ｙ１）である。また、撮像画像２では画像全体の中央に「犬」が写っており、「犬」の座標（追尾座標）は（Ｘ２，Ｙ２）である。
【００３４】
動作方向検出処理部１２４は、先ず、追尾座標の変化量を算出する。Ｘ軸方向についての追尾座標の変化量ΔＸは、ΔＸ＝Ｘ２−Ｘ１である。このΔＸは、被写体のＸ軸方向の移動量を表しているため、ジャイロ信号Ｇｘと比較することで、基本的には、被写体の動作方向、動作量（移動量）を求めることができる。
【００３５】
一方、変化量ΔＸには、レンズ１０２の焦点距離（画角）の要因が含まれており、変化量ΔＸが同じであっても、レンズ１０２の焦点距離が異なれば、被写体の動作量は異なるものとなる。従って、ジャイロ信号Ｇｘと比較するため、変化量ΔＸに画角Ａｘを乗算する。更に、焦点距離以外の他の要因も考慮し、変化量ΔＸに画角Ａｘとともに所定の係数Ｋａを乗算して得られた値を追尾信号として、ジャイロ信号Ｇｘと比較する。これにより、比較に基づいて被写体の動きを正確に判定することができる。
【００３６】
［１．４．動作方向検出の処理］
図４は、動作方向検出の処理を示すフローチャートである。先ずステップＳ２０では、追尾信号、及びジャイロ信号からノイズ分を除去する。次のステップＳ２２では、追尾信号及びジャイロ信号の双方の値が小さいか否かを判定する。追尾信号及びジャイロ信号の双方の値が小さい場合は、ステップＳ２４へ進み、被写体が動いていないと判定する。
【００３７】
一方、ステップＳ２２において、追尾信号及びジャイロ信号の双方の値が小さくない場合は、ステップＳ２６へ進む。すなわち、追尾信号及びジャイロ信号の少なくとも一方の値が大きい場合は、ステップＳ２６へ進む。ステップＳ２６では、追尾信号の値のみが大きいか否かを判定し、追尾信号の値のみが大きい場合（追尾信号のみが有効な値として得られた場合）は、ステップＳ２８へ進む。ステップＳ２８では、追尾信号が０よりも大きいか否かを判定し、０よりも大きい場合は、被写体が正方向に動いていると判定する（ステップＳ３０）。一方、追尾信号が０以下の場合（負の値の場合）は、被写体が負方向に動いていると判定する（ステップＳ３２）。なお、追尾信号の正方向、負方向については、Ｘ軸を例に挙げると、図３の矢印Ａ１方向（Ｘの値がプラスになる方向）を正方向とし、矢印Ａ１と反対方向を負方向とする。同様に、Ｙ軸についても、Ｙの値がプラスになる方向を正方向とする。ジャイロ信号についても同様に、図３のＸ軸方向のプラス方向に撮像装置１００が動く場合を正方向とし、反対向きを負方向とする。
【００３８】
ステップＳ２６で追尾信号の値のみが大きいのではない場合は、ステップＳ３４へ進む。ステップＳ３４では、ジャイロ信号の値のみが大きいか否かを判定し、ジャイロ信号の値のみが大きい場合（ジャイロ信号のみが有効な値として得られた場合）はステップＳ３６へ進む。ステップＳ３６以降では、ジャイロ信号に基づいて被写体の動作方向を判定する。ステップＳ３６では、ジャイロ信号が０よりも大きいか否かを判定し、０よりも大きい場合は、被写体が正方向に動いていると判定する（ステップＳ３８）。一方、ジャイロ号が０以下の場合（負の値の場合）は、被写体が負方向に動いていると判定する（ステップＳ４０）。
【００３９】
以上のように、追尾信号及びジャイロ信号の一方のみが有効な値として検出された場合は、検出された一方の信号に基づいて被写体の動作方向を判定することができる。
【００４０】
ステップＳ３４でジャイロ信号の値のみが大きいのではない場合は、ステップＳ４２へ進む。この場合、ジャイロ信号と追尾信号の双方が、ある程度の大きさを有し、有効な値として検出されている。従って、ステップＳ４２では、ジャイロ信号と追尾信号が同じ向きであるか否かを判定し、同じ向きであればステップＳ４４へ進む。ステップＳ４４以降では、追尾信号に基づいて被写体の動作方向を判定する。ステップＳ４４では、追尾信号が０よりも大きいか否かを判定し、０よりも大きい場合は、被写体が正方向に動いていると判定する（ステップＳ４６）。一方、追尾信号が０以下の場合（負の値の場合）は、被写体が負方向に動いていると判定する（ステップＳ４８）。
【００４１】
このように、ジャイロ信号と追尾信号の双方が、有効な値として検出されており、ジャイロ信号と追尾信号が同じ向きの場合は、追尾信号の値に基づいて被写体の動作方向を判定する。一方、この場合に、ジャイロ信号の値に基づいて被写体の動作方向を判定することもできる。
【００４２】
ステップＳ４２において、ジャイロ信号と追尾信号が同じ向きでない場合は、ステップＳ５０へ進む。ステップＳ５０では、追尾信号がジャイロ信号よりも大幅に大きいか否かを判定し、追尾信号がジャイロ信号よりも大幅に大きい場合は、ステップＳ５２へ進む。この場合、ジャイロ信号と追尾信号が反対向きであり、ジャイロ信号による撮像装置１００の動きよりも追尾信号による被写体の動きの方が大きいため、追尾信号の方向が被写体の動きの方向であると考えられる。従って、ステップＳ５２以降では、追尾信号に基づいて被写体の動作方向を判定する。すなわち、追尾信号が０よりも大きいか否かを判定し、０よりも大きい場合は、被写体が正方向に動いていると判定する（ステップＳ５４）。一方、追尾信号が０以下の場合（負の値の場合）は、被写体が負方向に動いていると判定する（ステップＳ５６）。
【００４３】
ステップＳ５０において、追尾信号がジャイロ信号よりも大幅に大きくない場合は、ステップＳ５８へ進む。ステップＳ５８では、ジャイロ信号が追尾信号よりも大幅に大きいか否かを判定し、ジャイロ信号が追尾信号よりも大幅に大きい場合は、ステップＳ６０へ進む。この場合、ジャイロ信号と追尾信号が反対向きであり、追尾信号による被写体の動きよりもジャイロ信号による撮像装置１００の動きの方が大きいため、ジャイロ信号の方向が被写体の動きの方向であると考えられる。従って、ステップＳ６０以降では、ジャイロ信号に基づいて被写体の動作方向を判定する。すなわち、ジャイロ信号が０よりも大きいか否かを判定し、０よりも大きい場合は、被写体が正方向に動いていると判定する（ステップＳ６２）。一方、ジャイロ信号が０以下の場合（負の値の場合）は、被写体が負方向に動いていると判定する（ステップＳ６４）。
【００４４】
ステップＳ５８において、ジャイロ信号が追尾信号よりも大幅に大きくはない場合は、ステップＳ６６へ進む。ステップＳ６６へ進んだ場合は、ジャイロ信号と追尾信号が反対向きであり、ジャイロ信号と追尾信号が同程度の値である。従って、ジャイロ信号と追尾信号は打ち消し合う関係にある。このため、ステップＳ６６では、被写体が動いていないと判定する。
【００４５】
［１．５．動作方向検出の具体例］
次に、図５及び図６に基づいて、動作方向検出の具体例について説明する。図５は、被写体である「犬」が矢印Ａ２で示すように左から右へ動いており、撮像装置１００を「犬」の動きに合わせて、矢印Ａ３で示すように左から右に向けた場合を示している。また、図５において、撮像画像１〜３は、撮像装置１００を被写体に合わせて左から右に向けながら撮像した画像を時系列に示している。この場合、被写体である「犬」の動きに合わせて、撮像装置１００のレンズ１０２の向きが移動するため、被写体である「犬」は常に撮像画像の中心に位置する。このため、撮像画像中で「犬」の位置が変化しないため、追尾信号はほぼ“０”である。一方、撮像装置１００がＸ軸のプラス方向に移動しているため、正の値として検出される。従って、この場合は、図４のステップＳ３４において、ジャイロ信号の値のみが大きいと判定された場合に該当する。従って、ステップＳ３６，Ｓ３８において、ジャイロ信号の正負に応じて被写体の動きが正方向か負方向かを判定することができる。図５において、矢印Ａ３の向きに撮像装置１００が移動するため、ジャイロ信号は正の値となる。従って、ステップＳ３６では、被写体である「犬」が正方向に動いていることが判定される。
【００４６】
従って、撮像画像１〜３内で被写体である「犬」の位置は中央に固定されているが、図５の矢印Ａ４方向に「犬」が動いていることが判定される。これにより、図５に示す空間Ｖを被写体である犬の進行方向に設定することで、「犬」の動作方向に空間Ｖを配置したトリミングを行うことが可能となる。
【００４７】
以上のように、図５の例では、動作方向検出処理部１２４によって図４の処理が行われ、「犬」の動作方向が図５中の矢印Ａ４方向であることが検出される。そして、トリミング判定処理部１２６は、「犬」の動作方向（矢印Ａ４方向）に空間をもたせるようにトリミングを行うことを判定する。トリミング処理部１２８は、トリミング判定処理部１２６の判定結果に基づいて、図５に示すような空間Ｖを配置してトリミングの処理を行う。
【００４８】
図６は、被写体である「犬」が止まっており、撮像装置１００を図５と同様に矢印Ａ２方向に動かした場合を示している。この場合、ジャイロ信号は図５と同様に正の値として検出される。また、図６において、撮像画像１〜３は、撮像装置１００を被写体に合わせて左から右に向けながら撮像した画像を時系列に示している。追尾信号は、撮像画像１〜３内で被写体である「犬」が右から左へ動いているため、負の値として検出される。従って、図６の場合は、ジャイロ信号と追尾信号が共に同程度の大きな値であり、且つ両者が反対向きである場合に該当する。従って、図４のステップＳ４２において、ジャイロ信号と追尾信号が同じ向きでないと判定され、更にジャイロ信号と追尾信号が同程度の大きさであるため、ステップＳ５０，５８においていずれも“ＮＯ”の判定がされて、ステップＳ６６へ進む。従って、ジャイロ信号と追尾信号が打ち消し合う関係にあるため、被写体である「犬」が動いていないと判定される。
【００４９】
従って、撮像画像１〜３内で被写体である「犬」の位置は右から左に動いているが、実際には「犬」が止まっていることが判定される。これにより、図５に示すような空間Ｖを設定することなく、被写体である犬を画面中央に配置したトリミングを行う。これにより、実際には動いていない「犬」に対して、動きに応じた空間Ｖが配置されることがなく、自然なトリミングを行うことが可能となる。
【００５０】
以上のように、図６の例では、動作方向検出処理部１２４によって図４の処理が行われ、「犬」が止まっていることが検出される。そして、トリミング判定処理部１２６は、「犬」が止まっていることから、「犬」を中央に配置するようにトリミングを行うことを判定する。トリミング処理部１２８は、トリミング判定処理部１２６の判定結果に基づいて、「犬」を中央に配置してトリミングの処理を行う。
【００５１】
なお、上述した例では、Ｘ軸方向の被写体の動きに応じてトリミング判定を行う例を示したが、Ｙ軸方向の被写体の動きに応じてトリミング判定を行うことも可能である。また、Ｘ軸方向とＹ軸方向の双方の被写体の動きに応じてトリミング判定を行うことも可能である。
【００５２】
以上説明したように第１の実施形態によれば、追尾信号とジャイロ信号とに基づいて被写体の動きを判定することができる。従って、ユーザが動いている被写体を追尾して撮影した場合に、画面内で被写体の位置が変化しない場合であっても、被写体の動きに基づくトリミング判定を正確に行うことができる。従って、被写体の動きに応じた最適なトリミングを行うことが可能となる。
【００５３】
＜２．第２の実施形態＞
［２．１．第２の実施形態の概要］
次に、本開示の第２の実施形態について説明する。第２の実施形態は、被写体が奥行き方向に移動した場合に、奥行き方向の動きを判定して最適なトリミングを行うものである。被写体が奥行き方向に移動した場合も、第１の実施形態と同様に、奥行き方向の被写体の動作方向を検出してトリミング判定を行う。このとき、被写体の動作方向の判定は、第１の実施形態で説明した図４の処理によって行うことができる。
【００５４】
［２．２．動作方向検出のアルゴリズムの概要］
以下では、図７に基づいて、動作方向検出処理部１２４による動作方向検出のアルゴリズムについて説明する。第１の実施形態と同様に、動作方向検出処理部１２４は、追尾信号とジャイロ信号を比較することによって、被写体の動作方向を検出する。先ず、所定の時間間隔で、被写体の画像データとしての撮像画像を取得する。ここでは、時刻ｔ１で撮像画像１を取得し、時刻ｔ２で撮像画像２を取得するものとする。
【００５５】
図３と同様に、撮像画像１，２には、主被写体として「犬」が写っている。撮像画像１，２では画像全体の中央に「犬」が位置しており、「犬」の座標（追尾座標）は（Ｘ１，Ｙ１，Ｚ１）である。また、撮像画像２でも画像全体の中央に「犬」が写っており、「犬」の座標（追尾座標）は（Ｘ２，Ｙ２，Ｚ２）である。
【００５６】
動作方向検出処理部１２４は、先ず、追尾座標の変化量を算出する。Ｚ軸方向についての追尾座標の変化量ΔＺは、ΔＺ＝Ｚ２−Ｚ１である。このΔＺは、被写体のＺ軸方向の移動量を表しているため、撮像装置１００のＺ軸方向の動きを表すジャイロ信号Ｇｚと比較することで、基本的には、被写体の動作方向、動作量（移動量）を求めることができる。
【００５７】
一方、第１の実施形態と同様に、変化量ΔＺには、レンズ１０２の焦点距離（画角）の要因が含まれており、変化量ΔＺが同じであっても、レンズ１０２の焦点距離が異なれば、被写体の動作量は異なるものとなる。従って、ジャイロ信号Ｇｚと比較するため、変化量ΔＺに画角Ａｘを乗算する。更に、焦点距離以外の他の要因も考慮し、変化量ΔＺに画角Ａｘとともに所定の係数Ｋｂを乗算して得られた値を追尾信号として、ジャイロ信号Ｇｚと比較する。これにより、比較に基づいて被写体の動きを正確に判定することができる。追尾信号とジャイロ信号の比較による動作方向の判定は、図４の処理と同様に行うことができる。
【００５８】
［２．３．動作方向検出の具体例］
以下では、図８及び図９に基づいて、第２の実施形態における動作方向検出の具体例について説明する。図８は、被写体である「犬」が止まっており、撮像装置１００を矢印Ａ５で示すように被写体へ近づけた場合を示している。動作方向検出処理部１２４では、追尾座標として、Ｘ座標、Ｙ座標に加えて被写体の奥行き方向の位置（Ｚ座標）を検出して追尾信号を求める。図８に示すように、撮像装置１００から被写体に向かう方向をＺ軸の正方向とする。
【００５９】
この場合、被写体である「犬」は停止しているが、撮像装置１００が被写体に近づく方向に移動するため、撮像画像から判断される追尾信号は負の値となる。一方、撮像装置１００がＺ軸のプラス方向に移動しているため、ジャイロ信号は、正の値として検出される。従って、この場合は、図４のステップＳ４２において、ジャイロ信号と追尾信号が同じ向きでないと判定され、更にジャイロ信号と追尾信号が同程度の大きさであるため、ステップＳ５０，５８においていずれも“ＮＯ”の判定がされて、ステップＳ６６へ進む。従って、ジャイロ信号と追尾信号が打ち消し合う関係にあるため、被写体である「犬」がＺ軸方向に動いていないと判定される。
【００６０】
従って、撮像画像１〜３内で被写体である「犬」の位置は奥側から手前側に動いているが、実際には「犬」が止まっていることが判定される。これにより、被写体が動いていないため通常のトリミングが行われる。これにより、実際には奥行き方向に動いていない「犬」に対して、動きに応じたトリミングが行われることがなく、自然なトリミングを行うことが可能となる。
【００６１】
以上のように、図８の例では、動作方向検出処理部１２４によって図４の処理が行われ、「犬」が動作していないことが検出される。そして、トリミング判定処理部１２６は、「犬」が動作していないため、通常のトリミングを行うことを判定する。トリミング処理部１２８は、トリミング判定処理部１２６の判定結果に基づいて、トリミングの処理を行う。
【００６２】
図９は、被写体である「犬」が撮像装置１００に向かって動いており、撮像装置１００が止まっている場合を示している。この場合、被写体である「犬」が、撮像装置１００に近づく方向に移動するため、撮像画像から判断される追尾信号は負の値となる。一方、撮像装置１００は停止しているため、ジャイロ信号は“０”となる。従って、この場合は、図４のステップＳ２６において、追尾信号のみが検出された場合に該当し、ステップＳ２８以降の処理で、追尾信号の符号に基づいて被写体の動作方向が判定される。
【００６３】
図９に示す例では、追尾信号が負の値であるため、被写体がＺ軸のマイナス方向、すなわち撮像装置１００に近づく方向に動作することが判定される。従って、図９に示すように、被写体の躍動感を強調するように、より被写体をクローズアップしたトリミングが行われる。
【００６４】
以上のように、図９の例では、動作方向検出処理部１２４によって図４の処理が行われ、「犬」の動作方向がＺ軸のマイナス方向であることが検出される。そして、トリミング判定処理部１２６は、「犬」の動作方向が撮像装置１００に接近する方向であることから、被写体の躍動感を出すようによりクローズアップしてトリミングを行う。
【００６５】
なお、上述した例では、Ｚ軸方向の被写体の動きに応じてトリミング判定を行う例を示したが、第１の実施形態と組み合わせて、Ｘ軸、Ｙ軸、Ｚ軸方向の全ての動きに応じてトリミング判定を行うことも可能である。
【００６６】
以上説明したように第２の実施形態によれば、追尾信号とジャイロ信号とに基づいて被写体の奥行き方向の動きを判定することができる。従って、Ｚ軸方向の被写体の動きに応じて、最適なトリミングを行うことが可能となる。
【００６７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する動作検出処理部と、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行うトリミング判定処理部と、
を備える、画像処理装置。
（２）前記トリミング判定に基づいて、撮像画像のトリミング処理を行うトリミング処理部を更に備える、前記（１）に記載の画像処理装置。
（３）前記被写体の動作に関する情報は、撮像画像中の当該被写体の追尾座標を含む、前記（１）に記載の画像処理装置。
（４）前記被写体の動作に関する情報は、前記追尾座標と撮像レンズの画角に応じた係数とを乗算して得られる値である、前記（３）に記載の画像処理装置。
（５）前記トリミング判定処理部は、前記被写体の動作方向に空間を設けるように前記トリミング判定を行う、前記（１）に記載の画像処理装置。
（６）前記トリミング判定処理部は、前記被写体が停止している場合は、前記被写体の動作に応じたトリミングは行わないことを判定する、前記（１）に記載の画像処理装置。
（７）前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、動作量が同一の場合は、前記被写体が停止していることを検出する、前記（１）に記載の画像処理装置。
（８）前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報との比較の結果に基づいて、前記被写体の動作と前記撮像装置の動作が反対向きであり、一方の動作の量が他方よりも大きい場合は、当該一方の動作の方向に基づいて前記被写体の動作を検出する、前記（１）に記載の画像処理装置。
（９）前記動作検出処理部は、前記被写体の動作に関する情報と前記撮像装置の動作に関する情報の一方のみが検出された場合は、当該一方の情報に基づいて前記被写体の動作を検出する、前記（１）に記載の画像処理装置。
（１０）前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の２次元方向の動作に関する情報である、前記（１）に記載の画像処理装置。
（１１）前記被写体の動作に関する情報及び前記撮像装置の動作に関する情報は、前記撮像画像の奥行き方向の動作に関する情報である、前記（１）に記載の画像処理装置。
（１２）撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出することと、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行うことと、
を備える、画像処理方法。
（１３）撮像画像から得られる被写体の動作に関する情報と撮像装置の動作に関する情報とから、被写体の動作を検出する手段、
前記被写体の動作に基づいて、撮像画像のトリミング判定を行う手段、
としてコンピュータを機能させるためのプログラムが格納された、記録媒体。
【符号の説明】
【００６９】
１００    撮像装置
１２４    動作方向検出処理部
１２６    トリミング判定処理部
１２８    トリミング処理部
【図１】
2014123815.tif 000003
【図２】
2014123815.tif 000004
【図３】
2014123815.tif 000005
【図４】
2014123815.tif 000006
【図５】
2014123815.tif 000007
【図６】
2014123815.tif 000008
【図７】
2014123815.tif 000009
【図８】
2014123815.tif 000010
【図９】
2014123815.tif 000011