(57)【要約】      （修正有）【課題】複数の被写体の関係が表された領域の画像データを適宜トリミングするための画像処理装置及び方法を提供する。【解決手段】複数の被写体を捉えた画像データにおいて、少なくともいずれかの前記被写体がふれあい関係であるか否かを判定する関係判定部１ｄと、少なくともいずれかの前記被写体は前記ふれあい関係であることを前記関係判定部１ｄが判定するとき、前記画像データから、少なくともいずれかの前記被写体の一部を含む特定の領域の画像データを切り取る画像選択部１ｂとを具備する。【選択図】図１
2015035751.tif 000002
【特許請求の範囲】
【請求項１】
複数の被写体を捉えた画像データにおいて、少なくともいずれかの前記被写体がふれあい関係であるか否かを判定する関係判定部と、
少なくともいずれかの前記被写体は前記ふれあい関係であることを前記関係判定部が判定するとき、
前記画像データから、少なくともいずれかの前記被写体の一部を含む特定の領域の画像データを切り取る画像選択部と、
を具備する画像処理装置。
【請求項２】
前記関係判定部は、前記複数の被写体間のふれあい関係又は前記複数の被写体の一方と前記画像データの撮影者とのふれあい関係かを判定する請求項１に記載の画像処理装置。
【請求項３】
前記複数の被写体間のふれあい関係は、前記複数の被写体間の位置によって定まる関係であり、
前記複数の被写体の一方と前記画像データの撮影者とのふれあい関係は、前記被写体の顔の向きによって定まる関係である請求項２に記載の画像処理装置。
【請求項４】
前記特定の領域は、前記複数の被写体が人物又はペットである請求項１に記載の画像処理装置。
【請求項５】
前記特定の領域は、画面内の複数の領域である請求項１に記載の画像処理装置。
【請求項６】
複数の前記特定の領域の画像データを一つの画像データに合成する画像合成選択部をさらに具備する請求項５に記載の画像処理装置。
【請求項７】
複数の被写体を捉えた画像データにおいて、少なくともいずれかの前記被写体がふれあい関係であるか否かを判定することと、
前記関係判定部が少なくともいずれかの前記被写体は前記ふれあい関係であると判定するとき、前記画像データから、少なくともいずれかの前記被写体の一部を含む特定の領域の画像データを切り取ることと、
を具備する画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置におけるデジタルズームでは、撮影によって取得された画像データの一部の領域を切り取るトリミングが使われることがあった。近年の撮像素子の高画素化により、トリミングされた画像データは被写体の表情などを十分に捉えることができる。一方、動き回るペットや子供を被写体として撮影するとき、狭い画角のまま撮影してしまうと、被写体は画角内に収まらないことがある。被写体を画角内に捉え続けながら被写体の表情を撮影するためには、例えば、被写体を広角で撮影しながら、その被写体の表情が含まれる領域の画像データを拡大すればよい。そこで特許文献１では、画像データから被写体の顔部を含む領域の画像データをトリミングする撮像装置が提案されていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０―２６８０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の被写体及び撮影者の関係が考慮されたトリミングを行うことで、画像の表現を豊かにする提案は少なかった。例えば、ユーザがペットと遊んでいる子供を撮影しているとき、どちらの被写体を重視したい撮影か又は両方を撮りたい撮影かを考えながら画像データをトリミングするための操作を行うことは難しかった。そこで、複数の被写体の関係が表された領域の画像データを適宜トリミングするための画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様の画像処理装置は、複数の被写体を捉えた画像データにおいて、少なくともいずれかの前記被写体がふれあい関係であるか否かを判定する関係判定部と、少なくともいずれかの前記被写体は前記ふれあい関係であることを前記関係判定部が判定するとき、前記画像データから、少なくともいずれかの前記被写体の一部を含む特定の領域の画像データを切り取る画像選択部とを具備する。
【発明の効果】
【０００６】
複数の被写体の所定関係が表示された領域の画像データをトリミングする画像処理装置を提供できる。
【図面の簡単な説明】
【０００７】
【図１】図１は、本発明の一実施形態に係る画像処理装置を有する撮像装置の構成を示すブロック図である。
【図２】図２は、画像データのトリミングの課題を説明する図である。
【図３】図３は、カメラ１０の動作を示すフローチャートである。
【図４】図４は、２つの被写体が交流しているふれあい関係を含む領域のトリミングの例を説明する図である。
【図５】図５は、２つの被写体が交流していないふれあい関係を含む領域のトリミングの例を説明する図である。
【図６】図６は、図３に示した実施形態の変形例の動作を示すフローチャートである。
【図７】図７は、図６に示した実施形態の変形例における、ふれあい関係を含む領域のトリミングパターンを説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。
【０００９】
図１は、本発明の一実施形態に係る画像処理装置を有する撮像装置であるカメラ１０の構成を示すブロック図である。
【００１０】
カメラ１０は、撮像部２と、制御部１と、分配用仮記録部３と、記録部４と、操作部５と、動画撮影操作部５ａと、静止画撮影操作部５ｂと、表示部６ａと、タッチ部６ｂとを有する。
【００１１】
制御部１は、トリミングなどの制御を行い、読取部１ａと、関係判定部１ｄと、対象物判定部１ｅと、画像選択部１ｂと、画像選択部１ｃと、画像合成選択部１ｆと、表示制御部１ｇと、静止画圧縮部１ｈと、動画圧縮部１ｉと、記録制御部１ｊとを有する。読取部１ａは、撮像部２から画像データを読み出し、その画像データを分配用仮記録部３に記録する。対象物判定部１ｅは、画像データ中に表示されている被写体を判定する。関係判定部１ｄは、画像データ中に存在している被写体が複数のとき、被写体の顔の大きさや向きから、それら複数の被写体の関係がふれあい関係であるか否かを判定する。
【００１２】
ここで、ふれあい関係とは、例えば、被写体が人物とペットとであって、人物とペットとが互いの方向を向いている関係すなわち、複数の被写体が交流している関係である。
【００１３】
画像選択部１ｂ及び画像選択部１ｃは、分配用仮記録部３に記録されている画像データからふれあい関係であると判定された被写体を含む領域の画像データをトリミングする。画像合成選択部１ｆは、画像選択部１ｂ及び画像選択部１ｃによってトリミングされた各画像データを必要に応じて合成する。表示制御部１ｇは、画像データを表示部６ａに表示させる。静止画圧縮部１ｈは、静止画記録モードが選択されたとき、画像合成選択部１ｆによって得られた画像データを静止画圧縮する。動画圧縮部１ｉは、動画記録モードが選択されたとき、画像合成選択部１ｆによって得られた画像データを動画圧縮する。記録制御部１ｊは、圧縮により得られた動画データ又は静止画データを記録部４に記録させる。
【００１４】
分配用仮記録部３は、撮像部２で取得された画像データを一時的に記憶する、例えばフラッシュメモリである。撮像部２は、レンズ及び撮像素子を有し、レンズから入射する光をアナログ信号（画像データという）に変換する。記録部４は、制御部１で画像処理された画像データを記録する、例えば、メモリカードである。操作部５は、ユーザによる操作部材の操作状態を示す情報を制御部１に入力する、例えば、主電源を切り替えるためのボタンである。動画撮影操作部５ａは、動画撮影モードにおける操作用ボタンに対応している。静止画撮影操作部５ｂは、静止画撮影モードにおける操作用ボタンに対応している。表示部６ａは、画像のトリミング又は合成などの画像処理がなされた画像データに基づいた画像を表示する、例えば、液晶ディスプレイや有機ＥＬディスプレイである。タッチ部６ｂは、タッチ部６ｂへの押圧を検出し、検出されたという情報を制御部１に入力するタッチパネルである。
【００１５】
図２を用いて本発明の一実施形態で説明するトリミングについての概要を説明する。図２は、被写体が表示部６ａにスルー画として表示されている様子を示す図である。被写体は、ペット（図２では犬）及び子供の２つである。画像に２人の被写体が互いに顔部を向けているようなふれあい関係が表示されると判定されるとき、ユーザはその２人の被写体の顔部が表示された領域をトリミングすることで、ふれあい関係を強調させたいとする。しかしながら、ふれあい関係の成立は一瞬であることが多いため、ユーザはその一瞬を見逃すことがあり、ふれあい関係が強調された画像データの手動での取得は困難であった。そこで、本実施形態では、例えば、ペット及び子供がふれあい関係であると判定するとき、カメラ１０は、そのふれあい関係を顕著に表す領域の画像データをトリミングする。ペットとは、例えば犬、猫、ウサギなどである。ふれあい関係の判定は、例えば、撮影された画像データを特定の像パターンと比較してペット若しくは人物であるか否かを対象物判定部１ｅが判定しさらに、それぞれの顔が画像のどこに位置しているかを基準としてなされる。顔からその顔に付随して動く領域は身体部と判定される。さらに、その身体部から被写体の四肢の存在がわかる。四肢の存在がわかれば、被写体どうしの重なりをも判定することができるため、被写体どうしの接触を判定できる。なお、被写体どうしの顔の大きさを比較すれば、ふれあい関係の判定の精度は更に増す可能性がある。例えば、複数の被写体は撮像装置から同じ距離に位置するか否か又は、被写体及びユーザの視線（これも顔部における眼の画像パターンで判定可能）。さらに、犬の毛が人の手で押さえられてへこむような状況を検出できれば、接触判定はさらに高精度となる。
【００１６】
図３は、カメラ１０の動作を説明するためのフローチャートである。本発明の一実施形態の動作の説明では、２つの被写体が撮影されているものとする。２つの被写体はふれあい関係が撮影されることが多い人物及びペットである。その２つの被写体の構成は、人物が２人、１人の人物と１匹のペット及びペットが２匹のいずれかである。まず、制御部１は、ユーザは動画撮影モードを選択したか否かを判定する（ステップＳ１０１）。ユーザによって動画撮影モードが選択されたと判定したとき（ステップＳ１０１でＹＥＳのとき）、制御部１は、ユーザにより動画撮影の開始が選択されたか否かを判定する（ステップＳ１０２）。ユーザにより動画撮影の開始が選択されなかったと判定するとき（ステップＳ１０２でＮＯのとき）、制御部１は、ユーザにより動画撮影の終了が選択されたか否かを判定する（ステップＳ１１７）。一方、ユーザにより動画撮影の開始が選択されたと判定するとき（ステップＳ１０２でＹＥＳのとき）、制御部１は、動画撮影用の制御を開始する（ステップＳ１０３）。動画撮影用の制御は、基本的に従来と同様である。ただし、本実施形態における動画撮影においては画角が広角側（例えば広角端）に設定された状態で撮影が行われる。その後、制御部１は、対象物判定部１ｅにトリミングの対象となる２つの被写体を検出させる（ステップＳ１０４）。トリミングの対象となる被写体を検出させた後、制御部１は、２つの被写体の間にふれあい関係があるか否かを関係判定部１ｄに判定させる（ステップＳ１０５）。ステップＳ１０５におけるふれあい関係とは、２つの被写体の顔部が互いの方向を向いていることである。関係判定部１ｄが２つの被写体の間に交流があると判定するとき（ステップＳ１０５でＹＥＳのとき）、制御部１は、２つの被写体のうち少なくとも１つがペットであるか否かを判定する（ステップＳ１０６）。２つの被写体のいずれもがペットではなかったと判定するとき（ステップＳ１０６でＮＯのとき）、制御部１は、画像選択部１ｂに交流用トリミングＨ１を行わせる（ステップＳ１１１）。交流用トリミングＨ１によって、人物どうしの交流をより詳しく画像データに表現することができる。
【００１７】
ここで交流用トリミングＨ１について、図４（ａ）を使用して説明する。図４（ａ）は、２つの被写体を広角で撮影し取得した画像データを示す図である。この画像データにおいて、互いに交流して向き合っている２つの被写体はいずれもペットではない、すなわち、被写体は人物Ｌ１及び人物Ｌ２である。このとき、画像選択部１ｂは、互いに向かい合う関係を有する人物Ｌ１及び人物Ｌ２が含まれる領域の画像データをトリミングする。トリミングされた領域は、例えば図４（ａ）における破線の枠内の領域で示されている。その領域の画像データに基づいて画像を表示部６ａに表示させる場合、その領域の画像データを例えば元の画像データと同じ大きさまで拡大する。
【００１８】
交流用トリミングＨ１を行わせた後、制御部１は、ユーザによって撮影の終了が選択されたか否かを判定する（ステップＳ１１６）。ユーザによって撮影の終了が選択されなかったと判定するとき（ステップＳ１１６でＮＯのとき）、制御部１は、処理をステップＳ１０３に戻す。一方、ユーザによって撮影の終了が選択されたと判定するとき（ステップＳ１１６でＹＥＳのとき）、制御部１は、ユーザにより動画撮影モードの終了が選択されたか否かを判定する（ステップＳ１１７）。ユーザにより動画撮影モードの終了が選択されなかったと判定するとき（ステップＳ１１７でＮＯのとき）、制御部１は、処理をステップＳ１０３に戻す。一方、ユーザにより動画撮影モードの終了が選択されたと判定するとき（ステップＳ１１７でＹＥＳのとき）、ユーザにより電源ＯＦＦが選択されるか否かを判定する（ステップＳ１１８）。電源ＯＦＦが選択されなかったと判定するとき（ステップＳ１１８でＮＯのとき）、制御部１は、処理をステップＳ１０１に戻す。一方、電源ＯＦＦが選択されたと判定するとき（ステップＳ１１８でＹＥＳのとき）、制御部１は、電源ＯＦＦを実行する。
【００１９】
ところで、２つの被写体のうち少なくとも１つがペットであったと判定するとき（ステップＳ１０６でＹＥＳのとき）、すなわち被写体が人物及びペットの２つであったとき又は２つのペットであったとき、制御部１は、２つの被写体が互いに接触しているか否かを判定する（ステップＳ１０７）。被写体どうしが互いに接触していると判定するとき（ステップＳ１０７でＹＥＳのとき）、制御部１は、画像選択部１ｂに交流用トリミングＰ１を行わせるよう制御する（ステップＳ１０８）。交流用トリミングＰ１によって、被写体どうしが接触している様子を詳しく撮ることができる。交流用トリミングＰ１の説明は後述する。なお、トリミングされた画像データを、制御部１はそのまま記録部４に記録させても良いし、トリミングされていない画像データ及びトリミングの情報を記録部４に記録させても良い。その後、制御部１は、ユーザによって撮影の終了が選択されたか否かを判定する（ステップＳ１１６）。一方、２つの被写体が互いに接触していなかったと判定するとき（ステップＳ１０７でＮＯのとき）、制御部１は、画像選択部１ｂに交流用トリミングＰ２を行わせるように制御する（ステップＳ１０９）。交流用トリミングＰ２によって、人物又は全身で感情を表現するペットの撮り逃しを減らすことができる。その後、ユーザにより撮影の終了が選択されたか否かを判定する（ステップＳ１１６）。
【００２０】
ここで、交流用トリミングＰ１及び交流用トリミングＰ２について、図４（ｂ）及び図４（ｃ）を使用して詳細に説明する。図４（ｂ）は、交流用トリミングＰ１を説明する図である。図４（ｂ）の２つの被写体は、顔部を互いの方向へ向けていてかつ、接触しているペット及び人物である。このとき、制御部１は、人物及びペットが接触している領域の画像データを画像選択部１ｂにトリミングさせる。交流用トリミングＰ１によって、互いに接触している被写体の手など接触部を強調して表示することができる。トリミングされた領域は、図４（ｂ）の破線の枠内の領域で示される。その領域の範囲は、例えば、人物及びペットの顔部が含まれる範囲である。次に、図４（ｃ）は、交流用トリミングＰ２を説明する図である。図４（ｃ）の２つの被写体は、顔部を互いの方向へ向けていてかつ接触していないペット及び人物である。交流用トリミングＰ２によって、被写体の感情表現を強調して捉えることができる。交流用トリミングＰ２の領域の範囲は、人物及びペットの全身を含む範囲とする。なお、これらの領域は、撮影画角の制限を受けることがある。例えば、ペットの体が画角からはみ出していれば、画角の限界までに含まれているペットの一部をトリミングして良い。
【００２１】
ところで、２つの被写体の間に交流がなかったと判定されるとき（ステップＳ１０５でＮＯのとき）、制御部１は、人物及びペットのうち少なくとも１つの顔部がカメラ１０の方向を向いているか否かを判定する（ステップＳ１１２）。被写体の顔部がカメラ１０の方向を向いているとき、被写体は撮影者と交流していると考えられる。このとき、撮影者と交流している被写体の表情を詳しく撮りたいためにトリミングする。なお、複数の顔画像がカメラ１０を見ている場合、それぞれの顔部を含む領域の画像データをトリミングした後、それぞれの領域の画像データを合成しても良い。その合成された画像に表示されたそれぞれの被写体の表情を見ることによって、撮影者と交流している複数の被写体の表情を同時に知ることができる。ところで、１つの被写体の顔部がカメラ１０の方向を向いていると判定するとき（ステップＳ１１２でＹＥＳのとき）、制御部１は、被写体のうち少なくとも１つがペットであるか否かを判定する（ステップＳ１１３）。一方、人物及びペットのいずれの顔部もカメラ１０の方向を向いていなかったと判定するとき（ステップＳ１１２でＮＯのとき）、ユーザによって撮影の終了が選択されたか否かを判定する（ステップＳ１１６）。ところで、カメラ１０の方向を向いている被写体のうち少なくとも１つがペットであったと判定するとき（ステップＳ１１３でＹＥＳのとき）、制御部１は、画像選択部１ｂに表情用トリミングＰ３を行わせるように制御する（ステップＳ１１４）。表情用トリミングＰ３によって、被写体と撮影者が交流している様子をより詳しく撮ることができる。
【００２２】
表情用トリミングＰ３を、図５（ａ）を使用して説明する。図５（ａ）では、被写体である人物とペットとが互いの方向を向いておらず、なおかつペットがカメラ１０の方向を見ている。このとき、制御部１は、カメラ１０の方向を向いているペットの顔を含む領域の画像データをトリミングさせるよう制御する。トリミングされた領域は、例えば図５（ａ）の破線の枠内の領域で示されている。なお、ペットが表示された領域の画像データをトリミングするとき、例えば、図５（ａ）のようにトリミングされた領域にペットのしっぽ部を含めてもよい。人物がふれあい関係に有したときに表情の変化として表す感情の変化を、ペットの一部ではしっぽ部等全身を使用して表すことがあるためである。なお、ペットの全身を領域に含める理由は、ペットの顔から犬と狸とを判別することは難しいためである。また、例えば犬では、その犬の種類を顔から判別し難いことがある。ペットの全身の判定は、その犬の顔部を検出後、例えば、ｎ等身という言葉があるように、顔（頭部）の大きさや向きを基準に特定の範囲に全身が入ると類推してもよいし、顔部と連携して動く部分が全身であるとしても良い。
【００２３】
表情用トリミングＰ３を行われた後、制御部１は、ユーザにより撮影の終了が選択されるか否かを判定する（ステップＳ１１６）。ところで、カメラ１０を見ている被写体がペットではなかったとき（ステップＳ１１３でＮＯのとき）、すなわち、カメラ１０の方向を向いている被写体が人物であったとき、制御部１は、カメラ１０の方向を向いている人物の顔部が含まれる領域の画像データに対し交流用トリミングＨ２を行わせる（ステップＳ１１５）。交流用トリミングＨ２によって、カメラ撮影者と対象物との間で会話やアイコンタクトを行っている被写体を大きくはっきり、強調して記録することができる。その後、ユーザによる撮影の終了が選択されたか否かを判定する（ステップＳ１１６）。
【００２４】
ここで、交流用トリミングＨ２について、図５（ｂ）を使用して説明する。図５（ｂ）の２つの被写体は、互いの方向を向いていないペット及び人物である。図５（ｂ）は、２つの被写体を広角の撮影によって取得した画像データを示す図である。この画像データでは、人物がカメラ１０を見ているとき、制御部１は、人物の顔部を含む領域の画像データに交流用トリミングＨ２を行うよう制御する。トリミングされた領域は、例えば図５（ｂ）の破線の枠内の領域である。なお、被写体が子供であったとき、トリミングされる領域は、顔部だけでなく子供の全身を含む領域であってもよい。子供は、感情の変化を表情の変化だけでなく全身を使用して表すことがあるためである。
【００２５】
ところで、動画撮影モードが選択されなかったと判定するとき（ステップＳ１０１でＮＯのとき）、制御部１は、記録部４に記録された画像データの再生をユーザにより選択されたか否かを判定する（ステップＳ１２１）。画像データの再生が行われなかったと判定するとき（ステップＳ１２１でＮＯのとき）、ステップＳ１０１に戻る。一方、画像データの再生が行われたと判定するとき（ステップＳ１２１でＹＥＳのとき）、制御部１は、記録された画像データを表示部６ａに一覧表示する（ステップＳ１２２）。その後、制御部１は、一覧表示された画像データからいずれかの画像データが選択されたか否かを判定する（ステップＳ１２３）。一覧表示された画像データからいずれかの画像データが選択されたと判定するとき（ステップＳ１２３でＹＥＳのとき）、表示制御部１ｇは、選択された画像データに基づく画像を表示部６ａに表示させる（ステップＳ１３１）。ここで、その後、選択された画像データから一部の領域をさらにユーザによってトリミングするように指定されたか否かを判定する（ステップＳ１３２）。なお、記録される画像データについて、カメラ１０は、トリミングされていない画像データを記録しておき、同時に撮影時に指定されたトリミング情報に従ってトリミング表示しても良い。そして、その画像データに基づく画像を表示するとき、トリミングされていない画像を表示しても良いし、トリミング情報に従ってトリミングされた領域の画像を表示しても良い。表示された画像をトリミングするように指定されたと判定するとき（ステップＳ１３２でＹＥＳのとき）、制御部１は、画像データを指定されたようにトリミングさせ、指定された領域の画像を表示部６ａに表示する（ステップＳ１３３）。その後、画像の表示の終了が選択されたか否かを判定する（ステップＳ１３４）。一方、トリミングするように指定されなかったとき（ステップＳ１３２でＮＯのとき）、画像の表示の終了がユーザによって選択されたか否かを判定する（ステップＳ１３４）。画像の表示の終了がユーザによって選択されたと判定するとき（ステップＳ１３３でＹＥＳのとき）、処理をステップＳ１２１に戻す。一方、画像の表示の終了が選択されなかったと判定するとき（ステップＳ１３４でＮＯのとき）、制御部１は、処理をステップＳ１３２に戻す。ところで、一覧表示された画像群から画像が選択されなかったと判定するとき（ステップＳ１２３でＮＯのとき）、制御部１は、一覧表示された画像群の表示の終了が選択されるか否かを判定する（ステップＳ１２４）。一覧表示された画像群の表示の終了が選択されたと判定するとき（ステップＳ１２４でＹＥＳのとき）、制御部１は、処理をステップＳ１０１に戻す。一方、一覧表示された画像群の表示の終了が選択されなかったと判定するとき（ステップＳ１２４でＮＯのとき）、制御部１は、処理をステップＳ１２２に戻す。
【００２６】
以上、本発明の一実施形態では、カメラ１０は、ふれあい関係が強調された画像データを記録し、再生することができる。このふれあい関係は、撮影画面内の顔の位置や顔のパターン（顔の向きや眼の見ている方向）にしたがって決定される。ユーザが人物又はペットを含む２つの被写体を撮影するとき、制御部１は２つの被写体がふれあい関係であるか否かを判定する。２つの被写体がふれあい関係であると判定するとき、制御部１によって、画像データからふれあい関係を有する被写体を含む領域がトリミングされる。その領域は被写体どうし又は被写体及びユーザの親密な雰囲気をよく再現している。また、トリミングパターンは複数設けられているので、ユーザは様々なトリミングパターンを持った動画を簡単に撮影することができる。これにより、ユーザは、動画撮影中にふれあい関係を有する一瞬に意識してトリミングの操作をする必要がなく、被写体を捉えることに集中でき、手ブレや撮り逃しを避けることが可能となる。
【００２７】
なお、本発明の一実施形態における被写体の数は２つであった。しかしながら、本発明の一実施形態における被写体の数は人物又はペットを含む３つ以上でもよい。その場合、例えば被写体が人物Ｘ、人物Ｙ及びペットＺである３つのとき、２つの被写体の間の関係の判定（ステップＳ１０４）では、人物Ｘ及び人物Ｙ、人物Ｘ及びペットＺ、人物Ｙ及びペットＺの３通りの組み合わせが考えられる。さらには、２つの被写体の間の関係に加えて３つの被写体の間の関係、すなわち、人物Ｘ、人物Ｙ及びペットＺの間のふれあい関係も考えられる。これらのそれぞれのふれあい関係に応じたトリミングを実行させる。例えば、３つの被写体の間のふれあい関係に応じたトリミングを示すと、人物Ｘ、人物Ｙ及びペットＺがカメラ１０の方向を向いているとき、制御部１は、人物Ｘの顔、人物Ｙの顔及びペットＺの顔がすべて含まれるような領域の画像データをトリミングするように制御する。２つの被写体のみがふれあい関係を有している場合にはその２つの被写体をトリミングさせるようにしてもよい。
【００２８】
次に、図６及び図７を使用して、本発明の一実施形態であるカメラ１０の変形例の動作を示す。また、図７は、図６に示したトリミングパターンＡ、トリミングパターンＢ、トリミングパターンＣ及びトリミングパターンＤの処理の内容を詳細に説明する図である。本実施形態の変形例における被写体の数は、一匹のペットＮ及び一人の子供Ｏの２つである。
【００２９】
図６において、被写体への動画撮影がスタートする。その後、制御部１は、表示部６ａにスルー画を表示させる（ステップＳ１１）。その後、制御部１は、スルー画に表示されたペットＮ及び子供Ｏがユーザによって共に選択されたか否かを判定する（ステップＳ１２）。ペットＮ及び子供Ｏが共に選択されたと判定するとき（ステップＳ１２でＹＥＳのとき）、制御部１は、ペットＮ及び子供Ｏを撮影対象として登録する（ステップＳ１３）。撮影対象とは、トリミングされる対象となり得る複数の被写体である。その後、ユーザによって動画撮影の開始が選択されるか否かを判定する（ステップＳ１４）。ユーザによってペットＮ及び子供Ｏが選択されなかったとき（ステップＳ１２でＮＯのとき）、ペットＮ及び子供Ｏは撮影対象として登録されない。ところで、動画撮影の開始が選択されたと判定するとき（ステップＳ１４でＹＥＳのとき）、制御部１は、撮影を始める（ステップＳ１５）。その後、制御部１は、撮影対象（ステップＳ１３）が既に登録されているか否かを判定する（ステップＳ１６）。撮影対象が既に登録されていると判定するとき（ステップＳ１６でＹＥＳのとき）、制御部１は、前回のトリミングパターンの切り替えから所定の時間が経過しているか否かを判定する（ステップＳ１７）。この判定によって、一定時間の間、同じトリミングパターンを選択し続けることができる。トリミングパターンが所定の時間より短く切り替わると、ユーザは頻繁に画面が切り替わる動画を煩わしく感じられることがある。なお、所定の時間とは、例えば２秒間である。前回のトリミングパターンの切り替えから既に所定の時間が経過していたと判定するとき（ステップＳ１７でＹＥＳのとき）、制御部１は、ペットＮが子供Ｏの方向を向いているか否かを判定し（ステップＳ２１）、すなわち、トリミングパターンを再び判定可能になる。ペットＮが子供Ｏの方向を向いていたと判定するとき（ステップＳ２１でＹＥＳのとき）、制御部１は、トリミングパターンＣを選択する（ステップＳ３１）。トリミングパターンＣとは、図７に示すように、ペットＮと子供Ｏとを含む領域の画像のトリミングである。トリミングパターンＣによって、被写体同士の交流が含まれる領域の画像を拡大して表示することができる。もし、被写体どうしの交流と同時に被写体及びユーザの交流があると判定されるとき、例えば、ペットが子供を見ているが、子供はユーザを見ているとき、トリミングパターンはユーザを見ている子供が含まれる領域の画像データを切り取るトリミングパターンであっても良い。若しくは、トリミングを行わないトリミングパターンであっても良い。本発明の一実施形態では、このように複数の被写体の交流及び被写体と撮影者との交流のいずれかの交流があるか否か、すなわちふれあい関係があるか否かが判定され、その判定にしたがってふれあい関係を有する領域をトリミングする。その判定は、被写体の位置関係、被写体どうしの接触又は画面内の顔画像の向きなどから決定される。本発明の一実施形態は、その判定に従ったトリミングなどのふれあい関係が強調された画像データを記録し、再生することができる。その画像データは被写体どうし又は被写体及びユーザの親密な雰囲気をよく再現することができる。また、トリミングパターンを複数設けることによって、ユーザは様々なトリミングパターンを持った動画を簡単に撮影することができる。
【００３０】
トリミングパターンＣを選択した後、制御部１は、画像選択部１ｂにトリミングを実行させる（ステップＳ３５）。画像選択部１ｂによってトリミングが実行された後、制御部１は、ユーザによって動画撮影の終了が選択されたか否かを判定する（ステップＳ３６）。ユーザによって動画撮影の終了が選択されなかったと判定するとき（ステップＳ３６でＮＯのとき）、制御部１は、撮影対象の登録がなされているか否かを判定する（ステップＳ１６）、すなわち、このフローチャートにおいては、ユーザによって動画撮影の終了が選択されるまでトリミングパターンの選択が繰り返される。一方、ユーザによって動画撮影の終了が選択されたと判定するとき（ステップＳ３６でＹＥＳのとき）、制御部１は、記録部４にトリミングを実行された領域の動画データを記録させる（ステップＳ３７）。その後、処理が終了する。
【００３１】
ところで、前回のトリミングパターンの切り換えから一定時間が経過していなかったと判定するとき（ステップＳ１７でＮＯのとき）、例えば、前回のトリミングパターン切り換えから１フレームしか経過していなかったと判定するとき、制御部１は、前回のトリミングパターンがトリミングパターンＤであるか否かを判定する（ステップＳ３８）。前回のトリミングパターンがトリミングパターンＤであったと判定するとき（ステップＳ３８でＹＥＳのとき）、制御部１は、トリミングパターンの切り替えを行わず、さらに、ユーザによって動画の撮影の終了が選択されたか否かを判定する（ステップＳ３６）。一方、前回のトリミングパターンがトリミングパターンＤではなかったと判定するとき（ステップＳ３８でＮＯのとき）、制御部１は、前回のトリミングパターンと同じトリミングを再び実行させる（ステップＳ３５）。以上、前回のトリミングパターンの種類に応じてトリミングパターンの選択が切り替わるため、ユーザは様々なトリミングパターンを持った動画を簡単に撮影することができる。
【００３２】
ところで、ペットＮが子供Ｏの方向へ向いていなかったと判定するとき（ステップＳ２１でＮＯのとき）、制御部１は、子供ＯがペットＮの方向へ向いているか否かを判定する（ステップＳ２２）。子供ＯがペットＮの方向へ向いていたと判定するとき（ステップＳ２２でＹＥＳのとき）、制御部１は、トリミングパターンＣを選択する（ステップＳ３１）。一方、子供ＯがペットＮの方向へ向いていなかったと判定するとき（ステップＳ２２でＮＯのとき）、制御部１は、ペットＮの顔部がカメラ１０の方向へ向いているか否かを判定する（ステップＳ２３）。ペットＮの顔部がカメラ１０の方向へ向いていたと判定するとき（ステップＳ２３でＹＥＳのとき）、制御部１は、ペットＮ及び子供Ｏの顔部が共にカメラ１０の方向へ向いているか否かを判定する（ステップＳ２５）。ペットＮ及び子供Ｏが共にカメラ１０の方向へ向いていたと判定するとき（ステップＳ２５でＹＥＳのとき）、制御部１は、トリミングパターンＡを選択する（ステップＳ３２）。
【００３３】
ここで、トリミングパターンＡについて、図７を使用して説明する。ペットＮ及び子供Ｏの顔部がカメラ１０の方向へ向いていたと判定するとき、制御部１は、ペットＮを含む領域の画像データＴ１を画像選択部１ｂにトリミングさせ、また、子供Ｏを含む領域の画像データＴ２を画像選択部１ｃにトリミングさせる。さらに、画像合成選択部１ｆは、画像データＴ１の端部と画像データＴ２の端部とが繋がるように合成する。なお、本実施形態の変形例ではそれぞれの画像の端部を繋ぐような合成であったが、それぞれの画像が間隔を空けて配置されるような一枚の画像となるような合成であっても良い。すなわち、トリミングパターンＡは、１つの被写体を含むようにトリミングされた画像データどうしを合成し、２つの被写体が並列して配置された１つの合成画像データにするパターンである。トリミングパターンＡは、被写体がユーザを見ているような、撮影者と被写体との交流が含まれる領域の画像を拡大して表示するためのトリミングパターンである。
【００３４】
ところで、トリミングパターンＡが選択された後、制御部１は、トリミングパターンＡに従ったトリミングを画像選択部１ｂに実行させる（ステップＳ３５）。一方、子供Ｏの顔部がカメラ１０の方向へ向いていなかったと判定するとき（ステップＳ２５でＮＯのとき）、制御部１は、トリミングパターンＢを選択する（ステップＳ３３）。その後、画像選択部１ｂにトリミングを実行させる（ステップＳ３５）。トリミングパターンＢとは、図７に示すように、ペットＮ又は子供Ｏのみを含む領域の画像データのトリミングであって合成をしないものである。一方、ペットＮの顔部がカメラ１０の方向へ向いていなかったと判定するとき（ステップＳ２３でＮＯのとき）、制御部１は、子供Ｏの顔部がカメラ１０の方向へ向いているか否かを判定する（ステップＳ２４）。子供Ｏの顔部がカメラ１０の方向へ向いていたと判定するとき（ステップＳ２４でＹＥＳのとき）、制御部１は、トリミングパターンＢを選択する（ステップＳ３３）。その後、画像選択部１ｂにトリミングを実行させる（ステップＳ３５）。一方、子供Ｏの顔部がカメラ１０の方向を向いていなかったと判定するとき（ステップＳ２４でＮＯのとき）、制御部１は、トリミングパターンＤを選択する（ステップＳ３４）、すなわち、制御部１はトリミングを行わない選択をする。
【００３５】
以上、本発明の一実施形の変形例では、画像データに含まれる被写体の関係を判定し、関係を含む領域の画像データをトリミングする。トリミング等の被写体を強調する処理が一定時間実行され続ける工夫によって、人物やペットの親密なふれあい関係は顕在化され、ふれあい関係が強調される。
【００３６】
また、本実施形態及びその変形例で記載したトリミングは、画像の特定の被写体が含まれる領域の画像を強調させるための画像処理である。しかしながら、強調させるための処理はトリミングに限らず、例えば、強調させるための領域を着色させたり、被写体を枠で囲んだり若しくは明るさ及び画像の鮮明さを変化させても良いし又は、強調させるための処理を複数組み合わせても良い。以上、被写体を強調させるための処理が複数あれば、画面は単調でなくなり、かつ、ユーザが被写体の交流をより容易に確認できる。
【００３７】
また、本実施形態及び変形例によって、ユーザは、複数の被写体の濃密な関係を記録でき、撮影者の交流を含めたかけがえのない撮影シーンにおける親密な情景を大切にした表現で画像記録することができる。本実施形態ではトリミングされていない画像が記録され、その画像の基になった画像データが再生されるとき、撮影の際に判定されたトリミングの情報に従った画像データが表示される。つまり、撮像結果の画像に含まれる被写体の顔部を判定することによって、前記顔部の向きと、他の被写体又は撮影者の存在する方向から被写体のふれあい関係が判定可能であることを利用している。このふれあい関係に従って上記撮像結果の強調部分を決定すれば、被写体同士、被写体と撮影者の相互の関係が克明に記録できる撮影機器が提供可能となる。そのため、本発明の一実施形態によって、トリミングすれば細部がよく見え、トリミングしなければ全体がよく見える画像を取得できる。本発明の一実施形態では撮像装置を例として説明した。しかしながら、本発明の一実施形態は撮像装置に限らず、あらかじめ撮影されていた画像データに対しても有効である。例えば、親密さを強調した画像を得るための画像処理装置や画像処理方法、画像表示装置、画像表示方法などに適用できる可能性がある。したがって、本発明は画像処理装置に属する。
【００３８】
また、本実施形態及びその変形例で記載したふれあい関係すなわち、被写体がユーザを見ている関係又は被写体が他の被写体を見ている関係及び被写体どうしが接触している関係の他にも、さらに、被写体の表情に対応したふれあい関係があっても良い。例えば、被写体が笑顔でユーザを見ているとき、笑顔の被写体が含まれる領域の画像データを強調するようにしても良い。
【００３９】
ふれあい関係とは、例えば、複数の被写体の位置によって定まる関係又は、被写体の顔の向きによって定まる関係である。
【００４０】
被写体の位置によって、複数の被写体間の距離、撫でること若しくは握手することなどのスキンシップであるふれあい関係の程度を判断することができる。また、そのふれあい関係の程度の判定の対象を被写体が子供又はペットなどの場合に応じて変えても良い。例えば、主要被写体が犬や猫といったペット若しくは人の赤ちゃんを抱き上げるふれあい関係の場合若しくは、主要被写体がペット若しくは人の赤ちゃんに引き寄せられるふれあい関係の場合である。これらのふれあい関係は、その関係を見る人に対して自然でかつ好ましい印象を与えることが多い。そのため、それらのふれあい関係の強調を優先させても良い。
【００４１】
また、複数の被写体間でふれあい関係（交流）がなくとも、被写体と撮影者との交流であれば、ふれあい関係とみなすことができる。撮影者を見る被写体の表情や目線を含む領域をトリミングすることによって、そのふれあい関係を強調しても良い。この場合も対象物（被写体）がペット及び人などの種類に応じてふれあい関係の種類を変えることが望ましい。例えば、人間では顔部をトリミングすれば、被写体が誰であるか、話している被写体の口の動き、表情の変化若しくはアイコンタクトなどの豊かな表現を示すことができる。なお、ペットの場合、顔から豊かな表現を読み取りづらいことがある。そのため、例えば、ペットのしっぽ部などを含めたトリミングをするなどトリミングの仕方を変えた方が良い。
【００４２】
撮影者は起こっていることを記録する立場であると考えられる。そのため、撮影者の立場からすれば、複数の被写体（対象物）間で起こっているふれあい関係が記録されることが好ましい。したがって、図６では、対象物同士の見ている方向を優先して判定している。しかしながら、撮影者と被写体とのふれあい関係を優先してもよい場合がある。例えば、誰かに向かってメッセージを伝えるために、被写体の一人一人がカメラの方を見てしゃべっている様子を撮影するとき、カメラ目線を優先しても良い。この時、カメラに向けられた人の顔の表情又は他の人との会話中の表情に応じて、強調する複数のふれあい関係の優先度を変えてもよい。
【００４３】
以上のように、ふれあい関係は、個々の状況に応じた判定を行うシーン分析で定まる。本来なら、個々の人間関係などまでを考慮した方が良い。本発明の一実施形態では、簡易的な手法として、複数の被写体の興味（見ているかどうか）や、コミュニケーションの有無（顔を向かい合わせているか、触れているか）、そして、撮影者との関係（カメラ目線か）によってふれあい関係が判定される。なお、主要被写体は、画面中心に位置することが多い。したがって、ふれあい関係の判定は、この主要被写体に対して行われるのが好ましい。主要被写体を基準として判定が行われないと、通りがかりの人や居合わせた関係ない人の視線方向など、ユーザが想定していない被写体とのふれあい関係が考慮された撮影制御がなされてしまうためである。このような被写体の選別に対しても、被写体の位置のファクターは重要である。なお、目線の向きを正確に特定できなくい場合に、顔の向きで代用しても良いことは言うまでもない。
【００４４】
また、トリミングが常に行われて表示されているとき、ユーザは表示されている画像がトリミングされている画像なのか否かを次第に判別し難くなる可能性がある。そのため、トリミングを含む表示方法に制限を設けても良い。例えば、記録時のみトリミングを行うタイミングを記録時のみとしたり又は、トリミング禁止スイッチを設けたりする。この制限は前述した強調するための他の画像処理に対しても同様に適用して良い。
【００４５】
加えて、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部１に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【符号の説明】
【００４６】
１ａ…読取部、  １ｂ…画像選択部、  １ｃ…画像選択部、  １ｄ…関係判定部、  １ｅ…対象物判定部、  １ｆ…画像合成選択部、  １ｇ…表示制御部、  １ｈ…静止画圧縮部、  １ｉ…動画圧縮部、  １ｊ…記録制御部、  ２…撮像部、  ３…分配用仮記録部、  ４…記録部、  ５…操作部、５ａ…動画撮影操作部、  ５ｂ…静止画撮影操作部、  ６ａ…表示部、  ６ｂ…タッチ部、  １０…カメラ
【図１】
2015035751.tif 000003
【図２】
2015035751.tif 000004
【図３】
2015035751.tif 000005
【図４】
2015035751.tif 000006
【図５】
2015035751.tif 000007
【図６】
2015035751.tif 000008
【図７】
2015035751.tif 000009