【手続補正書】
【提出日】平成22年3月12日(2010.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データに基づく画像中における特定の被写体を検出する被写体検出手段と、
上記被写体検出手段により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手段と、
上記被写体方向情報に基づいて構図を判定する構図判定手段と、
を備え、
上記構図判定手段は、上記被写体検出手段によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて、構図を判定する、
ことを特徴とする構図判定装置。
【請求項２】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じとなる関係である場合には、上記画像中の領域における全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記複数の被写体方向情報の示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得る、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項３】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項２に記載の構図判定装置。
【請求項４】
上記構図判定手段は、
被写体方向情報の示す方向の全てが同じではないとされる関係である場合には、示す方向の異なる被写体方向情報の関係に基づいて、少なくとも、複数の検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を判定結果として得る場合があるようにされる、
ことを特徴とする請求項１に記載の構図判定装置。
【請求項５】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体方向情報群について全被写体方向情報の一定割合以上を占めるものが存在しない場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線に対応して位置するようにされた構図を上記最適構図であるとして判定する、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項６】
上記構図判定手段は、
上記示す方向の異なる被写体方向情報間の関係として、同じ方向を示す最多の被写体方向情報群について全被写体方向情報の一定割合以上を占めるものが存在する場合には、上記画像中の全ての検出被写体から成る画像部分に設定した重心が、上記画像中に設定した画像領域分割線により分割される画像中の分割領域のうちで、上記最多の被写体検出情報群が示す方向とは反対側の分割領域に位置するようにされた構図を判定結果として得るようにされる、
ことを特徴とする請求項４に記載の構図判定装置。
【請求項７】
上記構図判定手段は、
上記判定結果として得る構図において、上記画像領域分割線から上記重心までの距離については、上記検出被写体の数に基づいて設定するようにされている、
ことを特徴とする請求項６に記載の構図判定装置。
【請求項８】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
ことを特徴とする構図判定方法。
【請求項９】
画像データに基づく画像中における特定の被写体を検出する被写体検出手順と、
上記被写体検出手順により検出される被写体である検出被写体ごとに、上記検出被写体が上記画像中において向けている方向を示す被写体方向情報を検出する被写体方向検出手順と、
上記被写体方向情報に基づいて構図を判定する手順であって、上記被写体検出手順によって複数の被写体が検出された際に、上記複数の被写体に対応する複数の上記被写体方向情報の関係に基づいて構図を判定する構図判定手順と、
を構図判定装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
そして、雲台１０においては、取り付けられたデジタルスチルカメラ１を、パン方向（水平方向）とチルト方向との両方向により動かすためのパン・チルト機構を備える。
雲台１０のパン・チルト機構により与えられるデジタルスチルカメラ１のパン方向、チルト方向それぞれの動き方は例えば図２（ａ）（ｂ）に示されるものとなる。図２（ａ）（ｂ）は、雲台１０に取り付けられているとされるデジタルスチルカメラ１を抜き出して、それぞれ、平面方向、側面方向より見たものである。
先ずパン方向については、デジタルスチルカメラ１の本体横方向と図２（ａ）に示される直線Ｘ１とが同じ向きとなる位置状態を基準にして、例えば回転軸Ｃｔ１を回転中心として回転方向＋αに沿った回転が行われることで、右方向へのパンニングの動きが与えられる。また、回転方向−αに沿った回転が行われることで、左方向へのパンニングの動きが与えられる。
また、チルト方向については、デジタルスチルカメラ１の本体縦方向が垂直方向の直線Ｙ１と一致する一状態を基準にして、例えば回転軸Ｃｔ２を回転中心として回転方向＋βへの回転が行われることで、下方向へのチルティングの動きが与えられる。また、回転方向−βへの回転が行われることで、上方向へのチルティングの動きが与えられる。
なお、図２（ａ）（ｂ）に示される、±α方向、及び±β方向のそれぞれにおける最大可動回転角度については言及していないが、被写体の捕捉の機会をできるだけ多くするべきことを考慮するのであれば、できるだけ最大可動回転角度を大きく取ることが好ましいことになる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、モニタ画像が表示される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
図４は、雲台１０の構成例をブロック図により示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ａ）に示したパン（水平）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図２（ｂ）に示したチルト（垂直）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
次に、検出された個別被写体被が１つの場合における画面上での被写体の位置(被写体位置)は、次のようにして調整される。
この被写体位置については、検出された顔方向の情報を利用する。この図８の場合の個別被写体ＳＢＪ０は、顔方向が左であるとして検出されているものとする。このとき、この図８に示される画内容の画面を実際に見たとした場合、これを見る者からは、画面において、個別被写体ＳＢＪ０の顔が左側を向いているようにして見えることになる。ちなみに、この個別被写体ＳＢＪ０としての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
また、この被写体位置調整にあたっては、画像中の原点座標Ｐ(0,0)を通過する垂直線、即ちＹ軸線と一致する直線であって、被写体位置調整の基準線となる画像領域分割線Ｌｄを仮想的に設定する。
そして、この場合のようにして顔方向が左であると検出された場合には、個別被写体ＳＢＪ０の重心Ｇを、上記画像領域分割線Ｌｄに対応する位置（Ｘ＝０）から、水平オフセット量θｘで表される右方向への移動量に従って移動させた位置（水平シフト位置）に配置させる。このためには、重心Ｇが、上記水平シフト位置にくるようにして、雲台１０のパン機構を駆動させる制御を実行する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
一般に、被写体を画面の中央に位置させた構図は、良くない構図の典型とされている。そこで、例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。本実施の形態としては、このような構図決定の手法に従い、先ずは、画面水平方向における個別被写体ＳＢＪ０の位置(重心Ｇ)について、画面中央に対して一定量（水平オフセット量θｘ）だけ移動させるようにしているものである。
そのうえで、さらに、本実施の形態では、図８に例示するように、検出された個別被写体の顔方向が左であれば、その重心Ｇの水平方向における位置について、Ｙ軸線に沿った画像領域分割線Ｌｄにより２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせることで、画面においては、検出被写体ＳＢＪ０の顔が向いている方向である左側において空間が得られるようにしている。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体ＳＢＪ０の重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、画像領域分割線Ｌｄに対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１についての水平方向における被写体位置に関しては、これら２つの個別被写体ＳＢＪ０、ＳＢＪ１ごとの顔方向の情報を利用する。
この図９（ａ）に示される２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向は、何れも左であると検出されているものとする。つまり、２つ在る個別被写体の全ての顔方向が同一とされており、これらの顔方向がこの場合には左とされているものである。
この場合には、図８に示した１つの個別被写体ＳＢＪ０の顔方向が左であった場合に準じて、画面左側に空間ができるように、個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分を、顔方向が示す「左」とは反対となる、画像領域分割線Ｌｄの右側に寄せて位置させるようにする。このためには、例えば図示しているように、右側に所定量ずらすための水平オフセット量θｘを設定した上で、２つの個別被写体ＳＢＪ０、ＳＢＪ１から成る総合被写体画像部分の重心である、総合被写体重心Ｇｔについて、画像領域分割線Ｌｄである原点座標Ｐ(0,0)を通過する垂直線（Ｙ軸線）から水平オフセット量θｘだけ移動した位置にくるように、パン制御を行うようにされる。
また、図示はしていないが、２つの個別被写体ＳＢＪ０、ＳＢＪ１の顔方向が何れも右で同一である場合には、図９（ａ）の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる位置（Ｙ軸線に対して左側の画面領域において同じ水平オフセット量θｘの絶対値分移動した位置）に総合被写体重心Ｇｔが在るようにしてパン制御を行うことになる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
そのうえで、総合被写体画像部分の水平方向における位置については、この場合にも、各個別被写体ごとに検出された顔方向の情報を利用することになる。図１０においては、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て左で同一であるものとする。
この場合には、図９（ａ）の場合に準じて、個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る画像領域部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて位置させるようにして、水平オフセット量θｘの設定と、これによって決まる所要位置への総合被写体重心Ｇｔの移動のためのパン制御を行うようにされる。また、仮に３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２の顔方向が全て右で同一である場合には、総合被写体重心Ｇｔは、図１０の位置に対して、画像領域分割線Ｌｄを基準にして線対称となる水平位置に在るようにしてパン制御が行われることになる。
また、このときに設定される水平オフセット量θｘは、図９（ａ）の検出された個別被写体が２つの場合よりも、小さな絶対値を設定するようにされる。これにより、例えば個別被写体数が３とされる場合に応じて、水平方向における被写体位置はより最適となって、良好な構図が得られることになる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
また、以降のフローチャートの説明においては、これまでに使用してきた「総合被写体重心（Ｇｔ）」、及び「総合被写体画像部分」の語句は、検出されている個別被写体数が２以上の場合のみに適用するのではなく、１の場合にも適用する。つまり、例えば図８に示した重心Ｇが、検出されている個別被写体数が１の場合の総合被写体重心Ｇｔとなるものであり、また、図８の個別被写体ＳＢＪ０のみからなる画像部分が、検出されている個別被写体数が１の場合の総合被写体画像部分となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
ステップＳ１２５、Ｓ１２６、Ｓ１２７では、先に説明したステップＳ１１６、Ｓ１１７、Ｓ１１８と同様にして、総合被写体重心Ｇｔが、ステップＳ１２３又はステップＳ１２４により設定された水平オフセット量θｘに対応するX座標上に位置する状態に至るまでパン制御を実行する。この制御により、複数の個別被写体の顔方向が同一である場合には、その数に応じた水平オフセット量θｘ分だけ、左又は右方向に総合被写体画像部分（総合被写体重心Ｇｔ）が移動された状態が得られていることになる。この状態に至ると、ステップＳ１２５にて肯定の判別結果が得られることとなって、ステップＳ１２７によりモードフラグｆについて２を設定し、ステップＳ１０１に戻る。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
しかし、３つの個別被写体のうちで、例えば過半数を占める２つの個別被写体ＳＢＪ０、ＳＢＪ２が同じ方向を向いている（顔方向が同一である）ということは、残る１つの個別被写体ＳＢＪ１の顔方向に対応して向いているとする反対方向よりも、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２が向いているとする先に、何かしら注目すべきものが存在している可能性が高いということがいえる。このような考え方に基づけば、これら２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が示す先の画面領域に空間を設けることのほうが良い構図となる可能性が高いといえる。この場合であれば、２つの個別被写体ＳＢＪ０、ＳＢＪ２の顔方向が左であるとして検出されているので、画面において、３つの個別被写体ＳＢＪ０、ＳＢＪ１、ＳＢＪ２から成る総合被写体画像部分を画像領域分割線Ｌｄよりも右側の画像領域に寄せて良い構図を得ようとするものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
図１３は、上記した第２の構図制御に対応して図５に示した被写体検出処理ブロック６１、構図制御処理ブロック６２、及び通信制御処理ブロック６３が実行するものとされる手順例を示している。
この図１３に示される手順のうちで、ステップＳ２２２−１、Ｓ２２２−２を除くステップＳ２０１〜Ｓ２３２までの手順は、図１１におけるステップＳ１０１〜Ｓ１３２までの手順と、それぞれ同じとなる。
そして、ステップＳ２２１−１とこれに続くステップＳ２２２−２は、ステップＳ２２２において否定の判別結果が得られた場合において実行すべき手順として挿入されている。つまり、ステップＳ２２２−１、Ｓ２２２−２は、検出されている個別被写体数が複数の場合であって、先ずは、総合被写体画像部分のサイズ調整が完了した段階において、これらの個別被写体の顔方向の関係性として、全ての顔方向が同一ではなかった場合に実行されるものである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
また、これまでの構図制御にあっては、顔方向の検出は、左、右の２段階による検出であることを前提としていたが、実際においては、例えば左、右に加えて、正面もあるようにして顔方向検出処理を構成する場合もあると考えられる。この場合にも、本願発明に基づいた構図制御は有効に適用できる。
例えば図８のようにして１つの個別被写体が検出された場合において、さらに顔方向については正面であることが検出された場合であるが、１つには、水平方向における被写体位置を、画面のほぼ中央に位置させる（重心Ｇがほぼ画像領域分割線Ｌｄ（Ｙ軸線）上に在るようにする）ことが考えられる。しかし、このような構図は、良くない構図の代表的なものとされることが多い。そこで、検出される個別被写体が１つである場合において、顔方向が正面の場合には、図８と同様の構図、若しくは、図８の構図に対して画像領域分割線Ｌｄを基準に線対称となるような構図とするようにして水平オフセット量θｘを決定することも考えられる。このようにすれば、三分割法に則った良好な構図が得られる。
また、２以上の個別被写体が検出されている場合に、例えば全ての個別被写体の顔方向が正面を示している、あるいは基準顔方向が正面である場合には、（式１）の係数Ｄを０に設定したうえでの水平オフセット量θｘを求めるようにして構成することが考えられる。
また、顔方向として上下方向についても検出可能とされている場合には、この上下方向における顔方向の検出結果に応じて、本願発明に基づいた構図制御を行うことも可能である。この場合には、水平方向に沿った画像領域分割線Ｌｄ（例えば原点座標を通過する水平方向の線（Ｘ軸線）とすることができる）を基準にして、上下方向での総合被写体重心Ｇｔの移動を行うことになる。
さらに、顔方向について、左右方向と上下方向とを合成した斜め方向の検出も可能とされているときには、この斜め方向が検出された顔方向に応じた構図制御も行うことが可能である。この場合には、検出された斜めの顔方向に直交して画面を横切る線（（例えば原点座標を通過する線）を画像領域分割線Ｌｄとして設定し、この画像領域分割線Ｌｄにより分割された画像領域の何れか一方の側に総合被写体重心Ｇｔを移動させるようにすることが考えられる。
さらに、例えば、顔方向について、左右方向（あるいは上下方向）において、例えば２段階、若しくは３段階よりも多い段階により、向きの検出を行えるようにされている場合には、このようにして検出された向きの段階（度合い）に応じて水平オフセット量θｘ（若しくは垂直オフセット量θｙ）を可変するようなアルゴリズムを採用することが考えられる。
また、基準線の通過する基準点は、この場合には、図７にて示したように、画面における原点座標としているが、この基準点の位置については、例えばより良好な構図を得ることなどを目的として、原点座標以外の位置が設定されても良いものである。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
先ず、図１６は、本願発明による構図判定を、デジタルスチルカメラなどの撮像装置単体に対して適用したもので、例えば撮像モード時において撮像装置により撮像している画像が適正な構図になったときに、このことを表示によってユーザに通知しようとするものである。
このために撮像装置が備えるべき構成として、ここでは被写体検出・構図判定処理ブロック８１、通知制御処理ブロック８２、表示部８３を示している。
被写体検出・構図判定処理ブロック８１は、撮像画像データを取り込んで、例えば図５の被写体検出処理ブロック６１と同等の被写体検出処理と、この被写体検出処理の結果としての検出情報を利用して、例えば図５の構図制御処理ブロック６２と同等の構図判定のための処理とを行うようにされた部位である。
例えばユーザは、撮像装置を撮像モードに設定したうえで、撮像装置を手に持っており、いつでもレリーズ操作（シャッターボタン操作）を行えば撮像画像の記録が行える状況にあるものとする。
このような状態の下、被写体検出・構図判定処理ブロック８１では、そのときに撮像して得られる撮像画像データを取り込んで被写体検出を行う。すると構図制御処理によっては、先ず、検出された個別被写体の数等に応じて最適構図がどのようなものであるのかが特定されることになるが、この場合の構図判定処理としては、そのときに得られている撮像画像データの画内容の構図と、最適構図との一致性、類似度を求めるようにされる。そして、例えば類似度が一定以上になったときに、実際に撮影して得られている撮像画像データの画内容が最適構図になったと判定するようにされる。なお、例えば実際においては、撮像画像データの画内容の構図と最適構図とが一致したとみなされる程度の、所定以上の類似度が得られたら、最適構図と判断するようにしてアルゴリズムを構成することが考えられる。また、ここでの一致性、類似度をどのようにして求めるのかについては多様なアルゴリズムを考えることができるので、ここでは、その具体例については特に言及しない。
このようにして撮像画像データの画面内容が最適構図になったことの判定結果の情報は通知制御処理ブロック８２に対して出力される。通知制御処理ブロック８２は、上記の情報の入力に応じて、現在において撮像されている画像が最適構図であることをユーザに通知するための所定態様による表示が表示部８３にて行われるように表示制御を実行する。なお、通知制御処理ブロック８２は、撮像装置が備えるマイクロコンピュータ（ＣＰＵ）などによる表示制御機能と、表示部８３に対する画像表示を実現するための表示用画像処理機能などにより実現される。なお、ここでの最適構図であることのユーザへの通知は、電子音、若しくは合成音声などをはじめとした音により行われるように構成してもよい。
また、表示部８３は、例えば本実施の形態のデジタルスチルカメラ１の表示部３３に対応するもので、例えば撮像装置における所定位置に対してそのディスプレイパネルが表出するようにして設けられ、撮影モード時にはいわゆるスルー画といわれる、そのときに撮像されている画像が表示されることが一般的である。従って、この撮像装置の実際にあっては、表示部８３において、スルー画に対して重畳される態様で最適構図であることを通知する内容の画像が表示されることになる。ユーザは、この最適構図であることを通知する表示が現れたときにレリーズ操作を行うようにされる。これにより、写真撮影の知識や技術に長けていないようなユーザであっても、良好な構図の写真撮影を簡単に行うことが可能になる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
メタデータ解析処理ブロック１１２は、取り込んだメタデータを解析する処理を実行する部位とされる。そして、解析処理として、構図編集メタデータについては、その内容である最適構図を得るための情報から、すくなくとも、対応の撮像画像データを対象としてトリミングを行う画像領域を特定する。そして、この特定された画像領域のトリミングを指示するトリミング指示情報をトリミング処理ブロック１１３に対して出力する。
トリミング処理ブロック１１３は、先の図１８のトリミング処理ブロック９１と同様に、メタデータ分離処理ブロック１１１側から入力した撮像画像データから、上記メタデータ解析処理ブロック１１２から入力されるトリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データである、編集撮像画像データとして出力する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
図２１は、ビデオカメラなどとしての動画像の撮影記録が可能な撮像装置に本願発明を適用した例である。
この図に示す撮像装置１２０には、動画像データが入力される。この動画像データは、例えば同じ撮像装置１２０が有するとされる撮像部により撮像を行って得られる撮像信号に基づいて生成されるものである。この動画像データは、撮像装置１２０における被写体検出・構図判定処理ブロック１２２、及び動画像記録処理ブロック１２４に対して入力される。
この場合の被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについての構図の良否判定を行う。例えば、被写体検出・構図判定処理ブロック１２２では、予め良好とされる構図がどのようなものであるのかについてのパラメータ（良好構図対応パラメータ）を保持している。このパラメータとしては、検出される個別被写体数と、個別被写体ごとに検出して得た顔方向の情報に応じて適切であるとして設定された目標被写体サイズや水平オフセット量θｘなどとなる、そして、被写体検出・構図判定処理ブロック１２２は、入力されてくる動画像データについて、例えば継続的にどのような構図となっているかについての構図判定を行う（例えば動画像データにおける実際の個別被写体の占有率、被写体間距離Ｋなどの構図パラメータを求める）と共に、この判定結果として得られた動画像データの構図パラメータと、上記の良好構図パラメータとを比較する。そして、動画像データの構図パラメータが良好構図対応パラメータに対して一定以上の類似度を有していれば良好な構図であると判定され、上記類似度が一定以下であれば、良好な構図ではないと判定される。
被写体検出・構図判定処理ブロック１２２は、上記のようにして動画像データについて良好な構図が得られていると判定したときには、メタデータ作成処理ブロック１２３に対して、動画像データにおいて、今回、上記の良好な構図が得られていると判定した画像区間(良好構図画像区間)がどこであるのかを示す情報(良好構図画像区間指示情報)を出力する。良好構図画像区間指示情報)は、例えば動画像データにおける良好構図画像区間としての開始位置と終了位置を示す情報などとされる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
メタデータ作成処理ブロック１４３は、入力された情報に基づいて、先の図１９のメタデータ作成処理ブロック１０２と同様に、メタデータ（構図編集メタデータ）を作成する。その上で、この場合には、作成したメタデータを、記憶部１４１に記憶されるメタデータテーブルに登録する。このメタデータテーブルは、同じ記憶部１４１に記憶される静止画像データとの対応関係が示されるようにしてメタデータを格納して成る情報単位とされる。つまり、メタデータテーブルによっては、メタデータ（構図編集メタデータ）と、このメタデータを作成するために被写体検出・構図判定処理ブロック１４２により被写体検出処理及び構図判定処理の対象となった静止画像ファイルとの対応が示される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
そして、この静止画像ファイル出力処理ブロック１４４は、例えば図２０に示したメタデータ解析処理ブロック１１２、及びトリミング処理ブロック１１３に相当する機能ブロックを少なくとも有して成る。
静止画像ファイル出力処理ブロック１４４においては、内部のメタデータ解析処理ブロックにより、取り込んだメタデータを解析してトリミング指示情報を得る。そして、同じ内部のトリミング処理ブロックにより、取り込んだ静止画像ファイルに格納される静止画像データを対象として、上記トリミング指示情報に応じたトリミングを実行する。そして、トリミングにより得られた画像部分を改めて１つの静止画像データとして生成し、これを出力する。
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2009100300.tif 000001
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2009100300.tif 000002
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2009100300.tif 000003
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2009100300.tif 000004
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2009100300.tif 000005