(57)【要約】【課題】本発明は、簡易な構成で、かつ複数人の顔が存在する場合であっても正確に画像データの縦横方向を判別することができる。【解決手段】本発明のデジタルスチルカメラ１は、画像データとしての撮像画像データに含まれる人物の顔領域ＦＡを検出顔領域として検出し、当該撮像画像データが表す平面に対する垂直方向を回転軸としたときの検出顔領域の角度であるロール顔角度に基づいて、各検出顔領域の縦横方向をそれぞれ判別する。そしてデジタルスチルカメラ１は、当該検出顔領域が縦方向であるか横方向であるかの判別結果に基づいて多数決的に撮像画像データの縦横方向を判別することにより、姿勢センサなどの検出手段を用いることなく、かつ複数人が同時に撮像されたような場合において正確に撮像画像データの縦横方向を判別する。【選択図】図１０
2008277904.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出部と、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別部と
を具えることを特徴とする画像処理装置。
【請求項２】
上記顔方向判別部は、上記複数の検出顔領域の判別結果の過半数を占める縦横方向を、上記画像データの縦横方向と判別する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記顔方向判別部は、
信頼度の高い検出顔領域の縦横方向を他の検出顔領域の縦横方向よりも重要視して上記画像データの縦横方向を判別する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記顔方向判別部は、
上記検出顔領域に対する信頼度として、当該検出顔領域の大きさを使用する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記顔方向判別部は、
上記検出顔領域に対する信頼度として、上記画像データにおける上記検出顔領域の位置を使用する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記顔方向判別部は、
上記検出顔領域に対する信頼度として、当該検出顔領域の正面度を使用する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記顔方向判別部は、
上記検出顔領域に対する信頼度として、上記検出顔領域の顔らしさを使用する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記顔方向判別部は、
横方向でなる上記検出顔領域を縦方向でなる上記検出顔領域よりも優先的に判別する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
上記顔方向判別部によって判別された上記画像データの縦横方向を表す画像方向情報を上記画像データに付加する画像処理部
を具えることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
上記画像処理部は、
上記画像データが縦方向と判別された場合にのみ上記画像データに上記画像方向情報を付加する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
上記顔方向判別部によって判別された上記画像データの縦横方向を表示してその正否を確認する表示部と、
上記ユーザの操作に応じて上記画像データの縦横方向を確定し、当該縦横方向を表す画像方向情報を上記画像データに付加する画像処理部と
を具えることを特徴とする請求項３に記載の画像処理装置。
【請求項１２】
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出ステップと、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別ステップと
を具えることを特徴とする画像方向判別方法。
【請求項１３】
コンピュータに対して、
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出ステップと、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別ステップと
を実行させることを特徴とする画像方向判別プログラム。
【請求項１４】
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出部と、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別部と、
上記顔方向判別部による上記画像データの縦横方向に応じて当該画像データを回転させることにより、上記縦横方向でなる上記画像データを表示部に表示させる画像処理部と
を具えることを特徴とする再生装置。
【請求項１５】
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出ステップと、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別ステップと、
上記顔方向判別ステップによる上記画像データの縦横方向に応じて当該画像データを回転させることにより、上記縦横方向でなる上記画像データを表示ステップに表示させる画像処理ステップと
を具えることを特徴とする再生方法。
【請求項１６】
コンピュータに対して、
画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出ステップと、
上記画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別ステップと、
上記顔方向判別ステップによる上記画像データの縦横方向に応じて当該画像データを回転させることにより、上記縦横方向でなる上記画像データを表示ステップに表示させる画像処理ステップと
を実行させることを特徴とする再生プログラム。
【請求項１７】
レンズを介して取り込んだ撮像光から撮像画像データを生成する信号処理部と、
上記撮像画像データに含まれる人物の顔領域を検出顔領域として検出する顔検出部と、
上記撮像画像データが表す平面に対する垂直方向を回転軸としたときの上記検出顔領域の回転角であるロール顔角度に基づいて上記画像データに含まれる複数の上記検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて上記画像データの縦横方向を判別する顔方向判別部と、
上記顔方向判別部によって判別された上記撮像画像データの縦横方向を表す画像方向情報を上記画像データに付加する画像処理部と
を具えることを特徴とするデジタルスチルカメラ。
【請求項１８】
画像データから人物の顔領域を検出顔領域として検出する顔検出部と、
上記画像データが表す平面に対する垂直方向を回転軸とするロール顔角度に基づいて判別された上記検出顔領域の縦横方向と、当該検出顔領域に対する信頼度とに基づいて上記画像データの縦横方向を判別する顔方向判別部と
を具えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラに関し、例えばデジタルスチルカメラに適用して好適なものである。
【背景技術】
【０００２】
従来、デジタルスチルカメラとして、姿勢センサなどの検出手段によってデジタルスチルカメラが縦横いずれの姿勢であるかを撮影時に検出し、撮像された画像データ（以下、これを撮像画像データと呼ぶ）が縦横いずれの方向であるかを表す画像方向情報として当該撮像画像データに付加しておくようになされたものがある（例えば、特許文献１参照）。
【０００３】
そしてデジタルスチルカメラは、撮像画像データを表示する際、付加されている画像方向情報に基づいて撮像画像データを回転して表示することにより、撮像時点における撮像画像データと同じ縦横方向でなる撮像画像をユーザに提示するようになされたものがある。
【特許文献１】特許第３１９２４６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところでかかる構成のデジタルスチルカメラにおいては、カメラ姿勢を検出するために姿勢センサを必要とするため、構成が複雑になってしまう。
【０００５】
また、撮像画像データから人間の顔領域を検出し、当該顔の方向から撮像画像データの縦横方向を判別する手法が提案されている（特開２００６−１０９１７５公報）が、撮像画像データに複数の人間の顔が存在する場合については何ら考慮されておらず、かかる場合に撮像画像データの縦横方向を正しく判別することができないという問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、簡易な構成で、かつ複数人の顔が存在する場合であっても正確に画像データの縦横方向を判別することができる画像処理装置を提案しようとするものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、画像データに含まれる人物の顔領域を検出顔領域として検出し、画像データが表す平面に対する垂直方向を回転軸としたときの検出顔領域の回転角であるロール顔角度に基づいて画像データに含まれる複数の検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて画像データの縦横方向を判別するようにした。
【０００８】
これにより、カメラ姿勢を検出するためのセンサがなくても画像データから検出された複数の検出顔領域に基づいて画像データの縦横方向を判別できる。
【０００９】
また本発明においては、画像データから人物の顔領域を検出顔領域として検出し、画像データが表す平面に対する垂直方向を回転軸とするロール顔角度に基づいて判別された検出顔領域の縦横方向と、当該検出顔領域に対する信頼度とに基づいて画像データの縦横方向を判別するようにした。
【００１０】
これにより、カメラ姿勢を検出するためのセンサがなくても画像データから検出された検出顔領域の数に拘らず、当該検出顔領域に基づいて画像データの縦横方向を判別できる。
【発明の効果】
【００１１】
本発明によれば、カメラ姿勢を検出するためのセンサがなくても画像データから検出された複数の検出顔領域に基づいて画像データの縦横方向を判別でき、かくして簡易な構成で、かつ複数人の顔が存在する場合であっても正確に画像データの縦横方向を判別することができる画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラを実現できる。
【００１２】
本発明によれば、カメラ姿勢を検出するためのセンサがなくても画像データから検出された検出顔領域の数に拘らず、当該検出顔領域に基づいて画像データの縦横方向を判別でき、かくして簡易な構成で、かつ複数人の顔が存在する場合であっても正確に画像データの縦横方向を判別することができる画像処理装置を実現できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面について、本発明の一実施の形態を詳述する。
【００１４】
（１）全体構成
図１において１は、全体としてデジタルスチルカメラの全体構成を示し、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成される制御部２がデジタルスチルカメラ１の全体を統括的に制御するようになされている。制御部２は、ＲＯＭ又はフラッシュメモリ５に格納されている各種基本プログラムや画像方向判別プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する画像方向判別処理及び後述する画像データ表示処理を実行するようになされている。
【００１５】
制御部２は、人物を撮像するときに用いられる顔検出モード、風景をメインとして撮像するときに用いられる風景モード、運動中の被写体を撮像するときに用いられる運動モードなど複数の撮像モードを有しており、操作部６を介した操作入力により、撮像される被写体に応じてこの撮像モードをユーザに設定させる。
【００１６】
制御部２は、撮像モードに応じて撮像される被写体に対して最適になるように予め定められている絞りや焦点深度、シャッタ速度などの撮像条件を設定し、ユーザの要求に応じて撮像処理を実行する。
【００１７】
具体的に制御部２は、例えば操作部６が有する図示しないシャッタボタンがユーザによって押下されることにより、操作部６から撮像要求信号が供給されると、設定された撮像モードに対応する撮像条件で撮像処理を実行する。
【００１８】
制御部２は、図示しないシャッタ機構を制御してレンズ群７から撮像光を取り込むと共に、当該レンズ群７を通過してイメージセンサ８上で結像した撮像光を当該イメージセンサ８によって光電変換し、撮像信号として信号処理部９へ送出する。
【００１９】
制御部２は、供給された撮像信号に対して、信号処理部９によってガンマ補正処理やＡＧＣ（Auto Gain Control）処理、及びアナログデジタル変換処理を施すことにより、撮像画像データを生成し、当該撮像画像データを画像ＲＡＭ４に一時記憶すると共に、当該画像ＲＡＭ４から当該撮像画像データを読み出して画像処理部１１に供給する。
【００２０】
制御部２は、画像処理部１１によって撮像画像データに対して所定の圧縮処理を実行することにより圧縮画像データを生成し、これを画像記憶部１２に供給して記憶するようになされている。
【００２１】
また制御部２は、現在の撮像モードが顔検出モードに設定されている場合には、上述した撮像処理を実行すると共に、画像方向判別処理を実行するようになされている。なお、この画像方向判別処理については後述する。
【００２２】
一方制御部２は、ユーザの操作部６に対する操作入力に応じて、圧縮画像データに基づく撮像画像をＬＣＤ（Liquid Crystal Display）などでなる表示部１３に表示する旨の表示要求信号が操作部６から供給されると、画像記憶部１２から圧縮画像データを読み出して画像処理部１１へ送出する。
【００２３】
制御部２は、画像処理部１１によって圧縮画像データを伸長して撮像画像データを生成すると、当該撮像画像データに対して後述する画像データ表示処理を実行し、当該撮像画像データを表示部１３に供給する。この結果、表示部１３には、圧縮画像データに基づく撮像画像が表示されるようになされている。
【００２４】
他方制御部２は、外部インターフェース１４に例えばパーソナルコンピュータなどの外部機器（図示せず）が接続された状態で、圧縮画像データを供給する旨の供給要求信号が当該外部インターフェース１４から供給されると、画像記憶部１２から圧縮画像データを読み出し、外部インターフェース１４を介して当該圧縮画像データを外部機器に供給するようになされている。
【００２５】
（２）顔検出モードにおける画像方向判別処理
扁平な略直方体形状でなるデジタルスチルカメラ１は、図２（Ａ）に示すように、当該デジタルスチルカメラ１の姿勢（以下、これをカメラ姿勢と呼ぶ）が表示部１３を有する筐体面１Ａの長手方向が水平でなる姿勢（以下、これを横姿勢と呼ぶ）のときに、図２（Ｂ）に示すように、撮像画像における長手方向が水平となる（以下、これを横方向画像と呼ぶ）状態で撮像する。
【００２６】
一方デジタルスチルカメラ１は、図３（Ａ）に示すように、当該筐体面１Ａの長手方向が鉛直方向でなる姿勢（以下、これを縦姿勢と呼ぶ）のときに、図３（Ｂ）に示すように撮像画像における長手方向が鉛直方向となる（以下、これを縦方向画像と呼ぶ）状態で撮像する。
【００２７】
そしてデジタルスチルカメラ１は、撮像時のカメラ姿勢に拘らず、横方向画像でなる撮像画像データを生成する。
【００２８】
しかしながら通常ユーザは、撮像画像を表示部１３に表示する際、カメラ姿勢を横姿勢（図２（Ｂ））に固定した状態で表示部１３に表示された撮像画像を確認することが多いため、横姿勢で撮像された撮像画像データをそのまま横方向画像として表示し、縦姿勢で撮像された撮像画像データを回転させることにより縦方向画像として表示することが好ましい。
【００２９】
ここでユーザが人物を撮像する際に、当該人物の顔を寝かせた（目と口が水平方向に並ぶ）状態で撮像することは極めて稀であり、当該人物の顔が直立した（目と口が鉛直方向に並ぶ）状態で撮像することが圧倒的に多い。
【００３０】
そこで本実施の形態のデジタルスチルカメラ１では、顔検出モードにおいて、撮像画像データにおける顔領域が表す顔の角度（以下、これを顔角度と呼ぶ）を検出すると共に、当該顔角度に基づいて撮像時点における撮像画像の縦横方向を判別するようになされている。次に、この画像方向判別処理について説明する。
【００３１】
図４に示すように、上述した顔角度のうち、撮像画像データに基づく撮像画像が表示部１３などに表示されたときに、当該撮像画像を有するＸＺ平面に垂直なＹ軸を中心に回転するロール（Ｒｏｌｌ）方向の角度をロール顔角度とする。
【００３２】
すなわち図５（Ａ）に示すように、ロール顔角度は、横方向画像でなる撮像画像データにおける鉛直方向（すなわち短手方向）をロール顔角度が０°となる基準軸ＳＰとしたときの、当該基準軸ＳＰに対する顔領域ＦＡの上下方向の軸（以下、これを顔上下軸ＦＰと呼ぶ）の角度である。なお、当該顔上下軸ＦＰが基準軸ＳＰから時計回りに回転したときのロール顔角度を正、反時計回りに回転したときのロール顔角度を負とする。
【００３３】
例えば図５（Ｂ）に示すように、デジタルスチルカメラ１を−７０°（すなわち反時計回りに７０°）回転させた状態で直立した人物の顔を撮像すると、図５（Ｃ）に示すように、撮像画像におけるロール顔角度は時計回りに７０°回転することになり、当該顔角度は＋７０°となる。
【００３４】
また図４に示すように、顔上下軸ＦＰを中心として回転する方向をヨー（Ｙａｗ）方向と定義し、このヨー方向における顔角度をヨー顔角度とする。このヨー顔角度は、図４に示すように目及び口を含んだ平面である顔領域ＦＡとＸＺ平面との成す角度である。
【００３５】
すなわち図６（Ａ）及び（Ｂ）に示すように、顔領域ＦＡが正面を向いている（当該顔領域ＦＡがＸＺ平面上に存在する）ときに基準の０°となり、図４の顔領域ＦＡより下方向（口側）からみて時計回りに回転したときに正、反時計回りに回転したときに負の角度となる。なおこのヨー顔角度は顔上下軸ＦＰを回転軸としているため、上述したロール顔角度の変化に応じて顔上下軸ＦＰの方向がＸＺ平面内で変化することになる。
【００３６】
例えば図６（Ｃ）に示すように、−４０°のヨー角度を有する顔領域ＦＡ（破線で示す仮想平面ＹＰ上に存在）では、当該顔領域ＦＡの正面が実線で示すＸＺ平面と比してヨー方向に−４０°回転している。また、図６（Ｄ）に示すように、同じ−４０°のヨー顔角度を有する顔領域ＦＡであっても、顔上下軸ＦＰが変化するとその回転方向（ヨー方向）も同様に変化することになる。
【００３７】
そして現在の撮像モードが顔検出モードに設定されている場合、デジタルスチルカメラ１の制御部２（図１）は、撮像処理において信号処理部９によって生成される撮像画像データを画像処理部１１ではなく、顔検出ブロック２０の画像サイズ変換部２２へ供給する。
【００３８】
顔検出ブロック２０では、制御部２から供給される各種制御信号などに基づいてコントローラ２１が画像サイズ変換部２２、画像メモリ２３、相関判定部２４及び基準顔データ記憶部２５を制御することにより、撮像画像データから人物の顔領域ＦＡを検出顔領域として検出すると共に、当該検出顔領域のロール顔角度に基づいて撮像画像の方向を判別する画像方向判別処理を実行するようになされている。
【００３９】
すなわち信号処理部９から撮像画像データが供給されると、画像サイズ変換部２２は、コントローラ２１から供給される倍率を表す画像サイズ信号に従って、撮像画像データが表す撮像画像を様々な画像サイズに変換してサイズ変換画像データを生成し、さらにこのサイズ変換画像データから例えば任意に抽出された基準点からの輝度差を算出することにより特徴画像データを生成する。
【００４０】
さらに画像サイズ変換部２２は、特徴画像データを中心部分から順に所定のサイズに切り出して、切出特徴画像データを生成し、元の特徴画像データにおける当該切出特徴画像データの位置を表す座標情報及び当該切出特徴画像データの拡大率又は縮小率を表す倍率情報を当該切出特徴画像データに付加し、当該切出特徴画像データを画像メモリ２３に送出する。
【００４１】
画像メモリ２３は、コントローラ２１から供給されるメモリアドレスに従って切出特徴画像データを一時記憶すると共に、当該コントローラ２１から供給されるタイミング信号及びメモリアドレスに従って当該切出特徴画像データを読み出し、相関判定部２４に送出する。
【００４２】
また基準顔データ記憶部２５には、切出特徴画像データの比較対象となる基準顔データとして、かつ様々な顔角度（ただしロール顔角度は０°）でなる複数の基準顔データと、当該基準顔データのヨー顔角度（以下、これを基準顔角度情報と呼ぶ）及び当該基準顔データにおける人物の顔領域ＦＡの面積を表す基準顔面積情報とが対応付けられて記憶されている。この基準顔データは、例えば基準点からの輝度差を表す特徴データとして記憶されている。
【００４３】
相関判定部２４は、基準顔データ記憶部２５に対して基準顔データを取得する旨の取得コマンドを送出する。基準顔データ記憶部２５は、要求された基準顔データを相関判定部２４に送出する。
【００４４】
そして相関判定部２４は、基準顔データ記憶部２５から基準顔データを順次取得すると共に、各基準顔データをロール方向における正及び負の方向（ＸＺ平面上で時計回り及び反時計回り）に例えば１°刻みの回転角度で±９０°まで回転させ、画像メモリ２３から取得した切出特徴画像データと比較する。相関判定部２４は、相関値が所定の一致閾値以上となる基準顔データが存在した場合には、この切出特徴画像データから検出顔領域が検出されたと判別する。
【００４５】
このとき相関判別部２４は、後述する顔領域信頼度の算出に用いられるパラメータＰとして、倍率情報と基準顔面積情報とから検出顔領域の面積（以下、これを顔領域面積と呼ぶ）Ｐ１を算出する。また相関判別部２４は、倍率情報と切出特徴画像データの座標情報とを用いて、特徴画像データにおける中心から検出顔領域の中心点までの距離（以下、これを顔領域中心距離と呼ぶ）Ｐ２を算出する。さらに相関判別部２４は、基準顔データに付加された基準顔角度情報及び相関値を顔領域重要度のパラメータＰ（Ｐ３及びＰ４）としてそれぞれ使用する。
【００４６】
さらに相関判定部２４は、検出顔領域が検出されたときの回転角度を検出顔領域についてのロール顔角度（以下、これを検出ロール顔角度と呼ぶ）とする。
【００４７】
そして相関判定部２４は、この検出ロール顔角度と、基準顔角度情報Ｐ３と、顔領域面積Ｐ１と、顔領域中心距離Ｐ２と、相関値とを制御部２に送出すると、画像メモリ２３から次の切出特徴画像データを取得して基準顔データとの比較を継続する。このとき制御部２は、これらの検出ロール顔角度、顔領域面積Ｐ１、顔領域中心距離Ｐ２、基準顔角度情報Ｐ３、及び相関値Ｐ４を制御部２内のＲＡＭに記憶する。
【００４８】
これに対して切出特徴画像データに対して全ての基準顔データを回転させて比較したにも拘らず、相関値Ｐ４が所定の一致閾値以上となる基準顔データが存在しない場合には、相関判定部２４は、当該切出特徴画像データに人物の顔領域が存在しないと判別し、画像メモリ２３から次の切出特徴画像データを取得して各基準顔データとの比較を継続する。
【００４９】
そして相関判定部２４は、全ての切出特徴画像データについて、基準顔データとの比較を終了すると、供給された撮像画像データに対する顔の検出を終了する。
【００５０】
このとき制御部２は、相関判定部２４によって人物の顔が複数検出された場合には、顔方向判別処理（詳しくは後述する）によって撮像画像データの縦横方向を判別し、当該縦横方向（縦方向画像又は横方向画像である旨）を表す画像方向情報を生成し、この画像方向情報を撮像画像データに付加して画像処理部１１に送出することにより、当該画像方向情報の付加された撮像画像データから圧縮画像データを生成すると、これを画像記憶部１２に記憶するようになされている。
【００５１】
なお制御部２は、図７に示すように、１つの撮像画像データに多数（１１人以上）の顔が存在する場合には、１０人の顔を検出した時点で顔の検出を終了し、顔方向判別処理を実行することにより、検出顔領域の検出に過大な時間を要してしまうことを防止するようになされている。なお、図では検出顔領域を斜線で示しており、以下の図についても同様とする。
【００５２】
一方制御部２は、相関判定部２４によって人物の顔が一つのみ検出された場合には、制御部２内のＲＡＭから検出ロール顔角度を読み出し、検出ロール顔角度の絶対値が７０°以上１１０°以下の範囲内であった場合には、撮像画像データが縦方向画像であると判別する。他方制御部２は、検出ロール顔角度の絶対値が０°以上７０°未満、及び１１０°より大きく１８０°未満であった場合には、撮像画像データが横方向画像であると判別する。
【００５３】
そして制御部２は、判別された撮像画像の縦横方向を画像方向情報として撮像画像データに付加し、これらに基づく圧縮画像データを画像記憶部１２に記憶するようになされている。
【００５４】
他方制御部２は、相関判定部２４によって検出顔領域が一つも検出されなかった場合には、撮像画像データからそのまま圧縮画像データを生成し、画像記憶部１２に記憶するようになされている。
【００５５】
（３）顔方向判別処理
次に、画像方向判別処理において人物の顔が複数検出された場合に実行される顔方向判別処理について説明する。
【００５６】
図８に示すように、複数の人物が同時に撮像された撮像画像データにおいては、複数の検出顔領域における検出ロール顔角度がそれぞれ異なっていることが想定される。そこでデジタルスチルカメラ１は、撮像画像データにおける複数の検出顔領域の縦横方向をそれぞれ判別し、当該縦横方向に基づいて総合的に撮像画像データの縦横方向を判別する。
【００５７】
すなわちデジタルスチルカメラ１における制御部２の顔方向判別部２Ａは、検出ロール顔角度、顔領域面積Ｐ１、顔領域中心距離Ｐ２、基準顔角度情報Ｐ３及び相関値Ｐ４を制御部２内のＲＡＭから読み出す。
【００５８】
複数の人物が同時に撮像された撮像画像データにおいては、図９に示すように、一般的に撮像の優先度が高い（すなわち被写体として撮像したい）人物がより手前にくることが多く、必然的に検出顔領域の面積が大きくなる。また図８に示したように、子供（人物Ａ）と比較して顔面積の大きい大人（人物Ｂ及びＣ）は寝そべったり顔を大きく傾けるポーズをとることが少ない。
【００５９】
従って、面積が大きい検出顔領域の縦横方向は他の検出顔領域と比較して撮像の主対象たる人物の顔領域である可能性が高く、信頼度が高いといえる。そこで顔方向判別部２Ａは、顔領域面積Ｐ１が大きい検出顔領域に対する値が高くなるように面積評価値を算出する。
【００６０】
すなわち顔方向判別部２Ａは、顔領域面積Ｐ１に対して所定の重み付け係数Ｗ１を乗算することにより、各検出顔領域についての面積評価値を算出する。
【００６１】
また、複数の人物が同時に撮像された撮像画像データにおいては、図９に示したように、一般的に撮像の主対象たる人物（図では人物Ｂ）が中心に位置することが多い。従って、中心に位置する検出顔領域の縦横方向は他の検出顔領域と比較して撮像の主対象たる人物の顔領域である可能性が高く、信頼度が高いといえる。
【００６２】
そこで顔方向判別部２Ａは、撮像画像データにおける中心点から検出顔領域の中心までの距離を表す顔領域中心距離Ｐ２を用い、中心に近い検出顔領域に対する値が高くなるように中心評価値を算出する。
【００６３】
すなわち顔方向判別部２Ａは、中心に近い検出顔領域に対するレベルが高くなるように顔領域中心距離Ｐ２を例えば１０段階にレベル分けし、当該レベルに対して所定の重み付け係数Ｗ２を乗算することにより、各検出顔領域についての中心評価値を算出する。
【００６４】
さらに複数の人物が同時に撮像された撮像画像データにおいては、図９に示したように、一般的に撮像の主対象たる人物が正面（デジタルスチルカメラ１の方向）を向いているとき（すなわちヨー顔角度が０°のとき、図では人物Ｂ）に合わせて撮像されている可能性が高く、一方でただの通行人など、撮像しようとしていない人物（図では人物Ａ）は、全く異なる方向を向いている場合が多い。
【００６５】
従ってヨー顔角度の絶対値が小さい検出顔領域の縦横方向は他の検出顔領域と比較して撮像の主対象たる人物の顔領域である可能性が高く、信頼度が高いといえる。そこで顔方向判別部２Ａは、基準顔角度情報Ｐ３が表す検出顔領域のヨー顔角度を用い、当該ヨー角度が０°に近く、検出顔領域が正面に向いているほど高くなるように正面評価値を算出する。
【００６６】
すなわち顔方向判別部２Ａは、ヨー顔角度の絶対値に対して検出顔領域が正面に向いているほど高くなるように例えば１０段階にレベル分けし、当該レベルに対して所定の重み付け係数Ｗ３を乗算することにより、各検出顔領域についての正面評価値を算出する。
【００６７】
またデジタルスチルカメラ１は、基準顔データとの一致率を表す相関値Ｐ４が高いほど、検出顔領域が間違いなく人物の顔である可能性（すなわち人物の顔らしさ）が高くなり、また検出ロール顔角度が正しく検出されている可能性が高く、相関値Ｐ４が高い検出顔領域の縦横方向は他の検出顔領域と比較して信頼度が高いといえる。そこで顔方向判別部２Ａは、検出顔領域についての相関値Ｐ４を用い、当該相関値Ｐ４が高いほど値が高くなるように相関評価値を算出する。
【００６８】
すなわち顔方向判別部２Ａは、相関値Ｐ４に対して所定の重み付け係数Ｗ４を乗算することにより、各検出顔領域についての相関評価値を算出する。
【００６９】
なお顔方向判別部２Ａは、各値に重み付け係数Ｗ１、Ｗ２、Ｗ３及びＷ４を乗算することにより、各評価値（面積評価値、中心評価値、相関評価値及び正面評価値）の水準を揃えると共に、各評価値の重要度に応じて重み付け係数Ｗ１、Ｗ２、Ｗ３及びＷ４の値を調整している。
【００７０】
そして顔方向判別部２Ａは、各評価値を加算することにより、各検出顔領域について、撮像画像データにおける他の検出顔領域と比較したときの当該検出顔領域の信頼度を総合的に表す顔領域信頼度を算出することができる。
【００７１】
例えば図８及び図９では、中心に最も近くて顔面積が最も大きく、かつ正面を向いている人物Ｂは、人物Ａや人物Ｃと相関値Ｐ４がほぼ同程度であれば、当該人物Ａや人物Ｃよりも高い顔検出信頼度を得ることになる。
【００７２】
次に顔方向判別部２Ａは、顔領域信頼度に基づいて各検出顔領域の縦横方向をそれぞれ判別する。
【００７３】
すなわち顔方向判別部２Ａは、検出ロール顔角度の絶対値が７０°以上１１０°以下の範囲内であった検出顔領域については、当該検出顔領域が縦方向画像において直立した状態にある縦検出顔領域であると判別する。他方顔方向判別部２Ａは、検出ロール顔角度の絶対値が０°以上７０°未満、及び１１０°より大きく１８０°未満であった検出顔領域については、当該検出顔領域が横方向画像において直立した状態にある横検出顔領域であると判別する。
【００７４】
顔方向判別部２Ａは、縦検出顔領域についての顔領域信頼度に「−１」を乗算する一方、横検出顔領域についての顔領域信頼度に「＋１」を乗算することにより、縦検出顔領域の顔領域信頼度を「負」として表し、横検出顔領域の顔領域信頼度を「正」として表す。
【００７５】
そして顔方向判別部２Ａは、顔領域信頼度を加算して加算総合値を算出し、当該加算総合値が「正」であるか「負」であるかを判別する。
【００７６】
顔方向判別部２Ａは、加算総合値が「正」であると判別した場合、横検出顔領域についての顔領域信頼度の合計が縦検出顔領域についての顔領域信頼度の合計よりも大きく、撮像画像データ総体として横検出顔領域の信頼度が高いため、当該撮像画像データが横姿勢で撮像された横方向画像であると判別する。
【００７７】
そして制御部２は、この撮像画像データが横方向画像である旨を表す画像方向情報を生成し、当該撮像画像データに付加するようになされている。
【００７８】
これに対して顔方向判別部２Ａは、加算総合値が「負」であると判別した場合、縦検出顔領域についての顔領域信頼度の合計が横検出顔領域についての顔領域信頼度の合計よりも大きく、撮像画像データ総体として縦検出顔領域の信頼度が高いため、当該撮像画像データが縦検出顔領域が直立した状態である縦方向画像であると判別する。
【００７９】
このとき制御部２は、縦検出顔についての検出ロール顔角度を合計し、この合計値が「正」であった場合には、撮像画像データを表示する際に−９０°回転させる旨を表す画像方向情報を生成する一方、当該合計値が「負」であった場合には、撮像画像データを表示する際に＋９０°回転させる旨を表す画像方向情報を生成し、当該撮像画像データに付加するようになされている。
【００８０】
例えば顔方向判別部２Ａは、図９に示す撮像画像データに対して、撮像された３人物（人物Ａ、Ｂ及びＣ、検出ロール顔角度が０°、０°及び−２０°）がいずれも横検出顔領域であると判別し、この撮像画像データを横方向画像と判別することができる。
【００８１】
また顔方向判別部２Ａは、図８に示す撮像画像データに対して、撮像された３人物のうち、２人物（人物Ｂ及びＣ、検出ロール顔角度が０°及び−２０°）が横検出顔領域、１人物（人物Ａ、検出ロール顔角度が−９０°）が縦検出顔領域と判別し、各検出顔領域の信頼度を表す顔領域信頼度に基づいて判別することにより、撮像画像データを横検出顔領域が直立した状態である横方向画像と判別することができる。
【００８２】
さらに図１０（Ａ）に示す撮像画像データに対して、顔方向判別部２Ａは、撮像された２人物（検出ロール顔角度がいずれも−９０°）がいずれも縦検出顔領域であると判別し、この撮像画像データを縦検出顔領域が直立した状態である縦方向画像と判別する。このとき制御部２は、検出ロール顔角度の合計値が「負」となることから、表示する際に＋９０°回転させる旨を表す画像方向情報を生成することになる。
【００８３】
このように、デジタルスチルカメラ１は、撮像画像データから複数の検出顔領域が検出された場合には、各検出顔領域が直立状態にあるときの撮像画像データの縦横方向をそれぞれ判別すると共に、顔領域信頼度を各検出顔領域についてそれぞれ算出することにより各検出顔領域に対する信頼度を当該各検出顔領域間における相対的な数値として表し、当該顔領域信頼度の合計を縦検出顔領域と横検出顔領域とで比較する。そしてデジタルスチルカメラ１は、顔領域信頼度の合計が大きく、信頼度が高い方の検出顔領域が直立した状態にあるときの縦横方向を当該撮像画像データの縦横方向であると判別するようにした。
【００８４】
すなわちデジタルスチルカメラ１は、過半数を占める検出顔領域が直立した状態にあると判別された撮像画像データの縦横方向を基本的に撮像画像データの縦横方向とすると共に、各検出顔領域に対する信頼度を表す数値を顔領域信頼度として算出し、当該顔領域信頼度の高い検出顔領域が直立した状態にあるときの撮像画像データの縦横方向を当該顔領域信頼度の低い検出顔領域よりも重要視することにより、正確に撮像画像の方向を判別することができるようになされている。
【００８５】
（４）撮像画像データの表示
次に、かかる画像方向判別処理が施され、画像方向情報が付加された撮像画像データを表示する処理について説明する。
【００８６】
デジタルスチルカメラ１の制御部２（図１）は、ユーザの操作部６を介した操作入力により、撮像画像データを表示部１３に表示する旨の要求がなされたことを認識すると、画像記憶部１２から当該撮像画像データに対応する圧縮画像データを読み出し、これを画像処理部１１に供給する。
【００８７】
制御部２は、画像処理部１１によって圧縮画像データを伸長して撮像画像データを生成し、当該撮像画像データに付加された画像方向情報を確認する。
【００８８】
このとき制御部２は、撮像画像データが横方向画像であることを表す画像方向情報が付加されていた場合には、当該撮像画像データを横方向画像としてそのまま表示部１３に表示する（図２（Ｂ））。
【００８９】
一方制御部２は、撮像画像データが縦方向画像であることを表す画像方向情報が付加されていた場合には、例えば図１０（Ａ）に示すような縦方向画像であると判別し、当該画像方向情報に応じて当該撮像画像データを９０°又は−９０°回転させると共に、図１０（Ｂ）に示すように、表示部１３の縦方向のサイズに合わせて撮像画像データを縮小して表示部１３に表示する。
【００９０】
他方制御部２は、撮像画像データに撮像方向情報が付加されていない場合には、当該撮像画像データが顔検出モード以外の撮像モードで撮像されたため縦横方向が不明であると判別し、一般的に撮像される可能性が高い横方向画像として撮像画像データをそのまま表示部１３に表示するようになされている。
【００９１】
これにより、制御部２は、デジタルスチルカメラ１を横姿勢にした状態で表示部１３を視認しているユーザに対して、わざわざデジタルスチルカメラ１を回転させることなく、デジタルスチルカメラ１を横姿勢にしたままで縦横の双方向でなる撮像画像を適正な方向で視認させることができるようになされている。
【００９２】
（５）画像方向判別処理手順
次に、画像方向判別プログラムに従って実行される画像方向判別処理手順について、図１１に示すフローチャートを用いて説明する。
【００９３】
デジタルスチルカメラ１は、図示しないシャッタがユーザによって押下されると、撮像処理を実行すると共に画像方向判別処理手順ＲＴ１を開始し、次のステップＳＰ１へ移る。
【００９４】
ステップＳＰ１において、デジタルスチルカメラ１は、現在の撮像モードが顔検出モードであるか否かについて判別し、否定結果が得られた場合には終了ステップへ移って処理を終了する一方、肯定結果が得られた場合には、次のステップＳＰ２へ移る。
【００９５】
ステップＳＰ２において、デジタルスチルカメラ１は、撮像画像データから人物の顔領域の検出を行うと、次のステップＳＰ３へ移る。
【００９６】
ステップＳＰ３において、デジタルスチルカメラ１は、撮像画像データから人物の顔領域として検出された検出顔領域が存在するか否かについて判別し、否定結果が得られた場合には終了ステップへ移って処理を終了する一方、肯定結果が得られた場合には、次のステップＳＰ４へ移る。
【００９７】
ステップＳＰ４において、デジタルスチルカメラ１は、検出顔領域が２以上であるか否かについて判別する。
【００９８】
ここで否定結果が得られた場合、このことは一つの検出顔領域に基づいて単純に撮像画像の方向を判別することができることを表しており、このときデジタルスチルカメラ１は、次のステップＳＰ５へ移り、当該検出顔領域の検出ロール角度に基づいて撮像画像の方向を判別すると、次のステップＳＰ１５へ移る。
【００９９】
これに対してステップＳＰ４において肯定結果が得られた場合、このことは検出顔領域が複数存在することを表しており、このときデジタルスチルカメラ１は、次のステップＳＰ７へ移って顔方向判別処理を実行する。
【０１００】
ステップＳＰ７において、デジタルスチルカメラ１は、各検出顔領域の面積（すなわち検出顔領域の大きさ）を表す顔領域面積Ｐ１、撮像画像の中心から各検出顔領域までの距離（すなわち撮像画像データにおける検出顔領域の位置）を表す顔領域中心距離Ｐ２、各検出顔領域の顔上下軸ＦＰを軸とした回転（すなわち検出顔領域の正面度）を表すヨー顔角度（基準顔角度情報Ｐ３）、各検出顔領域の基準顔データに対する一致率（すなわち人物の顔らしさ）を表す相関値Ｐ４に基づいて、各評価値（面積評価値、中心評価値、正面評価値及び相関評価値）の値を算出すると、次のステップＳＰ８へ移る。
【０１０１】
ステップＳＰ８において、デジタルスチルカメラ１は、各評価値を加算することにより、検出顔領域ごとに当該検出顔領域に対する総合的な信頼度を表す顔領域信頼度を算出すると、次のステップＳＰ９へ移る。
【０１０２】
ステップＳＰ９において、デジタルスチルカメラ１は、検出ロール顔角度に基づいて、検出顔領域ごとに当該検出顔領域が直立した状態にあるときの撮像画像データが縦方向画像であるか横方向画像であるかを判別すると、次のステップＳＰ１０へ移る。
【０１０３】
ステップＳＰ１０において、デジタルスチルカメラ１は、縦方向画像であると判別された縦検出顔領域についての顔領域信頼度に−１を乗算する一方、横方向画像であると判別された横検出顔領域についての顔領域信頼度に＋１を乗算すると、次のステップＳＰ１１へ移る。
【０１０４】
ステップＳＰ１１において、デジタルスチルカメラ１は、全ての検出顔領域についての顔領域信頼度を加算して加算総合値を算出すると、次のステップＳＰ１２へ移る。
【０１０５】
ステップＳＰ１２において、デジタルスチルカメラ１は、加算総合値が正であるか負であるかを判別する。
【０１０６】
ここで否定結果が得られた場合、このことは各検出顔領域について判別された撮像画像の方向と、各検出顔領域の信頼度とを多数決的に勘案すると、総合的に撮像画像データが縦方向画像である可能性が高いことを表しており、このときデジタルスチルカメラ１は、ステップＳＰ１３へ移り、撮像画像データを縦方向画像と判別すると、次のステップＳＰ１５へ移る。
【０１０７】
これに対してステップＳＰ１２において肯定結果が得られた場合、このことは各検出顔領域の信頼度を多数決的に勘案すると、撮像画像データが横方向画像である可能性が高いことを表しており、このときデジタルスチルカメラ１は、ステップＳＰ１４へ移り、撮像画像データを横方向画像と判別すると、次のステップＳＰ１５へ移る。
【０１０８】
ステップＳＰ１５において、デジタルスチルカメラ１は、撮像画像データがステップＳＰ５、ステップＳＰ１３又はステップＳＰ１４において判別された縦横方向でなる撮像画像であることを表す画像方向情報を生成し、これを当該撮像画像データに付加すると、終了ステップに移り、処理を終了する。
【０１０９】
（６）画像データ表示処理手順
次に、画像方向判別プログラムに従って実行される画像データ表示処理手順について、図１２に示すフローチャートを用いて説明する。
【０１１０】
デジタルスチルカメラ１は、ユーザによって撮像画像データを表示部１３に表示する旨の要求がなされると、画像データ表示処理手順ＲＴ２を開始し、ステップＳＰ３１に移る。
【０１１１】
ステップＳＰ３１においてデジタルスチルカメラ１は、画像記憶部１２から対応する圧縮画像データを読み出して伸長することにより生成された撮像画像データに画像方向情報が付加されているか否かについて判別する。
【０１１２】
ここで否定結果が得られた場合、このことはこの撮像画像データが顔検出モード以外の撮像モードで撮像され、横方向画像の可能性が高いことを表しており、このときデジタルスチルカメラ１は、次のステップＳＰ３３へ移る。
【０１１３】
これに対してステップＳＰ３１において肯定結果が得られた場合、デジタルスチルカメラ１は、次のステップＳＰ３２へ移り、画像方向情報が横方向画像であることを表しているか否かについて判別する。
【０１１４】
ここで肯定結果が得られた場合、このことは撮像画像データが横方向画像であることを表しており、このときデジタルスチルカメラ１は、次のステップＳＰ３３へ移る。
【０１１５】
ステップＳＰ３３において、デジタルスチルカメラ１は、撮像画像データを表示部１３（図１）にそのまま表示すると、終了ステップに移って処理を終了する。
【０１１６】
これに対してステップＳＰ３２において否定結果が得られた場合、このことは画像方向情報が縦方向画像であることを表しており、このときデジタルスチルカメラ１は、画像方向情報が表す角度（±９０°）だけ撮像画像データを回転させると共に縮小して表示部１３に表示すると、終了ステップに移って処理を終了する。
【０１１７】
（７）動作及び効果
以上の構成において、デジタルスチルカメラ１は、画像データとしての撮像画像データに含まれる人物の顔領域ＦＡを検出顔領域として検出し、当該撮像画像データが表す平面に対する垂直方向を回転軸としたときの検出顔領域の角度であるロール顔角度に基づいて、撮像画像データにおける複数の検出顔領域の縦横方向をそれぞれ判別し、当該複数の検出顔領域の判別結果に基づいて撮像画像データの縦横方向を判別するようにした。
【０１１８】
これによりデジタルスチルカメラ１は、顔検出の誤りなどによって検出顔領域の縦横方向を判別し間違えた場合であっても、他の検出顔領域の判別結果との多数決的な判別によって撮像画像データの縦横方向を総合的に判別できるため、一つの検出顔領域に基づいて撮像画像データの縦横方向を判別する場合と比較して、撮像画像データの縦横方向をより正確に判別できる。
【０１１９】
またデジタルスチルカメラ１は、検出顔領域の信頼度を表す顔領域信頼度の高い検出顔領域の縦横方向を他の検出顔領域の縦横方向よりも重要視して撮像画像データの縦横方向を判別するようにしたことにより、単に検出顔領域の縦横方向の多数決によって撮像画像データの縦横方向を判別する場合と比較して、撮像画像データの縦横方向をより正確に判別できる。
【０１２０】
さらにデジタルスチルカメラ１は、縦検出顔領域と判別する場合の検出ロール顔角度の絶対値の範囲（７０°以上１１０°以下）を、横検出顔領域と判別する場合における検出ロール顔角度の絶対値の範囲（０°以上７０°未満及び１１０°超１８０°未満）よりも狭くした。
【０１２１】
ここで、寝そべったり、何かにもたれかかる際に、人物が大きく（２０°以上）顔を傾けることが想定され、逆に直立している場合には大きく顔を傾けることは想定しづらい。また、寝そべる場合には人物の体全体が撮像画像データに収まるように、また何かもたれかかる場合にはその「何か」を同時に撮像すると想定されることから、このような場合には撮像画像データが横方向画像として撮像される可能性が高い。
【０１２２】
したがってデジタルスチルカメラ１は、顔を傾ける可能性のより大きい横検出顔領域であると判別する場合に使用される検出ロール顔角度の絶対値の範囲を大きくして横検出顔領域を優先的に判別することにより、検出顔領域の縦横方向の判別の精度を一層向上することができる。
【０１２３】
以上の構成によれば、デジタルスチルカメラ１は、撮像画像データから検出された検出顔領域のロール顔角度から各検出顔領域の縦横方向をそれぞれ判別し、縦方向と判別された縦検出顔領域と横方向と判別された横検出顔領域とを比較して多数決的に撮像画像データの縦横方向を判別することにより、簡易な構成で、かつ複数人の顔が存在する場合であっても正確に画像データの縦横方向を判別することができる画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラを実現することができる。
【０１２４】
（８）他の実施の形態
なお上述の実施の形態においては、各検出顔領域に対する信頼度として算出された顔領域信頼度を用いて撮像時点における撮像画像データの縦横方向を判別するようにした場合について述べたが、本発明はこれに限らず、例えば縦検出顔領域と横検出顔領域を単純に多数決によって撮像時点における撮像画像データの縦横方向を判別するようにしても良い。
【０１２５】
この場合デジタルスチルカメラ１は、図１３に示すフローチャートＲＴ３に従って画像方向判別処理を実行する。すなわちデジタルスチルカメラ１は、画像方向判別処理手順ＲＴ１（図１１）と同様に開始ステップから入ってステップＳＰ１〜ステップＳＰ４を実行すると、そのままステップＳＰ５又はステップＳＰ９へ移る。ステップＳＰ９において各検出顔領域が縦検出顔領域又は横検出顔領域のいずれであるかを判別したデジタルスチルカメラ１は、ステップＳＰ２０において、縦検出顔領域についての判別値を「−１」、横検出顔領域についての判別値を「＋１」として保持し、次のステップＳＰ２１へ移る。
【０１２６】
ステップＳＰ２１においてデジタルスチルカメラ１は、各検出顔領域についての判別値を加算して加算総合値を算出すると、次のステップＳＰ１２へ移り、画像方向判別処理手順ＲＴ１（図１１）と同様にしてステップＳＰ１５までの処理を実行するようになされている。
【０１２７】
このようにデジタルスチルカメラ１は、複数の検出顔領域の判別結果において過半数を占める縦横方向を、撮像画像データの縦横方向と判別することにより、撮像画像データに複数の検出顔領域が存在する場合であっても、適切に撮像画像データの縦横方向を判別することができる。
【０１２８】
また上述の実施の形態においては、１０以上の検出顔領域が存在する撮像画像データについては、１０までの検出顔領域を検出するようにした場合について述べたが、本発明はこれに限らず、例えば５までの検出顔領域を検出したり、全ての検出顔領域を検出するようにしても良い。
【０１２９】
さらに上述の実施の形態においては、基準顔データに予め付加された円又は楕円状でなる顔領域ＦＡを検出するようにした場合について述べたが、本発明はこれに限らず、例えば顔の一部分でなる顔領域ＦＡを四角形状に検出したり、顔よりも大きい顔領域ＦＡを顔領域ＦＡとして検出するようにしても良い。
【０１３０】
さらに上述の実施の形態においては、基準顔データと比較することにより撮像画像データから検出顔領域を検出するようにした場合について述べたが、本発明はこれに限らず、例えば輪郭抽出処理や肌色検出処理により検出顔領域を検出するようにしても良い。
【０１３１】
さらに上述の実施の形態においては、検出顔領域の大きさと、撮像画像データにおける検出顔領域の位置と、検出顔領域の正面度（ヨー顔角度）と、人物の顔らしさとに基づいて、検出顔領域の信頼度を総合的に表す顔領域信頼度を算出するようにした場合について述べたが、本発明はこれに限らず、少なくともいずれか一つに基づいて顔領域信頼度を算出すれば良く、その組み合わせに制限はない。また、他の信頼度の因子（例えば焦点距離の一致率など）を用いて顔領域信頼度を算出するようにしても良い。
【０１３２】
さらに上述の実施の形態においては、検出顔領域の大きさとして、検出顔領域の面積を用いるようにした場合について述べたが、本発明はこれに限らず、例えば検出顔領域の縦又は横の最大長さなどを用いるようにしても良い。
【０１３３】
さらに上述の実施の形態においては、撮像画像データにおける検出顔領域の位置として撮像画像の中心から各検出顔領域までの中心距離を用いるようにした場合について述べたが、本発明はこれに限らず、例えば検出顔領域の座標などを用いるようにしても良い。
【０１３４】
さらに上述の実施の形態においては、検出顔領域の正面度として、ヨー顔角度を用いるようにした場合について述べたが、本発明はこれに限らず、例えば検出顔領域が有する２つの目における黒目部分及び白目部分の相対的な位置関係（すなわち黒目が目全体のどの位置にあるか）とヨー顔角度から、当該検出顔領域を有する人物が実際に見ている方向を目線角度として算出し、これを検出顔領域の正面度として用いるようにしても良い。
【０１３５】
さらに上述の実施の形態においては、人物の顔らしさとして基準顔データとの一致率を表す相関値Ｐ４を用いるようにした場合について述べたが、本発明はこれに限らず、例えば検出顔領域と人物の顔と比較的類似している犬、猫などの顔データとを比較し、これらとの一致率を相関値Ｐ４から減算するようにしても良い。
【０１３６】
さらに上述の実施の形態においては、検出ロール顔角度の絶対値が７０以上１１０°以下の角度範囲内にある場合に縦検出顔領域であると判別するようにした場合について述べたが、本発明はこれに限らず、例えば４５°以上１３５°以下の角度範囲内にある場合に縦検出顔領域と判別するようにしても良く、この角度範囲について制限はない。
【０１３７】
さらに上述の実施の形態においては、検出顔領域が２以上検出された場合にのみ顔評価処理を実行するようにした場合について述べたが、本発明はこれに限らず、検出顔領域を１つのみ検出した場合にも同様に顔評価処理を実行するようにしても良い。
【０１３８】
この場合デジタルスチルカメラ１は、図１４に示すフローチャートＲＴ４に従って画像方向判別処理を実行する。すなわちデジタルスチルカメラ１は、画像方向判別処理手順ＲＴ１（図１１）と同様に開始ステップから入ってステップＳＰ１〜ステップＳＰ３を実行し、ステップＳＰ３において肯定結果が得られると、ステップＳＰ７〜ステップＳＰ１１の処理を実行する。
【０１３９】
ステップＳＰ１１において加算総合値を算出したデジタルスチルカメラ１は、ステップＳＰ２５において、当該加算総合値の絶対値が所定の確実閾値以上であるか否かについて判別する。
【０１４０】
ここで肯定結果が得られた場合、このことは縦横方向での顔領域信頼度の合計に十分な差があるため、加算総合値に基づく撮像画像データの縦横方向判別が確実なものであることを表しており、このときデジタルスチルカメラ１は、次のステップＳＰ１２へ移り、ステップＳＰ１２〜ステップＳＰ１５の処理を実行すると、終了ステップに移って処理を終了する。
【０１４１】
これに対してステップＳＰ２５において否定結果が得られた場合、このことは縦横方向での顔領域信頼度の合計がそれぞれ拮抗しているため加算総合値に基づく撮像画像データの縦横方向の判別が確実なものでないことを表しており、このときデジタルスチルカメラ１は、終了ステップに移って処理を終了する。
【０１４２】
このようにデジタルスチルカメラ１は、ロール顔角度に基づいて判別された検出顔領域の縦横方向と、顔領域信頼度とに基づいて撮像画像データの縦横方向を判別するようにしたことにより、検出された検出顔領域の数に拘らず顔領域信頼度に基づいて正確に撮像画像データの縦横方向を判別することができる。
【０１４３】
またデジタルスチルカメラ１は、加算総合値の絶対値が確実閾値以上であり、顔領域信頼度に検出顔領域の縦横方向間で十分な差がある場合に限り撮像画像データの縦横方向を判別するようにしたため、確実性が確保できる場合のみ撮像画像データの縦横方向を判別することができる。なお確実でない場合には、撮像画像データの縦横方向を判別せず、結果的に撮像される可能性の高い横方向画像として処理されることになる。
【０１４４】
さらに上述の実施の形態においては、撮像画像データに対して画像方向情報を付加するようにした場合について述べたが、本発明はこれに限らず、例えばユーザから撮像画像データを表示する旨の要求があった際に画像方向判別処理手順ＲＴ１を実行するようにしても良い。この場合デジタルスチルカメラ１は、必ずしも撮像画像データに画像方向情報を付加する必要はなく、判別された縦横方向に従って撮像画像データを表示部１３に表示することができる。
【０１４５】
さらに上述の実施の形態においては、加算総合値が「正」であるか「負」であるかによって撮像画像データの縦横方向を判別して画像方向情報を付加する場合について述べたが、本発明はこれに限らず、例えば加算総合値が所定の総合閾値未満か否かを判別し、顔領域信頼度の合計に縦横方向で差があるため当該加算総合値が確実閾値以上のときには判別された縦横方向を確定してそのまま画像方向情報を付加する一方、縦横方向での顔領域信頼度の合計がそれぞれ拮抗しているため当該加算総合値が確実閾値未満のときにはユーザに撮像画像データの縦横方向の正否を確認するようにしても良い。
【０１４６】
さらに上述の実施の形態においては、撮像画像データが縦横いずれの方向であった場合であっても、撮像画像データに画像方向情報を付加するようにした場合について述べたが、本発明はこれに限らず、縦方向画像であった場合にのみ付加するようにしても良い。この場合デジタルスチルカメラ１は、画像方向情報が付加されていると判別した撮像画像データを回転させて表示するようにする。
【０１４７】
さらに上述の実施の形態においては、撮像画像データの縦横方向が判別されると、自動的に撮像画像データに画像方向情報を付加するようにした場合について述べたが、本発明はこれに限らず、判別された撮像画像データの縦横方向の正否の確認を表示部１３に表示し、ユーザの操作に応じて撮像画像データの縦横方向を確定すると、当該縦横方向を表す画像方向情報を上記画像データに付加するようにしても良い。これにより、一層正確に撮像画像データの縦横方向を判別することができる。
【０１４８】
さらに上述の実施の形態においては、画像データとしての撮像画像データに対して画像方向判別処理手順ＲＴ１を実行するようにした場合について述べたが、本発明はこれに限らず、例えばパーソナルコンピュータなどで編集・作成された各種画像データに対して実行するようにしても良い。
【０１４９】
さらに上述の実施の形態においては、デジタルスチルカメラ１が撮像した撮像画像データに対して、当該デジタルスチルカメラ１自身が画像方向判別処理手順ＲＴ１及び画像データ表示処理手順ＲＴ２を実行するようにした場合について述べたが、本発明はこれに限らず、例えばハードディスクレコーダや携帯電話などの各種再生装置が外部から取得した各種画像データに対して画像方向判別処理手順ＲＴ１及び画像データ表示処理手順ＲＴ２を実行するようにしても良い。
【０１５０】
さらに上述の実施の形態においては、デジタルスチルカメラ１が撮像した撮像画像データに対して、当該デジタルスチルカメラ１自身が画像方向判別処理手順ＲＴ１を実行するようにした場合について述べたが、本発明はこれに限らず、例えばパーソナルコンピュータやテレビジョンなどの画像処理装置が外部から取得した各種画像データに対し、当該画像データを取得した際に画像方向判別処理手順ＲＴ１を実行するようにしても良い。
【０１５１】
さらに上述の実施の形態においては、デジタルスチルカメラ１が撮像画像データを表示するようにした場合について述べたが、本発明はこれに限らず、例えばデジタルスチルカメラ１から撮像画像データを取得したテレビジョンや携帯電話などの各種表示装置が、画像データ表示処理手順ＲＴ２に従って撮像画像データを表示するようにしても良い。
【０１５２】
さらに上述の実施の形態においては、画像方向判別プログラム等をＲＯＭ又はフラッシュメモリ５に予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリ５などにインストールするようにしても良い。また、画像方向判別プログラムなどをＵＳＢ（Universal Serial Bus）やＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得するようにしても良い。
【０１５３】
さらに上述の実施の形態においては、顔検出部としての顔検出ブロック２０と、顔方向判別部としての顔方向判別部２Ａとによって画像処理装置としてのデジタルスチルカメラ１を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の構成でなる顔検出部と、顔方向判別部とによって本発明の画像処理装置を構成するようにしても良い。
【０１５４】
さらに上述の実施の形態においては、顔検出部としての顔検出ブロック２０と、顔方向判別部としての顔方向判別部２Ａと、画像処理部としての画像処理部１１とによって再生装置としてのデジタルスチルカメラ１を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の構成でなる顔検出部と、顔方向判別部と、画像処理部とによって本発明の再生装置を構成するようにしても良い。
【０１５５】
さらに上述の実施の形態においては、信号処理部としての信号処理部９と、顔検出部としての顔検出ブロック２０と、顔方向判別部としての顔方向判別部２Ａと、画像処理部としての画像処理部１１とによってデジタルスチルカメラとしてのデジタルスチルカメラ１を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の構成でなる信号処理部と、顔検出部と、顔方向判別部と、画像処理部とによって本発明のデジタルスチルカメラを構成するようにしても良い。
【産業上の利用可能性】
【０１５６】
本発明は、例えば画像処理機能を有する各種電子機器に利用することができる。
【図面の簡単な説明】
【０１５７】
【図１】デジタルスチルカメラの全体構成を示す略線図である。
【図２】横姿勢による撮像の説明に供する略線図である。
【図３】縦姿勢による撮像の説明に供する略線図である。
【図４】方向の定義の説明に供する略線図である。
【図５】ロール顔角度の定義の説明に供する略線図である。
【図６】ヨー顔角度の定義の説明に供する略線図である。
【図７】多数の顔が存在する場合の説明に供する略線図である。
【図８】顔領域信頼度の算出（１）の説明に供する略線図である。
【図９】顔領域信頼度の算出（２）の説明に供する略線図である。
【図１０】縦方向画像の判別と表示の説明に供する略線図である。
【図１１】画像方向判別処理手順の説明に供するフローチャートである。
【図１２】画像データ表示処理手順の説明に供するフローチャートである。
【図１３】他の実施の形態による画像方向判別処理手順（１）を示す略線図である。
【図１４】他の実施の形態による画像方向判別処理手順（２）を示す略線図である。
【符号の説明】
【０１５８】
１……デジタルスチルカメラ、２……制御部、２Ａ……顔方向判別部、５……フラッシュメモリ、６……操作部、９……信号処理部、１１……画像処理部、１２……画像記憶部、２０……顔検出ブロック、ＦＰ……顔上下軸。
【図１】
2008277904.tif 000003
【図２】
2008277904.tif 000004
【図３】
2008277904.tif 000005
【図４】
2008277904.tif 000006
【図５】
2008277904.tif 000007
【図６】
2008277904.tif 000008
【図７】
2008277904.tif 000009
【図８】
2008277904.tif 000010
【図９】
2008277904.tif 000011
【図１０】
2008277904.tif 000012
【図１１】
2008277904.tif 000013
【図１２】
2008277904.tif 000014
【図１３】
2008277904.tif 000015
【図１４】
2008277904.tif 000016