(57)【要約】【課題】姿勢検出センサを用いることなく、簡易な手法により撮像画像の姿勢を判別する。【解決手段】顔領域抽出部１１０は、撮像画像において顔領域を抽出して、その抽出した顔領域に対応する座標の画素を「１」、それ以外の画素を「０」として２値化した画像を生成する。重心算出部１２０は、生成された２値化画像に基づいて顔領域の重心モーメントを算出する。傾き算出部１３０は、算出された重心モーメントに基づいて顔領域の傾きを算出する。ヒストグラム生成部１４０は、生成された２値化画像に基づいて、ｘ方向およびｙ方向に画素値のヒストグラムを生成する。撮像方向判定部１５０は、顔領域の傾きやヒストグラムに基づいて、撮像画像の撮像方向を判定する。【選択図】図２
2008199550.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に含まれる顔領域を抽出する顔領域抽出手段と、
前記撮像画像において抽出された前記顔領域の重心を算出する重心算出手段と、
前記重心算出手段によって算出された重心に基づいて前記顔領域の傾きを算出する傾き算出手段と、
前記傾き算出手段によって算出された傾きに基づいて前記撮像画像の撮像方向を判定する撮像方向判定手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記撮像画像において抽出された前記顔領域のヒストグラムを生成するヒストグラム生成手段をさらに具備し、
前記撮像方向判定手段は、前記ヒストグラム生成手段によって生成された前記ヒストグラムをさらに参照して前記撮像方向を判定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像方向判定手段によって判定された前記撮像方向に基づいて前記撮像画像を回転させる画像回転処理手段をさらに具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記撮像方向判定手段によって判定された前記撮像方向を前記撮像画像と対応付けて記録媒体に記録する記録制御手段をさらに具備する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
撮像画像に含まれる顔領域を抽出する顔領域抽出手順と、
前記撮像画像において抽出された前記顔領域の重心を算出する重心算出手順と、
前記重心算出手順において算出された重心に基づいて前記顔領域の傾きを算出する傾き算出手順と、
前記傾き算出手順において算出された傾きに基づいて前記撮像画像の撮像方向を判定する撮像方向判定手順と
を具備することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に撮像画像に含まれる顔領域から撮像方向を判定する画像処理装置、および、その画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置は、撮像者の意図に応じて様々な角度（姿勢）により用いられる。通常は横長の画像を撮像するために正立状態で用いられることが多いと考えられるが、被写体によっては縦長の画像を撮像するために倒立状態で用いられることも少なくない。また、倒立状態による撮像の際に左右いずれの方向に倒立させるかは、撮像者によって差異が生じ得る。
【０００３】
このようにして撮像された画像を表示する際、正立状態で撮像された画像と倒立状態で撮像された画像とを全て横長の画像として表示すると、閲覧する者にとって見難くなってしまう。そこで、従来の撮像装置では、姿勢検出センサによる姿勢情報を撮像画像とともに記録しておくことにより、姿勢情報に基づいて撮像画像の回転処理が行われる（例えば、特許文献１参照。）。
【特許文献１】特開平１０−１７３９８４号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術は、姿勢検出センサを備えることを前提としており、このような姿勢検出センサを有しない撮像装置に適用することができない。一方、撮像画像に含まれる目や口などの顔の特定の器官を認識して撮像画像の姿勢を判別するためには、複雑なパターン認識処理が必要となる。
【０００５】
そこで、本発明は、姿勢検出センサを用いることなく、簡易な手法により撮像画像の姿勢を判別することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像画像に含まれる顔領域を抽出する顔領域抽出手段と、上記撮像画像において抽出された上記顔領域の重心を算出する重心算出手段と、上記重心算出手段によって算出された重心に基づいて上記顔領域の傾きを算出する傾き算出手段と、上記傾き算出手段によって算出された傾きに基づいて上記撮像画像の撮像方向を判定する撮像方向判定手段とを具備することを特徴とする画像処理装置である。これにより、撮像画像に含まれる顔領域の傾きに基づいて撮像画像の撮像方向を判定させるという作用をもたらす。
【０００７】
また、この第１の側面において、上記撮像画像において抽出された上記顔領域のヒストグラムを生成するヒストグラム生成手段をさらに具備し、上記撮像方向判定手段は、上記ヒストグラム生成手段によって生成された上記ヒストグラムをさらに参照して上記撮像方向を判定するようにしてもよい。これにより、撮像方向の判定の確度を向上させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記撮像方向判定手段によって判定された上記撮像方向に基づいて上記撮像画像を回転させる画像回転処理手段をさらに具備してもよい。これにより、判定された撮像方向に基づいて撮像画像を回転させるという作用をもたらす。
【０００９】
また、この第１の側面において、上記撮像方向判定手段によって判定された上記撮像方向を上記撮像画像と対応付けて記録媒体に記録する記録制御手段をさらに具備してもよい。これにより、判定された撮像方向を撮像画像と対応付けて記録媒体に記録させるという作用をもたらす。
【００１０】
また、本発明の第２の側面は、撮像画像に含まれる顔領域を抽出する顔領域抽出手順と、上記撮像画像において抽出された上記顔領域の重心を算出する重心算出手順と、上記重心算出手順において算出された重心に基づいて上記顔領域の傾きを算出する傾き算出手順と、上記傾き算出手順において算出された傾きに基づいて上記撮像画像の撮像方向を判定する撮像方向判定手順とを具備することを特徴とする画像処理方法である。これにより、撮像画像に含まれる顔領域の傾きに基づいて撮像画像の撮像方向を判定させるという作用をもたらす。
【発明の効果】
【００１１】
本発明によれば、姿勢検出センサを用いることなく、簡易な手法により撮像画像の姿勢を判別することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１２】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１３】
図１は、本発明の実施の形態における撮像装置の構成例を示す図である。この撮像装置は、撮像素子３１０と、姿勢判別部１００と、信号処理部３２０と、内部パネル３３０と、パネル信号変換部３４０と、外部端子３５０と、ビデオ信号変換部３６０と、記録制御部３７０と、操作受付部３８０と、システム制御部３９０とを備えている。
【００１４】
撮像素子３１０は、光学レンズ群から供給された光を電気信号に変換する光電変換素子であり、例えば、ＣＣＤ（Charge Coupled Devices）などにより実現され得る。この撮像素子３１０により、被写体の撮像画像が、例えばＲＧＢ（赤、緑、青）の３原色に相当する３つの撮像信号として取り出される。
【００１５】
姿勢判別部１００は、撮像素子３１０によって取得された撮像信号に基づいて撮像画像の撮像方向（姿勢）を判別するものである。この判別結果は信号処理部３２０に供給される。
【００１６】
信号処理部３２０は、撮像素子３１０によって取得された撮像信号に対して、白色の基準を定めるホワイトバランスなどの信号処理を施すものである。また、この信号処理部３２０は、姿勢判別部１００による判別結果をパネル信号変換部３４０、ビデオ信号変換部３６０および記録制御部３７０に供給する。
【００１７】
内部パネル３３０は、撮像装置に内蔵された表示パネルであり、例えばＬＣＤ（Liquid Crystal Display）などにより実現される。パネル信号変換部３４０は、信号処理部３２０の出力信号を内部パネル３３０のための信号に変換するものである。このパネル信号変換部３４０は、姿勢判別部１００による判別結果に基づいて、必要に応じて撮像画像の回転処理を行う。
【００１８】
外部端子３５０は、撮像装置に外部表示装置を接続するための端子である。ビデオ信号変換部３６０は、信号処理部３２０の出力信号を外部表示装置のための信号に変換するものである。このビデオ信号変換部３６０は、姿勢判別部１００による判別結果に基づいて、必要に応じて撮像画像の回転処理を行う。
【００１９】
記録制御部３７０は、記録媒体４１０に撮像信号を記録するための制御を行うものである。この記録制御部３７０は、姿勢判別部１００による判別結果を撮像画像のメタデータとして記録媒体４１０に記録する。また、この記録制御部３７０は、ＪＰＥＧ（Joint Photographic Experts Group）などの圧縮処理に先立って、姿勢判別部１００による判別結果に基づき必要に応じて撮像画像の回転処理を行うようにしてもよい。
【００２０】
操作受付部３８０は、ユーザによる操作入力を受け付けるものであり、各種ボタンやＧＵＩ（Graphical User Interface）などが想定される。
【００２１】
システム制御部３９０は、撮像装置の全体を制御するものであり、例えば、マイクロプロセッサなどにより実現され得る。このシステム制御部３９０は、操作受付部３８０によって受け付けられた操作入力に基づいて撮像を制御するとともに、ユーザに対する表示を制御する。また、システム制御部３９０は、記録制御部３７０を介して記録媒体４１０への記録制御を指示する。
【００２２】
図２は、本発明の実施の形態における姿勢判別部１００の一構成例を示す図である。この姿勢判別部１００は、顔領域抽出部１１０と、重心算出部１２０と、傾き算出部１３０と、ヒストグラム生成部１４０と、撮像方向判定部１５０とを備えている。
【００２３】
顔領域抽出部１１０は、信号処理部３２０から供給された撮像画像において、顔領域を抽出するものである。この顔領域抽出部１１０は、抽出した顔領域に対応する座標の画素を「１」、それ以外の画素を「０」として２値化した画像を生成する。
【００２４】
重心算出部１２０は、顔領域抽出部１１０によって生成された顔領域を示す２値化画像に基づいて、顔領域の重心モーメントを算出するものである。ここで、座標（ｉ，ｊ）における２値化画像の画素値ｆ（ｉ，ｊ）の（ｐ＋ｑ）次のモーメントｍpqは、次式により定義される。
【数１】
2008199550.tif 000003
【００２５】
２値化画像の場合、０次モーメントｍ00はｆ（ｉ，ｊ）の総和となり、面積を表す。また、１次モーメントｍ10およびｍ01をそれぞれｍ00で正規化することにより領域の重心座標が求められる。すなわち、ｉG＝ｍ10／ｍ00は重心座標Ｇのｘ座標、ｉG＝ｍ01／ｍ00は重心座標Ｇのｙ座標を表す。この重心座標Ｇ（ｉG，ｊG）の周りのモーメントは、重心モーメントＭpqと呼ばれ、次式により算出される。
【数２】
2008199550.tif 000004
【００２６】
傾き算出部１３０は、重心算出部１２０によって算出された顔領域の重心モーメントに基づいて顔領域の傾きを算出するものである。ここで、重心座標Ｇ（ｉG，ｊG）を原点とした場合の重心モーメントをμpqとすると、顔領域の傾きを示す慣性主軸θは、次式により得られる。
【数３】
2008199550.tif 000005
【００２７】
ヒストグラム生成部１４０は、顔領域抽出部１１０によって生成された顔領域を示す２値化画像に基づいて、ｘ方向およびｙ方向に画素値のヒストグラムを生成するものである。
【００２８】
撮像方向判定部１５０は、傾き算出部１３０によって算出された顔領域の傾きに基づいて、撮像画像の撮像方向を判定するものである。また、撮像方向判定部１５０は、撮像方向の判定の際にヒストグラム生成部１４０によって生成されたヒストグラムを参照して、判定の確度を向上させることもできる。この撮像方向判定部１５０により判定された撮像方向（姿勢）は、姿勢判別部１００の出力として用いられる。この撮像方向判定部１５０における判定方法について、以下に説明する。
【００２９】
図３は、本発明の実施の形態における重心モーメントを利用した撮像方向判定の一例を示す図である。図３（ａ）のように正立状態で撮像された場合、横長の配置で表示することが求められる。図３（ｂ）のように顔領域抽出部１１０によって顔領域が抽出され、２値化された後、重心算出部１２０によって重心モーメントが算出される。そして、図３（ｃ）のように傾き算出部１３０によって顔領域の傾きが算出される。
【００３０】
この例のように慣性主軸θが９０度付近を示す場合には、正立状態で撮像されたものと判断される。したがって、この場合には撮像画像の回転は不要であると判断することができる。
【００３１】
図４は、本発明の実施の形態における重心モーメントを利用した撮像方向判定の他の例を示す図である。図４（ａ）のように倒立状態で撮像された場合、縦長の配置で表示することが求められる。図４（ｂ）のように顔領域抽出部１１０によって顔領域が抽出され、２値化された後、重心算出部１２０によって重心モーメントが算出される。そして、図４（ｃ）のように傾き算出部１３０によって顔領域の傾きが算出される。
【００３２】
この例では、慣性主軸θは０度または１８０度付近を示すことになる。この場合には倒立状態で撮像されたものと判断できるが、撮像画像を左右いずれの方向に回転すべきかは明らかでない場合がある。すなわち、撮像画像を９０度右回転させると図４（ｄ）のように正しい状態になるが、撮像画像を９０度左回転させると図４（ｅ）のように天地が反転した状態になってしまう。そこで、以下のように、ヒストグラムの分布を参照することにより、その偏りから回転方向を判断することができる。
【００３３】
図５は、本発明の実施の形態におけるヒストグラムを利用した撮像方向判定の一例を示す図である。図５（ａ）のように倒立状態で撮像された場合、上述のように縦長の配置で表示することが求められる。図５（ｂ）のように顔領域抽出部１１０によって顔領域が抽出され、２値化された後、ヒストグラム生成部１４０によってヒストグラムが生成される。
【００３４】
ヒストグラムはｘ方向およびｙ方向の両者について生成されるが、この例では傾き算出部１３０によって慣性主軸θが０度または１８０度付近であることが判明するため、ｘ方向のヒストグラムが用いられる。その結果、このｘ方向のヒストグラムの偏りから左方向に転置していることが分かる。すなわち、顔領域において口元の部分の輝度が低くなることから、顔領域の転置方向を判別することができる。この例の場合、右方向に９０度回転させることにより、正しい状態になることが分かる。
【００３５】
なお、ここでは、ヒストグラムを重心モーメントと組み合わせて用いる手法について説明したが、ヒストグラムを単独で用いることも可能である。すなわち、図５（ｃ）のように、ｘ方向のヒストグラムの幅をＸ、ｙ方向のヒストグラムの幅をＹとすると、Ｘの方がＹよりも大きい場合には、顔領域が転置していると判断することができる。但し、この判断は簡易なものであり、重心モーメントと組み合わせる手法を用いた方が確度の高い判断を行うことができる。
【００３６】
図６は、本発明の実施の形態におけるヒストグラムを利用した撮像方向判定の他の例を示す図である。図６（ａ）のように正立状態で撮像された場合、上述のように横長の配置で表示することが求められる。図６（ｂ）のように顔領域抽出部１１０によって顔領域が抽出され、２値化された後、ヒストグラム生成部１４０によってヒストグラムが生成される。
【００３７】
この例では、傾き算出部１３０によって慣性主軸θが９０度付近であることが判明するため、特にヒストグラムを利用するまでもない。但し、ヒストグラムを単独で用いる場合、この例では図６（ｃ）のようにＸよりもＹの方が大きいため、正立状態であると判断される。
【００３８】
次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。
【００３９】
図７は、本発明の実施の形態における画像処理方法の手順を示すフローチャートである。まず、顔領域抽出部１１０によって撮像画像における顔領域が抽出される（ステップＳ９０１）。その結果、抽出した顔領域に対応する座標の画素を「１」、それ以外の画素を「０」として２値化した画像が生成される。
【００４０】
そして、重心算出部１２０によって２値化画像における顔領域の重心モーメントが算出され（ステップＳ９０２）、この重心モーメントに基づいて傾き算出部１３０によって顔領域の傾きが算出される（ステップＳ９０３）。
【００４１】
この算出された傾きに基づいて撮像画像の撮像方向（姿勢）が撮像方向判定部１５０によって判定される（ステップＳ９０５）。その際、ヒストグラム生成部１４０によって２値化画像における顔領域の画素値のヒストグラムを生成して（ステップＳ９０４）、このヒストグラムをステップＳ９０５において併せて用いることによって撮像方向の判定確度を高めることができる。
【００４２】
撮像方向判定部１５０において判定された撮像方向によって、撮像画像の回転の要否が判断される（ステップＳ９０６）。その結果、パネル信号変換部３４０やビデオ信号変換部３６０において必要に応じて撮像画像が回転される（ステップＳ９０７）。
【００４３】
なお、撮像方向の判定結果は、記録制御部３７０を介して記録媒体４１０に撮像画像のメタデータとして記録するようにしてもよい。
【００４４】
このように、本発明の実施の形態によれば、姿勢判別部１００において撮像画像の撮像方向（姿勢）を簡易に判別し、その判別された撮像方向に基づいてパネル信号変換部３４０等において撮像画像を回転させ、もしくは、記録制御部３７０によってその撮像方向をメタデータとして記録することができる。
【００４５】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００４６】
すなわち、請求項１において、顔領域抽出手段は例えば顔領域抽出部１１０に対応する。また、重心算出手段は例えば重心算出部１２０に対応する。また、傾き算出手段は例えば傾き算出部１３０に対応する。また、撮像方向判定手段は例えば撮像方向判定部１５０に対応する。
【００４７】
また、請求項２において、ヒストグラム生成手段は例えばヒストグラム生成部１４０に対応する。
【００４８】
また、請求項３において、画像回転処理手段は例えばパネル信号変換部３４０またはビデオ信号変換部３６０に対応する。
【００４９】
また、請求項４において、記録制御手段は例えば記録制御部３７０に対応する。
【００５０】
また、請求項５において、顔領域抽出手順は例えばステップＳ９０１に対応する。また、重心算出手順は例えばステップＳ９０２に対応する。また、傾き算出手順は例えばステップＳ９０３に対応する。また、撮像方向判定手順は例えばステップＳ９０５に対応する。
【００５１】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態における撮像装置の構成例を示す図である。
【図２】本発明の実施の形態における姿勢判別部１００の一構成例を示す図である。
【図３】本発明の実施の形態における重心モーメントを利用した撮像方向判定の一例を示す図である。
【図４】本発明の実施の形態における重心モーメントを利用した撮像方向判定の他の例を示す図である。
【図５】本発明の実施の形態におけるヒストグラムを利用した撮像方向判定の一例を示す図である。
【図６】本発明の実施の形態におけるヒストグラムを利用した撮像方向判定の他の例を示す図である。
【図７】本発明の実施の形態における画像処理方法の手順を示すフローチャートである。
【符号の説明】
【００５３】
１００  姿勢判別部
１１０  顔領域抽出部
１２０  重心算出部
１３０  傾き算出部
１４０  ヒストグラム生成部
１５０  撮像方向判定部
３１０  撮像素子
３２０  信号処理部
３３０  内部パネル
３４０  パネル信号変換部
３５０  外部端子
３６０  ビデオ信号変換部
３７０  記録制御部
３８０  操作受付部
３９０  システム制御部
４１０  記録媒体
【図１】
2008199550.tif 000006
【図２】
2008199550.tif 000007
【図３】
2008199550.tif 000008
【図４】
2008199550.tif 000009
【図５】
2008199550.tif 000010
【図６】
2008199550.tif 000011
【図７】
2008199550.tif 000012