(57)【要約】本発明は、人物以外の被写体であっても、最適な構図の画像を切出すことができる画像処理装置および方法、撮像装置、並びにプログラムに関する。構図パターン設定部３３は、入力画像において注目する注目領域の数と、入力画像のシーンとに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４は、構図パターン設定部３３によって設定された構図パターンを基に、入力画像から構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。本発明は、例えば、撮像した画像の構図を調整する画像処理装置に適用することができる。
2010027080.tif 000002
【特許請求の範囲】
【請求項１】
入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定手段と、
前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定手段と
を備える画像処理装置。
【請求項２】
前記入力画像から、前記決定手段によって決定された前記切出し領域を切出す切出し手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定し、
前記入力画像上に、複数の前記切出し領域の候補を表示する表示手段と、
前記表示手段によって表示された複数の前記切出し領域の候補のうちのいずれかを選択する選択手段と
をさらに備え、
前記切出し手段は、入力画像から、前記選択手段によって選択された前記切出し領域を切出す
請求項２に記載の画像処理装置。
【請求項４】
前記入力画像において注目する前記注目領域を抽出する抽出手段と、
前記入力画像の前記シーンを判別する判別手段と
をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域の中心位置が、前記入力画像における前記切出し領域の中心に近づくように、前記切出し領域を決定する
請求項１に記載の画像処理装置。
【請求項６】
前記決定手段は、前記切出し領域がより大きくなるように、かつ、前記入力画像において注目する前記注目領域を全て含む最小の前記矩形領域と、前記切出し領域との共通領域がより大きくなるように、前記切出し領域を決定する
請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記切出し領域が前記入力画像からはみ出さないように、前記切出し領域を決定する
請求項１に記載の画像処理装置。
【請求項８】
前記入力画像のアスペクト比と所定の閾値とを比較することで、前記入力画像がパノラマ画像であるか否かを判定する判定手段をさらに備え、
前記決定手段は、前記判定手段によって前記入力画像がパノラマ画像であると判定された場合、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定する
請求項１に記載の画像処理装置。
【請求項９】
前記決定手段によって決定された前記切出し領域を示す情報を、EXIF情報として前記入力画像に付加する付加手段をさらに備える
請求項１に記載の画像処理装置。
【請求項１０】
前記注目領域には、前記入力画像において注目する被写体が含まれ、
前記被写体の向きを検出する検出手段をさらに備え、
前記決定手段は、前記設定手段によって設定された前記構図パターンと、前記検出手段によって検出された前記被写体の向きとを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する
請求項１に記載の画像処理装置。
【請求項１１】
前記注目領域には、前記入力画像において注目する被写体が含まれ、
前記被写体の動きの方向を決定する動き方向決定手段をさらに備え、
前記決定手段は、前記設定手段によって設定された前記構図パターンと、前記動き方向決定手段によって決定された前記被写体の動きの方向とを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する
請求項１に記載の画像処理装置。
【請求項１２】
前記入力画像全体の動きを求める全体動き算出手段と、
前記注目領域の動きを求める局所動き算出手段と
をさらに備え、
前記動き方向決定手段は、前記全体動き算出手段によって求められた前記入力画像全体の動きの向きと、前記局所動き算出手段によって求められた前記注目領域の動きの向きとに基づいて、前記被写体の動きの方向を決定する
請求項１１に記載の画像処理装置。
【請求項１３】
入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、
前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと
含む画像処理方法。
【請求項１４】
前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、
前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１５】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像のシーンを取得する取得手段と、
前記撮像画像において注目する被写体を含む注目領域の数と、前記取得手段によって取得された前記シーンとに基づいて、前記撮像画像に対応する構図パターンを設定する設定手段と、
前記設定手段によって設定された前記構図パターンを基に、前記撮像画像から前記構図パターンで切出される画像の、前記撮像画像における最適な切出し領域を決定する決定手段と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、撮像装置、並びにプログラムに関し、特に、人物以外の被写体であっても、最適な構図の画像を切出すことができるようにする画像処理装置および方法、撮像装置、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置によって被写体を撮影するとき、好ましい構図となるように撮影を行うが、撮影時に構図を適切に定めることは熟練を要するため、撮影により取得された画像が必ずしも所望の構図を有するものとはならない。このような場合、所望の構図となるように、画像に対してトリミングを行う技術がある。【０００３】
例えば、人体や重要な背景を欠落させることなくトリミングすることが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−４２８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法においては、被写体に人物が含まれることを前提としており、人物以外の被写体を含む画像に対しては、最適なトリミングを行うことができないおそれがある。【０００６】
本発明は、このような状況に鑑みてなされたものであり、人物以外の被写体であっても、最適な構図の画像を切出すことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の第１の側面の画像処理装置は、入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定手段と、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定手段とを備える。【０００８】
前記画像処理装置には、前記入力画像から、前記決定手段によって決定された前記切出し領域を切出す切出し手段をさらに設けることができる。【０００９】
前記決定手段には、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定させ、前記入力画像上に、複数の前記切出し領域の候補を表示する表示手段と、前記表示手段によって表示された複数の前記切出し領域の候補のうちのいずれかを選択する選択手段とをさらに設け、前記切出し手段には、入力画像から、前記選択手段によって選択された前記切出し領域を切出させることができる。【００１０】
前記画像処理装置には、前記入力画像において注目する前記注目領域を抽出する抽出手段と、前記入力画像の前記シーンを判別する判別手段とをさらに設けることができる。【００１１】
前記決定手段には、前記入力画像において注目する前記注目領域を全て含む最小の矩形領域の中心位置が、前記入力画像における前記切出し領域の中心に近づくように、前記切出し領域を決定させることができる。【００１２】
前記決定手段には、前記切出し領域がより大きくなるように、かつ、前記入力画像において注目する前記注目領域を全て含む最小の前記矩形領域と、前記切出し領域との共通領域がより大きくなるように、前記切出し領域を決定させることができる。【００１３】
前記決定手段には、前記切出し領域が前記入力画像からはみ出さないように、前記切出し領域を決定させることができる。【００１４】
前記画像処理装置には、前記入力画像のアスペクト比と所定の閾値とを比較することで、前記入力画像がパノラマ画像であるか否かを判定する判定手段をさらに設け、前記決定手段には、前記判定手段によって前記入力画像がパノラマ画像であると判定された場合、前記設定手段によって設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域の、複数の候補を決定させることができる。【００１５】
前記画像処理装置には、前記決定手段によって決定された前記切出し領域を示す情報を、EXIF情報として前記入力画像に付加する付加手段をさらに設けることができる。  【００１６】
前記注目領域には、前記入力画像において注目する被写体が含まれ、前記画像処理装置には、前記被写体の向きを検出する検出手段をさらに設け、前記決定手段には、前記設定手段によって設定された前記構図パターンと、前記検出手段によって検出された前記被写体の向きとを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定させることができる。【００１７】
前記注目領域には、前記入力画像において注目する被写体が含まれ、前記画像処理装置には、前記被写体の動きの方向を決定する動き方向決定手段をさらに設け、前記決定手段には、前記設定手段によって設定された前記構図パターンと、前記動き方向決定手段によって決定された前記被写体の動きの方向とを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定させることができる。【００１８】
前記画像処理装置には、前記入力画像全体の動きを求める全体動き算出手段と、前記注目領域の動きを求める局所動き算出手段とをさらに設け、前記動き方向決定手段には、前記全体動き算出手段によって求められた前記入力画像全体の動きの向きと、前記局所動き算出手段によって求められた前記注目領域の動きの向きとに基づいて、前記被写体の動きの方向を決定させることができる。【００１９】
本発明の第１の側面の画像処理方法は、前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップと含む。【００２０】
本発明の第１の側面のプログラムは、前記入力画像において注目する注目領域の数と、前記入力画像のシーンとに基づいて、前記入力画像に対応する構図パターンを設定する設定ステップと、前記設定ステップにおいて設定された前記構図パターンを基に、前記入力画像から前記構図パターンで切出される画像の、前記入力画像における最適な切出し領域を決定する決定ステップとを含む処理をコンピュータに実行させる。【００２１】
本発明の第２の側面の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像のシーンを取得する取得手段と、前記撮像画像において注目する被写体を含む注目領域の数と、前記取得手段によって取得された前記シーンとに基づいて、前記撮像画像に対応する構図パターンを設定する設定手段と、前記設定手段によって設定された前記構図パターンを基に、前記撮像画像から前記構図パターンで切出される画像の、前記撮像画像における最適な切出し領域を決定する決定手段とを備える。【００２２】
本発明の第１の側面においては、入力画像において注目する注目領域の数と、入力画像のシーンとに基づいて、入力画像に対応する構図パターンが設定され、設定された構図パターンを基に、入力画像から構図パターンで切出される画像の、入力画像における最適な切出し領域が決定される。【００２３】
本発明の第２の側面においては、被写体が撮像され、撮像された撮像画像のシーンが取得され、撮像画像において注目する被写体を含む注目領域の数と、取得されたシーンとに基づいて、撮像画像に対応する構図パターンが設定され、設定された構図パターンを基に、撮像画像から構図パターンで切出される画像の、撮像画像における最適な切出し領域が決定される。
【発明の効果】
【００２４】
本発明の第１および第２の側面によれば、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】注目領域抽出部の機能構成例を示すブロック図である。
【図３】図１の画像処理装置の画像切出し処理について説明するフローチャートである。
【図４】注目領域の例を示す図である。
【図５】注目領域の数と、シーンとに基づいて設定される構図パターンについて説明する図である。
【図６】構図パターン設定部によって設定される構図パターンの例について説明する図である。
【図７】切出し領域決定処理について説明するフローチャートである。
【図８】エネルギー関数Ecの係数について説明する図である。
【図９】３分割構図における注目領域について説明する図である。
【図１０】９分割構図について説明する図である。
【図１１】エネルギー関数Esの作成について説明する図である。
【図１２】エネルギー関数Epの作成について説明する図である。
【図１３】最適切出し領域の例を示す図である。
【図１４】最適切出し領域の画像の例を示す図である。
【図１５】画像処理装置の他の構成例を示すブロック図である。
【図１６】図１５の画像処理装置の画像切出し処理について説明するフローチャートである。
【図１７】オブジェクトに応じた構図パターンの例について説明する図である。
【図１８】画像処理装置のさらに他の構成例を示す図である。
【図１９】図１８の画像処理装置の画像切出し処理について説明するフローチャートである。
【図２０】切出し領域候補決定処理について説明するフローチャートである。
【図２１】切出し領域候補の表示例を示す図である。
【図２２】確認画面の表示例を示す図である。
【図２３】画像処理装置のさらに他の構成例を示すブロック図である。
【図２４】図２３の画像処理装置の画像切出し処理について説明するフローチャートである。
【図２５】目的関数Eの係数について説明する図である。
【図２６】パノラマ画像における切出し領域候補の画像の切出しを説明する図である。
【図２７】画像処理装置のさらに他の構成例を示すブロック図である。
【図２８】画像処理装置のさらに他の構成例を示すブロック図である。
【図２９】図２８の画像処理装置の画像切出し処理について説明するフローチャートである。
【図３０】画像処理装置のさらに他の構成例を示すブロック図である。
【図３１】図３０の画像処理装置の画像切出し処理について説明するフローチャートである。
【図３２】本発明を適用した撮像装置の一実施の形態の機能構成例を示すブロック図である。
【図３３】図３２の撮像装置の画像切出し処理について説明するフローチャートである。
【図３４】画像処理装置のさらに他の構成例を示すブロック図である。
【図３５】図３４の画像処理装置の画像切出し処理について説明するフローチャートである。
【図３６】向き検出処理について説明するフローチャートである。
【図３７】図３４の画像処理装置の切出し領域決定処理について説明するフローチャートである。
【図３８】向き情報について説明する図である。
【図３９】３分割構図について説明する図である。
【図４０】向き情報について説明する図である。
【図４１】画像処理装置のさらに他の構成例を示すブロック図である。
【図４２】図４１の画像処理装置の画像切出し処理について説明するフローチャートである。
【図４３】動き方向決定処理について説明するフローチャートである。
【図４４】図４１の画像処理装置の切出し領域決定処理について説明するフローチャートである。
【図４５】動き方向情報について説明する図である。
【図４６】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．第７の実施の形態
８．第８の実施の形態
９．第９の実施の形態
１０．第１０の実施の形態
【００２７】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２８】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の注目領域とシーンとに応じた構図パターンを設定し、その構図パターンを基に、最適な切出し領域で切出した画像を、出力画像として出力する。
【００２９】
画像処理装置１１は、注目領域抽出部３１、シーン判別部３２、構図パターン設定部３３、構図解析部３４、および画像切出し部３５から構成される。
【００３０】
画像処理装置１１に入力された入力画像は、注目領域抽出部３１、シーン判別部３２、および画像切出し部３５に供給される。
【００３１】
注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３に供給する。注目領域は、入力画像における被写体（物体）を含む（囲む）矩形領域であり、入力画像中の被写体の数だけ設定され、抽出される。また、注目領域情報は、例えば、矩形領域の頂点の位置等とされる。
【００３２】
図２は、注目領域抽出部３１の機能構成例を示している。
【００３３】
注目領域抽出部３１は、注目度算出部５１、注目矩形領域決定部５２、および顔矩形領域決定部５３を備えている。
【００３４】
注目度算出部５１は、入力画像の各画素について特徴量を求め、その特徴量から画素毎の注目度を算出する。ここで、特徴量とは、画像のエッジ成分の大きさ、近傍画素との色相の差、画像の所定の領域における色分布、画像全体の平均色と各画素の色相の差などである。さらに、注目度算出部５１は、画素毎の注目度（特徴量）から、１枚の入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給する。注目度算出部５１によって生成される注目度マップは、いわば、１枚の入力画像において注目すべき被写体が含まれる領域を表す情報である。
【００３５】
また、注目度算出部５１は、入力画像の各画素について求めた特徴量から、顔度（顔らしさ度）を算出し、１枚の入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。注目度算出部５１によって生成される顔度マップは、いわば、１枚の入力画像において注目すべき顔が含まれる領域を表す情報である。
【００３６】
注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン設定部３３に供給する。より具体的には、注目矩形領域決定部５２は、注目度マップにおいて、所定の閾値より高い注目度の画素（位置）を矩形の中心とし、その周辺で、他の閾値より低い注目度の画素（位置）を矩形の端点（頂点）とすることで、注目矩形領域を決定する。
【００３７】
また、複数の注目矩形領域が決定された場合、矩形の中心同士が所定の距離より小さいときには、それらを併せて含む最小の矩形領域を、注目矩形領域とする。
【００３８】
顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン設定部３３に供給する。より具体的には、顔矩形領域決定部５３は、顔度マップにおいて、顔の鼻の画素（位置）を矩形の中心とし、その周辺で、顔度が急激に変化する（下がる）画素（位置）を矩形の端点（頂点）とすることで、顔矩形領域を決定する。
【００３９】
なお、注目矩形領域決定部５２によって得られる注目矩形領域情報と、顔矩形領域決定部５３によって得られる顔矩形領域情報とを併せて注目領域情報という。
【００４０】
図１に戻り、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を構図パターン設定部３３に供給する。より具体的には、シーン判別部３２は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判別を行う。
【００４１】
SVMにおいては、２クラス判別（１対１の判別）が行われ、例えば、「海岸」のクラスとそれ以外のクラス、「田園風景」のクラスとそれ以外のクラス、「空」のクラスとそれ以外のクラス、「山」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判別結果とされる。
【００４２】
なお、シーン判別部３２は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
【００４３】
構図パターン設定部３３は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。構図パターンは、注目領域（被写体）の数と、シーンとに対応して予め決められている。構図パターンの詳細については、図５を参照して後述することとする。
【００４４】
構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を画像切出し部３５に供給する。
【００４５】
構図解析部３４は、構図モデル作成部３４ａ、安全モデル作成部３４ｂ、ペナルティモデル作成部３４ｃ、目的関数作成部３４ｄ、および最適化部３４ｅを備えている。
【００４６】
構図モデル作成部３４ａは、構図パターン設定部３３からの構図パターンに基づいた切出し領域を表す構図モデルを作成する。構図モデルは、所定のエネルギー関数Ecで表される。
【００４７】
安全モデル作成部３４ｂは、切出し領域が小さくなりすぎるのを防ぐための安全モデルを作成する。安全モデルは、所定のエネルギー関数Esで表される。
【００４８】
ペナルティモデル作成部３４ｃは、切出し領域の入力画像からはみ出した領域の面積を評価するペナルティモデルを作成する。ペナルティモデルは、所定のエネルギー関数Epで表される。
【００４９】
目的関数作成部３４ｄは、構図モデルを表すエネルギー関数Ec、安全モデルを表すエネルギー関数Es、ペナルティモデルを表すエネルギー関数Epから、目的関数Eを作成する。
【００５０】
最適化部３４ｅは、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
【００５１】
エネルギー関数Ec，Es，Ep、および目的関数Eの詳細については、後述することとする。
【００５２】
画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、入力された入力画像から最適切出し領域の画像を切出し、出力する。
【００５３】
［画像処理装置の画像切出し処理］
次に、図３のフローチャートを参照して、図１の画像処理装置１１の画像切出し処理について説明する。
【００５４】
ステップＳ１１において、注目領域抽出部３１は、入力画像に対応する注目度マップおよび顔度マップを生成する。より詳細には、注目度算出部５１は、入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給するとともに、入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。
【００５５】
ステップＳ１２において、注目領域抽出部３１は、注目度マップおよび顔度マップに基づいて、入力画像において注目する注目領域を抽出し、決定する。より詳細には、注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン設定部３３に供給する。また、顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン設定部３３に供給する。
【００５６】
なお、ステップＳ１２においては、注目領域として、注目矩形領域と顔矩形領域とを決定するようにしたが、顔矩形領域を、注目矩形領域としてまとめて処理するようにしてもよい。
【００５７】
このようにして決定される注目領域の例を図４に示す。
【００５８】
図４において、入力画像Ｐは、１羽の鳥（鶴）が空を飛んでいる画像である。図４に示されるように、ステップＳ１２の処理によれば、１羽の鳥に注目し、その鳥を含むように、１つの注目領域Ｌが決定される。
【００５９】
図３のフローチャートに戻り、ステップＳ１３において、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を構図パターン設定部３３に供給する。
【００６０】
ステップＳ１４において、構図パターン設定部３３は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。
【００６１】
ここで、図５を参照して、注目領域（被写体）の数と、シーンとに基づいて設定される構図パターンについて説明する。
【００６２】
図５においては、注目領域（被写体）の数と、シーンである「海岸」、「田園風景」、「空」、「山」、「高速道路」、「街路」、「街中」、「高層ビル」それぞれに対応して、種々の構図パターンが決められている。
【００６３】
図５によれば、例えば、シーンが「海岸」である入力画像において、注目領域の数が０であるとき（すなわち、海岸の風景のみのとき）には、構図パターンとして水平線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と水平線構図とが設定される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と水平線構図が設定され、注目領域の数が６以上であるときには、構図パターンとして対比構図と水平線構図とが設定される。
【００６４】
また、シーンが「田園風景」である入力画像において、注目領域の数が０であるとき（すなわち、田園風景のみのとき）には、構図パターンとして放射線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と放射線構図とが設定される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と放射線構図が設定され、注目領域の数が６以上であるときには、構図パターンとして放射線構図とパターン構図とが設定される。
【００６５】
同様にして、シーンが「空」である入力画像、「山」である入力画像、「高速道路」である入力画像、・・・における注目領域の数に応じて、構図パターンが設定される。
【００６６】
なお、構図パターンが２つ設定されている場合、それぞれの構図を満たすような構図パターンが設定される。
【００６７】
また、図５で説明した、注目領域の数とシーンとに対応付けられた構図パターンは、予め設定されていてもよいし、ユーザによって適宜設定されるようにしてもよい。
【００６８】
ここで、図６を参照して、構図パターン設定部３３によって設定される構図パターンの例について説明する。
【００６９】
図６の構図Ａは、３分割構図を示しており、垂直線と水平線の交点に被写体を配置することで、バランスのとれた画像となる。
【００７０】
図６の構図Ｂは、対比構図を示しており、同じような被写体や似たような被写体を並べる構図である。構図Ｂにおいて、メインとなる被写体を大きく、他の被写体を小さくなるように配置することで、メインとなる被写体が引き立つ。
【００７１】
図６の構図Ｃは、斜線構図を示しており、リズム感を出したいときに用いられる。また、構図Ｃは、狭い面積を効率的に活用することができる構図である。
【００７２】
図６の構図Ｄは、放射線構図を示しており、開放感や広がりを出したいときに用いられる。被写体の例として、木の枝や、雲間からの太陽光などがある。
【００７３】
図６の構図Ｅは、水平線構図であり、左右の広がりを持たせたいときに用いられる。水平線の位置を垂直方向にずらすことで主題を変えることができる。
【００７４】
図６の構図Ｆは、垂直線構図であり、画像の垂直方向を強調したいときに用いられる。被写体の例として、木の幹や、道路などがある。
【００７５】
図６の構図Ｇは、遠近法構図であり、消失点（図中では、対角線の交点）からの広がりを出したいときに用いられる。
【００７６】
図６の構図Ｈは、パターン構図であり、同じような被写体が複数、規則的に配置され、リズム感や統一感を出したいときに用いられる。
【００７７】
すなわち、構図パターン設定部３３は、注目領域情報の数と、シーン情報とに基づいて、図６で示される構図パターンのうちの、図５において注目領域の数とシーンとによって対応付けられている構図パターンを設定する。なお、構図パターンは、図６で示される８種類に限られるものではなく、さらに多くの種類のパターンがあってもよい。
【００７８】
例えば、図４で示された入力画像Ｐについては、注目領域の数は１であり、シーンは「空」であるので、構図パターン設定部３３は、図５において対応付けられている３分割構図（構図Ａ）を設定する。
【００７９】
なお、以降においては、ステップＳ１４において、入力画像Ｐの構図パターンとして、３分割構図が設定されたものとして説明する。
【００８０】
図３のフローチャートに戻り、ステップＳ１５において、構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
【００８１】
［構図解析部の切出し領域決定処理］
ここで、図７のフローチャートを参照して、図３のフローチャートのステップＳ１５における切出し領域決定処理について説明する。
【００８２】
ステップＳ３１において、構図解析部３４の構図モデル作成部３４ａは、構図パターン設定部３３からの構図パターンに基づいた切出し領域を表す構図モデルを作成する。言い換えると、構図モデル作成部３４ａは、構図モデルについてのエネルギー関数Ecを求める。エネルギー関数Ecは、以下の式（１）で与えられる。
【００８３】
【数１】
2010027080.tif 000003
【００８４】
式（１）において、SVAは、注目領域の面積を表しており、GDLhn，GDLvn，GDPnは、以下の式（２）で与えられる。
【００８５】
【数２】
2010027080.tif 000004
【００８６】
式（２）において、LDh，LDv，PDは、それぞれ、３分割構図において水平方向を３分割する線（水平３分割線）、垂直方向を３分割する線（垂直３分割線）、水平３分割線と垂直３分割線との交点（３分割線交点）を示しており、Pnは注目領域の中心位置を示している。また、ｄは、切出し領域の対角線の長さであり、以下の式（３）で与えられる。
【００８７】
【数３】
2010027080.tif 000005
【００８８】
したがって、式（１）におけるGDLhn，GDLvn，GDPnのそれぞれは、注目領域の中心位置が、水平３分割線、垂直３分割線、３分割線交点のそれぞれに近づくほど大きい値となる。
【００８９】
また、式（１）における係数αhn，αvn，αpnは、注目領域の幅、高さをそれぞれCrop_width，Crop_heightとしたとき、以下の式（４）で与えられる注目領域のアスペクト比VA_aspect_rationに応じて、それぞれ、図８の上段図乃至下段図で示されるように変化するパラメータである。図８上段図乃至下段図において、横軸はアスペクト比VA_aspect_rationを、縦軸はそれぞれの係数αhn，αvn，αpnの値を示している。
【００９０】
【数４】
2010027080.tif 000006
【００９１】
図８の上段図によれば、アスペクト比VA_aspect_rationが０乃至r_minのとき、係数αhnは1.0となり、アスペクト比VA_aspect_rationがr_mid1より大きいとき、係数αhnは0.0となる。また、アスペクト比VA_aspect_rationがr_min乃至r_mid1のときは、アスペクト比VA_aspect_rationの増加に応じて、係数αhnは減少する。すなわち、式（１）においては、注目領域が縦長であるときに、係数αhnが有効となる。
【００９２】
図８の中段図によれば、アスペクト比VA_aspect_rationが０乃至r_mid2のとき、係数αvnは0.0となり、アスペクト比VA_aspect_rationがr_maxより大きいとき、係数αvnは1.0となる。また、アスペクト比VA_aspect_rationがr_mid2乃至r_maxのときは、アスペクト比VA_aspect_rationの増加に応じて、係数αvnは増加する。すなわち、式（１）においては、注目領域が横長であるときに、係数αvnが有効となる。
【００９３】
図８下段図によれば、アスペクト比VA_aspect_rationが０乃至r_min、または、r_maxより大きいとき、係数αpnは0.0となり、アスペクト比VA_aspect_rationがr_mid1乃至r_mid2のとき、係数αpnは1.0となる。また、アスペクト比VA_aspect_rationがr_min乃至r_mid1のときは、アスペクト比VA_aspect_rationの増加に応じて、係数αpnは増加し、アスペクト比VA_aspect_rationがr_mid2乃至r_maxのときは、アスペクト比VA_aspect_rationの増加に応じて、係数αpnは減少する。すなわち、式（１）においては、注目領域が正方形に近い形であるときに、係数αpnが有効となる。
【００９４】
以上のことより、式（１）は、注目領域が、縦長であるならば水平３分割線に、横長であるならば垂直３分割線に、正方形に近い形であるならば３分割線交点に近づくほど、エネルギー関数Ecの値が大きくなることを示している。
【００９５】
例えば、図９の例においては、注目領域Rhは、縦長で水平３分割線に近く、注目領域Rvは、横長で垂直３分割線に近く、注目領域Rpは、正方形に近い形で３分割線交点に近いので、エネルギー関数Ecの値は大きくなる。
【００９６】
以上においては、構図パターンとして３分割構図を用いた場合について説明してきたが、例えば、図１０に示されるように、３分割構図における１つの分割領域をさらに３分割した構図（９分割構図）を用いるようにしてもよい。９分割構図によれば、３分割構図と比較して、奥行きのある構図となることが期待される。
【００９７】
９分割構図についてのエネルギー関数Ecは、以下の式（５）で与えられる。
【００９８】
【数５】
2010027080.tif 000007
【００９９】
式（５）において、GdLhn，GdLvn，GdPnは、以下の式（６）で与えられる。
【０１００】
【数６】
2010027080.tif 000008
【０１０１】
式（６）において、Ldh，Ldv，Pdは、それぞれ、９分割構図において水平方向を９分割する線（水平９分割線）、垂直方向を９分割する線（垂直９分割線）、水平９分割線と垂直９分割線との交点（９分割線交点）を示している。ただし、図１０に示されるように、３分割構図における中央の分割領域内の、水平９分割線h1a,h1bと垂直９分割線v1a,v1bとの交点は含まれないものとする。
【０１０２】
また、式（５）において、係数α3rdは、０乃至１の値をとり、式（５）における、３分割構図についてのエネルギー関数の値と、９分割構図についてのエネルギー関数の値との割合を決めるパラメータである。例えば、適用する構図パターンを９分割構図のみとする場合は、α3rd＝０とすればよい。
【０１０３】
図７のフローチャートに戻り、ステップＳ３２において、安全モデル作成部３４ｂは、切出し領域が小さくなりすぎるのを防ぐための安全モデルを作成する。言い換えると、安全モデル作成部３４ｂは、安全モデルについてのエネルギー関数Esを求める。エネルギー関数Esは、以下の式（７）で与えられる。
【０１０４】
【数７】
2010027080.tif 000009
【０１０５】
ここで、図１１に示されるように、入力画像中の全注目領域を含む最小矩形を全注目矩形領域とし、その面積をSWVA、中心位置をPWVAとし、また、切出し領域の面積をSCrop、中心位置をPCropとする。さらに、全注目矩形領域と切出し領域との共通領域の面積をSWVA&Cropとする。
【０１０６】
このとき、式（７）のエネルギー関数Esは、全注目矩形領域と切出し領域との共通領域の面積SWVA&Cropが大きいほど大きい値となる（式（７）の第１項）。
【０１０７】
また、式（７）のエネルギー関数Esは、切出し領域の中心位置PCropと、全注目矩形領域の中心位置をPWVAとの距離が近いほど大きい値となる（式（７）の第２項）。
【０１０８】
ステップＳ３３において、ペナルティモデル作成部３４ｃは、切出し領域の入力画像からはみ出した領域の面積を評価するペナルティモデルを作成する。言い換えると、ペナルティモデル作成部３４ｃは、ペナルティモデルについてのエネルギー関数Epを求める。エネルギー関数Epは、以下の式（８）で与えられる。
【０１０９】
【数８】
2010027080.tif 000010
【０１１０】
ここで、図１２に示されるように、切出し領域の面積をSCropとし、入力画像領域からはみ出した切出し領域の面積をSOverとする。
【０１１１】
このとき、式（８）のエネルギー関数Epは、入力画像領域からはみ出した切出し領域の面積SOverが大きいほど大きい値となる。なお、演算量を削減するために、切出し領域が入力画像領域からはみ出したときは常に、エネルギー関数Ep＝１としてもよい。
【０１１２】
ステップＳ３４において、目的関数作成部３４ｄは、エネルギー関数Ec，Es，Epから、以下の式（９）で与えられる目的関数Eを作成する。
【０１１３】
【数９】
2010027080.tif 000011
【０１１４】
式（９）において、係数CC，CS，CPは、それぞれ、エネルギー関数Ec，Es，Epについての調整係数である。式（９）によれば、目的関数Eは、その値が小さいほど、得られる切出し領域が最適な切出し領域に近づくことを示している。
【０１１５】
ステップＳ３５において、最適化部３４ｅは、目的関数Eを最小とする切出し領域の位置情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。より具体的には、最適化部３４ｅは、例えば、粒子群最適化（Particle Swarm Optimization：PSO）を用いて、目的関数Eを最適化する。
【０１１６】
粒子群最適化においては、複数の変数がランダムに変化する中で、そのうちの１つの変数が、目的となる最適な値に近づくと、これに伴い他の変数もより最適な値に近づき、これが繰り返されて、複数の変数は、それぞれ最適な値となる。
【０１１７】
すなわち、最適化部３４ｅは、切出し領域の切出しのスタート位置（水平方向、垂直方向）と、切出し領域の大きさ（幅、高さ）とを変数として、粒子群最適化により、目的関数Eが最小となる位置情報（切出し領域のスタート位置および大きさ）を求める。最適化部３４ｅは、求めた位置情報を基に、最適切出し領域を決定し、処理はステップＳ１５に戻る。
【０１１８】
なお、切出し領域のアスペクト比を固定とした場合、最適化部３４ｅは、切出し領域の切出しのスタート位置（水平方向、垂直方向）と、切出し領域の大きさ（幅）とを変数としてもよい。さらに、変数として、切出し領域の回転角度を加えてもよい。
【０１１９】
このようにして決定された最適切出し領域の例を図１３に示す。
【０１２０】
図１３に示されるように、入力画像Ｐにおいて、１羽の鳥が、３分割構図の３分割線交点の位置に配置するように、最適切出し領域Ｐcが決定されている。
【０１２１】
図３のフローチャートに戻り、ステップＳ１６において、画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、入力された入力画像から最適切出し領域の画像を切出し、出力する。例えば、画像切出し部３５は、構図解析部３４からの最適切出し領域Ｐcに基づいて、図１４に示されるような、３分割構図の最適切出し領域Ｐcの画像を切出す。
【０１２２】
以上の処理によれば、入力画像における注目領域の数と、入力画像のシーンと対応付けられた構図パターンを基に、切出し領域を決定することができる。注目領域は、被写体が人物以外であっても決定されるので、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。また、構図パターンは、注目領域の数とシーンに基づいて設定されるので、入力画像のカテゴリに関わらず、最適な構図の画像を切出すことが可能となる。
【０１２３】
以上においては、構図パターンが、注目領域の数とシーンとに対応付けて予め決められている構成について説明してきたが、入力画像に対してオブジェクト認識をし、そのオブジェクトに応じた構図パターンを設定するようにしてもよい。
【０１２４】
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１５は、入力画像に対してオブジェクト認識をし、そのオブジェクトに応じた構図パターンを設定するようにした画像処理装置の構成例を示している。なお、図１５の画像処理装置１１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２５】
すなわち、図１５の画像処理装置１１１において、図１の画像処理装置１１と異なるのは、構図パターン設定部３３に代えて、構図パターン設定部１３１を設けた点である。
【０１２６】
なお、図１５において、シーン判別部３２は、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、入力画像とともに、構図パターン設定部１３１に供給する。
【０１２７】
構図パターン設定部１３１は、シーン判別部３２からの入力画像において、オブジェクトを認識する。また、構図パターン設定部１３１は、シーン判別部３２からのシーン情報で表されるシーンと、認識したオブジェクトとに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。構図パターン設定部１３１は、シーン毎に、構図内のオブジェクトの配置や割合が予め決められた構図パターンを記憶しており、シーンとオブジェクトとに応じた構図パターンを、記憶している構図パターンから選択することで、構図パターンを設定する。構図内のオブジェクトの配置や割合は、構図のバランスが良くなるように設定することができる。なお、シーン毎に構図内のオブジェクトの配置や割合が予め決められた構図パターンは、図示せぬデータベース等に記憶するようにしてもよい。
【０１２８】
［画像処理装置の画像切出し処理］
次に、図１６のフローチャートを参照して、図１５の画像処理装置１１１の画像切出し処理について説明する。なお、図１６のフローチャートにおけるステップＳ１１１乃至Ｓ１１３，Ｓ１１５，Ｓ１１６の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ１６の処理と同様であるので、その説明は省略するものとする。
【０１２９】
すなわち、ステップＳ１１４において、構図パターン設定部１３１は、シーン判別部３２からの入力画像において、オブジェクトを認識する。また、構図パターン設定部１３１は、シーン判別部３２からのシーン情報で表されるシーンと、認識したオブジェクトとに基づいて、入力画像に対応する構図パターンを設定し、構図解析部３４に供給する。
【０１３０】
ここで、図１７を参照して、オブジェクトに応じた構図パターンの例について説明する。
【０１３１】
図１７に示される入力画像には、空、岩、草、および人が、オブジェクトとして存在している。構図パターン設定部１３１は、図１７に示される入力画像において、これらのオブジェクトを認識すると、記憶している構図パターンの中から、構図内の空、岩、草、および人の割合がそれぞれ30％，20％，40％，10％となる構図パターンを選択する。この結果、最終的に、図１７において入力画像上の枠で示された構図の画像が切出されるようになる。
【０１３２】
以上の処理によれば、入力画像におけるオブジェクトを認識し、そのオブジェクトとシーンとに応じた構図パターンを設定することができる。構図パターンによって決まる構図内のオブジェクトの配置や割合は、構図のバランスが良くなるように設定されるので、最適な構図の画像を切出すことが可能となる。
【０１３３】
以上においては、入力画像における切出し領域をただ１つ決定する構成について説明してきたが、入力画像における切出し領域の候補を複数決定するようにしてもよい。
【０１３４】
＜３．第３の実施の形態＞
［画像処理装置の構成例］
図１８は、入力画像における切出し領域の候補を複数決定するようにした画像処理装置の構成例を示している。なお、図１８の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１３５】
すなわち、図１８の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、構図解析部３４に代えて、構図解析部２３１を設け、表示部２３２および操作入力部２３３を新たに設けた点である。
【０１３６】
構図解析部２３１は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域の、複数の候補（切出し領域候補）を決定し、表示部２３２に供給する。また、構図解析部２３１は、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号に基づいて、選択された切出し領域を画像切出し部３５に供給する。
【０１３７】
構図解析部２３１は、構図モデル作成部２３１ａ、安全モデル作成部２３１ｂ、ペナルティモデル作成部２３１ｃ、目的関数作成部２３１ｄ、および最適化部２３１ｅを備えている。なお、構図モデル作成部２３１ａ乃至目的関数作成部２３１ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
【０１３８】
最適化部２３１ｅは、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、表示部２３２に供給する。
【０１３９】
表示部２３２は、タッチパネルとしての操作入力部２３３が積層されたモニタとして構成され、入力画像上に、構図解析部２３１からの切出し領域候補を示す枠を表示したり、ユーザに操作を指示するための操作画像を表示する。
【０１４０】
操作入力部２３３は、表示部２３２の表示面に積層されたタッチパネルとして構成され、ユーザの操作に応じた操作信号を、構図解析部２３１に供給する。
【０１４１】
［画像処理装置の画像切出し処理］
次に、図１９のフローチャートを参照して、図１８の画像処理装置２１１の画像切出し処理について説明する。なお、図１６のフローチャートにおけるステップＳ２１１乃至Ｓ１１４の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略するものとする。
【０１４２】
すなわち、ステップＳ２１５において、構図解析部２３１は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域の、複数の候補を決定する、切出し領域候補決定処理を行う。
【０１４３】
［構図解析部の切出し領域候補決定処理］
ここで、図２０のフローチャートを参照して、図１９のフローチャートのステップＳ２１５における切出し領域候補決定処理について説明する。なお、図２０のフローチャートにおけるステップＳ２３１乃至Ｓ２３４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
【０１４４】
すなわち、ステップＳ２３５において、最適化部２３１ｅは、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、表示部２３２に供給する。
【０１４５】
より具体的には、例えば、最適化部２３１ｅは、粒子群最適化（PSO）を用いて目的関数Eの最適化を行った際に、ローカルミニマムの値とそのときの位置情報とを保持しておき、目的関数Eの値が小さい順に上位から、位置情報が大きく異なるものをｎセット、表示部２３２に供給し、処理はステップＳ１５に戻る。
【０１４６】
このようにして、構図解析部２３１は、切出し領域候補を決定することができる。
【０１４７】
図１９のフローチャートに戻り、ステップＳ２１６において、表示部２３２は、入力画像上に、構図解析部２３１からの切出し領域候補を示す枠を、例えば、図２１に示されるように表示する。
【０１４８】
図２１に示される表示部２３２には、２つの切出し領域候補を示す枠と、それぞれを識別する「候補１」、「候補２」の名称が表示されている。ユーザは、表示部２３２に積層されているタッチパネルとしての操作入力部２３３により、「候補１」、「候補２」で示される切出し領域候補を選択することができる。
【０１４９】
ステップＳ２１７において、構図解析部２３１は、切出し領域候補のうちのいずれかが選択されたか否かを判定する。すなわち、構図解析部２３１は、操作入力部２３３から、切出し領域候補のうちのいずれかが選択された旨の操作信号が供給されたか否かを判定する。
【０１５０】
このとき、ユーザによって、図２１に示される「候補１」、「候補２」で示される切出し領域候補のうちのいずれかを選択されると、図２２に示されるような、「この画角でよいですか？」「はい」「いいえ」の文言からなる確認画面が表示される。図２２の表示部２３２において、タッチパネルとしての操作入力部２３３に対するユーザの操作によって、「はい」が選択されると、切出し領域候補のうちのいずれかが選択された旨の操作信号が、構図解析部２３１に供給される。
【０１５１】
ステップＳ２１７において、切出し領域候補のうちのいずれも選択されていないと判定された場合、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号が供給されるまで、処理が繰り返される。
【０１５２】
一方、ステップＳ２１７において、切出し領域候補のうちのいずれかが選択されたと判定された場合、構図解析部２３１は、操作入力部２３３からの、切出し領域候補のうちのいずれかが選択された旨の操作信号に基づいて、選択された切出し領域を画像切出し部３５に供給する。
【０１５３】
ステップＳ２１８において、画像切出し部３５は、構図解析部２３１からの切出し領域に基づいて、入力された入力画像から、選択された切出し領域の画像を切出し、出力する。
【０１５４】
以上の処理によれば、最適切出し領域の候補を複数表示し、選択されるようにできるので、ユーザは、切出し領域の候補を確認して、選択することができる。したがって、ユーザの好みにあった、最適な構図の画像を切出すことが可能となる。
【０１５５】
以上においては、入力画像のサイズについて言及してこなかったが、入力画像としてパノラマ画像を入力するようにしてもよい。
【０１５６】
＜４．第４の実施の形態＞
［画像処理装置の構成例］
図２３は、入力画像としてパノラマ画像を入力するようにした画像処理装置の構成例を示している。なお、図２３の画像処理装置３１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１５７】
すなわち、図２３の画像処理装置３１１において、図１の画像処理装置１１と異なるのは、パノラマ判別部３３１を新たに設けた、構図解析部３４に代えて、構図解析部３３２を設けた点である。
【０１５８】
パノラマ判別部３３１は、入力画像が、パノラマ画像であるか否かを判別し、判別結果を構図解析部３３２に供給する。
【０１５９】
構図解析部３３２は、パノラマ判別部３３１からの判別結果に応じて、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における切出し領域を決定し、その切出し領域を画像切出し部３５に供給する。
【０１６０】
構図解析部３３２は、構図モデル作成部３３２ａ、安全モデル作成部３３２ｂ、ペナルティモデル作成部３３２ｃ、目的関数作成部３３２ｄ、および最適化部３３２ｅを備えている。なお、構図モデル作成部３３２ａ、安全モデル作成部３３２ｂ、およびペナルティモデル作成部３３２ｃは、それぞれ、図１の構図モデル作成部３４ａ、安全モデル作成部３４ｂ、およびペナルティモデル作成部３４ｃと同様の機能を備えるので、その説明は省略する。
【０１６１】
目的関数作成部３３２ｄは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像であることを示している場合、目的関数Eにおいて、エネルギー関数Esの項を無効にする。
【０１６２】
最適化部３３２ｅは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像でないことを示している場合、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。また、最適化部２３１ｅは、パノラマ判別部３３１からの判別結果が、入力画像がパノラマ画像であることを示している場合、目的関数Eの小さいほうから上位ｎ個が得られる切出し領域を決定し、切出し領域候補として、画像切出し部３５に供給する。
【０１６３】
［画像処理装置の画像切出し処理］
次に、図２４のフローチャートを参照して、図２３の画像処理装置３１１の画像切出し処理について説明する。なお、図２４のフローチャートにおけるステップＳ３１１乃至Ｓ３１４の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略するものとする。また、図２４のフローチャートにおけるステップＳ３１８，Ｓ３１９の処理は、図３のフローチャートを参照して説明したステップＳ１５，Ｓ１６の処理と同様であるので、その説明は省略するものとする。
【０１６４】
すなわち、ステップＳ３１５において、パノラマ判別部３３１は、入力画像が、パノラマ画像であるか否かを判別する。より具体的には、パノラマ判別部３３１は、入力画像の幅、高さをそれぞれIn_width，In_heightとしたとき、以下の式（１０）で表されるアスペクト比In_aspect_ratioと、所定の閾値In_aspect_ratio_thとを比較する。
【０１６５】
【数１０】
2010027080.tif 000012
【０１６６】
ステップＳ３１５において、入力画像が、パノラマ画像であると判別された場合、パノラマ判別部３３１は、入力画像がパノラマ画像である旨の情報とともに、アスペクト比In_aspect_ratioを構図解析部３３２に供給し、処理は、ステップＳ３１６に進む。
【０１６７】
ステップＳ３１６において、構図解析部３３２は、パノラマ判別部３３１からの入力画像がパノラマ画像である旨の情報、および、アスペクト比In_aspect_ratioに基づいて、切出し領域候補決定処理を行う。
【０１６８】
なお、図２３の画像処理装置３１１による切出し領域候補決定処理については、図２０のフローチャートを参照して説明した、図１８の画像処理装置２１１の処理と略同様であるので、その説明は省略する。
【０１６９】
ただし、画像処理装置３１１による切出し領域候補決定処理に対応する図２０のフローチャートの処理のステップＳ２３４においては、目的関数作成部３３２ｄは、目的関数Eにおいて、エネルギー関数Esの項を無効にする。より具体的には、目的関数作成部３３２ｄは、式（９）で示された目的関数Eにおける係数CSの値を、図２５に示す特性にしたがって切り替える。
【０１７０】
図２５は、入力画像のアスペクト比In_aspect_ratioと、目的関数Eにおける係数CSとの関係を示している。
【０１７１】
図２５によれば、アスペクト比In_aspect_ratioが、所定の閾値In_aspect_ratio_thより大きいとき、目的関数Eにおける係数CSの値は0.0となり、所定の閾値In_aspect_ratio_thより小さいとき、目的関数Eにおける係数CSの値は1.0となり。すなわち、入力画像がパノラマ画像であるとき、目的関数Eにおいて、切出し領域が小さくなりすぎるのを防ぐための安全モデルについてのエネルギー関数は０とされる。
【０１７２】
これにより、切出し領域候補は、比較的小さな切出し領域として、画像切出し部３５に供給される。
【０１７３】
図２４のフローチャートに戻り、ステップＳ３１７において、画像切出し部３５は、構図解析部３３２からの切出し領域候補に基づいて、図２６に示されるように、入力された入力画像（パノラマ画像）から、切出し領域候補の画像を切出し、出力する。
【０１７４】
図２６は、パノラマ画像における切出し領域候補の例を示している。図２６においては、入力画像としてのパノラマ画像上に、候補１乃至３の、３つの切出し領域候補を示す枠が設定されている。
【０１７５】
図２４のフローチャートに戻り、ステップＳ３１５において、入力画像が、パノラマ画像でないと判別された場合、パノラマ判別部３３１は、入力画像がパノラマ画像でない旨の情報を構図解析部３３２に供給する。そして、処理は、ステップＳ３１８に進み、最適切出し領域が決定され、ステップＳ３１９において、入力画像から最適切出し領域の画像が切出される。
【０１７６】
以上の処理によれば、入力画像がパノラマ画像である場合、複数の、小さな切出し領域候補を決定することができる。したがって、ユーザは、パノラマ画像から切出された、複数の構図の中から、ユーザの好みにあった、最適な構図の画像を選択することが可能となる。
【０１７７】
以上においては、出力画像として、切出し領域画像のみを出力する構成について説明してきたが、切出し領域画像とともに、入力画像をそのまま出力するようにしてもよい。
【０１７８】
＜５．第５の実施の形態＞
［画像処理装置の構成例］
図２７は、切出し領域画像とともに、入力画像をそのまま出力するようにした画像処理装置の構成例を示している。なお、図２７の画像処理装置４１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１７９】
すなわち、図２７の画像処理装置４１１において、図１の画像処理装置１１と異なるのは、切出し領域画像とともに、入力画像をそのまま出力する点である。
【０１８０】
以上の構成によれば、切出し領域画像とともに、入力画像をそのまま出力できるので、これらを表示装置に出力した場合には、ユーザは、入力画像と切出し領域画像とを比較することが可能となる。例えば、入力画像が、ユーザが撮像装置によって撮像された画像であった場合、ユーザは、自分が撮影した画像の構図と、切出された画像の構図との違いを確認することができる。
【０１８１】
なお、図２７の画像処理装置４１１による切出し領域候補決定処理については、図３のフローチャートを参照して説明した、図１の画像処理装置１１の処理と同様であるので、その説明は省略する。
【０１８２】
以上においては、決定した切出し領域に基づいて、入力画像から切出し領域の画像を切出して出力する構成について説明したが、切出し領域を表す情報のみを出力するようにしてもよい。
【０１８３】
＜６．第６の実施の形態＞
［画像処理装置の構成例］
図２８は、切出し領域画像とともに、切出し領域を表す情報のみを出力するようにした画像処理装置の構成例を示している。なお、図２８の画像処理装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１８４】
すなわち、図２８の画像処理装置５１１において、図１の画像処理装置１１と異なるのは、画像切出し部３５を削除し、入力画像をそのまま出力する点である。
【０１８５】
なお、図２８の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を表す情報を、外部の装置等に出力する。
【０１８６】
［画像処理装置の画像切出し処理］
次に、図２９のフローチャートを参照して、図２８の画像処理装置５１１の画像切出し処理について説明する。なお、図２９のフローチャートにおけるステップＳ５１１乃至Ｓ５１５の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
【０１８７】
すなわち、ステップＳ５１６において、画像処理装置５１１は、入力画像をそのまま出力するとともに、構図解析部３４は、決定した入力画像における最適切出し領域を表す情報を、外部の装置等に出力する。
【０１８８】
以上の処理によれば、入力画像とともに、切出し領域の画像ではなく、最適切出し領域を表す情報を出力できるので、画像処理装置５１１内の図示せぬフレームメモリの容量を削減することができる。
【０１８９】
以上においては、入力画像と、最適切出し領域を表す情報とを別個に出力する構成について説明してきたが、入力画像と、最適切出し領域を表す情報とを１つのデータとして出力するようにしてもよい。
【０１９０】
＜７．第７の実施の形態＞
［画像処理装置の構成例］
図３０は、入力画像と、最適切出し領域を表す情報とを１つのデータとして出力するようにした画像処理装置の構成例を示している。なお、図３０の画像処理装置６１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１９１】
すなわち、図３０の画像処理装置６１１において、図１の画像処理装置１１と異なるのは、画像切出し部３５に代えて、付加部６３１を設けた点である。
【０１９２】
なお、図３０の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を表す情報を、付加部６３１に供給する。
【０１９３】
付加部６３１は、入力された入力画像に、構図解析部３４からの最適切出し領域を表す情報を、EXIF情報として付加し、出力画像として出力する。
【０１９４】
［画像処理装置の画像切出し処理］
次に、図３１のフローチャートを参照して、図３０の画像処理装置６１１の画像切出し処理について説明する。なお、図３１のフローチャートにおけるステップＳ６１１乃至Ｓ６１５の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
【０１９５】
すなわち、ステップＳ６１６において、付加部６３１は、入力された入力画像に、構図解析部３４からの最適切出し領域を表す情報を、EXIF情報として付加し、出力画像として出力する。
【０１９６】
以上の処理によれば、入力画像に、最適切出し領域を表す情報をEXIF情報として付加して出力できるので、切出し領域の画像を生成することなく、画像処理装置６１１内の図示せぬフレームメモリの容量を削減することができる。
【０１９７】
以上においては、撮像装置等で撮像された画像を入力画像として、切出し領域の画像を出力する画像処理装置について説明してきたが、撮像した撮像画像について、切出し領域を決定する構成を撮像装置に設けるようにしてもよい。
【０１９８】
＜８．第８の実施の形態＞
［撮像装置の構成例］
図３２は、撮像した撮像画像について、切出し領域を決定するようにした撮像装置の構成例を示している。なお、図３２の撮像装置７１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１９９】
すなわち、図３２の撮像装置７１１において、図１の画像処理装置１１と異なるのは、撮像部７３１、画像処理部７３２、および表示部７３３を新たに設けた点である。
【０２００】
なお、図３２の構図解析部３４は、構図パターン設定部３３からの構図パターンを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、その最適切出し領域を、画像切出し部３５および表示部７３３に供給する。
【０２０１】
撮像部７３１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部７３１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部７３１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部７３２に供給する。
【０２０２】
画像処理部７３２は、撮像部７３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、注目領域抽出部３１、シーン判別部３２、画像切出し部３５、および表示部７３３に供給する。
【０２０３】
表示部７３３は、画像処理部７３２からの撮像画像上に、構図解析部３４からの最適切出し領域を示す枠を表示したり、画像切出し部３５によって切出された最適切出し領域の画像を表示する。
【０２０４】
［撮像装置の画像切出し処理］
次に、図３３のフローチャートを参照して、図３２の撮像装置７１１の画像切出し処理について説明する。なお、図３３のフローチャートにおけるステップＳ７１３乃至Ｓ７１７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５の処理と同様であるので、その説明は省略するものとする。
【０２０５】
すなわち、ステップＳ７１１において、撮像部７３１は、被写体を撮像し、得られた撮像画像を画像処理部７３２に供給する。
【０２０６】
ステップＳ７１２において、画像処理部７３２は、撮像部７３１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、注目領域抽出部３１、シーン判別部３２、画像切出し部３５、および表示部７３３に供給する。
【０２０７】
ステップＳ７１８において、表示部７３３は、画像処理部７３２からの撮像画像上に、構図解析部３４からの最適切出し領域を示す枠を表示する。このとき、例えば、ユーザによって図示せぬ操作入力部が操作され、最適切出し領域の画像を切出す指示を表す操作信号が、画像切出し部３５に供給されると、処理は、ステップＳ７１９に進む。
【０２０８】
ステップＳ７１９において、画像切出し部３５は、構図解析部３４からの最適切出し領域に基づいて、画像処理部７３２からの撮像画像から最適切出し領域の画像を切出す。
【０２０９】
ステップＳ７２０において、表示部７３３は、画像切出し部３５によって切出された最適切出し領域の画像を表示する。
【０２１０】
以上の処理によれば、撮像画像における注目領域の数と、撮像画像のシーンと対応付けられた構図パターンを基に、切出し領域を決定することができる。注目領域は、被写体が人物以外であっても決定されるので、人物以外の被写体であっても、最適な構図の画像を切出すことが可能となる。また、構図パターンは、注目領域の数とシーンに基づいて設定されるので、撮像画像のカテゴリに関わらず、最適な構図の画像を切出すことが可能となる。
【０２１１】
以上においては、注目領域に含まれる被写体がどの方向を向いているかにかかわらず、最適切り出し領域を決定する構成について説明してきたが、被写体の向きに応じて最適切り出し領域を決定するようにしてもよい。
【０２１２】
＜９．第９の実施の形態＞
［画像処理装置の構成例］
図３４は、被写体の向きに応じて最適切り出し領域を決定するようにした画像処理装置の構成例を示している。なお、図３４の画像処理装置８１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２１３】
すなわち、図３４の画像処理装置８１１において、図１の画像処理装置１１と異なるのは、向き検出部８３１を新たに設け、構図解析部３４に代えて、構図解析部８３２を設けた点である。
【０２１４】
なお、図３４において、注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３および向き検出部８３１に供給する。また、シーン判別部３２は、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、入力画像とともに、構図パターン設定部１３１に供給するとともに、そのシーン情報を向き検出部８３１に供給する。
【０２１５】
向き検出部８３１は、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
【０２１６】
構図解析部８３２は、構図パターン設定部３３からの構図パターンと、向き検出部８３１からの向き情報とを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、画像切出し部３５に供給する。
【０２１７】
構図解析部８３２は、構図モデル作成部８３２ａ、安全モデル作成部８３２ｂ、ペナルティモデル作成部８３２ｃ、目的関数作成部８３２ｄ、および最適化部８３２ｅを備えている。なお、構図モデル作成部８３２ａ乃至目的関数作成部８３２ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
【０２１８】
最適化部８３２ｅは、向き検出部８３１からの向き情報に基づいて、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
【０２１９】
［画像処理装置の画像切出し処理］
次に、図３５のフローチャートを参照して、図３４の画像処理装置８１１の画像切出し処理について説明する。なお、図３５のフローチャートにおけるステップＳ８１１乃至Ｓ８１４，Ｓ８１７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４，Ｓ１６の処理と同様であるので、その説明は省略するものとする。また、図３５のフローチャートで説明する画像切出し処理においては、被写体の数、すなわち、注目領域の数は１であるものとする。
【０２２０】
すなわち、ステップＳ８１５において、向き検出部８３１は、向き検出処理を実行して、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の向きを検出する。
【０２２１】
［向き検出部の向き検出処理］
ここで、図３６のフローチャートを参照して、図３５のフローチャートのステップＳ８１５における向き検出処理について説明する。
【０２２２】
ステップＳ８２１において、向き検出部８３１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域が、顔矩形領域であるか否かを判定する。
【０２２３】
ステップＳ８２１において、注目領域が顔矩形領域であると判定された場合、すなわち、注目領域抽出部３１からの注目領域情報が顔矩形領域情報であった場合、処理はステップＳ８２２に進む。
【０２２４】
ステップＳ８２２において、向き検出部８３１は、入力画像において、顔矩形領域情報で表わされる顔矩形領域に含まれる顔の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
【０２２５】
より具体的には、例えば、向き検出部８３１は、様々な向きを向いた顔画像を学習サンプルとして予め学習することで形成されたツリー構造において、顔矩形領域に含まれる顔の画像について、ツリー構造の最も上流のノードから末端のノードに向かって判別を繰り返すことによって、顔の向きを識別（検出）する。例えば、向き検出部８３１は、正面、上、下、左、右、右上、右下、左上、および左下の９方向を向いた顔画像を予め学習しており、顔矩形領域に含まれる顔の向きをその９方向の中から選択する。
【０２２６】
なお、向き検出部８３１は、上述した手法に限らず、他の手法によって、顔の向きを検出するようにしてももちろんよい。
【０２２７】
一方、ステップＳ８２１において、注目領域が顔矩形領域でないと判定された場合、すなわち、注目領域抽出部３１からの注目領域情報が注目矩形領域情報であった場合、処理はステップＳ８２３に進む。
【０２２８】
ステップＳ８２３において、向き検出部８３１は、シーン判別部３２からのシーン情報に基づいて、入力画像において、注目矩形領域情報で表わされる注目矩形領域に含まれる被写体の向きを検出し、その向きを表す向き情報を、構図解析部８３２に供給する。
【０２２９】
より具体的には、向き検出部８３１は、シーン毎に、そのシーンに存在し得る物体が、正面、上、下、左、右、右上、右下、左上、左下の９方向を向いた画像からなるテンプレートを記憶しており、シーン判別部３２からのシーン情報で表わされるシーンに応じたテンプレートの中から、注目矩形領域に含まれる被写体に対応する物体のテンプレートを検索し、検索されたテンプレートに基づいてテンプレートマッチングを行うことで、注目矩形領域に含まれる被写体の向きを特定（検出）する。
【０２３０】
例えば、シーン判別部３２からのシーン情報で表わされるシーンが「草原」であり、注目矩形領域に含まれる被写体が「花」であった場合、向き検出部８３１は、「草原」のテンプレートから「花」のテンプレートを検索し、そのテンプレートに基づいてテンプレートマッチングを行うことで、被写体としての「花」の向きを特定する。
【０２３１】
なお、向き検出部８３１は、上述した手法に限らず、他の手法によって、被写体の向きを検出するようにしてももちろんよい。
【０２３２】
また、以上においては、向き検出部８３１が、シーン情報に応じたテンプレートから、被写体に対応する物体のテンプレートを用いて、被写体とその向きを識別するようにしたが、例えば、向き検出部８３１は、特徴量を基に統計学習処理を実行して生成した、対象物体を認識する認識器を用いて、入力画像における特徴量に基づいて、入力画像中に対象物体が存在するか否かを判定することで、被写体とその向きを識別するようにしてもよい。
【０２３３】
以上のようにして、向き検出部８３１は、入力画像における注目領域に含まれる被写体の向きを検出する。
【０２３４】
図３５のフローチャートに戻り、ステップＳ８１６において、構図解析部８３２は、構図パターン設定部３３からの構図パターンと、向き検出部８３１からの向き情報とを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
【０２３５】
［構図解析部の切出し領域決定処理］
ここで、図３７のフローチャートを参照して、図３５のフローチャートのステップＳ８１６における切出し領域決定処理について説明する。
【０２３６】
なお、図３７のフローチャートにおけるステップＳ８３１乃至Ｓ８３４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
【０２３７】
すなわち、ステップＳ８３５において、最適化部８３２ｅは、目的関数Eを最小とする切出し領域の位置情報と、向き検出部８３１からの向き情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。
【０２３８】
注目領域に含まれる被写体が顔であった場合、例えば、図３８に示される向き情報Ｄ１０乃至Ｄ１８のいずれかが、向き検出部８３１から最適化部８３２ｅに供給される。図３８には、図中向かって、正面、上、右上、右、右下、下、左下、左、左上をそれぞれ向いている顔Ｄ１０乃至Ｄ１８が示されており、それぞれがその向いている向きを表す向き情報に対応している。すなわち、向き情報Ｄ１０は、入力画像において、顔が正面を向いていることを表しており、向き情報Ｄ１１は、顔が上を向いていることを表しており、向き情報Ｄ１２は、顔が右上を向いていることを表している。同様に、向き情報Ｄ１３は、顔が右を向いていることを表しており、向き情報Ｄ１４は、顔が右下を向いていることを表している。また、向き情報Ｄ１５は、顔が下を向いていることを表しており、向き情報Ｄ１６は、顔が左下を向いていることを表しており、向き情報Ｄ１７は、顔が左を向いていることを表しており、向き情報Ｄ１８は、顔が左上を向いていることを表している。
【０２３９】
ここで、構図パターンとして３分割構図が設定されているとすると、最適化部８３２ｅは、向き情報Ｄ１０乃至Ｄ１８に応じて、３分割構図における被写体（顔）の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
【０２４０】
より具体的には、例えば、向き情報が向き情報Ｄ１３，Ｄ１４のいずれかである場合、すなわち、顔が右または右下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ０とする。また、向き情報が向き情報Ｄ１６，Ｄ１７のいずれかである場合、すなわち、顔が左下または左を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ１とする。さらに、向き情報が向き情報Ｄ１２である場合、すなわち、顔が右上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ２とする。また、向き情報が向き情報Ｄ１８である場合、すなわち、顔が左上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ３とする。
【０２４１】
なお、向き情報が向き情報Ｄ１０，Ｄ１５のいずれかである場合、すなわち、顔が正面または下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、向き情報が向き情報Ｄ１１である場合、すなわち、顔が上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における顔の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。このように、向き情報に対して顔の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
【０２４２】
ここで、図３９における３分割線交点Ｐ０乃至Ｐ３において、下側の３分割線交点Ｐ２，Ｐ３に顔が配置される条件としての向き情報が少ないのは、被写体が人全体である場合に、顔は、構図の上の方に位置することが自然であることによるが、向き情報と３分割線交点との対応関係は任意に変更されるようにできる。
【０２４３】
以上のように、最適化部８３２ｅは、顔の向きに応じて、３分割構図における顔の配置を決定する。特に、最適化部８３２ｅは、３分割構図において、顔の向いている側の空間が広くなるように顔の配置を決定する。これにより、被写体としての人の顔（視線）の先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
【０２４４】
また、注目領域に含まれる被写体が花であった場合、例えば、図４０に示される向き情報Ｄ２０乃至Ｄ２８のいずれかが、向き検出部８３１から最適化部８３２ｅに供給される。図４０には、図中向かって、正面、上、右上、右、右下、下、左下、左、左上をそれぞれ向いている花Ｄ２０乃至Ｄ２８が示されており、それぞれがその向いている向きを表す向き情報に対応している。すなわち、向き情報Ｄ２０は、入力画像において、花が正面を向いていることを表しており、向き情報Ｄ２１は、花が上を向いていることを表しており、向き情報Ｄ２２は、花が右上を向いていることを表している。同様に、向き情報Ｄ２３は、花が右を向いていることを表しており、向き情報Ｄ２４は、花が右下を向いていることを表している。また、向き情報Ｄ２５は、花が下を向いていることを表しており、向き情報Ｄ２６は、花が左下を向いていることを表しており、向き情報Ｄ２７は、花が左を向いていることを表しており、向き情報Ｄ２８は、花が左上を向いていることを表している。
【０２４５】
そして、構図パターンとして３分割構図が設定されている場合、最適化部８３２ｅは、向き情報Ｄ２０乃至Ｄ２８に応じて、３分割構図における被写体（花）の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
【０２４６】
より具体的には、例えば、向き情報が向き情報Ｄ２４である場合、すなわち、花が右下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ０とする。また、向き情報が向き情報Ｄ２６である場合、すなわち、花が見左下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ１とする。さらに、向き情報が向き情報Ｄ２２，Ｄ２３のいずれかである場合、すなわち、花が右上または右を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ２とする。また、向き情報が向き情報Ｄ２７，Ｄ２８のいずれかである場合、すなわち、花が左または左上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ３とする。
【０２４７】
なお、向き情報が向き情報Ｄ２５である場合、すなわち、花が下を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、向き情報が向き情報Ｄ２０，Ｄ２１のいずれかである場合、すなわち、花が正面または上を向いている場合、最適化部８３２ｅは、図３９で示される３分割構図における花の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。このように、向き情報に対して花の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
【０２４８】
ここで、図３９における３分割線交点Ｐ０乃至Ｐ３において、上側の３分割線交点Ｐ０，Ｐ１に花が配置される条件としての向き情報が少ないのは、花は、構図の下の方に位置することが自然であることによるが、向き情報と配置される３分割線交点との対応関係は任意に変更されるようにできる。
【０２４９】
以上のように、最適化部８３２ｅは、花の向きに応じて、３分割構図における花の配置を決定する。特に、最適化部８３２ｅは、３分割構図において、花の向いている側の空間が広くなるように花の配置を決定する。これにより、被写体としての花の先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
【０２５０】
以上においては、被写体の向きに応じて最適切り出し領域を決定する構成について説明してきたが、被写体の動きに応じて最適切り出し領域を決定するようにしてもよい。
【０２５１】
＜１０．第１０の実施の形態＞
［画像処理装置の構成例］
図４１は、被写体の動きに応じて最適切り出し領域を決定するようにした画像処理装置の構成例を示している。なお、図４１の画像処理装置８６１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２５２】
すなわち、図４１の画像処理装置８６１において、図１の画像処理装置１１と異なるのは、フレームバッファ８８１、GMV（Global Motion Vector）算出部８８２、LMV（Local Motion Vector）算出部８８３、および動き方向決定部８８４を新たに設け、構図解析部３４に代えて、構図解析部８８５を設けた点である。
【０２５３】
なお、図４１において、注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン設定部３３およびLMV算出部８８３に供給する。
【０２５４】
フレームバッファ８８１は、入力画像を１フレーム分保持し、GMV算出部８８２およびLMV算出部８８３に供給する。
【０２５５】
GMV算出部８８２は、入力画像と、フレームバッファ８８１からの１フレーム前の入力画像（以下、前フレーム入力画像という）とから、画像全体の動きを表すGMVを算出し、動き方向決定部８８４に供給する。
【０２５６】
LMV算出部８８３は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とから、注目領域抽出部３１からの注目領域情報で表わされる注目領域における局所的な動きを表すLMVを算出し、動き方向決定部８８４に供給する。
【０２５７】
動き方向決定部８８４は、GMV算出部８８２からのGMV、および、LMV算出部８８３からのLMVに基づいて、注目領域に含まれる被写体の動きの方向（動き方向）を決定し、その動き方向を表す動き方向情報を、構図解析部８８５に供給する。
【０２５８】
構図解析部８８５は、構図パターン設定部３３からの構図パターンと、動き方向決定部８８４からの動き方向情報とを基に、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定し、画像切出し部３５に供給する。
【０２５９】
構図解析部８８５は、構図モデル作成部８８５ａ、安全モデル作成部８８５ｂ、ペナルティモデル作成部８８５ｃ、目的関数作成部８８５ｄ、および最適化部８８５ｅを備えている。なお、構図モデル作成部８８５ａ乃至目的関数作成部８８５ｄは、それぞれ、図１の構図モデル作成部３４ａ乃至目的関数作成部３４ｄと同様の機能を備えるので、その説明は省略する。
【０２６０】
最適化部８８５ｅは、動き方向決定部８８４からの動き方向情報に基づいて、目的関数Eを最小とする切出し領域を決定し、最適切出し領域として、画像切出し部３５に供給する。
【０２６１】
［画像処理装置の画像切出し処理］
次に、図４２のフローチャートを参照して、図４１の画像処理装置８６１の画像切出し処理について説明する。なお、図４２のフローチャートにおけるステップＳ８６１乃至Ｓ８６４，Ｓ８６７の処理は、図３のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４，Ｓ１６の処理と同様であるので、その説明は省略するものとする。また、図４２のフローチャートで説明する画像切出し処理においては、被写体の数、すなわち、注目領域の数は１であるものとする。
【０２６２】
すなわち、ステップＳ８６５において、動き方向決定部８８４は、動き方向決定処理を実行して、入力画像において、注目領域抽出部３１からの注目領域情報で表わされる注目領域に含まれる被写体の動き方向を決定する。
【０２６３】
［動き方向決定部の動き方向決定処理］
ここで、図４３のフローチャートを参照して、図４２のフローチャートのステップＳ８６５における動き方向決定処理について説明する。
【０２６４】
ステップＳ８７１において、GMV算出部８８２は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とからGMVを算出し、動き方向決定部８８４に供給する。
【０２６５】
ステップＳ８７２において、LMV算出部８８３は、入力画像と、フレームバッファ８８１からの前フレーム入力画像とから、注目領域抽出部３１からの注目領域情報で表わされる注目領域のLMVを算出し、動き方向決定部８８４に供給する。
【０２６６】
ステップＳ８７３において、動き方向決定部８８４は、LMVが０または略０であるか否かを判定する。
【０２６７】
ステップＳ８７３において、LMVが０または略０でないと判定された場合、すなわち、注目領域に含まれる被写体に十分な動きがある場合、処理はステップＳ８７４に進み、動き方向決定部８８４は、LMVの向きを動き方向とし、その動き方向を表す動き方向情報を構図解析部８８５に供給する。
【０２６８】
一方、ステップＳ８７３において、LMVが０または略０であると判定された場合、すなわち、注目領域に含まれる被写体に全くまたは略動きがない場合、処理はステップＳ８７５に進み、動き方向決定部８８４は、GMVが０または略０であるか否かを判定する。
【０２６９】
ステップＳ８７５において、GMVが０または略０でないと判定された場合、すなわち、画像全体に十分な動きがある場合、処理はステップＳ８７６に進み、動き方向決定部８８４は、GMVの向きと反対の向きを被写体の動き方向とし、その動き方向を表す動き方向情報を構図解析部８８５に供給する。
【０２７０】
ステップＳ８７５における状態は、入力画像全体に動きがあるが、注目領域に含まれる被写体に動きがない状態、例えば、背景が動いていて、被写体が静止しているような状態であるが、この場合、被写体は背景に対して相対的に、背景の動きの向きとは反対の向きに動いていることになる。すなわち、GMVの向きと反対の向きは、相対的に、被写体の動き方向となる。
【０２７１】
一方、ステップＳ８７５において、GMVが０または略０であると判定された場合、すなわち、画像全体に全くまたは略動きがないとされる場合、処理はステップＳ８７７に進み、動き方向決定部８８４は、動き方向なしとして、動き方向なしを表す動き方向情報を構図解析部８８５に供給する。
【０２７２】
以上のようにして、動き方向決定部８８４は、入力画像における注目領域に含まれる被写体の動き方向を決定する。なお、以上の処理においては、動き方向決定部８８４は、動き方向を、例えば、なし、上、下、左、右、右上、右下、左上、および左下の９種類のうちのいずれかに決定する。
【０２７３】
図４２のフローチャートに戻り、ステップＳ８６６において、構図解析部８８５は、構図パターン設定部３３からの構図パターンと、動き方向決定部８８４からの動き方向情報とを基に、切出し領域決定処理を実行し、その構図パターンで切出される画像の、入力画像における最適な切出し領域を決定する。
【０２７４】
［構図解析部の切出し領域決定処理］
ここで、図４４のフローチャートを参照して、図４２のフローチャートのステップＳ８６６における切出し領域決定処理について説明する。
【０２７５】
なお、図４４のフローチャートにおけるステップＳ８８１乃至Ｓ８８４の処理は、図７のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略するものとする。
【０２７６】
すなわち、ステップＳ８８５において、最適化部８８５ｅは、目的関数Eを最小とする切出し領域の位置情報と、動き方向決定部８８４からの動き方向情報を基に、最適切出し領域を決定して、画像切出し部３５に供給する。
【０２７７】
より具体的には、例えば、図４５に示される動き方向情報Ｄ３０乃至Ｄ３８が、動き方向決定部８８４から最適化部８８５ｅに供給される。図４５には、上、右上、右、右下、下、左下、左、左上への動きを表す矢印が示されており、その始点を含めたそれぞれが、動き方向情報Ｄ３０乃至Ｄ３８に対応している。すなわち、動き方向情報Ｄ３０は、入力画像において、被写体の動き方向がないことを表しており、動き方向情報Ｄ３１は、動き方向が上であることを表しており、動き方向情報Ｄ３２は、動き方向が右上であることを表している。同様に、動き方向情報Ｄ３３は、動き方向が右であることを表しており、動き方向情報Ｄ３４は、動き方向が右下であることを表している。また、動き方向情報Ｄ３５は、動き方向が下であることを表しており、向き情報Ｄ３６は、動き方向が左下であることを表しており、動き方向情報Ｄ３７は、動き方向が左であることを表しており、動き方向情報Ｄ３８は、動き方向が左上であることを表している。
【０２７８】
ここで、構図パターンとして３分割構図（図３９）が設定されているとすると、最適化部８８５ｅは、動き方向情報Ｄ３０乃至Ｄ３８に応じて、３分割構図における被写体の配置を決定するとともに、目的関数Eを最小とする切出し領域の位置情報を求め、その位置情報を基に、最適切出し領域を決定する。
【０２７９】
より具体的には、例えば、動き方向情報が動き方向情報Ｄ３４である場合、すなわち、被写体の動き方向が右下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０とする。また、動き方向情報が動き方向情報Ｄ３６である場合、すなわち、被写体の動き方向が左下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ１とする。さらに、動き方向情報が動き方向情報Ｄ３２のいずれかある場合、すなわち、被写体の動き方向が右上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ２とする。また、動き方向情報が動き方向情報Ｄ３８である場合、すなわち、被写体の動き方向が左上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ３とする。
【０２８０】
なお、動き方向情報が動き方向情報Ｄ３１である場合、すなわち、被写体の動き方向が上である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ２，Ｐ３のいずれかとする。また、動き方向情報が動き方向情報Ｄ３３である場合、すなわち、被写体の動き方向が右である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０，Ｐ２のいずれかとする。さらに、動き方向情報が動き方向情報Ｄ３５である場合、すなわち、被写体の動き方向が下である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０，Ｐ１のいずれかとする。また、動き方向情報が動き方向情報Ｄ３７である場合、すなわち、被写体の動き方向が左である場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ１，Ｐ３のいずれかとする。
【０２８１】
また、動き方向情報が動き方向情報Ｄ３０である場合、すなわち、被写体の動き方向がない場合、最適化部８８５ｅは、図３９で示される３分割構図における被写体の配置を、３分割線交点Ｐ０乃至Ｐ３のいずれかとする。すなわち、被写体に動きがない場合は、３分割構図における被写体の配置は、３分割線交点のいずれでもよい。
【０２８２】
このように、動き方向情報に対して被写体の配置が２以上選ばれる場合、目的関数Eがより小さくなる配置に決定される。
【０２８３】
以上のように、最適化部８８５ｅは、被写体の動き方向に応じて、３分割構図における被写体の配置を決定する。特に、最適化部８８５ｅは、３分割構図において、被写体の動く方向の空間が広くなるように被写体の配置を決定する。これにより、被写体の移動する先にある物体や風景を切出し領域に含めることができるので、より広がりのある、最適な構図の画像を切出すことが可能となる。
【０２８４】
なお、以上においては、３分割構図（図３９）における被写体の配置について説明してきたが、３分割構図に限らず、図６で示された対比構図（構図Ｂ）やパターン構図（構図Ｈ）等の他の構図において、被写体の向きや動きに応じて被写体を配置するようにしてもよい。
【０２８５】
また、以上においては、被写体の数、すなわち、注目領域の数は１であるものとして説明してきたが、被写体の数が２以上である場合であっても、２以上の被写体は、それぞれの向きや動き方向に応じて配置される。
【０２８６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２８７】
図４６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２８８】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２８９】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２９０】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２９１】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２９２】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２９３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２９４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２９５】
１１  画像処理装置，  ３１  注目領域抽出部，  ３２  シーン判別部，  ３３  構図パターン設定部，  ３４  構図解析部，  ３４ａ  構図モデル作成部，  ３４ｂ  安全モデル作成部，  ３４ｃ  ペナルティモデル作成部，  ３４ｄ  目的関数作成部，  ３４ｅ  最適化部，  ３５  画像切出し部，  ５１  注目度算出部，  ５２  注目矩形領域決定部，  ５３  顔矩形領域決定部，  １１１  画像処理装置，  １３１  構図パターン設定部，  ２１１  画像処理装置，  ２３１  構図解析部，  ２３１ａ  構図モデル作成部，  ２３１ｂ  安全モデル作成部，  ２３１ｃ  ペナルティモデル作成部，  ２３１ｄ  目的関数作成部，  ２３１ｅ  最適化部，  ２３２  表示部，  ２３３  操作入力部，  ３１１  画像処理装置，  ３３１  パノラマ判別部，  ３３２  構図解析部，  ３３２ａ  構図モデル作成部，  ３３２ｂ  安全モデル作成部，  ３３２ｃ  ペナルティモデル作成部，  ３３２ｄ  目的関数作成部，  ３３２ｅ  最適化部，  ６３１  付加部，  ７１１  撮像装置，  ８１１  画像処理装置，  ８３１  向き検出部，  ８３２  構図解析部，  ８３２ｅ  最適化部，  ８６１  画像処理装置，  ８８１  フレームバッファ，  ８８２  GMV算出部，  ８８３  LMV算出部，  ８８４  動き方向決定部，  ８８５  構図解析部，  ８８５ｅ  最適化部
【図１】
2010027080.tif 000013
【図２】
2010027080.tif 000014
【図３】
2010027080.tif 000015
【図４】
2010027080.tif 000016
【図５】
2010027080.tif 000017
【図６】
2010027080.tif 000018
【図７】
2010027080.tif 000019
【図８】
2010027080.tif 000020
【図９】
2010027080.tif 000021
【図１０】
2010027080.tif 000022
【図１１】
2010027080.tif 000023
【図１２】
2010027080.tif 000024
【図１３】
2010027080.tif 000025
【図１４】
2010027080.tif 000026
【図１５】
2010027080.tif 000027
【図１６】
2010027080.tif 000028
【図１７】
2010027080.tif 000029
【図１８】
2010027080.tif 000030
【図１９】
2010027080.tif 000031
【図２０】
2010027080.tif 000032
【図２１】
2010027080.tif 000033
【図２２】
2010027080.tif 000034
【図２３】
2010027080.tif 000035
【図２４】
2010027080.tif 000036
【図２５】
2010027080.tif 000037
【図２６】
2010027080.tif 000038
【図２７】
2010027080.tif 000039
【図２８】
2010027080.tif 000040
【図２９】
2010027080.tif 000041
【図３０】
2010027080.tif 000042
【図３１】
2010027080.tif 000043
【図３２】
2010027080.tif 000044
【図３３】
2010027080.tif 000045
【図３４】
2010027080.tif 000046
【図３５】
2010027080.tif 000047
【図３６】
2010027080.tif 000048
【図３７】
2010027080.tif 000049
【図３８】
2010027080.tif 000050
【図３９】
2010027080.tif 000051
【図４０】
2010027080.tif 000052
【図４１】
2010027080.tif 000053
【図４２】
2010027080.tif 000054
【図４３】
2010027080.tif 000055
【図４４】
2010027080.tif 000056
【図４５】
2010027080.tif 000057
【図４６】
2010027080.tif 000058
【国際調査報告】
2010027080.tif 000059
2010027080.tif 000060
2010027080.tif 000061
2010027080.tif 000062