(57)【要約】【課題】ユーザの撮影に関する技術をより向上させる。【解決手段】撮影状況識別部２１は、入力画像が撮影されたときの撮影状況を入力画像から識別し、構図パターン選択部２２は、撮影状況識別部２１によって識別された撮影状況に基づいて、入力画像に適用すべき構図パターンを選択し、構図評価部２３は、撮影状況識別部２１によって識別された撮影状況と、構図パターン選択部２２によって選択された構図パターンとに基づいて、入力画像の構図を評価し、評価結果出力部２４は、構図評価部２３の評価によって得られた評価結果を、入力画像とともに出力する。本発明は、例えば、画像の構図を評価する画像処理装置に適用することができる。【選択図】図１
2011193125.tif 000002
【特許請求の範囲】
【請求項１】
入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別手段と、
前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択手段と、
前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価手段と、
前記構図評価手段の評価によって得られた構図評価結果を、前記入力画像とともに出力する出力手段と
を備える画像処理装置。
【請求項２】
前記撮影状況識別手段は、
前記入力画像において注目する注目領域を抽出する注目領域抽出手段と、
前記入力画像のシーンを判別するシーン判別手段と、
前記シーン判別手段によって判別された前記シーンに対応する参照画像の色情報と、前記入力画像の色情報とを比較し、前記参照画像と前記入力画像との類似度を算出する色情報比較手段とを備え、
前記撮影状況には、前記入力画像において注目する前記注目領域、前記入力画像の前記シーン、および前記参照画像と前記入力画像との前記類似度が含まれる
請求項１に記載の画像処理装置。
【請求項３】
前記構図パターン選択手段は、前記入力画像において注目する前記注目領域の数および前記入力画像の前記シーンの少なくともいずれか一方に基づいて、前記入力画像に適用すべき前記構図パターンを選択する
請求項２に記載の画像処理装置。
【請求項４】
前記構図評価手段は、前記構図パターン選択手段によって選択された前記構図パターン、前記入力画像において注目する前記注目領域、および前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の構図を評価する
請求項２に記載の画像処理装置。
【請求項５】
前記構図評価手段は、
前記構図パターン選択手段によって選択された前記構図パターンと、前記入力画像において注目する前記注目領域の位置および大きさとに基づいて、前記入力画像に前記構図パターンを適用した場合の前記注目領域の配置を評価する配置評価手段を備え、
前記出力手段は、前記配置評価手段の評価によって得られた配置評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
請求項２に記載の画像処理装置。
【請求項６】
前記構図評価手段は、
前記入力画像において注目する前記注目領域の注目度に基づいて、前記入力画像における前記注目領域の重要度を評価する重要度評価手段を備え、
前記出力手段は、前記重要度評価手段の評価によって得られた重要度評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
請求項２に記載の画像処理装置。
【請求項７】
前記構図評価手段は、
前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の色情報の、前記シーンとの適合の程度を評価する色評価手段を備え、
前記出力手段は、前記色評価手段の評価によって得られた色評価結果を含む前記構図評価結果を、前記入力画像とともに出力する
請求項２に記載の画像処理装置。
【請求項８】
前記色情報比較手段は、前記入力画像を色毎の色領域に分割し、前記参照画像における色領域との形状の類似度である形状類似度と、前記色領域毎の色の類似度である色類似度とを算出する
請求項２に記載の画像処理装置。
【請求項９】
入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、
前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、
前記撮影状況識別ステップの処理によって識別された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、
前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと
を含む画像処理方法。
【請求項１０】
入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、
前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、
前記撮影状況識別ステップの処理によって識別された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、
前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１１】
被写体を撮像する撮像手段と、
前記撮像手段によって撮像画像が撮影されたときの撮影状況を前記撮像画像から識別する撮影状況識別手段と、
前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記撮像画像に適用すべき構図パターンを選択する構図パターン選択手段と、
前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記撮像画像の構図を評価する構図評価手段と、
前記構図評価手段の評価によって得られた構図評価結果を、前記撮像画像とともに表示する表示手段と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに撮像装置に関し、特に、ユーザの撮影に関する技術をより向上させることができるようにする画像処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置によって撮像された画像を評価する技術がある。
【０００３】
例えば、ネットワークを介して、サーバに記憶されているサンプル画像と比較することで、撮影画像を評価するシステムがあった（例えば、特許文献１参照）。
【０００４】
しかしながら、上述の手法においては、ネットワークに接続する必要があるので、撮像装置の使用環境に制限があった。また、評価の幅を広げるためには、大量のサンプル画像を用意する必要があるため、システムや装置の規模が大きくなり、撮像装置単体では実現することが容易ではなかった。
【０００５】
そこで、撮像装置単体で画像を評価するものとして、画像データにおいて、主要被写体が、黄金分割された長方形内に位置する場合に、高い評価点を与えるようにしたデジタルカメラが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１９７４５６号公報
【特許文献２】特開２００３−２９８８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の手法において評価される画像の構図は、いわゆる日の丸構図といわれる構図のみとなる。この日の丸構図は、被写体の存在感を高める安定した構図ではあるが、単調になりがちで面白みに欠ける。このように、特許文献２の手法では、日の丸構図しか考慮されないため、ユーザは、その評価に飽きてしまう恐れがあり、また、他の構図について評価されないため、撮影の技術を向上させることができない。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、ユーザの撮影に関する技術をより向上させることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別手段と、前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択手段と、前記撮影状況識別手段によって抽出された前記撮影状況と、前記構図パターン選択手段によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価手段と、前記構図評価手段の評価によって得られた構図評価結果を、前記入力画像とともに出力する出力手段とを備える。
【００１０】
前記撮影状況識別手段には、前記入力画像において注目する注目領域を抽出する注目領域抽出手段と、前記入力画像のシーンを判別するシーン判別手段と、前記シーン判別手段によって判別された前記シーンに対応する参照画像の色情報と、前記入力画像の色情報とを比較し、前記参照画像と前記入力画像との類似度を算出する色情報比較手段とを設け、前記撮影状況には、前記入力画像において注目する前記注目領域、前記入力画像の前記シーン、および前記参照画像と前記入力画像との前記類似度が含ませることができる。
【００１１】
前記構図パターン選択手段には、前記入力画像において注目する前記注目領域の数および前記入力画像の前記シーンの少なくともいずれか一方に基づいて、前記入力画像に適用すべき前記構図パターンを選択させることができる。
【００１２】
前記構図評価手段には、前記構図パターン選択手段によって選択された前記構図パターン、前記入力画像において注目する前記注目領域、および前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の構図を評価させることができる。
【００１３】
前記構図評価手段には、前記構図パターン選択手段によって選択された前記構図パターンと、前記入力画像において注目する前記注目領域の位置および大きさとに基づいて、前記入力画像に前記構図パターンを適用した場合の前記注目領域の配置を評価する配置評価手段を設け、前記出力手段には、前記配置評価手段の評価によって得られた配置評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
【００１４】
前記構図評価手段には、前記入力画像において注目する前記注目領域の注目度に基づいて、前記入力画像における前記注目領域の重要度を評価する重要度評価手段を設け、前記出力手段には、前記重要度評価手段の評価によって得られた重要度評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
【００１５】
前記構図評価手段には、前記参照画像と前記入力画像との前記類似度に基づいて、前記入力画像の色情報の、前記シーンとの適合の程度を評価する色評価手段を設け、前記出力手段には、前記色評価手段の評価によって得られた色評価結果を含む前記構図評価結果を、前記入力画像とともに出力させることができる。
【００１６】
前記色情報比較手段には、前記入力画像を色毎の色領域に分割させ、前記参照画像における色領域との形状の類似度である形状類似度と、前記色領域毎の色の類似度である色類似度とを算出させることができる。
【００１７】
本発明の第１の側面の画像処理方法は、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、前記撮影状況識別ステップの処理によって抽出された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップと含む。
【００１８】
本発明の第１の側面のプログラムは、入力画像が撮影されたときの撮影状況を前記入力画像から識別する撮影状況識別ステップと、前記撮影状況識別ステップの処理によって識別された前記撮影状況に基づいて、前記入力画像に適用すべき構図パターンを選択する構図パターン選択ステップと、前記撮影状況識別ステップの処理によって抽出された前記撮影状況と、前記構図パターン選択ステップの処理によって選択された前記構図パターンとに基づいて、前記入力画像の構図を評価する構図評価ステップと、前記構図評価ステップの処理による評価によって得られた構図評価結果を、前記入力画像とともに出力する出力ステップとを含む処理をコンピュータに実行させる。
【００１９】
本発明の第１の側面においては、入力画像が撮影されたときの撮影状況が入力画像から識別され、識別された撮影状況に基づいて、入力画像に適用すべき構図パターンが選択され、識別された撮影状況と、選択された構図パターンとに基づいて、入力画像の構図が評価され、評価によって得られた構図評価結果が、入力画像とともに出力される。
【００２０】
本発明の第２の側面の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段によって撮像画像が撮影されたときの撮影状況を前記撮像画像から識別する撮影状況識別手段と、前記撮影状況識別手段によって識別された前記撮影状況に基づいて、前記撮像画像に適用すべき構図パターンを選択する構図パターン選択手段と、前記撮影状況識別手段によって識別された前記撮影状況と、前記構図パターン選択手段によって選択された構図パターンとに基づいて、前記撮像画像の構図を評価する構図評価手段と、前記構図評価手段の評価によって得られた構図評価結果を、前記撮像画像とともに表示する表示手段とを備える。
【００２１】
本発明の第２の側面においては、被写体が撮像され、撮像画像が撮影されたときの撮影状況が撮像画像から識別され、識別された撮影状況に基づいて、撮像画像に適用すべき構図パターンが選択され、識別された撮影状況と、選択された構図パターンとに基づいて、撮像画像の構図が評価され、評価によって得られた構図評価結果が、撮像画像とともに表示される。
【発明の効果】
【００２２】
本発明の第１および第２の側面によれば、ユーザの撮影に関する技術をより向上させることが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】撮影状況識別部の機能構成例を示すブロック図である。
【図３】注目領域抽出部の機能構成例を示すブロック図である。
【図４】色情報比較部の機能構成例を示すブロック図である。
【図５】構図評価部の機能構成例を示すブロック図である。
【図６】図１の画像処理装置の画像評価処理について説明するフローチャートである。
【図７】撮影状況識別処理について説明するフローチャートである。
【図８】色情報比較処理について説明するフローチャートである。
【図９】入力画像および領域画像の色情報について説明する図である。
【図１０】注目領域の数とシーンとに基づいて設定される構図パターンについて説明する図である。
【図１１】構図評価処理について説明するフローチャートである。
【図１２】配置評価処理について説明するフローチャートである。
【図１３】配置評価処理で用いられる係数について説明する図である。
【図１４】主題領域の形状による評価関数の値について説明する図である。
【図１５】主題領域の大きさに応じた重み係数について説明する図である。
【図１６】重要度評価処理について説明するフローチャートである。
【図１７】色評価処理について説明するフローチャートである。
【図１８】形状類似度に応じた重み係数について説明する図である。
【図１９】色類似度に応じた重み係数について説明する図である。
【図２０】出力画像の例を示す図である。
【図２１】配置評価処理について説明するフローチャートである。
【図２２】対比構図について説明する図である。
【図２３】対比構図について説明する図である。
【図２４】重要度評価処理について説明するフローチャートである。
【図２５】配置評価処理について説明するフローチャートである。
【図２６】対角線構図について説明する図である。
【図２７】本発明を適用した撮像装置の一実施の形態の機能構成例を示すブロック図である。
【図２８】図２７の撮像装置の画像評価処理について説明するフローチャートである。
【図２９】撮像装置の表示部の表示例を示す図である。
【図３０】撮像装置の表示部の他の表示例を示す図である。
【図３１】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（入力画像が３分割構図の画像として評価される例）
２．第２の実施の形態（入力画像が対比構図の画像として評価される例）
３．第３の実施の形態（入力画像が対角線構図の画像として評価される例）
４．第４の実施の形態（撮像装置に適用された場合について）
【００２５】
＜１．第１の実施の形態＞
［画像処理装置の構成例について］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２６】
図１の画像処理装置１１は、例えば、デジタルカメラ等の撮像装置から入力された入力画像の撮影状況に応じた構図パターンを選択し、その撮影状況と構図パターンとに基づいて、入力画像の構図を評価することで、入力画像を評価する。
【００２７】
画像処理装置１１は、撮影状況識別部２１、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４から構成される。
【００２８】
画像処理装置１１に入力された入力画像は、撮影状況識別部２１および評価結果出力部２４に供給される。
【００２９】
撮影状況識別部２１は、入力画像が撮影（撮像）されたときの撮影状況を入力画像から識別し、その撮影状況を表す撮影状況情報を、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４に供給する。撮影状況は、入力画像における被写体やシーン、色によって決定され、識別される。
【００３０】
［撮影状況識別部の機能構成例について］
図２は、撮影状況識別部２１の機能構成例を示している。
【００３１】
撮影状況識別部２１は、注目領域抽出部３１、シーン判別部３２、および色情報比較部３３を備えている。
【００３２】
注目領域抽出部３１は、入力画像において注目する注目領域を抽出し、その注目領域を表す注目領域情報を、構図パターン選択部２２に供給する。注目領域は、入力画像における被写体（物体）を含む（囲む）矩形領域であり、入力画像中の被写体の数だけ設定され、抽出される。注目領域情報は、例えば、矩形領域の頂点の位置等とされる。
【００３３】
［注目領域抽出部の機能構成例について］
図３は、注目領域抽出部３１の機能構成例を示している。
【００３４】
注目領域抽出部３１は、注目度算出部５１、注目矩形領域決定部５２、および顔矩形領域決定部５３を備えている。
【００３５】
注目度算出部５１は、入力画像の各画素について特徴量を求め、その特徴量から画素毎の注目度を算出する。ここで、特徴量とは、画像のエッジ成分の大きさ、近傍画素との色相の差、画像の所定の領域における色分布、画像全体の平均色と各画素の色相の差などである。さらに、注目度算出部５１は、画素毎の注目度（特徴量）から、１枚の入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給する。注目度算出部５１によって生成される注目度マップは、いわば、１枚の入力画像において注目すべき被写体が含まれる領域を表す情報である。
【００３６】
また、注目度算出部５１は、入力画像の各画素について求めた特徴量から、顔度（顔らしさ度）を算出し、１枚の入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。注目度算出部５１によって生成される顔度マップは、いわば、１枚の入力画像において注目すべき顔が含まれる領域を表す情報である。
【００３７】
注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。より具体的には、注目矩形領域決定部５２は、注目度マップにおいて、所定の閾値より高い注目度の画素（位置）を矩形の中心とし、その周辺で、他の閾値より低い注目度の画素（位置）を矩形の端点（頂点）とすることで、注目矩形領域を決定する。
【００３８】
また、複数の注目矩形領域が決定された場合、矩形の中心同士が所定の距離より小さいときには、それらを併せて含む最小の矩形領域を、注目矩形領域とする。
【００３９】
顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。より具体的には、顔矩形領域決定部５３は、顔度マップにおいて、顔の鼻の画素（位置）を矩形の中心とし、その周辺で、顔度が急激に変化する（下がる）画素（位置）を矩形の端点（頂点）とすることで、顔矩形領域を決定する。
【００４０】
なお、注目矩形領域決定部５２によって得られる注目矩形領域情報と、顔矩形領域決定部５３によって得られる顔矩形領域情報とを併せて注目領域情報という。
【００４１】
図２に戻り、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、色情報比較部３３、構図パターン選択部２２、および評価結果出力部２４に供給する。より具体的には、シーン判別部３２は、予め設定した学習用画像と、例えば、SVM（Support Vector Machines）等の機械学習とを用いてシーン判別を行う。
【００４２】
SVMにおいては、２クラス判別（１対１の判別）が行われ、例えば、「海岸」のクラスとそれ以外のクラス、「田園風景」のクラスとそれ以外のクラス、「空」のクラスとそれ以外のクラス、「山」のクラスとそれ以外のクラス、・・・のように判定され、それぞれのスコアが比較され、最もスコアの高いクラスが、判別結果とされる。
【００４３】
なお、シーン判別部３２は、SVMを用いることとしたが、これに限らず、例えば、ニューラルネットワークを用いたパターン認識や、パターンマッチング等によるパターン認識を用いるようにしてもよい。
【００４４】
色情報比較部３３は、シーン判別部３２からのシーン情報で表わされるシーンに対応して予め用意された領域画像の色についての情報（色情報）と、入力画像の色情報とを比較し、領域画像と入力画像との類似度を算出する。領域画像は、所定のシーンの画像においてよく得られる色の領域（色領域）で構成される画像であり、シーン情報で表わされるシーン毎に複数用意されている。
【００４５】
［色情報比較部の機能構成例について］
図４は、色情報比較部３３の機能構成例を示している。
【００４６】
色情報比較部３３は、スケーリング部７１、領域分割部７２、領域画像DB（Database）７３、領域画像選択部７４、および類似度算出部７５を備えている。
【００４７】
スケーリング部７１は、入力画像に対してスケーリング処理を施し、領域分割部７２に供給する。ここで、スケーリング処理とは、入力画像の大きさを、領域画像の大きさと同一の大きさに変更する処理をいう。
【００４８】
領域分割部７２は、スケーリング部７１から供給された入力画像を、同一または近似した色からなる色領域に分割し、類似度算出部７５に供給する。
【００４９】
領域画像DB７３は、シーン情報で表わされるシーン毎に、複数の領域画像を記憶している。領域画像DB７３に記憶されている領域画像は、所定の大きさに統一されており、必要に応じて領域画像選択部７４に読み出される。
【００５０】
領域画像選択部７４は、シーン判別部３２からのシーン情報に基づいて、そのシーン情報で表わされるシーンの領域画像を領域画像DB７３から読み出し、類似度算出部７５に供給する。
【００５１】
類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と色配置が最も似ている領域画像を決定する。具体的には、類似度算出部７５は、領域画像選択部７４からの領域画像の色領域と、入力画像の色領域との類似度を算出し、領域画像の中から、最も類似度が高くなる領域画像（以下、参照領域画像という）を決定する。類似度算出部７５は、入力画像と参照領域画像との類似度を構図評価部２３に供給するとともに、参照領域画像を評価結果出力部２４に供給する。
【００５２】
なお、注目領域抽出部３１によって得られる注目領域情報、シーン判別部３２によって得られるシーン情報、並びに、色情報比較部３３によって得られる類似度および参照領域画像のいずれか１つでも含む情報を撮影状況情報という。
【００５３】
図１に戻り、構図パターン選択部２２は、撮影状況識別部２１からの撮影状況情報で表わされる撮影状況に基づいて、入力画像に適用すべき構図パターンを選択する。具体的には、構図パターン選択部２２は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報の少なくともいずれか一方に基づいて、入力画像に対応する構図パターンを選択し、構図評価部２３および評価結果出力部２４に供給する。構図パターンは、注目領域（被写体）の数とシーンとに対応して予め決められている。構図パターンの詳細については、図１０を参照して後述することとする。
【００５４】
構図評価部２３は、撮影状況識別部２１からの撮影状況情報と、構図パターン選択部２２からの構図パターンとを基に、画像処理装置１１に入力された入力画像の構図を評価し、評価結果を数値化したスコアを評価結果出力部２４に供給する。
【００５５】
［構図評価部の機能構成例について］
図５は、構図評価部２３の機能構成例を示している。
【００５６】
構図評価部２３は、配置評価部１１１、重要度評価部１１２、色評価部１１３、およびスコア算出部１１４を備えている。
【００５７】
配置評価部１１１は、構図パターン選択部２２からの構図パターンと、注目領域抽出部３１（図２）からの注目領域情報で表わされる注目領域の位置および大きさとに基づいて、入力画像に構図パターンを適用した場合の注目領域の配置を評価する。配置評価部１１１は、評価結果である配置要素をスコア算出部１１４に供給する。
【００５８】
重要度評価部１１２は、注目領域抽出部３１（図２）からの注目領域情報で表わされる注目領域の注目度（または顔度）に基づいて、入力画像における注目領域の重要度を評価し、その評価結果である重要度要素をスコア算出部１１４に供給する。
【００５９】
色評価部１１３は、色情報比較部３３（図２）からの類似度（入力画像と参照領域画像との類似度）に基づいて、入力画像の色（色情報）が、シーン判別部３２で判別されたシーンと、どの程度適合するかを評価する。色評価部１１３は、評価結果である色要素をスコア算出部１１４に供給する。
【００６０】
スコア算出部１１４は、配置評価部１１１からの配置要素、重要度評価部１１２からの重要度要素、および色評価部１１３からの色要素を、重み付け加算することで、入力画像の構図の評価結果を、スコアとして算出し、評価結果出力部２４に供給する。
【００６１】
なお、配置要素、重要度要素、色要素の詳細については、後述することとする。
【００６２】
図１に戻り、評価結果出力部２４は、構図評価部２３からのスコア、撮影状況識別部２１からの撮影状況情報（シーン情報および参照領域画像）、構図パターン選択部２２からの構図パターンを、入力画像とともに、図示せぬ表示装置等に出力する。
【００６３】
［画像処理装置の画像評価処理について］
次に、図６のフローチャートを参照して、図１の画像処理装置１１の画像評価処理について説明する。
【００６４】
ステップＳ１１において、撮影状況識別部２１は、撮影状況識別処理を実行し、入力画像が撮影されたときの撮影状況を入力画像から識別し、その撮影状況を表す撮影状況情報を、構図パターン選択部２２、構図評価部２３、および評価結果出力部２４に供給する。
【００６５】
［撮影状況識別部の撮影状況識別処理について］
ここで、図７のフローチャートを参照して、図６のフローチャートのステップＳ１１における撮影状況識別処理について説明する。
【００６６】
ステップＳ３１において、注目領域抽出部３１は、入力画像に対応する注目度マップおよび顔度マップを生成する。より詳細には、注目度算出部５１は、入力画像に対応する注目度マップを生成し、注目矩形領域決定部５２に供給するとともに、入力画像に対応する顔度マップを生成し、顔矩形領域決定部５３に供給する。
【００６７】
ステップＳ３２において、注目領域抽出部３１は、注目度マップおよび顔度マップに基づいて、入力画像において注目する注目領域を抽出し、決定する。より詳細には、注目矩形領域決定部５２は、注目度算出部５１からの注目度マップを基に、注目矩形領域を決定し、その注目矩形領域を表す注目矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。また、顔矩形領域決定部５３は、注目度算出部５１からの顔度マップを基に、顔矩形領域を決定し、その顔矩形領域を表す顔矩形領域情報を、構図パターン選択部２２および構図評価部２３に供給する。
【００６８】
なお、ステップＳ３２においては、注目領域として、注目矩形領域と顔矩形領域とを決定するようにしたが、顔矩形領域を、注目矩形領域としてまとめて処理するようにしてもよい。
【００６９】
ステップＳ３３において、シーン判別部３２は、入力画像を周波数変換することで周波数情報を抽出し、その周波数情報を特徴量（ベクトル）として、入力画像のシーンを判別し、判別の結果得られる、シーンを表すシーン情報を、色情報比較部３３、構図パターン選択部２２、および評価結果出力部２４に供給する。
【００７０】
ステップＳ３４において、色情報比較部３３は、入力画像に対して、色情報比較処理を実行し、シーン判別部３２からのシーン情報で表わされるシーンに対応する領域画像の色情報と、入力画像の色情報とを比較し、領域画像と入力画像との類似度を算出する。
【００７１】
［色情報比較部の色情報比較処理について］
ここで、図８のフローチャートを参照して、図７のフローチャートのステップＳ３４における色情報比較処理について説明する。
【００７２】
ステップＳ５１において、スケーリング部７１は、入力画像に対してスケーリング処理を施し、入力画像の大きさを、領域画像DB７３に記憶されている領域画像の大きさと同一の大きさに変更して、領域分割部７２に供給する。
【００７３】
ステップＳ５２において、領域分割部７２は、スケーリング部７１からの、スケーリング処理された入力画像を、同一または近似した色の色領域に分割し、類似度算出部７５に供給する。画像の色による領域分割は、例えば、「Mean Shift: A Robust Approach toward Feature Space Analysis, Dorin Comaniciu et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, no.5, 2003」に開示されている、平均値シフトアルゴリズムを用いた手法により行われる。なお、他の手法により、色による領域分割を実現するようにしてももちろんよい。
【００７４】
ステップＳ５３において、領域画像選択部７４は、シーン判別部３２からのシーン情報に基づいて、そのシーン情報で表わされるシーンの領域画像を領域画像DB７３から読み出し、類似度算出部７５に供給する。
【００７５】
ステップＳ５４において、類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と領域画像との類似度の１つである形状類似度を算出する。なお、形状類似度は、入力画像の色領域の形状と、シーン情報に対応する領域画像の色領域の形状との類似の度合を示すものである。
【００７６】
例えば、入力画像として、晴れた日の夕暮れ時の水平線を撮影した画像が入力されたとすると、図９の左側に示されるように、入力画像Iiは、領域分割部７２によって、夕焼けに染まったオレンジ色の空に対応する色領域Ri1と、夕焼けの影響で茶色がかった海に対応する色領域Ri2とに領域分割される。図９の入力画像Iiにおいては、水平線（色領域Ri1と色領域Ri2との境界）は、入力画像Iiを上下にほぼ等分するように位置している。
【００７７】
図９で説明したような入力画像Iiが画像処理装置１１に入力された場合、シーン判別部３２によれば、“海”を表すシーン情報が領域画像選択部７４に供給される。そして、領域画像選択部７４によれば、シーンが“海”である複数の領域画像が、領域画像DB７３から読み出される。このとき読み出される領域画像は、例えば、図９の右側に示されるような、いわゆる水平線構図となる領域画像Ijとなる。領域画像Ijは、色領域Rj1と色領域Rj2とから構成され、また、色領域Rj1と色領域Rj2との境界は、領域画像Ijの下から３分の１程度に位置している。
【００７８】
なお、図９の例の場合、シーンが“海”となる画像には、同一の構図であっても、入力画像Iiのような夕暮れ時のものもあれば、青い空と海からなる日中帯のもの等もあるので、領域画像Ijは、色領域Rj1と色領域Rj2との色の組み合わせにより複数用意されている。
【００７９】
このような場合、ステップＳ５４においては、類似度算出部７５により、入力画像Iiの色領域Ri1および色領域Ri2との形状と、領域画像Ijの色領域Rj1と色領域Rj2の形状との類似度（形状類似度）が算出される。具体的には、例えば、「構図に基づく類似画像検索のための類似度, 山本敦 et al., 情報処理学会論文誌. データベース, vol.48(SIG_14(TOD_35)), pp.82-90, 2007」に開示されている、Jaccard係数に領域の大きさを加味した類似度算出の手法により、以下の式（１）で示される形状類似度simS(Ii,Ij)が算出される。
【００８０】
【数１】
2011193125.tif 000003
【００８１】
式（１）において、ｐ，ｑは、それぞれ入力画像Iiおよび領域画像Ijにおける色領域を特定する値であり、図９の例では、それぞれ１および２の値をとる。
【００８２】
なお、類似度算出部７５は、他の手法により、形状類似度を算出するようにしてももちろんよい。
【００８３】
ステップＳ５５において、類似度算出部７５は、領域分割部７２からの入力画像と、領域画像選択部７４からの領域画像とを比較し、入力画像と領域画像との類似度の１つである色類似度を算出する。なお、色類似度は、入力画像の色領域の色情報と、シーン情報に対応する領域画像の色領域の色情報との類似の度合を示すものである。
【００８４】
具体的は、例えば、類似度算出部７５は、以下の式（２）で示される色類似度simC(Ii,Ij)を算出する。
【００８５】
【数２】
2011193125.tif 000004
【００８６】
なお、式（２）において、h(Rip)，h(Rjq)は、それぞれ入力画像Iiおよび領域画像Ijにおける各色領域における各画素の色相の平均を表している。また、δpqは、以下の式（３）で示される、いわゆるクロネッカーのデルタである。
【００８７】
【数３】
2011193125.tif 000005
【００８８】
式（２）において、第２項は、入力画像Iiにおける色領域と、領域画像Ijにおける色領域とが一致している全ての色領域についての色差の平均を表している。すなわち、入力画像Iiと領域画像Ijとで、各色領域（図９の場合、色領域Ri1と色領域Rj2、および、色領域Ri1と色領域Rj2）の色が似ているほど、式（２）における第２項の値が小さくなり、色類似度simC(Ii,Ij)の値は大きくなる。
【００８９】
類似度算出部７５は、シーン情報に対応する複数の領域画像について算出した形状類似度および色類似度に基づいて、例えば、所定の閾値より大きい形状類似度を有する領域画像のうち、もっとも大きい色類似度を有する領域画像を参照領域画像として、評価結果出力部２４に供給する。また、類似度算出部７５は、入力画像と参照領域画像との類似度（形状類似度および色類似度）を、構図評価部２３に供給し、処理は、図７のフローチャートのステップＳ３４に戻る。
【００９０】
なお、類似度算出部７５は、例えば、色領域の分割数が同一である領域画像のうち、もっとも大きい色類似度を有する領域画像を参照領域画像とし、入力画像と参照領域画像との形状類似度および色類似度を、それぞれ類似度とするようにしてもよい。
【００９１】
図７のフローチャートに戻り、ステップＳ３４の後、処理は、図６のフローチャートのステップＳ１１に戻る。
【００９２】
図６のフローチャートに戻り、ステップＳ１１の後、処理はステップＳ１２に進み、構図パターン選択部２２は、注目領域抽出部３１からの注目領域情報の数と、シーン判別部３２からのシーン情報とに基づいて、入力画像に適用すべき（推奨される）構図パターンを選択し、構図評価部２３および評価結果出力部２４に供給する。
【００９３】
ここで、図１０を参照して、注目領域（被写体）の数とシーンとに基づいて選択される構図パターンについて説明する。
【００９４】
図１０においては、注目領域（被写体）の数と、シーンである「海岸」、「田園風景」、「空」、「山」、「高速道路」、「街路」、「街中」、「高層ビル」それぞれに対応して、種々の構図パターンが決められている。
【００９５】
図１０によれば、例えば、シーンが「海岸」である入力画像において、注目領域の数が０であるとき（すなわち、海岸の風景のみのとき）には、構図パターンとして水平線構図が設定される。注目領域の数が１であるときには、構図パターンとして３分割構図と水平線構図とが選択される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と水平線構図が選択され、注目領域の数が６以上であるときには、構図パターンとして対比構図と水平線構図とが選択される。
【００９６】
また、シーンが「田園風景」である入力画像において、注目領域の数が０であるとき（すなわち、田園風景のみのとき）には、構図パターンとして放射線構図が選択される。注目領域の数が１であるときには、構図パターンとして３分割構図と放射線構図とが選択される。また、注目領域の数が２乃至５であるときには、構図パターンとして対比構図と放射線構図が選択され、注目領域の数が６以上であるときには、構図パターンとして放射線構図とパターン構図とが選択される。
【００９７】
同様にして、シーンが「空」である入力画像、「山」である入力画像、「高速道路」である入力画像、・・・における注目領域の数に応じて、構図パターンが選択される。
【００９８】
なお、構図パターンが２つ選択されている場合、それぞれの構図を満たすような構図パターンが構図評価部２３および評価結果出力部２４に供給される。
【００９９】
また、以降においては、入力画像における注目領域の数は１であり、入力画像の構図パターンとして、３分割構図が設定されたものとして説明する。
【０１００】
図６のフローチャートに戻り、ステップＳ１３において、構図評価部２３は、撮影状況識別部２１からの撮影状況情報と、構図パターン選択部２２からの構図パターンとを基に、構図評価処理を実行し、画像処理装置１１に入力された入力画像の構図を採点する。
【０１０１】
［構図評価部の構図評価処理について］
ここで、図１１のフローチャートを参照して、図６のフローチャートのステップＳ１３における構図評価処理について説明する。
【０１０２】
ステップＳ７１において、構図評価部２３の配置評価部１１１は、構図パターン選択部２２からの構図パターンと、注目領域抽出部３１からの注目領域情報で表わされる注目領域の位置および大きさとに基づいて、配置評価処理を実行する。
【０１０３】
［配置評価部の配置評価処理について］
ここで、図１２のフローチャートを参照して、図１１のフローチャートのステップＳ７１における配置評価処理について説明する。
【０１０４】
ステップＳ１１１において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域の大きさに基づいて、注目領域（以下、適宜、主題領域という）のアスペクト比を求める。
【０１０５】
ステップＳ１１２において、配置評価部１１１は、主題領域のアスペクト比に応じた参照位置と主題領域の重心位置との距離を算出する。ここで、参照位置とは、３分割構図において水平方向を３分割する線（水平３分割線）LDh，垂直方向を３分割する線（垂直３分割線）LDv，および、水平３分割線と垂直３分割線との交点（３分割線交点）PDを示している。すなわち、主題領域の重心位置をPMとすると、配置評価部１１１は、距離| LDh - PM |，| LDv - PM |，| PD - PM |を算出する。
【０１０６】
ステップＳ１１３において、配置評価部１１１は、参照位置と主題領域の重心位置との距離に基づいて、以下の式（４）で示される値GDLhM，GDLvM，GDPMを求める。
【０１０７】
【数４】
2011193125.tif 000006
【０１０８】
なお、式（４）において、ｄは、入力画像の対角線の長さを表している。式（４）で示される値GDLhM，GDLvM，GDPMのそれぞれは、主題領域の重心位置が、水平３分割線、垂直３分割線、３分割線交点のそれぞれに近づくほど大きい値となる。
【０１０９】
ステップＳ１１４において、配置評価部１１１は、主題領域のアスペクト比に基づいて、注目領域の形状についての係数αhM，αvM，αpMを求める。
【０１１０】
係数αhM，αvM，αpMは、主題領域の幅、高さをそれぞれsal_widthM，sal_heightMとしたとき、以下の式（５）で与えられる主題領域のアスペクト比sal_aspect_ratioMに応じて、それぞれ、図１３の上段図乃至下段図で示されるように変化するパラメータである。図１３上段図乃至下段図において、横軸はアスペクト比sal_aspect_ratioMを、縦軸はそれぞれの係数αhM，αvM，αpMの値を示している。
【０１１１】
【数５】
2011193125.tif 000007
【０１１２】
図１３の上段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_minのとき、係数αhMは1.0となり、アスペクト比sal_aspect_ratioMがr_mid1より大きいとき、係数αhMは0.0となる。また、アスペクト比sal_aspect_ratioMがr_min乃至r_mid1のときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αhMは減少する。すなわち、主題領域が縦長であるときに、係数αhMは有効となる。
【０１１３】
図１３の中段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_mid2のとき、係数αvMは0.0となり、アスペクト比sal_aspect_ratioMがr_maxより大きいとき、係数αvMは1.0となる。また、アスペクト比sal_aspect_ratioMがr_mid2乃至r_maxのときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αvMは増加する。すなわち、主題領域が横長であるときに、係数αvMは有効となる。
【０１１４】
図１３下段図によれば、アスペクト比sal_aspect_ratioMが０乃至r_min、または、r_maxより大きいとき、係数αpMは0.0となり、アスペクト比sal_aspect_ratioMがr_mid1乃至r_mid2のとき、係数αpMは1.0となる。また、アスペクト比sal_aspect_ratioMがr_min乃至r_mid1のときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αpMは増加し、アスペクト比sal_aspect_ratioMがr_mid2乃至r_maxのときは、アスペクト比sal_aspect_ratioMの増加に応じて、係数αpMは減少する。すなわち、主題領域が正方形に近い形であるときに、係数αpMは有効となる。
【０１１５】
ステップＳ１１５において、配置評価部１１１は、値GDLhM，GDLvM，GDPM、係数αhM，αvM，αpM、および主題領域の大きさに応じた重み係数wMsizeに基づいて、入力画像に構図パターンを適用した場合の主題領域の配置の評価結果を表す配置要素elem_pを算出する。
【０１１６】
まず、以下の式（６）で示される、入力画像における主題領域の配置を評価する評価関数E(M)が求められる。ここで、Ｍは、評価関数Ｅが主題領域についての評価関数であることを示している。
【０１１７】
【数６】
2011193125.tif 000008
【０１１８】
式（６）は、図１４に示されるように、主題領域が、縦長である領域L1ならば水平３分割線に、横長である領域L2ならば垂直３分割線に、正方形に近い領域L3であるならば３分割線交点に近づくほど、評価関数E(M)の値が大きくなることを示している。
【０１１９】
そして、評価関数E(M)と重み係数wMsizeとに基づいて、以下の式（７）で示される配置要素elem_pが求められる。
【０１２０】
【数７】
2011193125.tif 000009
【０１２１】
重み係数wMsizeは、主題領域の大きさ（サイズ）Msizeに応じて、図１５で示されるように変化するパラメータである。図１５において、横軸は主題領域のサイズMsizeを、縦軸は重み係数wMsizeの値を示している。
【０１２２】
図１５によれば、サイズMsizeがsize_th_minより大きいとき、重み係数wMsizeは1.0となる。なお、サイズMsizeが０乃至size_th_minのときは、サイズMsizeの増加に応じて、重み係数wMsizeは増加する。すなわち、主題領域の大きさが所定の大きさsize_th_min以下である場合には、主題領域の大きさに応じて重み係数wMsizeによる重みは大きくなる。
【０１２３】
以上のようにして、主題領域が、縦長であるならば水平３分割線に、横長であるならば垂直３分割線に、正方形に近い形状であるならば３分割線交点に近づくほど、値が大きくなる配置要素elem_pが算出される。算出された配置要素elem_pは、スコア算出部１１４に供給される。
【０１２４】
図１１のフローチャートに戻り、ステップＳ７２において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる注目領域の注目度（または顔度）に基づいて、重要度評価処理を実行し、入力画像における注目領域の重要度を評価する。
【０１２５】
［重要度評価部の重要度評価処理について］
ここで、図１６のフローチャートを参照して、図１１のフローチャートのステップＳ７２における重要度評価処理について説明する。
【０１２６】
ステップＳ１３１において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる注目領域（主題領域）の注目度（また顔度）salMを用いて、以下の式（８）で示される、入力画像に構図パターンを適用した場合の主題領域の重要度の評価結果を表す重要度要素elem_sを算出する。
【０１２７】
【数８】
2011193125.tif 000010
【０１２８】
このようにして、主題領域の注目度（また顔度）が大きいほど、値が大きくなる重要度要素elem_sが算出される。なお、重要度要素elem_sは、上述の式（８）によって求められる値に限らず、他の方法によって求められるようにしてもよい。算出された重要度要素elem_sは、スコア算出部１１４に供給される。
【０１２９】
図１１のフローチャートに戻り、ステップＳ７３において、色評価部１１３は、色情報比較部３３からの類似度に基づいて、色評価処理を実行し、入力画像の色（色情報）が、シーン判別部３２で判別されたシーンと、どの程度適合するかを評価する。
【０１３０】
［色評価部の色評価処理について］
ここで、図１７のフローチャートを参照して、図１１のフローチャートのステップＳ７３における色評価処理について説明する。
【０１３１】
ステップＳ１５１において、色評価部１１３は、色情報比較部３３からの形状類似度に基づいて、重み係数wshape_layoutを算出する。
【０１３２】
重み係数wshape_layoutは、色情報比較部３３からの形状類似度simSに応じて、図１８で示されるように変化するパラメータである。図１８において、横軸は形状類似度simSを、縦軸は重み係数wshape_layoutの値を示している。
【０１３３】
図１８によれば、形状類似度simSがsims_th_minより小さいとき、重み係数wshape_layoutはws_th_minとなり、形状類似度simSがsims_th_maxより大きいとき、重み係数wshape_layoutは1.0となる。なお、形状類似度simSがsims_th_min乃至sims_th_maxのときは、形状類似度simSの増加に応じて、重み係数wshape_layoutは増加する。すなわち、形状類似度simSが高いほど、重み係数wshape_layoutによる重みは大きくなる。
【０１３４】
ステップＳ１５２において、色評価部１１３は、色情報比較部３３からの色類似度に基づいて、重み係数wcolor_layoutを算出する。
【０１３５】
重み係数wcolor_layoutは、色情報比較部３３からの色類似度simCに応じて、図１９で示されるように変化するパラメータである。図１９において、横軸は色類似度simCを、縦軸は重み係数wcolor_layoutの値を示している。
【０１３６】
図１９によれば、色類似度simCがsimc_th_minより小さいとき、重み係数wcolor_layoutはwc_th_minとなり、色類似度simCがsimc_th_maxより大きいとき、重み係数wcolor_layoutは1.0となる。なお、色類似度simCがsimc_th_min乃至simc_th_maxのときは、色類似度simCの増加に応じて、重み係数wcolor_layoutは増加する。すなわち、色類似度simCが高いほど、重み係数wcolor_layoutによる重みは大きくなる。
【０１３７】
ステップＳ１５３において、色評価部１１３は、重み係数wshape_layoutおよびwcolor_layoutから、以下の式（９）で示される、入力画像における色の、入力画像のシーンとの適合の度合の評価結果を表す色要素elem_cを算出する。
【０１３８】
【数９】
2011193125.tif 000011
【０１３９】
このようにして、入力画像と参照画像との形状類似度および色類似度が高いほど、値が大きくなる色要素elem_cが算出される。なお、色要素elem_cは、上述の式（９）によって求められる値に限らず、他の方法によって求められるようにしてもよい。算出された色要素elem_cは、スコア算出部１１４に供給される。
【０１４０】
図１１のフローチャートに戻り、ステップＳ７４において、スコア算出部１１４は、配置評価部１１１からの配置要素elem_p、重要度評価部１１２からの重要度要素elem_s、および色評価部１１３からの色要素elem_cに基づいて、入力画像の構図の評価結果であるスコアを算出し、評価結果出力部２４に供給する。
【０１４１】
具体的には、スコア算出部１１４は、配置要素elem_p、重要度要素elem_s、および色要素elem_cを重み付け加算することで、以下の式（１０）で示されるスコアScoreを算出する。
【０１４２】
【数１０】
2011193125.tif 000012
【０１４３】
式（１０）において、係数α、β、およびγは、それぞれ配置要素elem_p、重要度要素elem_s、および色要素elem_cについての重み係数であり、以下の式（１１）の関係を有する。
【０１４４】
【数１１】
2011193125.tif 000013
【０１４５】
具体的には、例えば、α＝40、β＝20、γ＝40などとされる。ここで、配置要素elem_p、重要度要素elem_s、および色要素elem_cをそれぞれ、０乃至１の値をとるように正規化することで、式（１０）で示されるスコアScoreは、０乃至100の値をとるようになる。また、係数α、β、およびγについて、α＝100、β＝０、γ＝０とした場合には、スコアScoreは、注目領域の配置のみに注目した評価結果となり、α＝０、β＝０、γ＝100とした場合には、スコアScoreは、入力画像の色のみに注目した評価結果となる。
【０１４６】
以上のようにして、入力画像における主題領域の配置および重要度についての評価結果と、入力画像の色とシーンとの適合性の評価結果とから、入力画像についての構図の評価結果（スコア）が算出される。算出されたスコアは、評価結果出力部２４に供給される。
【０１４７】
さて、図６のフローチャートに戻り、ステップＳ１４において、評価結果出力部２４は、構図評価部２３からのスコアScore、シーン判別部３２からのシーン情報、色情報比較部３３からの参照領域画像、および構図パターン選択部２２からの構図パターンを、入力画像とともに、出力画像として、図示せぬ表示装置等に出力する。
【０１４８】
図２０は、図示せぬ表示装置に出力された出力画像の例を示している。
【０１４９】
図２０においては、晴れた日の夕暮れ時の水平線に沈む太陽が撮影された入力画像に、シーン情報、構図パターン、スコア、および参照領域画像を示す縮小画像がOSD（On Screen Display）表示されている。
【０１５０】
具体的には、入力画像の左上には、シーン情報として「scene:海岸＋夕景」、構図パターンとして「推奨構図:３分割構図＋水平線構図」、スコアとして「Score:50」の文字列が表示されている。また、入力画像の右上には、「参照領域画像」の文字列と参照領域画像を示す縮小画像が表示されている。
【０１５１】
また、図２０においては、被写体としての太陽と色領域を決定する水平線とが、矩形によって囲まれて表示され、入力画像全体に対して、３分割構図を表す３分割線が表示されている。
【０１５２】
以上の処理によれば、入力画像の撮影状況に応じた構図パターンとしての３分割構図が選択され、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
【０１５３】
以上においては、入力画像における注目領域（主題領域）の数は１で、入力画像の構図パターンとして、３分割構図が選択された場合の画像評価処理について説明してきたが、以下においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして、対比構図が選択された場合の処理について説明する。
【０１５４】
＜２．第２の実施の形態＞
入力画像における注目領域の数は２で、入力画像の構図パターンとして、対比構図が選択された場合の画像評価処理においては、配置評価処理および重要度評価処理以外の処理は、上述で説明したものと同様となるので、それらの説明は省略する。
【０１５５】
なお、以下では、入力画像において、注目領域の数が２である場合、２つの注目領域のうち、例えば注目度が大きい方の注目領域を主題領域といい、注目度が小さい方の注目領域を副題領域という。
【０１５６】
［対比構図が選択された場合の配置評価処理について］
まず、図２１のフローチャートを参照して、対比構図が選択された場合の配置評価処理について説明する。
【０１５７】
ステップＳ２１１において、配置評価部１１１は、主題領域についての配置評価処理を実行し、主題領域についての配置要素elem_pMを算出する。なお、ここで算出される配置要素elem_pMは、図１２のフローチャートを参照して説明した配置評価処理によって算出される配置要素elem_pと同様にして算出されるので、詳細な説明は省略する。すなわち、配置要素elem_pMは、入力画像における主題領域の配置についての評価関数E(M)と、主題領域の大きさに応じた重み係数wMsizeとの積E(M)・wMsizeとして算出される。
【０１５８】
ステップＳ２１２において、配置評価部１１１は、副題領域についての配置評価処理を実行し、副題領域についての配置要素elem_pSを算出する。なお、ここで算出される配置要素elem_pSもまた、図１２のフローチャートを参照して説明した配置評価処理によって算出される配置要素elem_pと同様にして算出されるので、詳細な説明は省略する。すなわち、配置要素elem_pSは、入力画像における副題領域の配置についての評価関数E(S)と、副題領域の大きさに応じた重み係数wSsizeとの積E(S)・wSsizeとして算出される。なお、評価関数E(S)におけるＳや、重み係数wSsizeの添え字のＳは、評価関数や重み関数が、副題領域についての評価関数や重み関数であることを示している。
【０１５９】
ステップＳ２１３において、配置評価部１１１は、主題領域についての配置要素elem_pM（=E(M)・wMsize）、副題領域についての配置要素elem_pS（=E(S)・wSsize）、および主題領域についての重み関数αMに基づいて、以下の式（１２）で示される配置要素elem_pを算出する。
【０１６０】
【数１２】
2011193125.tif 000014
【０１６１】
式（１２）において、重み関数αMは、０＜αM＜１の範囲の値をとり、主題領域への注目の度合に応じて予め設定される。すなわち、重み関数αMは、対比構図において、主題領域に対応する被写体と、副題領域に対応する被写体とで、主題領域に対応する被写体をどの程度際立たせるかを決めるためのパラメータとも言える。
【０１６２】
また、ここでは、配置要素elem_pは、対比構図における主題領域および副題領域の配置を評価するための指標であり、主題領域および副題領域のそれぞれが、参照位置である３分割線や３分割線交点に近づくほど大きい値となる。
【０１６３】
しかしながら、主題領域および副題領域のそれぞれが、同一の３分割線または３分割線交点に近い場合、例えば、図２２に示されるように、主題領域LMおよび副題領域LSのそれぞれが、３分割構図上の左上の３分割線交点PDに近い場合、対比構図としては、決してバランスが良くないにもかかわらず、式（１２）で示される配置要素elem_pは大きい値となってしまう。
【０１６４】
そこで、主題領域および副題領域のそれぞれが、同一の３分割線または３分割線交点に近い場合には、配置要素elem_pに、例えば0.5などの所定の係数を乗じることで、その値を下げるようにしてもよい。
【０１６５】
また、主題領域および副題領域のそれぞれが同一の参照位置に近い場合に限らず、図２３に示される構図Ａや構図Ｂのように、対比構図としてバランスのよい特定の構図（主題領域および副題領域の配置）を複数、予め決めておき、これらの配置と大きく異なる配置の場合には、主題領域および副題領域のそれぞれが異なる参照位置に近い場合でも、配置要素elem_pに、所定の係数を乗じることで、その値を下げるようにしてもよい。
【０１６６】
以上のようにして、入力画像において、３分割構図上で主題領域および副題領域の２つの注目領域が存在することで対比構図が選択された場合の配置要素elem_pが算出される。
【０１６７】
［対比構図が選択された場合の重要度評価処理について］
次に、図２４のフローチャートを参照して、対比構図が選択された場合の重要度評価処理について説明する。
【０１６８】
ステップＳ２３１において、重要度評価部１１２は、注目領域抽出部３１からの注目領域情報で表わされる主題領域の注目度salM、副題領域の注目度salS、および主題領域についての重み関数αMを用いて、以下の式（１３）で示される重要度要素elem_sを算出する。
【０１６９】
【数１３】
2011193125.tif 000015
【０１７０】
式（１３）において、重み関数αMは、式（１２）で説明したものと同一である。
【０１７１】
このようにして、主題領域および副題領域の注目度が大きいほど、値が大きくなる重要度要素elem_sが算出される。なお、ここでも、重要度要素elem_sは、上述の式（１３）によって求められる値に限らず、他の方法によって求められるようしてもよい。
【０１７２】
このように、注目領域の数は２で、入力画像の構図パターンとして対比構図が選択された場合であっても、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
【０１７３】
以上においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして対比構図が選択された場合の画像評価処理について説明してきたが、以下においては、入力画像における注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合の処理について説明する。
【０１７４】
＜３．第３の実施の形態＞
入力画像における注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合の画像評価処理においては、配置評価処理以外の処理は、対比構図が選択された場合の処理について説明したものと同様であるので、その説明は省略する。
【０１７５】
［対角線構図が選択された場合の配置評価処理について］
すなわち、図２５のフローチャートを参照して、対角線構図が選択された場合の配置評価処理について説明する。
【０１７６】
ステップＳ３１１において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域のうちの主題領域の大きさに基づいて、主題領域のアスペクト比を求める。
【０１７７】
ステップＳ３１２において、配置評価部１１１は、主題領域のアスペクト比に応じた参照位置と主題領域の重心位置との距離を算出する。
【０１７８】
なお、上述で説明したように、３分割構図が選択された場合においては、水平３分割線、垂直３分割線、および３分割線交点のそれぞれと主題領域の重心位置との距離が算出されるようにしたが、ここでは、３分割線交点と主題領域の重心位置との距離のみが算出される。すなわち、配置評価部１１１は、図２６に示される３分割線交点PDi（但し、i=0,1,2,3）のそれぞれと、主題領域の重心位置PMとの距離| PDi - PM |を算出する。
【０１７９】
ステップＳ３１３において、配置評価部１１１は、参照位置（３分割線交点PDi）と主題領域の重心位置との距離に基づいて、上述した式（４）で示される値GDPMを求める。
【０１８０】
ステップＳ３１４において、配置評価部１１１は、主題領域のアスペクト比に基づいて、主題領域の形状についての係数αpMを求める。ここで、係数αpMは、図１３を参照して説明した係数αpMと同様にして求められる。
【０１８１】
ステップＳ３１５において、配置評価部１１１は、注目領域抽出部３１からの注目領域情報で表わされる注目領域のうちの副題領域の大きさに基づいて、副題領域のアスペクト比を求める。
【０１８２】
ステップＳ３１６において、配置評価部１１１は、副題領域のアスペクト比に応じた参照位置と副題領域の重心位置との距離を算出する。
【０１８３】
ここで、副題領域の重心位置PSとすると、ステップＳ３１２の処理と同様に、配置評価部１１１は、図２６に示される３分割線交点PDiのそれぞれと、副題領域の重心位置PSとの距離| PDi - PS |を算出する。
【０１８４】
ステップＳ３１７において、配置評価部１１１は、参照位置（３分割線交点PDi）と副題領域の重心位置との距離に基づいて、上述した式（４）で示される値GDPMと同様にして、値GDPMを求める。
【０１８５】
ステップＳ３１８において、配置評価部１１１は、副題領域のアスペクト比に基づいて、副題領域の形状についての係数αpSを求める。なお、係数αpSは、図１３を参照して説明した係数αpMと同様にして求められる。
【０１８６】
このように、対角線構図においては、注目領域（主題領域および副題領域）が縦長であったり横長であることは無視され、注目領域が正方形に近い形であることのみが注目されている。
【０１８７】
ステップＳ３１９において、配置評価部１１１は、入力画像の対角線上に参照位置をとる主題領域についての値GDPM、係数αpM、および重み係数wMsizeと、副題領域についての値GDPS、係数αpS、および重み係数wSsizeとに基づいて、配置要素elem_pを算出する。
【０１８８】
まず、以下の式（１４）で示される、入力画像における主題領域の配置についての評価関数Epm(M)、および、入力画像における副題領域の配置についての評価関数Epn(S)が求められる。
【０１８９】
【数１４】
2011193125.tif 000016
【０１９０】
式（１４）は、主題領域および副題領域が、それぞれ３分割線交点に近づくほど、評価関数Epm(M)およびEpn(S)の値が大きくなることを示している。
【０１９１】
また、式（１４）において、添え字ｍ，ｎは、それぞれ、図２６で示された３分割線交点PDiの添え字ｉがとる値のうち、３分割線交点PDiが対角線上に位置する値をとる。すなわち、図２６においては、３分割線交点PD0およびPD3、３分割線交点PD1およびPD2が対角線上に位置するので、添え字ｍ，ｎは、その組み合わせとして、(m,n)=(0,3),(1,2),(2,1),(3,0)の４通りで与えられ、一方の値が決まれば、他方の値も一意に決まる。したがって、評価関数Epm(M)およびEpn(S)は、４通りの組み合わせで求められる。
【０１９２】
そして、評価関数Epm(M)およびEpn(S)、重み係数wMsizeおよびwSsize、並びに、重み関数αMに基づいて、以下の式（１５）で示される配置要素elem_pが求められる。
【０１９３】
【数１５】
2011193125.tif 000017
【０１９４】
式（１５）において、括弧｛｝内の値をＡとすると、max{Ａ}（maxの下にｍが記されている）は、所定の値ｍによって与えられる値Ａのうち、最大となる値Ａを示している。すなわち、式（１５）においては、４通りの組み合わせで求められる評価関数Epm(M)およびEpn(S)はで与えられる値Ａのうち、最大となる値Ａが配置要素elem_pとして算出される。また、式（１５）において、重み関数αMは、式（１２）等で説明したものと同一である。
【０１９５】
以上のようにして、主題領域および副題領域がそれぞれ、対角線上に並ぶ３分割線交点のそれぞれに近づくほど、値が大きくなる配置要素elem_pが算出される。
【０１９６】
このように、注目領域の数は２で、入力画像の構図パターンとして対角線構図が選択された場合であっても、その撮影状況と構図パターンとに基づいて、入力画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される構図と比較することができるとともに、入力画像の構図についての評価結果として、入力画像に推奨される構図に基づいた評価結果を容易に確認することができる。
【０１９７】
以上のように、ユーザは、撮像装置から入力した入力画像を、入力画像に推奨される様々な構図と比較することができるとともに、入力画像の構図についての評価結果として、日の丸構図などの単純な構図についての評価結果でなく、入力画像に推奨される様々な構図に基づいた評価結果を容易に確認することができるので、ユーザの撮影に関する技術をより向上させることが可能となる。
【０１９８】
なお、上述で説明した、３分割構図、対比構図、および対角線構図以外の構図パターンが選択された場合であっても、３分割構図上の参照位置と注目領域の重心位置とに基づいて、その構図パターンに応じた配置要素elem_pが算出されれば、画像処理装置１１は、その選択された構図パターンに基づいた評価結果を出力することが可能である。
【０１９９】
以上においては、撮像装置等で撮像された画像を入力画像として、入力画像の構図を採点する画像処理装置について説明してきたが、撮像した撮像画像の構図をそのまま採点する構成を撮像装置に設けるようにしてもよい。
【０２００】
＜４．第４の実施の形態＞
［撮像装置の構成例について］
図２７は、撮像した撮像画像の構図を採点するようにした撮像装置の構成例を示している。なお、図２７の撮像装置５１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２０１】
すなわち、図２７の撮像装置５１１において、図１の画像処理装置１１と異なるのは、撮像部５２１、画像処理部５２２、および表示部５２３を新たに設けた点である。
【０２０２】
なお、図２７の評価結果出力部２４は、構図評価部２３からのスコア、撮影状況識別部２１からの撮影状況情報（シーン情報および参照領域画像）、構図パターン選択部２２からの構図パターンを、撮像画像とともに、表示部５２３に供給する。
【０２０３】
撮像部５２１は、光学レンズ、撮像素子、A/D(Analog/Digital)変換部（いずれも図示せず）を含むように構成される。撮像部５２１は、光学レンズに入射された光を、撮像素子が受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部５２１は、A/D変換の結果得られたデジタルの画像データ（撮像画像）を画像処理部５２２に供給する。
【０２０４】
画像処理部５２２は、撮像部５２１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、撮影状況識別部２１に供給する。
【０２０５】
表示部５２３は、評価結果出力部２４から撮像画像とともに供給された、シーン情報、構図パターン、スコア、および参照領域画像を、撮像画像とともに表示する。
【０２０６】
［撮像装置の画像評価処理について］
次に、図２８のフローチャートを参照して、図２７の撮像装置５１１の画像評価処理について説明する。なお、図２８のフローチャートにおけるステップＳ５１３乃至Ｓ５１５の処理は、図６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３の処理と同様であるので、その説明は省略するものとする。
【０２０７】
すなわち、ステップＳ５１１において、撮像部５２１は、被写体を撮像し、得られた撮像画像を画像処理部５２２に供給する。
【０２０８】
ステップＳ５１２において、画像処理部５２２は、撮像部５２１からの撮像画像に対し、ノイズ除去処理等の画像処理を施し、撮影状況識別部２１および評価結果出力部２４に供給する。
【０２０９】
ステップＳ５１６において、評価結果出力部２４は、構図評価部２３からのスコアScore、シーン判別部３２からのシーン情報、色情報比較部３３からの参照領域画像、および構図パターン選択部２２からの構図パターンを、撮像画像とともに、表示部５２３に供給する。表示部５２３は、評価結果出力部２４から撮像画像とともに供給された、シーン情報、構図パターン、スコア、および参照領域画像を、撮像画像とともに表示する。
【０２１０】
図２９は、撮像装置５１１の表示部５２３に表示された表示例を示している。
【０２１１】
図２９に示される撮像装置５１１の表示部５２３においては、図２０と同様に、晴れた日の夕暮れ時の水平線に沈む太陽が撮影された撮像画像に、シーン情報、構図パターン、スコア、および参照領域画像を示す縮小画像がOSD表示されている。
【０２１２】
具体的には、撮像画像の左上には、シーン情報として「scene:海岸＋夕景」、構図パターンとして「推奨構図:３分割構図＋水平線構図」、スコアとして「Score:50」の文字列が表示されている。また、撮像画像の右上には、「参照領域画像」の文字列と参照領域画像を示す縮小画像が表示されている。
【０２１３】
また、図２９においては、被写体としての太陽と色領域を決定する水平線とが、矩形によって囲まれて表示され、撮像画像全体に対して、３分割構図を表す３分割線が表示されている。
【０２１４】
以上の処理によれば、撮影状況に応じた構図パターンが選択され、その撮影状況と構図パターンとに基づいて、撮像画像の構図が評価され、評価結果としてのスコアが出力される。これにより、ユーザは、撮像した撮像画像を、撮像画像に推奨される様々な構図と比較することができるとともに、撮像画像の構図についての評価結果として、日の丸構図などの単純な構図についての評価結果でなく、撮像画像に推奨される様々な構図に基づいた評価結果を容易にかつリアルタイムに確認することができるので、ユーザの撮影に関する技術をより向上させることが可能となる。
【０２１５】
また、図２９の撮像装置５１１において、表示部５２３の右側に配置されている、ボタンやダイヤルから構成される操作部などが操作されることにより、図３０に示されるように、ユーザに対して、スコアがより高くなるようなアドバイスを表示させるようにしてもよい。
【０２１６】
図３０においては、撮像装置５１１の表示部５２３に表示されている撮像画像と３分割構図を表す３分割線とに加え、ユーザに対するアドバイスが表示されている。具体的には、表示部５２３において、被写体としての太陽については、右上の３分割線交点に合わせるように示唆する矢印および「主題を３分割交点に合わせるとGood」のアドバイスが表示されている。また、撮像画像の色領域を決定する水平線については、下側の垂直３分割線に合わせるように示唆する矢印および「水平線を３分割線に合わせるとGood」のアドバイスが表示されている。
【０２１７】
これは、例えば、構図評価部２３の配置評価部１１１によって求められる、注目領域（主題領域）の重心位置と参照位置との距離に基づいて、その距離がより小さくなる注目領域の重心位置の移動先（方向）を求めることにより実現される。これにより、配置要素の値がより大きくなり、ひいては、スコアがより高くなるようになる。
【０２１８】
このように、ユーザに対して、スコアがより高くなるようなアドバイスが表示されることにより、ユーザは、撮像している画像について、推奨される構図に近づけるためのノウハウを知ることができるので、ユーザの撮影に関する技術をさらに向上させることが可能となる。
【０２１９】
なお、以上においては、入力画像（または撮像画像）の構図についての評価結果として、数値化されたスコアを出力（または表示）するようにしたが、数値化されたスコアに基づいた５段階評価結果としての文字（例えばＡ乃至Ｅ）やアイコンを出力するようにしてもよいし、配置要素、重要度要素、および色要素の値をそれぞれグラフ化した図形を表示するようにしてもよい。
【０２２０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２２１】
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２２２】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２２３】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２２４】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２５】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２６】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２２９】
１１  画像処理装置，  ２１  撮影状況識別部，  ２２  構図パターン選択部，  ２３  構図評価部，  ２４  評価結果出力部，  ３１  注目領域抽出部，  ３２  シーン判別部，  ３３  色情報比較部，  ５１  注目度算出部，  ５２  注目矩形領域決定部，  ５３  顔矩形領域決定部，  ７１  スケーリング部，  ７２  領域分割部，  ７３  領域画像DB，  ７４  領域画像選択部，  ７５  類似度算出部，  １１１  配置評価部，  １１２  重要度評価部，  １１３  色評価部，  ５１１  撮像装置，  ５２１  撮像部，  ５２２  画像処理部，  ５２３  表示部
【図１】
2011193125.tif 000018
【図２】
2011193125.tif 000019
【図３】
2011193125.tif 000020
【図４】
2011193125.tif 000021
【図５】
2011193125.tif 000022
【図６】
2011193125.tif 000023
【図７】
2011193125.tif 000024
【図８】
2011193125.tif 000025
【図９】
2011193125.tif 000026
【図１０】
2011193125.tif 000027
【図１１】
2011193125.tif 000028
【図１２】
2011193125.tif 000029
【図１３】
2011193125.tif 000030
【図１４】
2011193125.tif 000031
【図１５】
2011193125.tif 000032
【図１６】
2011193125.tif 000033
【図１７】
2011193125.tif 000034
【図１８】
2011193125.tif 000035
【図１９】
2011193125.tif 000036
【図２０】
2011193125.tif 000037
【図２１】
2011193125.tif 000038
【図２２】
2011193125.tif 000039
【図２３】
2011193125.tif 000040
【図２４】
2011193125.tif 000041
【図２５】
2011193125.tif 000042
【図２６】
2011193125.tif 000043
【図２７】
2011193125.tif 000044
【図２８】
2011193125.tif 000045
【図２９】
2011193125.tif 000046
【図３０】
2011193125.tif 000047
【図３１】
2011193125.tif 000048