(57)【特許請求の範囲】
【請求項１】
元画像内の複数の重要部分を検出する検出手段と、
前記元画像内において、前記検出手段により検出された前記複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定する第１の位置特定手段と、
前記検出手段によって検出された前記複数の重要部分の各々が異なる領域となるように前記元画像を複数の領域に分割する分割手段と、
前記第１の位置特定手段により特定された第１の位置の各々を維持するように、前記分割手段によって分割された複数の分割領域の各々の大きさを変化させて、前記元画像の対応する前記分割領域と置き換える処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記分割手段によって分割された前記複数の分割領域の各々の大きさを変化させた場合に変化後の前記分割領域を順次指定して、前記複数の分割領域内に含まれる前記重要部分の前記所定位置と、前記元画像の前記分割領域に含まれる前記重要部分の前記所定位置とを合わせると共に、大きさを変化させた前記分割領域から、前記元画像の対応する前記分割領域の大きさに相当する画像部分を切り出して前記元画像の対応する前記分割領域と置き換える処理を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、大きさを変化させた前記分割領域から、前記元画像の対応する前記分割領域の大きさに相当する画像部分を切り出すための切出枠を設定した際に、大きさを変化させた前記重要部分が前記切出枠からはみ出すか否かを判別し、はみ出すと判別した場合に、前記重要部分が前記元画像内に収まる方向に切出枠を移動する処理を行う、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
元画像内から背景部分を除いて被写体部分を検出し、前記被写体部分に含まれる複数の重要部分を検出する検出手段と、
前記検出手段により検出された前記各重要部分内の所定位置に該当する複数の位置を重要部分内の所定位置を第１の位置として特定する第１の位置特定手段と、
前記検出手段によって検出された前記複数の重要部分を含む異なる複数の部分を前記元画像から抽出する抽出手段と、
前記第１の位置特定手段により特定された前記複数の第１の位置を維持するように、前記抽出手段によって抽出された前記複数の部分の各々の大きさを変化させて、前記元画像内の対応する前記被写体部分と置き換える処理を行う画像処理手段と、
前記検出手段によって検出された重要部分を含む複数の被写体部分が前記元画像内において重なり合っている場合に、その複数の被写体部分の重なりの上下関係を特定する上下関係特定手段と、
を備え、
前記画像処理手段は、前記抽出手段によって抽出された被写体部分の大きさを変化させて、前記上下関係特定手段によって特定された重なりの上下関係となるように、前記元画像内の対応する前記被写体部分の各々と置き換える処理を行う、
ことを特徴とする画像処理装置。
【請求項５】
元画像内から背景部分を除いて被写体部分を検出し、前記被写体部分に含まれる複数の重要部分を検出する検出手段と、
前記検出手段により検出された前記各重要部分内の所定位置に該当する複数の位置を第１の位置として特定する第１の位置特定手段と、
前記検出手段によって検出された前記複数の重要部分を含む異なる複数の部分を前記元画像から抽出する抽出手段と、
前記第１の位置特定手段により特定された前記複数の第１の位置を維持するように、前記抽出手段によって抽出された前記複数の部分の各々の大きさを変化させて、前記元画像内の対応する前記被写体部分と置き換える処理を行う画像処理手段と、
前記画像処理手段が前記被写体部分の大きさを変化させて、前記元画像と置き換える処理を行う際に、当該大きさを変化させた前記複数の被写体部分同士で重なりが発生した場合に、その重なりの上下関係を特定する上下関係特定手段と、
を備え、
前記画像処理手段は、大きさを変化させた前記複数の被写体部分同士で重なりが発生した場合に、前記上下関係特定手段によって特定された重なりの上下関係を基に元画像と置き換える処理を行う
ことを特徴とする画像処理装置。
【請求項６】
前記上下関係特定手段は、新たな重なりが発生した複数の前記被写体部分の各々の、前記元画像の撮影時における被写体フォーカス距離、前記元画像における大きさ、及び前記元画像における位置関係のうち、少なくともその何れかに基づいて、前記重なりの上下関係を特定する、
ことを特徴とする請求項5に記載の画像処理装置。
【請求項７】
前記被写体部分は、人物部分であり、前記重要部分は、人物の顔部分である、
ことを特徴とする請求項４乃至６の何れか１項に記載の画像処理装置。
【請求項８】
元画像内の複数の重要部分を検出する検出手段と、
前記元画像内において、前記検出手段により検出された各前記重要部分内の所定位置に該当する複数の位置を第１の位置として特定する第１の位置特定手段と、
前記検出手段によって検出された前記複数の重要部分に対応してその各々を含む異なる複数の部分を前記元画像から抽出する抽出手段と、
前記第１の位置特定手段により特定された複数の前記第１の位置を維持するように、前記抽出手段によって抽出された複数の抽出部分の各々の大きさを変化させ、大きさの変化によって前記複数の重要部分の重なり合いが新たに発生していれば、重なりが少なくなる方向に、何れかの重要部分を移動させて、前記元画像内の対応する部分と置き換える処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項９】
前記画像処理手段は、置き換える処理を行う際に、大きさを変化させた前記重要部分が前記元画像のサイズからはみ出すか否かを判別し、はみ出すと判別した場合に、前記重要部分が前記元画像内に収まる方向に前記重要部分を移動する処理を行う、
ことを特徴とする請求項４乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記元画像の大きさを変化させた前記重要部分内の所定位置を第２の位置として特定する第２の位置特定手段を、更に備え、
前記画像処理手段は、前記第１の位置特定手段により特定された第１の位置と前記第２の位置特定手段により特定された前記第２の位置とが合うように、前記元画像の大きさを変化させて、前記元画像と置き換える処理を行う、
ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記元画像を表示手段に表示させている状態において、前記画像処理手段が置き換える処理を行った際に、置き換えられた画像を前記表示手段に切り換え表示させる表示制御を行う表示制御手段を、更に備える、
ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
画像処理装置における画像処理方法であって、
元画像内の複数の重要部分を検出する処理と、
前記元画像内において、前記検出処理により検出された前記複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定する位置特定処理と、
前記検出処理によって検出された前記複数の重要部分の各々が異なる領域となるように前記元画像を複数の領域に分割する分割処理と、
前記位置特定処理により特定された第１の位置の各々を維持するように、前記分割処理によって分割された複数の分割領域の各々の大きさを変化させて、前記元画像の対応する前記分割領域と置き換える処理を行う画像処理と、
を備えることを特徴とする画像処理方法。
【請求項１３】
画像処理装置のコンピュータに対して、
元画像内の複数の重要部分を検出する検出機能と、
前記元画像内において、前記検出機能により検出された前記複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定する特定機能と、
前記検出機能によって検出された複数の重要部分の各々が異なる領域となるように前記元画像を複数の領域に分割する分割機能と、
前記特定機能により特定された第１の位置の各々を維持するように、前記分割機能によって分割された複数の分割領域の各々の大きさを変化させて、前記元画像の対応する前記分割領域と置き換える処理を行う画像処理機能と、
を実現させるためのプログラム。
以上
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の重要部分を基にその画像を処理する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、人物などの被写体を撮影した撮影済み画像（保存画像）を再生する際に、その撮影済み画像内の重要部分である人物の顔部分を確認するためにその重要部分を拡大して表示することが広く行われている。例えば、特許文献１には、撮影済み画像内から人物を検出して、その顔画像のみをモニタ画面の中央位置に拡大して表示するようにした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献の技術にあっては、撮影済画像内の人物の顔部分（重要部分）を確認するためだけであれば、重要部分を拡大して表示することは有効であるとしても、拡大する前の画像内における重要部分の位置と、拡大後の画像内における重要部分との位置関係が変わってしまい、不自然なものとなってしまうという問題があった。このことは、撮影済み画像を拡大する場合に限らず、その画像の大きさを変化させる場合にも共通していえる問題であった。
【０００５】
本発明の課題は、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させることができるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明は、
元画像内の複数の重要部分を検出する検出手段と、
前記元画像内において、前記検出手段により検出された前記複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定する第１の位置特定手段と、
前記検出手段によって検出された複数の重要部分の各々が異なる領域となるように前記元画像を複数の領域に分割する分割手段と、
前記第１の位置特定手段により特定された第１の位置の各々を維持するように、前記分割手段によって分割された前記複数の分割領域の各々の大きさを変化させて、前記元画像の対応する前記分割領域と置き換える処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置である。
以上
【発明の効果】
【０００７】
本発明によれば、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させることができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図２】（１）、（２）は、画像内に含まれている重要部分を目立たせるために、その重要部分が不自然とならないようにその大きさを変化させて表示する場合の処理過程を説明するための図。
【図３】（１）、（２）は、図２（１）、（２）に続く処理過程を説明するための図。
【図４】（１）、（２）は、図３（１）、（２）に続く処理過程を説明するための図、（３）は、（１）、（２）は、新たに生成された画像を説明するための図。
【図５】（１）〜（３）は、図２〜図４とは異なる他の画像を例示した場合の処理過程を説明するための図。
【図６】画像再生が指示された際に実行開始される画像処理装置（デジタルカメラ）の動作（第１実施形態の特徴的な動作）を説明するためのフローチャート。
【図７】図６に続く動作を示したフローチャート。
【図８】（１）〜（３）は、図７のステップＳ２０、Ｓ２１、Ｓ２７、Ｓ２８を説明するための具体例を示した図。
【図９】（１）〜（３）は、第２実施形態において、画像内に含まれている重要部分を目立たせるために、その重要部分が不自然とならないようにその大きさを変化させて表示する場合の処理過程を説明するための図。
【図１０】第２実施形態において、図６に続く動作を示したフローチャート。
【図１１】第２実施形態において、（１）は、重要部分を含む被写体部分の大きさを変化させて表示させた場合に、その重要部分に支障を生じた場合を例示し、（２）は、その支障を解消した場合を例示した図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
まず、図１〜図８を参照して本発明の第１実施形態を説明する。
図１は、画像処理装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。この画像処理装置（デジタルカメラ）は、被写体を高精細に撮影可能な撮像機能、記録保存されている撮影済み画像（保存画像）を任意に読み出して再生する画像再生機能などを備えている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内に格納されている各種のプログラムに応じてこのカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１０】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図６及び図７に示した動作手順に応じて第１実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３ａと、フラグなどのデータを一時記憶するワークメモリ３ｂと、撮影済み画像を保存する画像メモリ３ｃなどを有している。なお、記憶部３は、例えば、ＳＤカード、ＵＳＢメモリなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。操作部４は、図示省略したが、電源オン／オフを行う電源キー、撮影が可能なモード（ＲＥＣモード）と撮影済み画像（保存画像）を再生するモード（ＰＬＡＹモード）などを切り替えるモード変更キーなど、各種のキーを備えたもので、制御部１は、キー操作に応じて、例えば、モード変更処理、撮影処理、再生処理などを行う。
【００１１】
撮像部５は、図示しないが、撮影レンズ、撮像素子（ＣＣＤやＣＭＯＳなど）、各種のセンサ、アナログ処理部、デジタル処理部を有し、更に、ズーム調整、自動露出調整（ＡＥ処理）、フォーカス位置を自動調整するオートフォーカス（ＡＦ）機能などを備えている。このＡＦ機能には、更に、複数エリアのフォーカス距離を測定可能なマルチエリアフォーカスを有している。この撮像部５によって撮影された画像は、制御部１によりその画像を圧縮してファイル化する画像圧縮処理が施された後、記憶部３の画像メモリ３ｃに記録保存される。表示部６は、高精細液晶などで、撮像された画像（ライブビュー画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像を再生する再生画面となったりする。
【００１２】
図２（１）〜（３）、図３（１）、（２）及び図４（１）、（２）は、画像再生時に再生対象として指定された撮影済み画像（保存画像）を処理する過程を順次説明するための図で、この撮影済み画像内に含まれている重要部分を目立たせるために、その重要部分が不自然とならないようにその重要部分の大きさを変化（拡大）させて表示する場合の処理過程を示している。
【００１３】
図２（１）は、再生対象としてユーザ操作で任意に指定された撮影済み画像（再生対象として指定された直後の画像又は拡大表示する前の画像：元画像）を例示したもので、図示の例では左右に並ぶ２人の人物Ａ、Ｂを、その顔部分を中心として撮影した元画像を示している。本実施形態は、この元画像を解析することによって元画像内からその重要部分（本実施形態では人物の顔部分）を検出すると共に、この重要部分内の所定位置（例えば、顔部分の中心位置）を第１の位置として特定した後、この第１の位置を維持するように、元画像の大きさを変化させて、その変化後の画像を元画像と置き換える処理を行うようにしている。
【００１４】
すなわち、図２（２）、（３）は、元画像を拡大する前の処理過程を説明するための図で、制御部１は、元画像を解析することによって人物Ａ、Ｂ毎に、その顔部分（重要部分）を検出した後、図２（２）に示すように、検出した顔部分内の所定位置（例えば、顔部分の中心位置：目と目の間の位置）を第１の位置Ｐ１ａ、Ｐ１ｂとして特定して、それらの座標（元画像の左上画素を原点とする座標）を検出する。なお、このような顔検出機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているために、その具体的な説明については省略するものとする。なお、本実施形態においては、元画像の顔部分内の所定位置（第１の位置）を顔部分の中心位置としているが、目と目の間の位置に限らず、鼻尖（鼻先）を顔部分の中心位置としてもよく、更に、顔部分の中心位置でなくてもよい。
【００１５】
このように第１の位置を特定した後、制御部１は、元画像の全体を、検出した人物の顔の数に応じて複数個の領域に分割する処理を行う。例えば、図２（３）に示すように、各人物Ａ、Ｂの顔部分内の所定位置（図示の例では、第１の位置Ｐ１ａ、Ｐ１ｂ）を結ぶ直線（図中、細い破線：仮想線）上において、それらの中心位置の中点を求め、その中点を通る直交線分（図中、太い破線：仮想線）を分割線とし、この分割線を境にして、元画像の全体を複数個の領域に分割する処理を行う。図示の例では、元画像の全体を左右２つの領域に２分割した場合を示している。
【００１６】
図３（１）は、上述のように元画像の全体を人物の顔の数に応じて複数個の領域に分割した状態を例示したもので、図２（３）に示した太い破線（仮想線）に沿って、右側（人物Ａ）の分割領域と、左側（人物Ｂ）の分割領域に分割した場合である。この状態において、制御部１は、人物毎に分割した領域、例えば、人物Ａの分割領域と人物Ｂの分割領域を、ユーザ操作によって指定された倍率（同一の拡大率）でその大きさを変化（拡大）させるが、その際、上述した第１の位置Ｐ１ａ、Ｐ１ｂを維持するように、元画像の大きさを変化させてその変化後の画像を、元画像と置き換える処理を行う。
【００１７】
図３（２）は、図３（１）で示した右側（人物Ａ）の分割領域と、左側（人物Ｂ）の分割領域の個々の大きさを、同一の指定倍率で変化させた場合（例えば、ユーザ操作によって指定された倍率で拡大した場合）の画像を例示したもので、分割領域の各々を拡大してその大きさを変化させると、制御部１は、図３（２）に示すように、拡大する前に特定した第１の位置Ｐ１ａ、Ｐ１ｂと概念的に同一の位置となる位置を第２の位置Ｐ２ａ、Ｐ２ｂとして特定する処理を行う。例えば、第１の位置Ｐ１ａ、Ｐ１ｂの座標に分割領域を拡大した指定倍率を乗算することによって、第１の位置Ｐ１ａ、Ｐ１ｂと概念的に同一の位置（例えば、顔部分の中心位置：目と目の間の位置）を第２の位置Ｐ２ａ、Ｐ２ｂとして特定する。
【００１８】
このように第２の位置Ｐ２ａ、Ｐ２ｂを特定した後、制御部１は、拡大した各分割領域を個別に順次指定して、元画像の対応する分割領域と置き換える処理を行う。すなわち、図４（１）に示すように、拡大した各分割領域のいずれかの領域として、例えば、人物Ａの分割領域を指定した後、その拡大前に特定した第１の位置Ｐ１ａと拡大後に特定した第２の位置Ｐ２ａとが一致するように拡大後の人物Ａの分割領域を配置すると共に、この拡大後の人物Ａの分割領域を、図中、一点鎖線で示した領域（元画像の人物Ａの分割領域）の大きさを持った切出枠でトリミングして、元画像の対応する分割領域（人物Ａの分割領域）と置き換える処理を行う。なお、図中、Ｐ１ａ（Ｐ２ａ）は、人物Ａの分割領域における第１の位置Ｐ１ａと第２の位置Ｐ２ａとを一致させた状態を示している（以下、同様）。
【００１９】
次に、拡大後の分割領域として、図４（２）に示すように、人物Ｂの分割領域を指定した後、拡大前に特定した第１の位置Ｐ１ｂと拡大後に特定した第２の位置Ｐ２ｂとが一致するように拡大後の人物Ｂの分割領域を配置すると共に、この拡大後の人物Ｂの分割領域を、図中、一点鎖線で示した領域（元画像の人物Ｂの分割領域）の大きさを持った切出枠でトリミングして、元画像の対応する分割領域（人物Ｂの分割領域）と置き換える処理を行う。なお、図中、Ｐ１ｂ（Ｐ２ｂ）は、人物Ｂの分割領域における第１の位置Ｐ１ｂと第２の位置Ｐ２ｂとを一致させた状態を示している（以下、同様）。
【００２０】
図４（３）は、図４（１）、（２）に示した置き換え処理によって新たに生成された画像を示している。この場合、各分割領域内には重要部分とその周辺の背景部分も含まれているので、各分割領域の拡大によって重要部分とその周辺の背景部分も拡大されることになる。また、分割領域毎に拡大して、その拡大した分割領域を元画像の対応する分割領域と置き換えられるため、新たに生成された画像内において各重要部分同士が重なり合うようなことはない。
【００２１】
図５（１）〜（３）は、他の画像を例示した場合の処理過程を説明するための図である。すなわち、上述した図２（１）〜（３）及び図３（１）、（２）と同様に、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させて表示する場合の処理過程を示し、上述した図２（１）の元画像は、２人の人物Ａ、Ｂが左右に並んでいる場合であるが、図５（１）の元画像は、３人の人物Ａ、Ｂ、Ｃが三角形の頂点に配置されているように並んでいる場合である。制御部１は、この元画像を解析して人物Ａ、Ｂ、Ｃ毎にその顔部分を検出し、図５（２）に示すようにその顔部分内の所定位置（例えば、目と目の間の位置）を第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃとして特定する。
【００２２】
そして、制御部１は、元画像の全体を人物の数に応じて複数個の領域に分割する。例えば、図５（２）に示すように、隣り合う人物の顔部分内の所定位置、図示の例では、隣り合う人物Ａ、Ｂの第１の位置Ｐ１ａとＰ１ｂを結ぶ直線（図中、細い破線：仮想線）上において、各中心位置の中点を求め、その中点を通る直交線分（図中、太い破線：仮想線）を分割線とする。同様に、隣り合う人物Ａ、Ｃの第１の位置Ｐ１ａとＰ１ｃを結ぶ直線上において、各中心位置の中点を求め、その中点を通る直交線分を分割線とする。更に、隣り合う人物Ｂ、Ｃの第１の位置Ｐ１ｂとＰ１ｃを結ぶ直線上において、各中心位置の中点を求め、その中点を通る直交線分を分割線とする。そして、これらの分割線が交差する点を求め、この交差点を境として、元画像の全体を分割線に沿って複数の領域に分割することにより、図示の例では３つの領域（人物Ａの領域、人物Ｂの領域、人物Ｃの領域）に分割する。
【００２３】
以下、同様に、分割した３つの領域を拡大して元画像の対応する分割領域と置き換える処理を分割領域毎に個別に行う。すなわち、分割した３つの領域の個々の大きさを、同一の指定倍率で変化させると共に、第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃと概念的に同一の位置となる第２の位置Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃを特定した後、人物Ａ、Ｂ、Ｃの分割領域の個々を順次指定しながら置き換え処理を行う。これによって図５（３）に示すような新たな画像が生成される。なお、図中、Ｐ１ｃ（Ｐ２ｃ）は、人物Ｃの第１の位置Ｐ１ｃと第２の位置Ｐ２ｃとの一致を示している（以下、同様）。この場合においても、各分割領域内には重要部分とその周辺の背景部分も含まれているので、各分割領域の拡大によって重要部分の他にその周辺の背景部分も拡大されることになる。また、分割領域毎に拡大して、その拡大した分割領域を元画像の分割領域と置き換えるため、新たに生成された画像内で各重要部分同士が重なるようなことはない。
【００２４】
次に、第１実施形態における画像処理装置（デジタルカメラ）の動作概念を図６及び図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図６及び図７は、画像処理装置（デジタルカメラ）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図６及び図７のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２５】
図６及び図７は、画像再生が指示された際に実行開始される画像処理装置（デジタルカメラ）の動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
まず、制御部１は、ユーザ操作によって再生対象として指定された撮影済み画像（元画像）を画像メモリ３ｃから取得すると共に、後述する図示省略の顔検出フラグをオフしてワークメモリ３ｂに一時記憶しておく（図６のステップＳ１）。そして、取得した元画像を解析して重要部分（人物の顔部分）を検出する処理（ステップＳ２）を行い、その結果、重要部分（人物の顔部分）を検出することができたかを調べる（ステップＳ３）。
【００２６】
ここで、元画像内から顔部分を検出したときには（ステップＳ３でＹＥＳ）、ワークメモリ３ｂ内の顔検出フラグをオンするが（ステップＳ４）、人物の顔部分を検出しなければ（ステップＳ３でＮＯ）、上述のステップＳ４をスキップすることで、顔検出フラグをオフのままとする。したがって、顔検出フラグをオンは、元画像の解析で人物の顔部分を検出できたこと、つまり、元画像内に人物の顔部分が含まれていることを示すフラグである。そして、元画像の大きさを変化させる指定倍率（拡大率）として、その初期値“１”を設定する処理（ステップＳ５）を行った後、元画像を表示部６に表示させる処理（ステップＳ６）に移る。
【００２７】
この状態において、画像の拡大を指示する操作が行われたかを調べたり（ステップＳ７）、その他の操作（例えば、次の再生対象を指定する操作、再生終了を指定する操作、表示画像の保存を指定する操作など）が行われたかを調べたりする（ステップＳ８）。いま、その他の操作が行われたときには（ステップＳ８でＹＥＳ）、その操作に応じた処理へ移り、例えば、次の再生対象の画像を指定する処理、表示部６に表示されている画像を画像メモリ３ｃに記録保存する処理などを行う。
【００２８】
画像の拡大を指示する操作が行われたときには（ステップＳ７でＹＥＳ）、上述の指定倍率に所定値（例えば、０．５）を加算する処理（ステップＳ９）を行うことによって、指定倍率を１段階アップさせる。例えば、指定倍率がその初期値“１”倍であれば、この加算処理によって指定倍率は“１．５”倍にアップされ、指定倍率が“１．５”倍であれば、“２．０”倍にアップされる。その後、上述の顔検出フラグがオンされているかを調べるが（ステップＳ１０）、顔検出フラグがオフされている場合、つまり、元画像から人物の顔を検出することができなかった場合には（ステップＳ１０でＮＯ）、元画像の全体領域を指定倍率で拡大する処理（ステップＳ１１）を行う。
【００２９】
そして、元画像を拡大した拡大画像の中心位置、又は予め指定されている位置を拡大前の元画像の中心位置に一致させる処理（ステップＳ１２）を行った後、拡大画像を元画像の大きさでトリミングして元画像と置き換えることにより新たな画像を生成する処理を行う（ステップＳ１３）。これによって新たな画像を生成すると、上述のステップＳ６に戻り、この生成画像を再生対象として表示させた後、操作待ちの状態となる（ステップＳ７、Ｓ８）。ここで、更に、拡大操作が行われると（ステップＳ７でＹＥＳ）、指定倍率を更に１段階アップ（ステップＳ９）させた後、上述の動作を行うために、拡大操作が行われる毎に、１段階ずつ拡大した画像が順次表示されることになる。
【００３０】
一方、顔検出フラグがオンされている場合、つまり、元画像から顔部分を検出できた場合には（ステップＳ１０でＹＥＳ）、図７のフローに移り、検出した顔の数は２つ以上（２人以上）であるかを調べる（ステップＳ１４）。ここで、検出した顔の数が２つ以上（２人以上）であれば（ステップＳ１４でＹＥＳ）、各人物の顔部分内の所定位置（目と目の間の位置）を第１の位置として特定してワークメモリ３ｂに一時記憶する処理（ステップＳ１５）を行った後、この第１の位置に基づいて、人物毎に元画像を複数に分割して各分割領域を抽出する処理（ステップＳ１６）を行う。
【００３１】
例えば、検出した顔の数が２つであれば、図２（３）に示すように、各人物の顔部分内の所定位置Ｐ１ａ、Ｐ１ｂを結ぶ直線（仮想線）上において、それらの中心位置の中点を求め、その中点を通る直交線分（仮想線）を分割線とし、この分割線を境にして元画像の全体を２つの領域（右側の領域と左側の領域）に分割して、その各分割領域を抽出する（切り出す）。また、検出した顔の数が３つであれば、図５（２）に示すように、上述したように分割線は３本となるため、元画像の全体を３本の分割線に沿って３つの領域に分割して、その各分割領域を抽出する（切り出す）。
【００３２】
これによって抽出した各分割領域の個々を、上述の指定倍率で拡大する処理（ステップＳ１７）を行うと共に、この拡大した後の各分割領域内の顔部分内の第１の位置と概念的に同一の位置となる位置を第２の位置として特定してワークメモリ３ｂに一時記憶する処理を行う（ステップＳ１８）。例えば、検出した顔の数が２つであれば、図３（２）に示すように、第１の位置Ｐ１ａ、Ｐ１ｂと概念的に同一の位置となる拡大した画像の位置を第２の位置Ｐ２ａ、Ｐ２１ｂとして特定する。また、検出した顔の数が３つであれば、図４（３）に示すように、第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃと概念的に同一の位置となる拡大した画像の位置を第２の位置Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃとして特定する。
【００３３】
そして、拡大した後の複数の分割領域を順次指定して、拡大する前の顔部分内の所定位置（第１の位置）に、拡大した後の顔部分内の所定位置（第２の位置）が一致するように拡大後の分割領域を配置すると共に、この拡大後の分割領域上に、元画像の対応する分割領域の大きさを持った切出し枠を設定する処理（ステップＳ１９）を行う。例えば、図４（１）に示すように、人物Ａの分割領域において、その第１の位置Ｐ１ａと第２の位置Ｐ２ａとを一致させた状態で拡大後の分割領域上に、元画像の人物Ａの分割領域の大きさでトリミングするための切出枠（図中、一点鎖線で示した領域枠）を設定する。同様に、図４（２）に示すように、人物Ｂの分割領域において、その第１の位置Ｐ１ｂと第２の位置Ｐ２ｂとを一致させた状態で拡大後の分割領域上に、元画像の人物Ｂの分割領域の大きさでトリミングするための切出枠（図中、一点鎖線で示した領域枠）を設定する。
【００３４】
このように分割領域毎に切出枠を設定した際に、顔部分がその切出枠で切れてしまう分割領域が存在しているか、例えば、顔の２０％以上が切出枠からはみ出てしまう分割領域が存在しているかを調べる（ステップＳ２０）。ここで、各分割領域のうち、顔部分が切出枠で切れてしまう分割領域が１つでも存在していれば（ステップＳ２０でＹＥＳ）、その分割領域を指定してその顔部分が切出枠で切れないように、つまり、切出枠から顔部分がはみ出さないように切出枠を移動する方向及び移動量を決定して、切出枠の設定位置を変更（切出枠を移動）する処理（ステップＳ２１）を行う。
【００３５】
例えば、図８（１）は、人物Ａ、Ｂを含む元画像を示し、図８（２）は、人物Ａ、Ｂ毎に分割して拡大した領域上に、元画像の人物Ａ、Ｂの分割領域の大きさでトリミングするための切出枠（図中、一点鎖線で示した領域枠）を設定した状態を示している。この場合、人物Ａの顔部分は切出枠内に収まっているため（ステップＳ２０でＮＯ）、上述のステップＳ２１はスキップされるが、人物Ｂの顔部分は切出枠で切れてしまうため（ステップＳ２０でＹＥＳ）、顔部分が切出枠で切れないように切出枠を移動する処理（ステップＳ２１）を行う。
【００３６】
図８（３）は、人物Ａの顔部分は切出枠に収まっているので、その切出枠を移動しないが、人物Ｂの顔部分は切出枠で切れてしまうので、顔部分が切出枠で切れないように切出枠を移動（図示の例では右側方向に移動）した後の状態を示している。なお、図示の例では、顔の右側部分が切れている場合を示したが、顔の下側部分が切れている場合には、切出枠を下側方向に移動すればよい。なお、切出枠を移動する場合に、顔部分が切出枠内に完全に収まらなくても収まる方向に可能な限り切出枠を移動するようにすればよい。
【００３７】
このようにして切出枠を設定した状態において、拡大後の各分割領域を切出枠でトリミングして元画像の対応する分割領域と置き換えることにより新たな画像を生成する（ステップＳ２２）。これによって図２（１）の元画像は、図４（３）に示す新たな画像に変換される。同様に、図５（１）の元画像は、図５（３）に示す新たな画像に変換される。更に、図８（１）の元画像は、図８（４）に示す新たな画像に変換される。その後、図６のステップＳ６に戻り、その生成画像を再生対象として表示させた後、操作待ちの状態となる（ステップＳ７、Ｓ８）。ここで、更に、拡大操作が行われた場合には（ステップＳ７でＹＥＳ）、指定倍率を１段階アップさせる処理（ステップＳ９）を行った後、上述の動作を行うために、拡大操作が行われる毎に、１段階ずつ拡大した画像が順次表示されることになる。
【００３８】
一方、１つの顔（１人）を検出した場合には（ステップＳ１４でＮＯ）、その顔部分内の所定位置（例えば、目と目の間の位置）を第１の位置として特定してワークメモリ３ｂに一時記憶する処理（ステップＳ２３）を行った後、この元画像の全体を上述の指定倍率で拡大する処理（ステップＳ２４）を行う。そして、この第１の位置と概念的に同一の位置となる拡大した画像の中心位置を第２の位置として特定してワークメモリ３ｂに一時記憶する処理（ステップＳ２５）を行った後、この拡大した画像内の第２の位置が、元画像内の第１の位置に一致するように拡大画像を配置した状態において、拡大画像上に元画像の大きさを持った切出し枠を設定する（ステップＳ２６）。
【００３９】
そして、顔部分が切出枠で切れてしまうか、例えば、顔の２０％以上が切出枠からはみ出てしまうかを調べ（ステップＳ２７）、顔部分が切出枠で切れてしまう場合には（ステップＳ２７でＹＥＳ）、顔部分が切出枠で切れないように、つまり、切出枠から顔部分がはみ出さないように切出枠を移動する方向及び移動量を決定して、切出枠の設定位置を変更（切出枠を移動）する（ステップＳ２８）。このように切出枠を設定した状態において、拡大後の画像を切出枠でトリミングして元画像と置き換えることにより新たな画像を生成する（ステップＳ２９）。その後、図６のステップＳ６に戻り、その生成画像を再生対象として表示させた後、操作待ちの状態となる（ステップＳ７、Ｓ８）。ここで、更に、拡大操作が行われた場合には（ステップＳ７でＹＥＳ）、指定倍率を１段階アップさせる処理（ステップＳ９）を行った後、上述の動作を行うために、拡大操作が行われる毎に、１段階ずつ拡大した画像が順次表示されることになる。
【００４０】
以上のように、第１実施形態において制御部１は、元画像内の重要部分内の所定位置を第１の位置として特定し、この第１の位置を維持するように、元画像の大きさを変化させてその変化後の画像を、元画像と置き換える処理を行うようにしたので、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させることができる。
【００４１】
制御部１は、元画像内において複数の重要部分の各々を独立に検出した場合に、検出した複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定すると共に、複数の重要部分の各々が異なる領域となるように元画像を複数の領域に分割した後、この第１の位置の各々を維持するように、分割した複数の分割領域の各々の大きさを変化させて、元画像の対応する分割領域と置き換える処理を行うようにしたので、不自然とならないように複数の重要部分と共にその周辺の背景部分の大きさも変化させることができ、更に、分割領域毎に大きさを変えて元画像の対応する分割領域と置き換えるようにしているため、各重要部分同士が重なり合うこともない。
【００４２】
制御部１は、元画像内において複数の重要部分の各々を独立に検出した場合に、検出し複数の重要部分の各々が異なる領域となるように元画像を複数の領域に分割し、この複数の分割領域の各々の大きさを変化させた場合にその変化後の分割領域を順次指定して、その分割領域内に含まれる重要部分の所定位置と、元画像の分割領域に含まれる重要部分の所定位置とを合わせると共に、大きさを変化させた分割領域から、元画像の対応する分割領域の大きさに相当する画像部分を切り出して元画像の対応する分割領域と置き換える処理を行うようにしたので、重要部分の位置を変えずにその大きさを変化させることができる。更に、大きさを変化させた複数の分割領域を個別に指定しながら、元画像の対応する分割領域の大きさに相当する画像部分を切り出して元画像の対応する分割領域と置き換えるようにしたので、大きさ変化前後の位置を合わせても重要部分同士が重なり合うこともない。
【００４３】
制御部１は、大きさを変化させた分割領域から、元画像の対応する分割領域の大きさに相当する画像部分を切り出すための切出枠を設定した際に、大きさを変化させた重要部分が切出枠からはみ出す場合に、その重要部分が元画像内に収まる方向に切出枠を移動する処理を行うようにしたので、重要部分の大きさが変化して重要部分が元画像のサイズからはみだした場合でも、そのはだしを修正する操作が不要となり、操作性を良くすることができる。
【００４４】
制御部１は、元画像の大きさを変化させた場合にその変化後の画像内においてその重要部分内の所定位置を第２の位置として特定した後、第１の位置と第２の位置とが合うように、大きさを変化させた変化後の画像を、元画像に置き換えるようにしたので、簡単な位置合わせを行うだけで、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させた画像を容易に得ることができる。
【００４５】
制御部１は、表示部６に元画像を表示させている状態において、元画像と置き換える処理が行われた際に、置き換えられた画像を表示部６に切り換え表示させるようにしたので、表示部６の表示内容を、大きさの変化前の画像から変化後の画像に切り換えることができる。
【００４６】
なお、上述した第１の実施形態においては、元画像の全体を、検出した重要部分（人物の顔）の数に応じて複数個の領域に分割する場合に、隣り合う人物の顔部分内の所定位置（第１の位置）を結ぶ直線上の中点を求め、その中点を通る直交線分を分割線としたが、元画像の全体を複数に分割する仕方はこれに限らず、任意である。
【００４７】
（第２実施形態）
以下、この発明の第２実施形態について図９〜図１１を参照して説明する。
なお、上述した第１実施形態においては、重要部分が複数の場合に元画像の全体を重要部分の数に応じて複数個の領域に分割して各分割領域の大きさを変化させた後、その変化後の画像を、元画像と置き換える処理を行うようにしたが、この第２実施形態においては、元画像から背景部分を除き、重要部分を含む被写体部分を検出し、この被写体部分の輪郭に沿って被写体部分だけを元画像から抽出して（切り出して）、その大きさを変化させた後、その変化後の被写体部分を元画像内の対応する被写体部分と置き換える処理を行うようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００４８】
図９（１）〜（３）は、第２実施形態において、元画像内に含まれている重要部分を目立たせるために、その重要部分が不自然とならないようにその大きさを変化させて表示する場合の処理過程を説明するための図である。
図９（１）は、元画像を例示し、図示の例は、３人の人物Ａ、Ｂ、Ｃが三角形の頂点に配置されているように並んでいる場合であり、各重要部分（人物の顔部分）を含む被写体部分（人物部分）の所定位置を第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃとして特定した状態を示している。そして、図示の例は、被写体部分（人物部分）内の第１の位置として、重要部分（顔部分）内の所定位置（例えば、顔部分の中心位置：目と目の間の位置）とした場合を示したが、重要部分は、顔部分に限らず、例えば、人物部分が人物の上半身であれば、その首部分内の位置を第１の位置として特定するようにしてもよい。
【００４９】
図９（２）は、元画像から背景部分を除き、重要部分（顔部分）を含む被写体部分（人物部分）の各々を検出して、元画像からその人物部分の輪郭に沿ってその人物部分を抽出した後、この抽出した人物部分を指定倍率で拡大した場合の画像を示している。図中、Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃは、拡大した各人物部分内に特定した第２の位置を示し、図示の例は、この第２の位置を、顔部分内の所定位置（例えば、顔部分の中心位置）とした場合である。つまり、拡大する前の顔部分内の所定位置（第１の位置）と概念的に同一の位置（例えば、目と目の間の位置）を第２の位置Ｐ２ａ、Ｐ２ｂとして特定した場合を示したが、第１の位置と概念的に同一の位置であればよく、人物部分が上半身であれば、その首部分内の所定位置を第２の位置として特定するようにしてもよい。
【００５０】
図９（３）は、元画像内の第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃに、拡大した後の人物部分内の第２の位置Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃが一致するように、拡大した後の人物部分を元画像内の対応する人物部分と置き換えることによって新たに生成された画像を示している。図示の例では、拡大した後の人物Ｃの人物部分を拡大前の人物Ｃの人物部分と置き換えることによって、元画像の背景部分（樹木）の一部が人物Ｃの人物部分と重なり合って隠れてしまうが、樹木の位置は元の位置のままである。
【００５１】
図１０は、第２実施形態において、第１実施形態の図７の動作に代わるフローチャート（図６に続く動作を示したフローチャート）である。なお、図６で示した動作は、第２実施形態においても第１実施形態と同様であるため、その説明は省略するものとする。
制御部１は、上述の顔検出フラグがオンされていれば（図６のステップＳ１０でＹＥＳ）、図１０のフローに移り、元画像から各人物の顔部分内の所定位置（顔部分の中心位置：目と目の間の位置）を被写体部分の第１の位置として特定してワークメモリ３ｂに一時記憶する処理を行う（ステップＳ３１）。図９（１）は、元画像内において各人物Ａ、Ｂ、Ｃに対応してその顔部分内の所定位置（目と目の間の位置）を被写体部分の第１の位置Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃとして特定した状態を示している。
【００５２】
そして、元画像から背景部分を除き、重要部（人物の顔部分）を含む被写体部分（人物部分）を抽出する処理（ステップＳ３２）を行う。この場合、検出した顔部分に連続する衣服などを含めて人物の全体を特定し、その輪郭に沿ってその人物部分を抽出する（切り出す）処理を行う。なお、人物部分を切り出す際には、例えば、公知のフラクタル輪郭抽出法やファジイ推論などのアルゴリズムを用いて行うようにしている。図９（１）は、人物Ａ、Ｂ、Ｃに対応して各人物部分を抽出した状態を示している。
【００５３】
次に、制御部１は、元画像内において複数の人物部分同士で重なっているかを判別し、重なっている場合にはその重なりの上下関係を特定して、その結果をワークメモリ３ｂに一時記憶する（ステップＳ３３）。ここで、上下関係を特定する際には、抽出した人物部分の端部が他の抽出した人物部分の端部とその一部が一致しているか否かを、抽出した人物部分毎に判別し、一致していると判別した場合は、他の抽出した人物部分を「上」と特定するようにしている。例えば、図８（１）の元画像の場合には、人物Ａ、Ｃに対応する人物部分が一部重なり合っているので、その重なりの上下関係（人物Ａが「上」、人物Ｃが「下」）がワークメモリ３ｂに一時記憶される。そして、この抽出した人物部分の各々を、上述の指定倍率で拡大する処理（ステップＳ３４）を行った後、拡大した顔部分内の所定位置を第２の位置として特定してワークメモリ３ｂに一時記憶する処理を行う（ステップＳ３５）。例えば、図８（２）に示すように、各人物Ａ、Ｂ、Ｃの人物部分を拡大し、その拡大した人物部分においてその顔部分内の所定位置を第２の位置Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃとして特定する。
【００５４】
次に、被写体部分（人物部分）毎に、第１の位置に第２の位置が一致するように、拡大した人物部分を元画像内の人物部分に置き換えるように配置したものとすると、拡大した人物部分同士で新たな重なりが発生したか否かを判別する（ステップＳ３６）。いま、新たな重なりが発生しなければ（ステップＳ３７でＮＯ）、後述するステップＳ４１に移るが、新たな重なりが発生した場合には（ステップＳ３７でＹＥＳ）、その新たな重なりの上下関係を特定する処理（ステップＳ３８）を行う。
【００５５】
すなわち、上述のマルチエリアフォーカス機能で撮影された場合のように、元画像の撮影時にそのファイル情報に複数の顔部分の各々に対応付けてそのフォーカス距離が記憶されていれば、フォーカス距離が短い方を「上」、他を「下」とする上下関係を特定する。複数のフォーカス距離が記憶されていなければ、又は記憶されているがフォーカス距離が同じであれば、元画像内において顔部分の位置が下側を「上」、他を「下」とする上下関係を特定する。顔部分の位置が同じであれば、顔部分の面積が小さい方を「上」、他を「下」とする上下関係を特定する。顔部分の面積が同じであれば、元画像における顔部分の位置が、元画像の中心に近い方を「上」、他を「下」とする上下関係を特定する。
【００５６】
例えば、図９（３）に示した場合には、拡大した被写体部分（人物部分）において人物Ｂ、Ｃ間においては、新たな重なりが発生しているので、その重なりの上下関係を特定する。この場合、元画像に複数のフォーカス距離が記憶されていれば、フォーカス距離が短い方の人物（手前の人物）Ｂを「上」とし、複数のフォーカス距離が記憶されていなければ、顔部分の位置が下側にある人物Ｂを「上」とする上下関係を特定する。
【００５７】
そして、新たに発生した重なりは重要部分（顔部分）であるかを調べ（ステップＳ３９）、重要部分（顔部分）が重ならなければ（ステップＳ３９でＮＯ）、後述するステップＳ４１に移るが、顔部分が重なる場合には（ステップＳ３９でＹＥＳ）、顔部分の重なりを解消するために、上述のステップＳ３８で判別された重なりの上下関係を参照し、「下」と判別された人物部分を移動の対象として特定すると共に、顔部分の重なりを解消する最短距離を移動量として特定して、その結果をワークメモリ３ｂに一時記憶する処理を行う（ステップＳ４０）。そして、ステップＳ４１に移る。
【００５８】
このステップＳ４１は、人物毎に第１の位置に第２の位置が一致するように、拡大した人物部分を元画像上に配置したものとした場合に、拡大した人物の顔部分が元画像のサイズ内に収まっているか、つまり、顔部分が元画像の端部で切れているか（顔部分がはみ出ているか）を判別する。その結果、顔部分が切れていなければ（ステップＳ４２でＮＯ）、ステップＳ４４に移るが、顔部分が切れている場合には（ステップＳ４２でＹＥＳ）、顔部分のはみ出しを解消するために、その人物部分を移動の対象として特定すると共に、はみ出しを解消する最短距離を移動量として特定して、その結果をワークメモリ３ｂに一時記憶する処理（ステップＳ４３）を行う。
【００５９】
次に、上述のようにしてワークメモリ３ｂに一時記憶させた各種の情報を読み出す（ステップＳ４４）。まず、上述のステップＳ３１で人物毎に特定した第１の位置を読み出し、上述のステップＳ３５で人物毎に特定した第２の位置を読み出す。更に、ワークメモリ３ｂ内に以下の情報が一時記憶されていれば、その情報を読み出す。すなわち、元画像内で各人物部分が重なっている場合には、上述のステップＳ３３で特定された元画像内での重なりの上下関係を読み出す。また、拡大した顔部分同士で新たな重なりが発生した場合には、上述のステップＳ４０で特定された移動対象と移動量を読み出す。また、拡大した顔部分が元画像の端部で切れている（顔部分がはみ出している）場合には、上述のステップＳ４３で特定された移動対象と移動量を読み出す。
【００６０】
そして、このワークメモリ３ｂから読み出した各種の情報に基づいて、拡大した人物部分を元画像内の対応する人物部分と置き換えることによって新たな画像を生成する処理（ステップＳ４５）を行う。すなわち、人物毎にその第１の位置に第２の位置が一致するように、拡大した人物部分を元画像内の対応する人物部分と置き換える処理を行う。その際、元画像内で人物部分の重なりが発生していた場合には、ワークメモリ３ｂから読み出した重なりの上下関係に基づいて、その重なりとなるように（元画像と同様の重なりを維持するように）、元画像内の対応する人物部分の各々と置き換える。
【００６１】
また、拡大した複数の顔部分同士で新たな重なりが発生した場合には、その物部分を元画像内の対応する人物部分と置き換えた後に、ワークメモリ３ｂから読み出した移動対象と移動量に基づいて、移動対象の人物部分を、重なりが少なくなる方向（又は解消する方向）にその移動量だけ移動する処理を行う。また、拡大した顔部分が元画像の端部で切れている（顔部分がはみ出している）場合には、ワークメモリ３ｂから読み出した移動対象と移動量に基づいて、移動対象の人物部分を、はみ出しが少なくなる方向（又は解消する方向）にその移動量だけ移動する処理を行う。
【００６２】
図１１（１）は、新たな画像を生成する過程で、人物部分の拡大によって人物Ａと人物Ｂとの重なりが発生する場合を例示し、更に、人物Ｃの顔部分が元画像の端部（元画像サイズ）で切れる（顔がはみ出す）場合を例示した図である。図１１（２）は、人物Ａと人物Ｂとの重なりを解消し、更に、人物Ｃの顔部分のはみ出しを解消するように人物Ａ、Ｃの位置を移動修正して生成された新たな画像を例示した図であり、図示の矢印は、人物部分の移動方向と移動量を示し、人物Ａの人物部分は、左方向に移動され、人物Ｃの人物部分は、右方向に移動された場合である。
【００６３】
なお、図１１（２）の場合には、人物Ａ、Ｃの人物部分を移動する修正を行うことによって各人物の顔部分同士が重ならず、かつ各人物の顔部分が元画像のサイズ内に収まる場合を例示したが、顔部分が元画像のサイズ内に収まるように人物部分を移動させた際に、他の人物の顔部分と重なる場合には、顔部分が完全に収まるように移動するよりも、他の人物の顔部分と重ならないようにすることを優先するようにしている。つまり、他の人物の顔部分と重なる場合には、顔部分が元画像のサイズ内に完全に収まらなくても他の人物の顔部分に重ならない位置まで移動するようにしている。例えば、人物Ａ、Ｂ、Ｃを含む画像において、人物Ｃの顔部分が元画像のサイズ内に収まらない場合には、人物Ｃの顔部分が人物Ｂの顔部分に重ならない位置まで人物Ｃを中心方向に移動することによって人物Ｂを優先するようにしている。
【００６４】
このようにして、拡大した各人物部分を元画像上の対応する人物部分と置き換えるように元画像上に配置合成することによって新たな画像を生成した後は、図６のステップＳ６に戻り、その生成画像を再生対象として表示させた後、操作待ちの状態となる（ステップＳ７、Ｓ８）。ここで、更に、拡大操作が行われた場合には（ステップＳ７でＹＥＳ）、指定倍率を１段階アップさせる処理（ステップＳ９）を行った後、上述の動作を行うために、拡大操作が行われる毎に、１段階毎に拡大した画像が表示部６に順次表示されることになる。
【００６５】
以上のように、第２実施形態において制御部１は、元画像内において複数の重要部分の各々を独立に検出した場合に、各重要部分内の所定位置に該当する複数の位置を第１の位置としてそれぞれ特定すると共に、この複数の重要部分に対応してその各々を含む異なる複数の部分を元画像から抽出した後、複数の第１の位置を維持するように、抽出した複数の抽出部分の各々の大きさを変化させて、元画像内の対応する部分と置き換えるようにしたので、元画像内の背景全体との関係を変えずに複数の重要部分だけを不自然とならないようにその大きさを変化させることができる。
【００６６】
制御部１は、元画像から背景部分を除き、重要部分を含む被写体部分を検出して、その被写体部分の所定位置を第１の位置として特定すると共に、この被写体部分を元画像から抽出した後、第１の位置を維持するように、抽出した被写体部分の大きさを変化させて、元画像内の対応する被写体部分と置き換えるようにしたので、元画像の背景部分との関係を変えずに重要部分を含む被写体部分だけを不自然とならないようにその大きさを変化させることができる。
【００６７】
制御部１は、元画像から重要部分を含む被写体部分を複数検出した場合に、元画像内において複数の被写体部分が重なり合っている場合に、その複数の被写体部分の重なりの上下関係を特定し、複数の被写体部分の大きさを変化させて、その重なりの上下関係となるように、元画像内の対応する被写体部分の各々と置き換えるようにしたので、元画像内で複数の被写体部分が重なっていれば、その被写体部分の大きさを変化させても元画像と同様の重なりとすることができる。
【００６８】
制御部１は、大きさを変化させた複数の被写体部分同士で新たな重なりが発生した場合に、その重なりの上下関係を特定し、その重なりの上下関係を基にその何れかの被写体部分を移動対象として特定して、その重なりが少なくなる方向に移動するようにしたので、大きさ変化によって被写体部分同士で新たな重なりが発生したとしてもその重なりを改善することができる。
【００６９】
制御部１は、画像の大きさを変化させることによって複数の人物部分で新たな重なりが発生した場合に、元画像の撮影時における被写体フォーカス距離、元画像における大きさ、元画像における位置関係を基に、その重なりの上下関係を判別するようにしたので、その重なりの上下関係を容易かく確実に特定することが可能となる。
【００７０】
被写体部分は、人物部分であり、重要部分は、人物の顔部分であるので、顔部分を含む人物部分が不自然とならないようにその人物部分の大きさを変化させることができる。
【００７１】
制御部１は、元画像内に複数の重要部分がある場合に、複数の重要部分の大きさを変化させて、元画像と置き換える処理を行う際に、大きさの変化によって複数の重要部分の重なり合いが新たに発生していれば、その重なりが少なくなる方向に、何れかの重要部分を移動させる処ようにしたので、大きさ変化によって重要部分同士で新たな重なりが発生したとしてもその重なりを改善することができる。
【００７２】
制御部１は、変化後の画像を、元画像と置き換える処理を行う際に、変化後の重要部分が元画像のサイズからはみ出す場合には、その重要部分が元画像内に収まる方向にその重要部分を移動する処理を行うようにしたので、重要部分の大きさが変化して重要部分が元画像のサイズからはみだした場合でも、そのはみ出しを修正する操作が不要となり、操作性を良くすることができる。
【００７３】
制御部１は、元画像の大きさを変化させた場合に、その重要部分内の所定位置を第２の位置として特定した後、第１の位置と第２の位置とが合うように、大きさを変化させた画像を、元画像に置き換えるようにしたので、簡単な位置合わせを行うだけで、画像内の重要部分が不自然とならないようにその重要部分の大きさを変化させた画像を得ることができる。
【００７４】
制御部１は、表示部６に元画像を表示させている状態において、元画像と置き換える処理が行われた際に、置き換えられた画像を表示部６に切り換え表示させるようにしたので、表示部６の表示内容を、大きさの変化前の画像から変化後の画像に切り換えることができる。
【００７５】
なお、上述した第２実施形態においては、画像の大きさを変化させることによって複数の人物部分で新たな重なりが発生した場合に、元画像の撮影時における被写体フォーカス距離、元画像における大きさ、元画像における位置関係を基に、その重なりの上下関係を判別するようにしたが、人物部分を解析してその性別、年齢層を推測し、例えば、女性、子供であれば、女性、子供を「上」として優先するようにしてもよい。更に、高精細に写っている顔部分を「上」として優先するようにしてもよい。
【００７６】
上述した各実施形態においては、再生対象として任意の元画像を指定すると、その元画像内の重要部分を検出して拡大して新たな画像を生成するようにしたが、ユーザ操作によって拡大表示が指定されたことを条件として、この新たな画像を生成するようにしてもよく、また、ユーザが任意に指定した重要部分だけを拡大して新たな画像を生成するようにしてもよい。
【００７７】
上述した各実施形態においては、被写体として人物を例示したが、それに限らず、例えば、被写体は、犬、猫などのペット、植木、草花などの植物であってもよく、被写体が植物であれば、茎、葉、花を含む全体を被写体部分とし、その中の花を重要部分とすればよい。また、重要部分は、被写体毎に予め決められている部分としてもよいが、ユーザ操作によって任意に指定された部分であってもよい。
【００７８】
上述した各実施形態においては、拡大操作が行われる毎に指定倍率を１段階毎にアップするようにしたが、指定倍率は等比拡大に限らず、ユーザ操作によって任意の指定した倍率としてもよい。
【００７９】
また、上述した各実施形態においては、画像処理装置としてデジタルカメラに適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどに適用するようにしてもよい。
【００８０】
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００８１】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
元画像内の重要部分を検出する検出手段と、
前記元画像内において、前記検出手段により検出された重要部分内の所定位置を第１の位置として特定する第１の位置特定手段と、
前記第１の位置特定手段により特定された第１の位置を維持するように、前記元画像の大きさを変化させて、前記元画像と置き換える処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記元画像内において複数の重要部分の各々を独立に検出し、
前記第１の特定手段は、前記元画像内において、前記検出手段により検出された複数の重要部分内の所定位置に該当する複数の位置を第１の位置として特定し、
前記検出手段によって検出された複数の重要部分の各々が異なる領域となるように前記元画像を複数の領域に分割する分割手段を、更に備え、
前記画像処理手段は、前記第１の位置特定手段により特定された第１の位置の各々を維持するように、前記分割手段によって分割された複数の分割領域の各々の大きさを変化させて、前記元画像の対応する分割領域と置き換える処理を行う、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記画像処理手段は、前記分割手段によって分割された複数の分割領域の各々の大きさを変化させた場合にその変化後の分割領域を順次指定して、その分割領域内に含まれる重要部分の所定位置と、前記元画像の分割領域に含まれる重要部分の所定位置とを合わせると共に、大きさを変化させた分割領域から、前記元画像の対応する分割領域の大きさに相当する画像部分を切り出して元画像の対応する分割領域と置き換える処理を行う、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
前記画像処理手段は、大きさを変化させた分割領域から、前記元画像の対応する分割領域の大きさに相当する画像部分を切り出すための切出枠を設定した際に、前記大きさを変化させた重要部分が前記切出枠からはみ出すか否かを判別し、はみ出すと判別した場合に、その重要部分が前記元画像内に収まる方向に切出枠を移動する処理を行う、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項１に記載の画像処理装置において、
前記検出手段は、前記元画像内において複数の重要部分の各々を独立に検出し、
前記第１の位置特定手段は、前記検出手段によって検出された各重要部分内の所定位置に該当する複数の位置を第１の位置としてそれぞれ特定し、
前記検出手段によって検出された複数の重要部分に対応してその各々を含む異なる複数の部分を前記元画像から抽出する抽出手段を、更に備え、
前記画像処理手段は、前記第１の位置特定手段により特定された前記複数の第１の位置を維持するように、前記抽出手段によって抽出された複数の抽出部分の各々の大きさを変化させて、前記元画像内の対応する部分と置き換える処理を行う、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記重要部分は、元画像における被写体部分に含まれ、
前記検出手段は、前記元画像から背景部分を除き、重要部分を含む被写体部分を検出し、
前記第１の位置特定手段は、前記検出手段により検出された重要部分を含む被写体部分の所定位置を第１の位置として特定し、
前記検出手段によって検出された重要部分を含む被写体部分を前記元画像から抽出する抽出手段を、更に備え、
前記画像処理手段は、前記第１の位置特定手段により特定された第１の位置を維持するように、前記抽出手段によって抽出された被写体部分の大きさを変化させて、前記元画像内の対応する被写体部分と置き換える処理を行う、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記検出手段は、前記元画像から重要部分を含む被写体部分を複数検出し、
前記検出手段によって検出された重要部分を含む複数の被写体部分が前記元画像内において重なり合っている場合に、その複数の被写体部分の重なりの上下関係を特定する第１の上下関係特定手段を、更に備え、
前記画像処理手段は、前記抽出手段によって抽出された被写体部分の大きさを変化させて、前記第１の上下関係特定手段によって特定された重なりの上下関係となるように、前記元画像内の対応する被写体部分の各々と置き換える処理を行う、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項６又は７に記載の画像処理装置において、
前記画像処理手段が前記被写体部分の大きさを変化させて、前記元画像と置き換える処理を行う際に、当該大きさを変化させた複数の被写体部分同士で新たな重なりが発生した場合に、その重なりの上下関係を特定する第２の上下関係特定手段を、更に備え、
前記画像処理手段は、大きさを変化させた複数の被写体部分同士で新たな重なりが発生した場合に、前記第２の上下関係特定手段によって特定された重なりの上下関係を基に元画像と置き換える処理を、更に行う、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記第２の上下関係特定手段は、新たな重なりが発生した複数の被写体部分の各々の、前記元画像の撮影時における被写体フォーカス距離、前記元画像における大きさ、及び前記元画像における位置関係のうち、少なくともその何れかに基づいて、その重なりの上下関係を特定する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項６乃至９の何れか１項に記載の画像処理装置において、
前記被写体部分は、人物部分であり、前記重要部分は、人物の顔部分である、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項５乃至１０の何れか１項目に記載の画像処理装置において、
前記画像処理手段は、前記元画像内に複数の重要部分がある場合に、複数の重要部分の大きさを変化させて、前記元画像と置き換える処理を行う際に、大きさの変化によって複数の重要部分の重なり合いが新たに発生していれば、その重なりが少なくなる方向に、何れかの重要部分を移動させる処理を、更に行う、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項５乃至１１の何れか１項に記載の画像処理装置において、
前記画像処理手段は、置き換える処理を行う際に、前記大きさを変化させた重要部分が前記元画像のサイズからはみ出すか否かを判別し、はみ出すと判別した場合に、その重要部分が前記元画像内に収まる方向にその重要部分を移動する処理を行う、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１乃至１２の何れか１項に記載の画像処理装置において、
前記元画像の大きさを変化させた重要部分内の所定位置を第２の位置として特定する第２の位置特定手段を、更に備え、
前記画像処理手段は、前記第１の位置特定手段により特定された第１の位置と前記第２の位置特定手段により特定された第２の位置とが合うように、前記元画像の大きさを変化させて、前記元画像と置き換える処理を行う、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、請求項１乃至１３の何れか１項に記載の画像処理装置において、
前記元画像を表示手段に表示させている状態において、前記画像処理手段が置き換える処理を行った際に、置き換えられた画像を前記表示手段に切り換え表示させる表示制御を行う表示制御手段を、更に備える、
ことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、
画像処理装置における画像処理方法であって、
元画像内の重要部分を検出する処理と、
前記元画像内において、前記検出された重要部分内の所定位置を第１の位置として特定する処理と、
前記特定された第１の位置を維持するように、前記元画像の大きさを変化させて、前記元画像と置き換える処理と、
を含むことを特徴とする。
（請求項１６）
請求項１６に記載の発明は、
画像処理装置のコンピュータに対して、
元画像内の重要部分を検出する機能と、
前記元画像内において、前記検出された重要部分内の所定位置を第１の位置として特定する機能と、
前記特定された第１の位置を維持するように、前記元画像の大きさを変化させて、前記元画像と置き換える機能と、
を実現させるためのプログラムである。
【符号の説明】
【００８２】
１  制御部
３  記憶部
３ａ  プログラムメモリ
３ｂ  ワークメモリ
３ｃ  画像メモリ
４  操作部
５  撮像部
６  表示部
Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃ  第１の位置
Ｐ２ａ、Ｐ２ｂ、Ｐ２ｃ  第２の位置
【図１】
0006736993.tif 000002
【図２】
0006736993.tif 000003
【図３】
0006736993.tif 000004
【図４】
0006736993.tif 000005
【図５】
0006736993.tif 000006
【図６】
0006736993.tif 000007
【図７】
0006736993.tif 000008
【図８】
0006736993.tif 000009
【図９】
0006736993.tif 000010
【図１０】
0006736993.tif 000011
【図１１】
0006736993.tif 000012