(57)【要約】【課題】各画像に写る主要な被写体のサイズや位置がまちまちな画像群から閲覧しやすい画像群を得る。【解決手段】本発明による画像処理装置は、画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算手段と、２画像において所定領域以外の領域を算出する第２演算手段と、２画像から所定領域以外の領域をそれぞれトリミングする第３演算手段とを備える。【選択図】図２
2009200579.tif 000002
【特許請求の範囲】
【請求項１】
画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算手段と、
前記２画像において前記所定領域以外の領域を算出する第２演算手段と、
前記２画像から前記所定領域以外の領域をそれぞれトリミングする第３演算手段とを備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記２画像間で前記主要被写体を構成するデータサイズを揃えるようにサイズ変換を行う第４演算手段をさらに備え、
前記第１演算手段は、前記第４演算手段によるサイズ変換後に前記２画像間で位置ずれ量を算出することを特徴とする画像処理装置。
【請求項３】
画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算手段と、
前記２画像において前記所定領域以外の領域を算出する第２演算手段と、
前記２画像のうち一方の画像から前記所定領域以外の領域をトリミングするとともに、該トリミング後の画像に前記２画像のうち他方の画像が有する前記所定領域以外の領域を合成する第３演算手段とを備えることを特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３のいずれか一項に記載の画像処理装置において、
前記第１演算手段は、顔を含む領域を主要被写体とすることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第１演算手段は、前記顔領域内の一点を合致させて前記２画像を重ねた場合に重複する範囲を前記所定領域とすることを特徴とする画像処理装置。
【請求項６】
画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算と、
前記２画像において前記所定領域以外の領域を算出する第２演算と、
前記２画像から前記所定領域以外の領域をそれぞれトリミングする第３演算とをコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項７】
画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算と、
前記２画像において前記所定領域以外の領域を算出する第２演算と、
前記２画像のうち一方の画像から前記所定領域以外の領域をトリミングするとともに、該トリミング後の画像に前記２画像のうち他方の画像が有する前記所定領域以外の領域を合成する第３演算とをコンピュータに実行させることを特徴とする画像処理装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムに関する。
【背景技術】
【０００２】
異なるカメラで被写体を交互に撮影する技術が知られている（特許文献１参照）。
【０００３】
【特許文献１】特開２００４−２３５７８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
異なるカメラで撮影された画像のように、画像間で撮影倍率の違いや視差が生じていると各画像の閲覧がしづらくなるという問題がある。
【課題を解決するための手段】
【０００５】
（１）本発明による画像処理装置は、画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算手段と、２画像において所定領域以外の領域を算出する第２演算手段と、２画像から所定領域以外の領域をそれぞれトリミングする第３演算手段とを備えることを特徴とする。
（２）請求項１に記載の画像処理装置はさらに、２画像間で主要被写体を構成するデータサイズを揃えるようにサイズ変換を行う第４演算手段を備えてもよい。この場合の第１演算手段は、第４演算手段によるサイズ変換後に２画像間で位置ずれ量を算出するのが好ましい。
（３）他の発明による画像処理装置は、画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算手段と、２画像において所定領域以外の領域を算出する第２演算手段と、２画像のうち一方の画像から所定領域以外の領域をトリミングするとともに、該トリミング後の画像に２画像のうち他方の画像が有する所定領域以外の領域を合成する第３演算手段とを備えることを特徴とする。
（４）請求項１〜請求項３のいずれか一項に記載の画像処理装置において、第１演算手段は、顔を含む領域を主要被写体とすることもできる。
（５）請求項４に記載の画像処理装置において、第１演算手段は、顔領域内の一点を合致させて２画像を重ねた場合に重複する範囲を所定領域とすることもできる。
（６）本発明による画像処理プログラムは、画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算と、２画像において所定領域以外の領域を算出する第２演算と、２画像から所定領域以外の領域をそれぞれトリミングする第３演算とをコンピュータに実行させることを特徴とする。
（７）他の発明による画像処理プログラムは、画像上で主要被写体を含む所定領域の位置について、異なる２画像間で位置ずれ量を算出する第１演算と、２画像において所定領域以外の領域を算出する第２演算と、２画像のうち一方の画像から所定領域以外の領域をトリミングするとともに、該トリミング後の画像に２画像のうち他方の画像が有する所定領域以外の領域を合成する第３演算とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、各画像に写る主要な被写体のサイズや位置がまちまちな場合に比べて、閲覧しやすい画像群が得られる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による画像処理装置を説明する図である。図１において、画像処理装置１００は、電子カメラ１０および電子カメラ２０から取得した画像ファイルを有する。図１の例では、画像処理装置１００が電子カメラ１０から無線ＬＡＮなどを介した無線接続で画像ファイルを受信し、電子カメラ２０からは有線接続で画像ファイルを受信する。
【０００８】
なお、画像処理装置１００が電子カメラ１０および電子カメラ２０の双方から無線接続で画像ファイルを受信するように構成してもよいし、電子カメラ１０および電子カメラ２０の双方から有線接続で画像ファイルを受信するように構成してもよい。
【０００９】
また、電子カメラ１０、電子カメラ２０によって撮影された画像ファイルが記録されている記録媒体を画像処理装置１００にセットした上で、画像処理装置１００が当該記録媒体から画像ファイルを読み出すようにしても構わない。
【００１０】
画像処理装置１００が電子カメラ１０および電子カメラ２０の双方から取得した画像ファイルは、それぞれが同一の被写体を略等しい撮影距離で連写撮影した画像ファイルである。これらの画像ファイルは、電子カメラ１０および電子カメラ２０間で撮影レンズの焦点距離および連写速度が同一に設定され、電子カメラ１０による撮影の合間に電子カメラ２０による撮影を行って取得されたものである。
【００１１】
電子カメラ１０で撮影された画像ファイル群を、画像Ａ(ｋ)で表す。ただしｋ＝１，２，…，ｎである。また、電子カメラ２０で撮影された画像ファイル群を、画像Ｂ(ｋ)で表す。ｋ＝１，２，…，ｎである。
【００１２】
本実施形態による画像処理装置１００は、画像Ａ(ｋ)および画像Ｂ（ｋ）を用い、同一のカメラで撮影された画像ファイル群のように視差を抑えた一連の画像ファイル群を生成する。
【００１３】
図２は、画像処理装置１００の構成を例示するブロック図である。画像処理装置１００は、ＣＰＵ１０１と、メモリ１０３と、ハードディスク装置１０２と、画像情報入力装置１０４とを含み、情報入出力装置１０５が接続されている。また、電子カメラ１０（メインカメラとする）と電子カメラ２０（スレーブカメラとする）とが接続されている。
【００１４】
ＣＰＵ１０１は、後述する被写体認識、位置ずれ算出、非重複部算出、画像トリミング、画像合成、およびデータ名付与などの処理を行う。メモリ１０３は、ＣＰＵ１０１によるワークメモリとして使用される。ハードディスク装置１０２は、画像処理プログラムを格納する他に、画像ファイルや位置ずれ情報、非重複部情報を格納することが可能である。画像情報入力装置１０４は、カードリーダー（記録媒体に記録されている情報を読取る読取り器）、ＤＶＤ／ＣＤドライブ装置、無線ＬＡＮ、有線ケーブルのうち少なくとも１つを含む。情報入出力装置１０５は、表示モニター、キーボード、マウスおよびプリンタなどで構成される。
【００１５】
図３は、ＣＰＵ１０１が行う画像処理の流れを説明するフローチャートである。ＣＰＵ１０１は、電子カメラ１０から取得した画像Ａ(ｋ)、および電子カメラ２０から取得した画像Ｂ(ｋ)がそれぞれハードディスク装置１０２に保存されている状態で、画像処理の開始を指示する操作信号が情報入出力装置１０５から入力されると、図３によるメイン処理を起動する。
【００１６】
＜メイン処理＞
図３のステップＳ１１において、ＣＰＵ１０１は画像番号ｋに１を代入してステップＳ１２へ進む。ステップＳ１２において、ＣＰＵ１０１は、画像番号ｋの画像Ａ（ｋ）および画像Ｂ（ｋ）を、ハードディスク装置１０２からそれぞれ読み出してステップＳ１３へ進む（データ抽出）。
【００１７】
ステップＳ１３において、ＣＰＵ１０１は、画像Ａ（ｋ）に対する画像Ｂ（ｋ）の位置ずれ量を算出してステップＳ１４へ進む。位置ずれ量算出の詳細については後述する。ステップＳ１４において、ＣＰＵ１０１は、画像Ａ（ｋ）における非重複部ｄＡ（ｋ）と、画像Ｂ（ｋ）における非重複部ｄＢ（ｋ）とを算出してステップＳ１５へ進む。非重複部は、画像Ａ（ｋ）および画像Ｂ（ｋ）間で被写体が重複する領域（重複部）以外の領域である。非重複部算出の詳細については後述する。
【００１８】
ステップＳ１５において、ＣＰＵ１０１は、画像Ａ（ｋ）から非重複部ｄＡ（ｋ）をトリミングするとともに、画像Ｂ（ｋ）から非重複部ｄＢ（ｋ）をトリミングしてステップＳ１６へ進む。
【００１９】
ステップＳ１６において、ＣＰＵ１０１は、画像Ａ（ｋ）についてトリミング後の画像を画像Ａ１（ｋ）としてハードディスク装置１０２へ保存するとともに、画像Ｂ（ｋ）についてトリミング後の画像を画像Ｂ１（ｋ）としてハードディスク装置１０２へ保存してステップＳ１７へ進む。
【００２０】
ステップＳ１７において、ＣＰＵ１０１は、画像番号ｋが最終画像か否かを判定する。ＣＰＵ１０１は、画像番号ｋが連写撮影コマ数に対応する場合にステップＳ１７を肯定判定して図３による処理を終了する。ＣＰＵ１０１は、画像番号ｋが連写撮影コマ数に満たない場合にはステップＳ１７を否定判定し、ステップＳ１８へ進む。
【００２１】
ステップＳ１８において、ＣＰＵ１０１は、画像番号ｋに１を加えてステップＳ１２へ戻る。ステップＳ１２へ戻ったＣＰＵ１０１は、次コマの画像Ａ（ｋ）および画像Ｂ（ｋ）に関して以上説明した内容と同様の処理を繰り返す。
【００２２】
＜位置ずれ量算出＞
位置ずれ量算出の詳細について、図４〜図６を参照して説明する。図４は、ハードディスク装置１０２から読み出した画像Ａ（ｋ）を例示する図であり、図５は、ハードディスク装置１０２から読み出した画像Ｂ（ｋ）を例示する図である。それぞれの画像において、左下部を原点Ａｏ（Ｂｏ）とし、水平方向をｘ軸（右向きを正）、垂直方向をｙ軸（上向きを正）とする。画像Ａ（ｋ）において主要被写体が位置する座標は、（Ａｘ，Ａｙ）で表される。ただし、主要被写体は人物であり、主要被写体の認識用に顔検出処理を用いる。
【００２３】
顔検出処理は、画像Ａ（ｋ）に含まれる顔領域を検出する。顔検出処理は、公知の特徴点抽出処理によって眉、目、鼻、唇の各端点などの特徴点を抽出し、抽出した特徴点に基づいて顔領域か否かを判定する。本実施形態では、たとえば、顔領域の中心位置を被写体位置（Ａｘ，Ａｙ）とする。なお、あらかじめ用意した参照データ（顔画像など）との相関関数を求め、この関数が所定の判定閾値を超えた場合に顔領域と判定するように構成してもよい。
【００２４】
同様に、画像Ｂ（ｋ）において主要被写体が位置する座標は、（Ｂｘ，Ｂｙ）で表される。ただし、主要被写体は人物であり、主要被写体の認識用に顔検出処理を用いる点は画像Ａ（ｋ）の場合と同様である。
【００２５】
ＣＰＵ１０１は、次式（１）および次式（２）を用いて画像Ａ（ｋ）に対する画像Ｂ（ｋ）の位置ずれ量ｄｘおよびｄｙを算出する。ただし、ｄｘはｘ軸方向ずれであり、ｄｙはｙ軸方向ずれである。
ｄｘ＝Ｂｘ−Ａｘ              （１）
ｄｙ＝Ｂｙ−Ａｙ              （２）
図６は、以上のように算出される位置ずれ量ｄｘおよびｄｙを例示する図である。
【００２６】
＜非重複部算出＞
非重複部算出の詳細について、図７を参照して説明する。ＣＰＵ１０１は、画像Ａ（ｋ）および画像Ｂ（ｋ）の顔領域の中心位置（Ａｘ，Ａｙ）および（Ｂｘ，Ｂｙ）が合致するように画像Ａ（ｋ）および画像Ｂ（ｋ）を重ねた場合に、画像Ａ（ｋ）および画像Ｂ（ｋ）間で重複しない領域を非重複部とする。図７において、斜線で示した領域が非重複部である。
【００２７】
ＣＰＵ１０１は、以下のように場合分けして画像Ａ（ｋ）および画像Ｂ（ｋ）における非重複部をそれぞれ算出する。
［１］ｄｘ＞０の場合
画像Ａ（ｋ）における非重複部＝画像Ａ（ｋ）の右端から絶対値ｄｘの範囲
画像Ｂ（ｋ）における非重複部＝画像Ｂ（ｋ）の左端から絶対値ｄｘの範囲
［２］ｄｘ＜０の場合
画像Ａ（ｋ）における非重複部＝画像Ａ（ｋ）の左端から絶対値ｄｘの範囲
画像Ｂ（ｋ）における非重複部＝画像Ｂ（ｋ）の右端から絶対値ｄｘの範囲
［３］ｄｙ＞０の場合
画像Ａ（ｋ）における非重複部＝画像Ａ（ｋ）の上端から絶対値ｄｙの範囲
画像Ｂ（ｋ）における非重複部＝画像Ｂ（ｋ）の下端から絶対値ｄｙの範囲
［４］ｄｙ＜０の場合
画像Ａ（ｋ）における非重複部＝画像Ａ（ｋ）の下端から絶対値ｄｙの範囲
画像Ｂ（ｋ）における非重複部＝画像Ｂ（ｋ）の上端から絶対値ｄｙの範囲
【００２８】
図８は、画像Ａ（ｋ）から非重複部ｄＡ（ｋ）をトリミング後の画像Ａ１（ｋ）を例示する図である。図９は、画像Ｂ（ｋ）から非重複部ｄＢ（ｋ）をトリミング後の画像Ｂ１（ｋ）を例示する図である。なお、画像Ａ１（ｋ）および画像Ｂ１（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００２９】
図１０は、ハードディスク装置１０２に保存した画像データファイルの名称に含まれるファイル番号部分を例示する図である。図１０において、電子カメラ１０によって撮影された画像ファイル名には、撮影順序がわかるようにそれぞれ「０００１ａ」、「０００２ａ」、…が含まれる。同様に、電子カメラ２０によって撮影された画像ファイル名には、それぞれ「０００１ｂ」、「０００２ｂ」、…が含まれる。
【００３０】
ＣＰＵ１０１は、上述したステップＳ１６において画像処理後の画像ファイルをハードディスク装置１０２に保存する際、ファイル番号部分の前に、たとえば「ｚ」を付加する。
【００３１】
以上説明した第一の実施形態によれば、以下の作用効果が得られる。
（１）複数の画像に含まれる被写体について、各画像において同等の大きさ（ピクセル数）で、かつ各画像において同等の位置へ移動させるように画像処理を行った画像群を得るので、各画像に写る主要被写体のサイズや位置がまちまちな場合に比べて、各画像を閲覧しやすくなる。
【００３２】
（２）異なるカメラで撮影された画像間で、画像に含まれる被写体を同等の大きさ（ピクセル数）で、かつ同等の位置へ移動させることができるので、同一のカメラで撮影したような画像群が得られる。
【００３３】
（３）画像群Ａ（ｋ）および画像群Ｂ（ｋ）は、同じ連写速度でそれぞれ撮影され、画像Ａ（ｋ）の撮影の合間に画像Ｂ（ｋ）の撮影が行われたものを用いたので、同一のカメラで連写撮影したような画像群が得られる。
【００３４】
（４）画像群Ａ（ｋ）および画像群Ｂ（ｋ）に含まれる顔領域内の一点（上記例では中心位置）を重ね合わせた場合に画像Ａ（ｋ）および画像Ｂ（ｋ）間で重複する領域を切り出して保存するので、画像間の類似度を演算するような複雑な演算を行う場合に比べてＣＰＵ１０１の負担を抑えることができる。
【００３５】
（５）保存する画像ファイルの名称にそれぞれ「ｚ０００１ａ」、「ｚ０００１ｂ」、「ｚ０００２ａ」、「ｚ０００２ｂ」、…を含めるようにしたので、画像処理後の画像であること、撮影順序、および撮影したカメラが電子カメラ１０か電子カメラ２０かを区別することができる。
【００３６】
（６）顔領域を検出して主要被写体として扱うので、とくに、各画像における人物の大きさ（ピクセル数）および位置を揃えた画像群を得ることができる。
【００３７】
（第二の実施形態）
第二の実施形態では、画像Ｂ（ｋ）から非重複部ｄＢ（ｋ）をトリミングした後の画像Ｂ１（ｋ）に対し、非重複部ｄＡ（ｋ）を合成して合成画像Ｂ２（ｋ）を得る。
【００３８】
図１１は、第二の実施形態によるＣＰＵ１０１が行う画像処理の流れを説明するフローチャートである。ＣＰＵ１０１は、図３によるメイン処理に代えて図１１によるメイン処理を起動する。図１１において、ステップＳ１５ＢおよびステップＳ１６Ｂを有する点が図３と異なるので、これらの相違点を中心に説明する。
【００３９】
ステップＳ１４の次に進むステップＳ１５Ｂにおいて、ＣＰＵ１０１は、画像Ｂ（ｋ）から非重複部ｄＢ（ｋ）をトリミングするとともに、トリミング後の画像Ｂ１（ｋ）に対してして非重複部ｄＡ（ｋ）を付加・合成してステップＳ１６Ｂへ進む。
【００４０】
ステップＳ１６Ｂにおいて、ＣＰＵ１０１は、画像Ａ（ｋ）を画像Ａ２（ｋ）としてハードディスク装置１０２へ保存するとともに、上記合成した画像を画像Ｂ２（ｋ）としてハードディスク装置１０２へ保存してステップＳ１７へ進む。
【００４１】
図１２は、ステップＳ１６Ｂにおいてハードディスク装置１０２に保存する画像Ａ２（ｋ）を例示する図である。画像Ａ２（ｋ）は画像Ａ（ｋ）と同一であるが、本実施形態では別名称の画像ファイルとして保存する。図１３は、画像Ｂ１（ｋ）に非重複部ｄＡ（ｋ）を付加・合成後の画像Ｂ２（ｋ）を例示する図である。なお、画像Ａ２（ｋ）および画像Ｂ２（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００４２】
以上説明した第二の実施形態によれば、第一の実施形態の作用効果に加えて以下の作用効果が得られる。すなわち、非重複部ｄＡ（ｋ）を合成することにより、とくに画像群Ａ（ｋ）および画像群Ｂ（ｋ）間で重複する領域が少ない場合には、処理後の画像サイズ（ピクセル数）が小さくならないようにすることができる。
【００４３】
（第三の実施形態）
画像Ａ(ｋ)と画像Ｂ（ｋ）とで撮影倍率が異なる場合にも本発明を適用できる。電子カメラ１０および２０の間で撮影レンズの焦点距離が異なる他は、両カメラが同一の被写体を略等しい撮影距離で連写撮影した点、両カメラの連写速度が同一で、電子カメラ１０による撮影の合間に電子カメラ２０による撮影が行われた点は、第一および第二の実施形態と同様である。
【００４４】
図１４は、第三の実施形態によるＣＰＵ１０１が行う画像処理の流れを説明するフローチャートである。ＣＰＵ１０１は、図３によるメイン処理に代えて図１４によるメイン処理を起動する。図１４において、ステップＳ１３Ｃ〜ステップＳ１５Ｃを有する点が図３と異なるので、これらの相違点を中心に説明する。
【００４５】
本実施形態では、電子カメラ１０で撮影された画像ファイル群を画像Ｃ(ｋ)で表す。ただしｋ＝１，２，…，ｎである。また、電子カメラ２０で撮影された画像ファイル群を画像Ｄ(ｋ)で表す。ｋ＝１，２，…，ｎである。画像処理装置１００は、画像Ｃ(ｋ)および画像Ｄ（ｋ）を用い、同一のカメラで撮影された画像ファイル群のように視差を抑えた一連の画像ファイル群を生成する。
【００４６】
ステップＳ１２の次に進むステップＳ１３Ｃにおいて、ＣＰＵ１０１は、画像Ｃ（ｋ）および画像Ｄ（ｋ）に対するリサイズ量またはトリミング部を算出してステップＳ１４Ｃへ進む。画像Ｃ（ｋ）および画像Ｄ（ｋ）のうち、撮影画角が広い方に対してトリミング部を算出し、撮影画角が狭い方に対してリサイズ量を算出する。リサイズ量算出またはトリミング部算出の詳細については後述する。
【００４７】
ステップＳ１４Ｃにおいて、ＣＰＵ１０１は、画像Ｃ（ｋ）および画像Ｄ（ｋ）のそれぞれに対して画像処理を行ってステップＳ１５Ｃへ進む。画像処理は、画像Ｃ（ｋ）および画像Ｄ（ｋ）のうち、撮影画角が広い方をトリミングし、撮影画角が狭い方をリサイズする。
【００４８】
ステップＳ１５Ｃにおいて、ＣＰＵ１０１は、画像Ｃ（ｋ）について画像処理後の画像を画像Ｃ１（ｋ）としてハードディスク装置１０２へ保存するとともに、画像Ｄ（ｋ）について画像処理後の画像を画像Ｄ１（ｋ）としてハードディスク装置１０２へ保存してステップＳ１７へ進む。
【００４９】
＜リサイズ量、トリミング部の算出＞
リサイズ量とトリミング部との算出手順について、図１５〜図３２を参照して説明する。図１５、図２１および図２７は、それぞれハードディスク装置１０２から読み出した画像Ｃ（ｋ）を例示する図であり、図１６、図２２および図２８は、それぞれハードディスク装置１０２から読み出した画像Ｄ（ｋ）を例示する図である。それぞれの画像において、左下部を原点Ｃｏ（Ｄｏ）とし、水平方向をｘ軸（右向きを正）、垂直方向をｙ軸（上向きを正）とする。画像Ｃ（ｋ）において主要被写体が位置する座標は、（Ｃｘ，Ｃｙ）で表される。ただし、主要被写体は人物であり、主要被写体の認識用に顔検出処理を用いる。
【００５０】
同様に、画像Ｄ（ｋ）において主要被写体が位置する座標は、（Ｄｘ，Ｄｙ）で表される。ただし、主要被写体は人物であり、主要被写体の認識用に顔検出処理を用いる点は画像Ｃ（ｋ）の場合と同様である。
【００５１】
本実施形態では、たとえば、顔領域を構成する画素データ数（ピクセル数）で被写体の大きさを判定する。画像Ｃ（ｋ）についての被写体の大きさをＣｓ、画像Ｄ（ｋ）についての被写体の大きさをＤｓとすれば、ＣｓとＤｓとの間で次式（３）が成立する。
Ｄｓ＝ｐ２Ｃｓ                 （３）
【００５２】
ＣＰＵ１０１は、以下のように場合分けして画像Ｃ（ｋ）および画像Ｄ（ｋ）に対するリサイズ量またはトリミング部を算出する。画像Ｃ（ｋ）のピクセル数は、水平方向をＸ個、垂直方向をＹ個とする。
［１］０＜ｐ＜１の場合
−リサイズ−
被写体の大きさはＣｓ＞Ｄｓなので、画像Ｃ（ｋ）に対してリサイズを行い、画像Ｄ（ｋ）に対してトリミングを行う。リサイズ後の水平方向のピクセル数はｐ×Ｘであり、リサイズ後の垂直方向のピクセル数はｐ×Ｙである。図１７は、以上のように算出したリサイズ量ｐＸおよびｐＹを例示する図である。
−トリミング−
トリミング部は、原点Ｄｏ１の座標を（Ｄｘ−ｐ×Ｃｘ，Ｄｙ−ｐ×Ｃｙ）とし、水平方向のピクセル数をｐ×Ｘ、垂直方向のピクセル数をｐ×Ｙとする四角形の外側である。図１８は、以上のように算出されるトリミング部を例示する図である。図１８において、斜線領域がトリミング部に対応する。
【００５３】
［２］１≦ｐの場合
−リサイズ−
被写体の大きさはＣｓ≦Ｄｓなので、画像Ｄ（ｋ）に対してリサイズを行い、画像Ｃ（ｋ）に対してトリミングを行う。リサイズ後の水平方向のピクセル数はｑ×Ｘであり、リサイズ後の垂直方向のピクセル数はｑ×Ｙである。ただし、ｑ＝１／ｐとする。図２４は、以上のように算出されるリサイズ量ｑＸおよびｑＹを例示する図である。
−トリミング−
トリミング部は、原点Ｃｏ１の座標を（Ｃｘ−ｑ×Ｄｘ，Ｃｙ−ｑ×Ｄｙ）とし、水平方向のピクセル数をｑ×Ｘ、垂直方向のピクセル数をｑ×Ｙとする四角形の外側である。図２３は、以上のように算出されるトリミング部を例示する図である。図２３において、斜線領域がトリミング部に対応する。
【００５４】
［３］０＜ｐ＜１、かつＸ＜（Ｄｘ−ｐ×Ｃｘ＋ｐＸ）の場合
−リサイズ−
被写体の大きさはＣｓ＞Ｄｓなので、画像Ｃ（ｋ）に対してリサイズを行い、画像Ｄ（ｋ）に対してトリミングを行う。上記［１］の場合と異なり、リサイズ後の水平方向のピクセル数はｐ×Ｘ−（Ｄｘ−ｐ×Ｃｘ＋ｐ×Ｘ−Ｘ）である。リサイズ後の垂直方向のピクセル数はｐ×Ｙである。図２９は、以上のように算出されるリサイズ量を例示する図である。
−トリミング−
トリミング部は、原点Ｄｏ１の座標を（Ｄｘ−ｐ×Ｃｘ，Ｄｙ−ｐ×Ｃｙ）とし、水平方向のピクセル数をｐ×Ｘ−（Ｄｘ−ｐ×Ｃｘ＋ｐ×Ｘ−Ｘ）、垂直方向のピクセル数をｐ×Ｙとする四角形の外側である。図３０は、以上のように算出されるトリミング部を例示する図である。図３０において、斜線領域がトリミング部に対応する。
【００５５】
Ｘ＜（Ｄｘ−ｐ×Ｃｘ＋ｐＸ）の場合を説明したが、Ｘ＜（Ｃｘ−ｑ×Ｄｘ＋ｑＸ）、Ｙ＜（Ｄｙ−ｐ×Ｃｙ＋ｐＹ）、Ｙ＜（Ｃｙ−ｑ×Ｄｙ＋ｑＹ）の場合についても同様である。
【００５６】
図１９は、上記［１］の場合にステップＳ１５Ｃにおいてハードディスク装置１０２に保存する画像Ｃ１（ｋ）を例示する図である。図２０は、上記［１］の場合にステップＳ１５Ｃにおいて保存する画像Ｄ１（ｋ）を例示する図である。なお、画像Ｃ１（ｋ）および画像Ｄ１（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００５７】
図２５は、上記［２］の場合にステップＳ１５Ｃにおいてハードディスク装置１０２に保存する画像Ｃ１（ｋ）を例示する図である。図２６は、上記［１］の場合にステップＳ１５Ｃにおいて保存する画像Ｄ１（ｋ）を例示する図である。なお、画像Ｃ１（ｋ）および画像Ｄ１（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００５８】
図３１は、上記［３］の場合にステップＳ１５Ｃにおいてハードディスク装置１０２に保存する画像Ｃ１（ｋ）を例示する図である。図３２は、上記［３］の場合にステップＳ１５Ｃにおいて保存する画像Ｄ１（ｋ）を例示する図である。なお、画像Ｃ１（ｋ）および画像Ｄ１（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００５９】
以上説明した第三の実施形態によれば、画像Ａ(ｋ)と画像Ｂ（ｋ）とで撮影倍率が異なる場合にも、第一の実施形態と同様の作用効果が得られる。
【００６０】
（変形例１）
以上の説明では、主要被写体の認識用に顔検出処理を用いるようにした。この代わりに、画像Ａ（ｋ）、画像Ｂ（ｋ）、画像Ｃ（ｋ）、および画像Ｄ（ｋ）のうち、それぞれの撮影時のピント合わせに用いられたフォーカス調節エリアに対応する領域に存在する被写体を主要被写体として判定してもよい。この場合のＣＰＵ１０１は、上記画像Ａ（ｋ）、画像Ｂ（ｋ）、画像Ｃ（ｋ）、および画像Ｄ（ｋ）からフォーカス調節エリアに対応する領域を含む輪郭情報を抽出し、当該輪郭を主要被写体の輪郭として取り扱う。
【００６１】
（変形例２）
本発明は、複数の画像に含まれる被写体を各画像において同等の大きさ（ピクセル数）で、かつ各画像において同等の位置へ移動させることができるので、以下の場合にも有効である。たとえば、複数の人物の胸から上を正面から撮影した画像（いわゆるバストアップ写真）において、顔の大きさや位置を画像間で揃えるようにリサイズやトリミングを自動的に行う。この場合、画像Ａ（ｋ）および画像Ｂ（ｋ）（または、画像Ｃ（ｋ）および画像Ｄ（ｋ））は、異なる人物を撮影した画像でよく、連写撮影したものでなくても構わない。
【００６２】
変形例２のＣＰＵ１０１は、画像Ａ（ｋ）および画像Ｂ（ｋ）間で位置ずれ量を検出する代わりに、画像Ａ（１）および画像Ａ（ｋ）間と、画像Ａ（１）および画像Ｂ（ｋ）間とで、それぞれ位置ずれ量を検出する。
【００６３】
そして、画像Ａ（１）および画像Ａ（ｋ）間の顔領域の中心位置が合致するように画像Ａ（１）および画像Ａ（ｋ）を重ねた場合に、画像Ａ（１）および画像Ａ（ｋ）間で重複しない領域を非重複部とする。また、画像Ａ（１）および画像Ｂ（ｋ）間の顔領域の中心位置が合致するように画像Ａ（１）および画像Ｂ（ｋ）を重ねた場合に、画像Ａ（１）および画像Ｂ（ｋ）間で重複しない領域を非重複部とする。
【００６４】
ＣＰＵ１０１はさらに、画像Ａ（ｋ）から非重複部ｄＡ（ｋ）をトリミング後の画像Ａ１（ｋ）とし、画像Ｂ（ｋ）から非重複部ｄＢ（ｋ）をトリミング後の画像Ｂ１（ｋ）とする。なお、画像Ａ１（ｋ）および画像Ｂ１（ｋ）は、サムネイル用としてピクセル数をさらに低減してもよい。
【００６５】
変形例２によれば、たとえば、大人や子供を含む複数のバストアップ写真を、顔のサイズ（ピクセル数）が同等で、顔の位置をほぼ同位置にする一連の画像ファイル群の生成を自動で行える。これにより、各画像に写る人物の顔サイズや顔位置がまちまちな場合に比べて、各人物の表情や特徴が調べやすくなる。各バストアップ写真は、同一のカメラで撮影した画像でも、異なるカメラで撮影した画像でも構わない。
【００６６】
以上説明した画像処理装置は、図３（図１１または図１４）に例示した処理を行う画像処理プログラムを図３３に示すコンピュータ装置１００Ａに実行させることによって構成できる。画像処理プログラムをパーソナルコンピュータ１００Ａに取込んで使用する場合には、パーソナルコンピュータ１００Ａのデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像処理装置として使用する。
【００６７】
パーソナルコンピュータ１００Ａに対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００Ａにセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ１００Ａへローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。画像処理プログラムは、記録媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００６８】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、各実施形態や変形例を組み合わせてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の第一の実施形態による画像処理装置を説明する図である。
【図２】画像処理装置の構成を例示するブロック図である。
【図３】ＣＰＵが行う画像処理の流れを説明するフローチャートである。
【図４】画像Ａ（ｋ）を例示する図である。
【図５】画像Ｂ（ｋ）を例示する図である。
【図６】位置ずれ量ｄｘおよびｄｙを例示する図である。
【図７】非重複部を例示する図である。
【図８】非重複部ｄＡ（ｋ）をトリミング後の画像Ａ１（ｋ）を例示する図である。
【図９】非重複部ｄＢ（ｋ）をトリミング後の画像Ｂ１（ｋ）を例示する図である。
【図１０】画像データファイル名に含まれるファイル番号部分を例示する図である。
【図１１】第二の実施形態による画像処理の流れを説明するフローチャートである。
【図１２】画像Ａ２（ｋ）を例示する図である。
【図１３】画像Ｂ２（ｋ）を例示する図である。
【図１４】第三の実施形態による画像処理の流れを説明するフローチャートである。
【図１５】画像Ｃ（ｋ）を例示する図である。
【図１６】画像Ｄ（ｋ）を例示する図である。
【図１７】リサイズ量ｐＸおよびｐＹを例示する図である。
【図１８】トリミング部を例示する図である。
【図１９】画像Ｃ１（ｋ）を例示する図である。
【図２０】画像Ｄ１（ｋ）を例示する図である。
【図２１】画像Ｃ（ｋ）を例示する図である。
【図２２】画像Ｄ（ｋ）を例示する図である。
【図２３】トリミング部を例示する図である。
【図２４】リサイズ量ｑＸおよびｑＹを例示する図である。
【図２５】画像Ｃ１（ｋ）を例示する図である。
【図２６】画像Ｄ１（ｋ）を例示する図である。
【図２７】画像Ｃ（ｋ）を例示する図である。
【図２８】画像Ｄ（ｋ）を例示する図である。
【図２９】リサイズ量ｐＸおよびｐＹを例示する図である。
【図３０】トリミング部を例示する図である。
【図３１】画像Ｃ１（ｋ）を例示する図である。
【図３２】画像Ｄ１（ｋ）を例示する図である。
【図３３】コンピュータ装置を例示する図である。
【符号の説明】
【００７０】
１０…メインカメラ
２０…スレーブカメラ
１０１…ＣＰＵ
１０２…ハードディスク装置
１０３…メモリ
１０４…画像情報入力装置
１０５…情報入出力装置
【図１】
2009200579.tif 000003
【図２】
2009200579.tif 000004
【図３】
2009200579.tif 000005
【図４】
2009200579.tif 000006
【図５】
2009200579.tif 000007
【図６】
2009200579.tif 000008
【図７】
2009200579.tif 000009
【図８】
2009200579.tif 000010
【図９】
2009200579.tif 000011
【図１０】
2009200579.tif 000012
【図１１】
2009200579.tif 000013
【図１２】
2009200579.tif 000014
【図１３】
2009200579.tif 000015
【図１４】
2009200579.tif 000016
【図１５】
2009200579.tif 000017
【図１６】
2009200579.tif 000018
【図１７】
2009200579.tif 000019
【図１８】
2009200579.tif 000020
【図１９】
2009200579.tif 000021
【図２０】
2009200579.tif 000022
【図２１】
2009200579.tif 000023
【図２２】
2009200579.tif 000024
【図２３】
2009200579.tif 000025
【図２４】
2009200579.tif 000026
【図２５】
2009200579.tif 000027
【図２６】
2009200579.tif 000028
【図２７】
2009200579.tif 000029
【図２８】
2009200579.tif 000030
【図２９】
2009200579.tif 000031
【図３０】
2009200579.tif 000032
【図３１】
2009200579.tif 000033
【図３２】
2009200579.tif 000034
【図３３】
2009200579.tif 000035