(57)【要約】【課題】  本発明は、多重画像を用いて種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供する。【解決手段】  画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。【選択図】    図１
2013008124.tif 000002
【特許請求の範囲】
【請求項１】
画像を読み込む画像読込部と、
前記画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成部と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像を共通して用いるように制御する制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
画像を読み込む画像読込部と、
前記画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成部と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像生成部により１回の生成処理で生成された、解像度の異なる多重画像のうちの１つの画像と他の画像とを、独立して用いるように制御する制御部と、
を有することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
さらに、前記多重画像に基づいて、前記画像内の特徴的な分布を示す顕著性マップを生成する第１処理部と、
前記画像内の特徴点を抽出する特徴点抽出処理と複数の前記画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を前記多重画像に基づいて行なう第２処理部と、
前記第１処理部の処理結果と前記第２処理部の処理結果とを利用する画像処理を行なう第３処理部と、からなる画像処理部
を有することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第３処理部は、前記顕著性マップと前記特徴点とに基づいて、前記画像内における主要被写体を推定することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第３処理部は、前記主要被写体が存在する複数の画像に基づいて、該主要被写体の位置を合わせて合成することを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記第３処理部は、前記顕著性マップと前記特徴点とに基づいて、前記画像内における背景の被写体を推定することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記第３処理部は、前記背景の被写体が存在する複数の画像に基づいて、該背景の被写体の位置を合わせて合成することを特徴とする画像処理装置。
【請求項８】
請求項１、請求項３から請求項７の何れか１項記載の画像処理装置において、
前記多重画像生成部は、前記多重画像間での差分を算出して差分画像を生成し、
前記制御部は、前記複数の画像処理において、前記差分画像を前記多重画像として共通して用いるよう制御することを特徴とすることを特徴とする画像処理装置。
【請求項９】
画像を読み込む画像読込処理と、
前記画像に基づいて、解像度の異なる複数の多重画像を生成する多重画像生成処理と、
前記多重画像を使用する、種類の異なる複数の画像処理において、前記多重画像を共通して用いるように制御する制御処理とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、電子カメラ等の撮像装置で撮影された画像から、画像内の特徴的な分布を示す顕著性マップ（Saliency Map）を生成して、所望の画像処理を行なう画像処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
上記の従来技術の画像処理装置では、画像から解像度の異なる複数の多重画像を生成した後、顕著性マップを生成している。
【０００４】
ところで、多重画像を生成して画像処理を行なう手段は、顕著性マップの生成に限られず、例えば、画像内の特徴点を検出するＳＩＦＴ（Scale Invariant Feature Transform）等の画像処理においても一般的に行なわれている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３４３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば上記のように多重画像を用いて種類の異なる複数の画像処理を行なう場合、従来、画像処理毎に多重画像を生成するため、画像処理の効率化の点で改善の余地がある。
【０００７】
そこで、本発明は、上記事情に鑑み、多重画像を用いて種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の発明に係る画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。
【０００９】
第２の発明に係る画像処理装置は、画像読込部と、多重画像生成部と、制御部とを備える。画像読込部は、画像を読み込む。多重画像生成部は、画像読込部が読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する。制御部は、多重画像を使用する、種類の異なる複数の画像処理において、多重画像生成部により１回の生成処理で生成された、解像度の異なる多重画像のうちの１つの画像と他の画像とを、独立して用いるように制御する。
【００１０】
第３の発明は、第１の発明において、さらに、第１処理部と、第２処理部と、第３処理部とからなる画像処理部を有する。第１処理部は、多重画像に基づいて、画像内の特徴的な分布を示す顕著性マップを生成する。第２処理部は、画像内の特徴点を抽出する特徴点抽出処理と複数の画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を多重画像に基づいて行なう。第３処理部は、第１処理部の処理結果と第２処理部の処理結果とを利用する画像処理を行なう。
【００１１】
第４の発明は、第３の発明において、第３処理部は、顕著性マップと特徴点とに基づいて、画像内における主要被写体を推定する。
【００１２】
第５の発明は、第４の発明において、第３処理部は、主要被写体が存在する複数の画像に基づいてその主要被写体の位置を合わせて合成する。
【００１３】
第６の発明は、第３の発明において、第３処理部は、顕著性マップと特徴点とに基づいて、画像内における背景の被写体を推定する。
【００１４】
第７の発明は、第６の発明において、第３処理部は、背景の被写体が存在する複数の画像に基づいてその背景の被写体の位置を合わせて合成する。
【００１５】
第８の発明は、第１、第３から第７の何れか１の発明において、多重画像生成部は、多重画像間での差分を算出して差分画像を生成する。制御部は、複数の画像処理において、差分画像を多重画像として共通して用いるよう制御する。
【００１６】
第９の発明に係るプログラムは、画像読込処理と、多重画像生成処理と、制御処理とをコンピュータに実行させる。画像読込処理は、画像を読み込む。多重画像生成処理は、画像に基づいて、解像度の異なる複数の多重画像を生成する。制御処理は多重画像を使用する、種類の異なる複数の画像処理において、多重画像を共通して用いるように制御する。
【発明の効果】
【００１７】
本発明によれば、多重画像を用いて、種類の異なる複数の画像処理を行なう場合に画像処理の効率化が施された手段を提供できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示す図
【図２】コンピュータ１の動作の一例を示すフローチャート
【図３】図２に示すフローの処理の一部を模式的に表した図
【図４】表示モニタ４１に表示された選択画面の一例を示す図
【図５】顕著性マップの生成処理のサブルーチンを示すフローチャート
【図６】特徴点抽出処理のサブルーチンを示すフローチャート
【図７】差分画像の生成を模式的に説明する図
【図８】位置合わせ処理のサブルーチンを示すフローチャート
【図９】主要被写体抽出の一例を示す処理の模式図
【図１０】多重画像を共通して用いるための機能ブロックの一例を示す図
【図１１】多重画像と差分画像の生成例を示す図
【発明を実施するための形態】
【００１９】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
【００２０】
図１は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。画像処理装置は、例えば、パーソナルコンピュータ（以下「コンピュータ」という。）１である。
【００２１】
図１に示すコンピュータ１は、通信インターフェース部（以下「通信Ｉ／Ｆ部」という。）１１と、入出力インターフェース部（以下「入出力Ｉ／Ｆ部」という。）１２と、第１メモリ１３と、第２メモリ１４と、ＡＳＩＣ（画像エンジン：Application Specific Integrated Circuit）１５と、バス１６とを備える。
【００２２】
このうち、通信Ｉ／Ｆ部１１、入出力Ｉ／Ｆ部１２、第１メモリ１３、第２メモリ１４及びＡＳＩＣ１５は、バス１６を介して互いに接続されている。
【００２３】
さらに、コンピュータ１は、入出力Ｉ／Ｆ部１２を介して、入力デバイス３１（キーボード、ポインティングデバイス等）と表示モニタ４１とがそれぞれ接続されている。
【００２４】
通信Ｉ／Ｆ部１１には、着脱自在の記録媒体２１を接続するためのコネクタ（不図示）が形成されている。この記録媒体２１は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体２１を示している。記録媒体２１には、電子カメラ等で撮影された画像が記録されている。通信Ｉ／Ｆ部１１は、第１メモリ１３、又は第２メモリ１４に画像を読み込むための通信インターフェースを提供する。なお、記憶媒体２１は、読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置等）であっても良い。
【００２５】
また、通信Ｉ／Ｆ部１１は、公知の通信規格に準拠して外部の装置と通信を行なう通信デバイス（ＵＳＢ：登録商標（Universal Serial Bus）インターフェース、ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等）であっても良い。
【００２６】
入出力Ｉ／Ｆ部１２は、入力デバイス３１からの入力を受け付けるためのインターフェースを提供する。また、入出力Ｉ／Ｆ部１２は、表示モニタ４１に例えば画像を出力するためのインターフェースを提供する。
【００２７】
第１メモリ１３は、コンピュータ１の制御を行なうプログラム等を予め記憶しているメモリである。第１メモリ１３は、例えば、書き換え可能な不揮発性の半導体メモリ（フラッシュメモリ）である。第１メモリ１３には、本実施形態の画像処理プログラムが予め記録されている。なお、画像処理プログラムが記録媒体２１に記録されており、ユーザ入力により、第１メモリ１３に画像処理プログラムをインストールするようにしても良い。ＡＳＩＣ１５は、このプログラムに従い、一例として後述の図２、図５、図６及び図８に示すフローチャートの処理（以下「フローの処理」という。）を実行する。また、第１メモリ１３は、データベース１３ａを有する。データベース１３ａには、例えば、主要被写体に関するデータ（被写体情報）が登録されている。この場合、データベース１３ａは、一例として、主要被写体の画像、主要被写体の特徴点の位置関係を示す座標データ及び特徴量のデータ等の被写体情報を予め記憶している。なお、第１メモリ１３は、コンピュータ１の外部に設置されるものであっても良い。この場合、第１メモリ１３は、当該コンピュータ１と、公知の通信規格に準拠して、接続される。
【００２８】
第２メモリ１４は、電子カメラで撮影された画像のデータや画像処理プログラムでの各種演算結果を一時的に記憶する。第２メモリ１４は、例えば揮発性のＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）である。
【００２９】
ＡＳＩＣ１５は、各種演算及びコンピュータ１の制御を行なうプロセッサである。ＡＳＩＣ１５は、第１メモリ１３に予め格納されたシーケンスプログラムを実行することにより、コンピュータ１の各部の制御等を行なう。また、ＡＳＩＣ１５は、後述する画像処理の結果に応じて、被写体情報をデータベース１３ａに追加又は削除しても良い。また、ＡＳＩＣ１５は、画像処理プログラムの実行によって、画像読込部１５ａと、多重（解像度）画像生成部１５ｂと、選択部１５ｃと、画像処理部１５ｄとしても機能する。
【００３０】
画像読込部１５ａは、電子カメラ等で撮影された画像のデータを読み込む。具体的には、画像読込部１５ａは、通信Ｉ／Ｆ部１１を介して、画像のデータを第２メモリ１４に一時的に記録する処理を行なう。
【００３１】
多重画像生成部１５ｂは、画像読込部１５ａが読み込んだ画像に基づいて、解像度の異なる複数の多重画像を生成する（詳細は後述する）。
【００３２】
選択部１５ｃは、多重画像を使用する複数の異なる画像処理のうちから、少なくとも２つ以上の画像処理を選択する。また、選択部１５ｃは、入出力Ｉ／Ｆ部１２を介して、ユーザ入力によりユーザが希望する処理の指示入力を受け付ける。これにより、選択部１５ｃは、ユーザが希望する処理を実現するため、多重画像を使用する複数の画像処理を選択する。
【００３３】
画像処理部１５ｄは、多重画像を共通して用いることにより、選択部１５ｃが選択した画像処理を行なう。ここで、画像処理部１５ｄは、第１処理部１５ｅと、第２処理部１５ｆと、第３処理部１５ｇとしても機能する。なお、画像処理部１５ｄの行なう画像処理には、数学的な演算処理も含まれる。
【００３４】
第１処理部１５ｅは、多重画像に基づいて、画像内の特徴的な分布を示す顕著性マップを生成する。第２処理部１５ｆは、画像内の特徴点を抽出する特徴点抽出処理と複数の画像内の特定領域の位置を合わせて合成する位置合わせ処理との少なくとも一方を多重画像に基づいて行なう。
【００３５】
第３処理部１５ｇは、第１処理部１５ｅの処理結果と第２処理部１５ｆの処理結果を利用する画像処理を行なう。なお、第３処理部１５ｇは、第２処理部１５ｆが特徴点抽出処理のみを行なった場合、位置合わせ処理を行なっても良い。或いは、第３処理部１５ｇは、第２処理部１５ｆが位置合わせ処理のみを行なった場合、特徴点抽出処理を行なっても良い。つまり、画像処理部１５ｄは、例えば、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理等の多重画像を用いる画像処理において、多重画像生成部１５ｂで生成された多重画像を共通して用いることにより画像処理の効率化を図ることができる。
【００３６】
また、第３処理部１５ｇは、顕著性マップと特徴点とに基づいて、画像内における主要被写体を推定しても良い。これにより、第３処理部１５ｇは、主要被写体を精度良く推定することができる。そして、第３処理部１５ｇは、主要被写体が存在する複数の画像に基づいて、その主要被写体の位置を合わせて合成する位置合わせ処理を行なっても良い。これにより、第３処理部１５ｇは、主要被写体の位置を精度良く合わせて合成することができる。
【００３７】
或いは、第３処理部１５ｇは、顕著性マップと特徴点とに基づいて、画像内における背景の被写体を推定しても良い。これにより、第３処理部１５ｇは、背景の被写体を精度良く推定することができる。そして、第３処理部１５ｇは、背景の被写体が存在する複数の画像に基づいて、その背景の被写体の位置を合わせて合成する位置合わせ処理を行なっても良い。これにより、第３処理部１５ｇは、背景の被写体の位置を精度良く合わせて合成することができる。画像処理部１５ｄの動作の詳細は、フローチャート（図２、図５、図６及び図８）等を用いて後述する。
【００３８】
次に、コンピュータ１による画像処理の動作の一例を説明する。
【００３９】
図２は、コンピュータ１の動作の一例を示すフローチャートである。図３は、図２に示すフローの処理の一部を模式的に表した図である。ＡＳＩＣ１５は、入力デバイス３１を介してユーザからの画像処理プログラムの起動を示す指示入力を受け付けた場合、図２に示すフローの処理を開始する。
【００４０】
ステップＳ１０１：ＡＳＩＣ１５は、処理の選択入力の受付け処理を行なう。具体的には、先ず、ＡＳＩＣ１５は、表示モニタ４１に、画像処理の選択のメニュー画面を表示させる。
【００４１】
図４は、表示モニタ４１に表示された選択画面の一例を示す図である。図４に示す通り、ＡＳＩＣ１５は、処理のメニュー例として、（１）ダイナミックレンジの拡大、（２）流し撮り、（３）手振れ補正、（４）主要被写体抽出、（５）パノラマ合成等の項目を表示モニタ４１に表示させる。本実施形態では、これらの処理の実行時の過程において、多重画像（多重画像間の差分演算を行なって得られた差分画像を含んでも良い）を共通して用いる。
【００４２】
ここで、ダイナミックレンジの拡大のモードは、異なる露出条件で撮影した２枚の画像を重ね合わせる処理である。したがって、ダイナミックレンジの拡大のモードでは、ダイナミックレンジの拡大の効果を得ることができる。また、流し撮りのモードは、主要被写体の位置を合わせた後、複数の画像を加算する処理である。したがって、流し撮りのモードでは、流し撮りの効果を得ることができる。
【００４３】
また、手振れ補正のモードは、主要被写体の位置ズレを補正し、時系列画像の位置を合わせて表示、或いは記録する処理である。したがって、手振れ補正のモードでは、手振れ補正が施された画像を得ることができる。また、主要被写体抽出のモードは、背景の被写体の位置を合わせて、動いている主要被写体の領域を精度良く抽出し（詳細は後述する）、例えば、主要被写体以外の領域について画像を無彩色化する等の処理を行なう。このような無彩色化処理は、画像データのうち、色差成分のデータを０として、輝度成分データのみを出力することで実現することができる。また、パノラマ合成のモードは、例えば、複数の画像を接合する接合領域の、主要被写体又は背景の被写体の位置を合わせて、パノラマ画像を生成する処理である。
【００４４】
そして、ＡＳＩＣ１５は、ユーザが希望する処理の選択入力を受け付ける。ここでは、説明の便宜上、ＡＳＩＣ１５は、ユーザ入力により手振れ補正のモードの処理の選択入力を受け付けたこととする。
【００４５】
ステップＳ１０２：ＡＳＩＣ１５の画像読込部１５ａは、電子カメラで撮影された画像の読込み処理を行なう。具体的には、画像読込部１５ａは、記録媒体２１に記録されている画像のデータを読み出して、第２メモリ１４に一時的に記録する処理を行なう。ここで、画像読込部１５ａは、手振れ補正の処理を行なうため、ユーザが選択した第１画像及び第２画像（２枚の画像）を読み込む（図３（ａ）、（ｅ）参照）。一例として、第１画像及び第２画像は、動画撮影又は連写撮影で得られた一連の画像群から抽出された２つの画像である。
【００４６】
また、第１画像及び第２画像は、同じ画像サイズ（解像度）で同形式のものであればその種類は問われない。例えば、第１画像及び第２画像は、色補間処理が施される前のベイヤ配列構造のＲＡＷ画像であっても良く、ＲＡＷ画像に画像処理を施すことで色再現がなされた画像（ＲＧＢ画像、ＪＰＥＧ（Joint Photographic Experts Group）画像等）であっても良い。
【００４７】
ステップＳ１０３：ＡＳＩＣ１５の多重画像生成部１５ｂは、第１画像、第２画像のそれぞれに対して、解像度の異なる複数の多重画像の生成処理を行なう。具体的には、多重画像生成部１５ｂは、例えば、特開２０１０−２６６９８２号公報に記載された多重画像の生成処理を参考にして、多重画像を生成する。一例として、多重画像生成部１５ｂは、先ず、第１画像の各画素の輝度値からなる輝度画像を生成する。次に、多重画像生成部１５ｂは、輝度画像を用いて、互いに解像度の異なる複数の輝度画像からなる多重画像を生成する。また、多重画像生成部１５ｂは、第１画像と同様にして、第２画像に対しても多重画像を生成する。
【００４８】
或いは、多重画像生成部１５ｂは、特願２０１０−２８７２６７号に記載された多重画像の生成処理を参考にして、多重画像を生成しても良い。この場合、多重画像生成部１５ｂは、第１画像及び第２画像を同じ画像サイズ比で縮小して、第１画像の多重画像（第１多重画像）と第２画像の多重画像（第２多重画像）とのペアを生成する。このとき、多重画像生成部１５ｂは、各々の画像サイズ比が定数のべき乗の逆数で変化するように、画像サイズ比の値を変化させて多重画像のペアを複数生成する。なお、多重画像は、画像サイズ比の小ささに比例して画像サイズ（解像度）も小さくなる。
【００４９】
ここで、多重画像生成部１５ｂは、入力画像（第１画像及び第２画像）に対する画像サイズ比が、いずれも４のべき乗の逆数で表現できるように画像サイズ比を決定する。
【００５０】
例えば、多重画像のペアを４つ生成する場合（Ｎ＝４）、各々の画像サイズ比は、大きい順に「１／４（＝１／(４1)）」、「１／１６（＝１／(４2)）」、「１／６４（＝１／(４3)）」、「１／２５６（＝１／(４4)）」の４種類となる。この場合、多重画像生成部１５ｂは、解像度の異なる１／４、１／１６、１／６４、１／２５６の４つの画像サイズ比で、第１多重画像と第２多重画像とをそれぞれ４枚ずつ生成する。したがって、図３（ｂ）、（ｆ）に対応付けた場合、多重画像生成部１５ｂは、Ｎ＝４として、第１多重画像と第２多重画像とをそれぞれ４枚ずつ生成する。なお、図３では、説明の便宜上、多重画像の大きさは同じに描いているが、実際には、解像度が異なっていることとする。
【００５１】
なお、本発明で言う解像度の異なる多重画像とは、上記のように、原画像に対して段階的に所定回数の低域通過フィルタ処理を施して生成された、空間周波数特性（解像度）の異なる画像の他、原画像から段階的に画素数を低減して生成された解像度の異なる画像を含むものとする。
【００５２】
ＡＳＩＣ１５は、多重画像生成部１５ｂが生成した各々の多重画像を第２メモリ１４に記録する。
【００５３】
ステップＳ１０４：ＡＳＩＣ１５の選択部１５ｃは、多重画像を使用する画像処理の選択処理を行なう。具体的には、選択部１５ｃは、手振れ補正を行なうため、例えば、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理の３つの画像処理を選択する。なお、手振れ補正に限られず、上記のダイナミックレンジの拡大、流し撮り、主要被写体抽出、パノラマ合成等のモードについても、選択部１５ｃは、顕著性マップの生成処理、特徴点抽出処理、位置合わせ処理の種類の異なる３つの画像処理のうちから適宜選択する。これにより、本実施形態では、ユーザが希望する画像処理を効率的に行なうことができる。
【００５４】
ステップＳ１０５：ＡＳＩＣ１５の第１処理部１５ｅは、顕著性マップの生成処理を行なうため、図５に示す顕著性マップの生成のサブルーチンを実行する（詳細は後述する）。
【００５５】
ステップＳ１０６：ＡＳＩＣ１５の第２処理部１５ｆは、特徴点抽出処理を行なうため、図６に示す特徴点抽出処理のサブルーチンを実行する（詳細は後述する）。
【００５６】
ステップＳ１０７：ＡＳＩＣ１５の第３処理部１５ｇは、第１処理部１５ｅの処理結果と第２処理部１５ｆの処理結果とを利用する位置合わせ処理を行なう。具体的には、第３処理部１５ｇは、第１処理部１５ｅ、第２処理部１５ｆの処理結果を用いて、第１画像、第２画像のうちの一方の画像の所定被写体の位置が、他方の画像の所定被写体の位置と一致するように、位置合わせを行なった第３画像を生成する。そのため、第３処理部１５ｇは、図８に示す位置合わせ処理のサブルーチンを実行する（詳細は後述する）。
【００５７】
ステップＳ１０８：ＡＳＩＣ１５は、画像の記録、或いは表示処理を行なう。具体的には、ＡＳＩＣ１５は、ステップＳ１０７で実行された位置合わせ処理後の第３画像（図３（ｉ））の記録媒体２１への記録、或いは表示モニタ４１への当該第３画像の表示を行なう。なお、ＡＳＩＣ１５は、ステップＳ１０７で実行された位置合わせ処理後の第３画像を表示モニタに表示させた後、ユーザからの記録処理の指示入力を受け付けても良い。この指示入力に応じて、ＡＳＩＣ１５は、第３画像を記録媒体２１に記録する。さらに、ＡＳＩＣ１５は、第３画像及びその第３画像の被写体情報をデータベース１３ａに追加する。そして、ＡＳＩＣ１５は、図２に示すフローの処理を終了させる。
【００５８】
次に、顕著性マップの生成処理のサブルーチンについて説明する。図５は、顕著性マップの生成処理のサブルーチンを示すフローチャートである。顕著性マップは、例えば、画像内における主要被写体の領域を推定する情報を与える。
【００５９】
ステップＳ２０１：第１処理部１５ｅは、多重画像の読出処理を行なう。すなわち、第１処理部１５ｅは、顕著性マップを生成するため、多重画像を第２メモリ１４から読み出す。ここで、従来、顕著性マップの生成処理では、先ず、画像のガウシアン・ピラミッド（段階的に解像度を変化させた画像：多重画像）を作成するところから開始する必要がある。本実施形態では、既に多重画像を生成しているので、第１処理部１５ｅは、多重画像を共通して用いる場合、多重画像を第２メモリ１４から読み出すだけで良い。そのため、本実施形態では、画像処理の効率化を図ることができる。
【００６０】
ステップＳ２０２：第１処理部１５ｅは、顕著性マップ生成のための前処理を行なう。具体的には、先ず、第１処理部１５ｅは、多重画像を原画像（第１画像及び第２画像）から段階的に解像度を落とした解像度の異なる画像に対して、連番σ  ＝０（原画像）〜Ｎを付加する。次に、第１処理部１５ｅは、連番を付した各々の多重画像に対して、公知の顕著性マップの生成処理に基づいて、輝度(Intensity)、色相成分(Color Channel)、所定方向のエッジ成分(Orientation)を演算して、輝度の情報を示す画像、色相成分の情報を示す画像、所定方向のエッジ成分の情報を示す画像をさらに生成する。
【００６１】
ステップＳ２０３：第１処理部１５ｅは、顕著性マップの生成を行なう。具体的には、第１処理部１５ｅは、ステップＳ２０２の処理で得られた各々の画像に対して、顕著性マップ生成用に予め定められた数学的処理（例えば、特開２０１０−２６６９８２号公報等を参照）を施す。そして、第１処理部１５ｅは、数学的処理を施した後の各々の画像を重ね合わせて第１顕著性マップを生成する（図３（ｃ）参照）。また、第１処理部１５ｅは、同様にして、第２顕著性マップを生成する（図３（ｇ）参照）。第１処理部１５ｅは、第１顕著性マップ、第２顕著性マップを第２メモリ１４に記録する。そして、ＡＳＩＣ１５は、図５に示すフローの処理を終了し、図２に示すステップＳ１０６の処理に戻る。
【００６２】
次に、特徴点抽出処理のサブルーチンについて説明する。図６は、特徴点抽出処理のサブルーチンを示すフローチャートである。
【００６３】
ステップＳ３０１：第２処理部１５ｆは、多重画像の読出処理を行なう。すなわち、第２処理部１５ｆは、特徴点抽出処理を行なうため、多重画像を第２メモリ１４から読み出す。ここで、本実施形態では、上記のステップＳ２０１と同様、既に多重画像を生成しているので、第２処理部１５ｆは多重画像を第２メモリ１４から読み出すだけで良いので、画像処理の効率化を図ることができる。
【００６４】
ステップＳ３０２：第２処理部１５ｆは、複数の多重画像を用いてＳＩＦＴの画像処理を行なう。ここで、一般的なＳＩＦＴの画像処理は、特徴点（キーポイント）の抽出(detection)と特徴量の記述(description)の２段階からなる。特徴点の抽出において、第２処理部１５ｆは、（１）特徴点の抽出の手掛かりとなる因子（以下「スケール」という。）と特徴点との抽出、（２）特徴点のローカライズの処理を行なう。また、特徴量の記述において、第２処理部１５ｆは、（１）オリエンテーションの算出、（２）特徴量の記述処理を行なう。
【００６５】
すなわち、多重画像生成部１５ｂは、先ず、特徴点のスケール探索をするため、第２メモリ１４から多重画像を読み出す。次に、多重画像生成部１５ｂは、特徴点のスケール探索用の数学的処理の一種であるＤｏＧ（Difference-of-Gaussian）処理を行なう。この処理により、多重画像生成部１５ｂは、差分画像を多重画像の一種として生成する。
【００６６】
図７は、差分画像の生成を模式的に説明する図である。例えば、図７では、解像度の異なる差分画像が４画像生成されることを表している。ＡＳＩＣ１５は、多重画像生成部１５ｂが生成した各々の差分画像を第２メモリ１４に記録する。なお、差分画像を生成する際に、差分演算を行なう画像の画素数が異なる場合には、画素数が少ない画像の画素数を、画素数が多い画像の画素数と同じになるように、予め画素数が揃えられる。この際に、画素数が低い画像の画素データを０次補間して（すなわち、同じ画素データ値を用いて）、画素数の多い画像の画素数に揃えられた上で、差分演算が行なわれ、差分画像が生成される。
【００６７】
第２処理部１５ｆは、ＤｏＧ（Difference-of-Gaussian）処理に基づいて、各々の差分画像を解析することによりスケール及び特徴点の抽出を行なう。つまり、第２処理部１５ｆは、差分画像を用いることにより、スケール及び特徴点の抽出を精度良く行なうことができる。次に、第２処理部１５ｆは、抽出された複数の特徴点のうち、特徴点として不向きな点を削除する処理（特徴点のローカライズ）等を行なう。
【００６８】
なお、第２処理部１５ｆは、ステップＳ２０３の処理で生成された第１顕著性マップ及び第２顕著性マップを解析して、予め特徴点として不向きな点を推定しても良い。これにより、第２処理部１５ｆは、特徴点のローカライズの精度を高めることができるので、画像処理の効率化を図ることができる。
【００６９】
また、第２処理部１５ｆは、特徴量の記述処理の指針となるキーポイントの向きを示すオリエンテーションを算出する。さらに、第２処理部１５ｆは、特徴量の記述処理として、オリエンテーションに基づいて特徴点の特徴量を記述する。つまり、第２処理部１５ｆは、特徴点の抽出と特徴量の記述との２段階の数学的な処理により、画像内の特徴点を抽出することができる。すなわち、第２処理部１５ｆは、第１画像と第２画像とに対して、特徴点を抽出する。図３（ｄ）、（ｈ）において、第２処理部１５ｆは、例えば、画像内から人物Ｐの顔の領域をキーポイントを含む領域として抽出する。これにより、第２処理部１５ｆは、人物Ｐの顔の領域を画像内で特徴のある領域として推定する。
【００７０】
説明の便宜上、図３（ｄ）、（ｈ）では、人物Ｐの顔の領域を囲む枠Ｗ内を画像内のキーポイントを含む領域として抽出する。第２処理部１５ｆは、特徴点及び特徴量の情報を第２メモリ１４に記録する。そして、ＡＳＩＣ１５は、図６に示すフローの処理を終了し、図２に示すステップＳ１０７の処理に戻る。
【００７１】
次に、位置合わせ処理のサブルーチンについて説明する。図８は、位置合わせ処理のサブルーチンを示すフローチャートである。
【００７２】
ステップＳ４０１：第３処理部１５ｇは、多重画像の読出処理を行なう。すなわち、第３処理部１５ｇは、位置合わせ処理を行なうため、多重画像を第２メモリ１４から読み出す。ここで、本実施形態では、既に多重画像を生成しているので、第３処理部１５ｇは、上記のステップＳ２０１、Ｓ３０１の処理と同様、多重画像を第２メモリ１４から読み出すだけで良い。したがって、本実施形態では、多重画像を使い回すほど、画像処理の効率化を図ることができる。なお、本実施形態では、第２処理部１５ｆが位置合わせ処理を行なっても良いが、第３処理部１５ｇで位置合わせ処理を行なった方が、顕著性マップの解析結果に加えて特徴点の位置情報とその特徴量情報を利用できる点でより精度の高い位置合わせ処理を行なうことができる。そのため、このステップＳ４０１の処理では、第３処理部１５ｇが位置合わせ処理を行なうこととする。
【００７３】
ステップＳ４０２：第３処理部１５ｇは、位置ズレ量の演算処理を行なう。具体的には、第３処理部１５ｇは、上記の特願２０１０−２８７２６７号に記載の幾何変換モデル等によって、第１画像と第２画像との位置ズレ量を求める。また、第３処理部１５ｇは、第１顕著性マップの情報と第１画像の特徴量の情報とに基づいて、第１画像の主要被写体の領域（例えば、人物Ｐの顔の領域）を推定する。また、第３処理部１５ｇは、同様にして、第２顕著性マップの情報と第２画像の特徴量の情報に基づいて、第２画像の主要被写体の領域（例えば、人物Ｐの顔の領域）を推定する。これにより、第３処理部１５ｇは、第１画像の主要被写体と第２画像の主要被写体との位置ズレ量を精度良く求めることができる。
【００７４】
ステップＳ４０３：第３処理部１５ｇは、位置合わせ処理を行なう。具体的には、第３処理部１５ｇは、ステップＳ４０２の処理で求めた位置ズレ量を補正するようにして第１画像、第２画像の何れか一方の画像を、他方の画像に合うように画像位置を移動する。これにより主要被写体の画像位置が補正され、所謂電子手振れ補正が行なえる。また、第３処理部１５ｇは、例えば、適正露出よりも露光期間を短くして連写撮影された第１画像及び第２画像を合成することで、手振れ補正された合成画像（第３画像：図３（ｉ））を生成する構成としても良い。
【００７５】
そして、ＡＳＩＣ１５は、図８に示すフローの処理を終了し、図２に示すステップＳ１０８の処理に戻る。
【００７６】
以上より、本実施形態のコンピュータ１は、多重画像を用いて複数の画像処理を行なう場合、画像処理毎に多重画像を生成しないで済む。これにより、本実施形態のコンピュータ１は、画像処理の効率化が施された手段を提供できる。
【００７７】
（実施形態の補足事項）
（１）上記の実施形態では、手振れ補正の処理について説明したが、他の処理の一例として、主要被写体抽出の処理について説明する。主要被写体抽出の処理では、先ず、背景の被写体を抽出し、その背景の被写体の位置を合わせて、主要被写体の領域を精度良く抽出する。
【００７８】
図９は、主要被写体抽出の一例を示す処理の模式図である。図９では、図２に示すフローの処理を行なった場合のステップＳ１０５〜ステップＳ１０７の処理を模式的に表している。図９では、車Ｃ１が、樹木Ｔ１、Ｔ２の横を通り過ぎる場合について例示している。ここで、第１処理部１５ｅは、顕著性マップの生成処理を行ない、車Ｃ１、樹木Ｔ１、Ｔ２を示す領域を抽出する（図９（ａ）、（ｂ））。また、第２処理部１５ｆは、顕著性マップを参考にして特徴点抽出処理を行なう。そして、車Ｃ１、樹木Ｔ１、Ｔ２の特徴点を抽出する。これにより、第２処理部１５ｆは、第１画像及び第２画像から樹木Ｔ１、Ｔ２を動きのない背景の被写体として推定する。また、第２処理部１５ｆは、２枚の画像から車Ｃ１を動きのある主要被写体として推定する。
【００７９】
第３処理部１５ｇは、第１処理部１５ｅの処理結果と第２処理部１５ｆの処理結果とに基づいて、位置合わせ処理を行なう。この場合、第３処理部１５ｇは、樹木Ｔ１、Ｔ２を基準として、第１画像及び第２画像の位置合わせを行なう。図９（ｃ）は、位置合わせ後の第１画像、第２画像を、模式的に重畳して示している。この場合、第３処理部１５ｇは、動きのない背景の被写体として樹木Ｔ１、Ｔ２を基準としているので、位置合わせされた第１画像・第２画像、及び第２画像・それより後に取得された画像の各々での差分演算を行ない、差分画像を所定の閾値判断により２値画像に変換した上で、各々の２値画像を論理演算することで、車Ｃ１の移動する領域を精度良く抽出することができる。つまり、第３処理部１５ｇは、主要被写体である車Ｃ１の領域、動きを精度良く抽出することができる。
【００８０】
（２）上記の実施形態では、ＡＳＩＣ１５は、画像処理プログラムの実行によって、画像読込部１５ａと、多重画像生成部１５ｂと、選択部１５ｃと、画像処理部１５ｄとして機能させたが、回路的に実現しても良い。
【００８１】
図１０は、多重画像を共通して用いるための機能ブロックの一例を示す図である。図１０において、ＡＳＩＣ１５は、画像読込回路５１、選択回路５２、多重画像の生成回路５３、差分画像の生成回路５４、特徴点の抽出回路５５、位置合わせ回路５６、顕著性マップの生成回路５７及び主要被写体の推定回路５８を備える。また、図１０において、主要被写体の推定回路５８は、図１に示すデータベース１３ａと接続している。なお、各々の回路は、図１に示すバス１６を介して、通信Ｉ／Ｆ部１１、入出力Ｉ／Ｆ部１２、第１メモリ１３、第２メモリ１４と互いに接続されていることとする。
【００８２】
画像読込回路５１は、図１に示す画像読込部１５ａと同様の機能をハードウエア的に実現している。また、選択回路５２は、図１に示す選択部１５ｃと同様の機能をハードウエア的に実現している。また、多重画像の生成回路５３及び差分画像の生成回路５４は、図１に示す多重画像生成部１５ｂと同様の機能をハードウエア的に実現している。
【００８３】
また、特徴点の抽出回路５５、位置合わせ回路５６、顕著性マップの生成回路５７、及び主要被写体の推定回路５８は、図１に示す画像処理部１５ｄが有する機能をハードウエア的に実現している。主要被写体の推定回路５８は、データベース１３ａを参照して、画像内の主要被写体（又は背景の被写体）とデータベース１３ａ内の画像とのテンプレートマッチングにより、例えば、主要被写体（又は背景の被写体）の種別を推定しても良い。なお、図１０では、画像処理の流れを矢印で表している。
【００８４】
ここで、上記の実施形態では、画像処理部１５ｄ内の画像処理において、多重画像生成部１５ｂが生成した同じ多重画像を共通して用いる構成としたが、本実施形態では、必ずしも、同じ多重画像を共通して用いることに限定されない。
【００８５】
例えば、多重画像の生成回路５３は、解像度の異なる多重画像を予め決められた枚数生成しても良い。また、差分画像の生成回路５４は、解像度の異なる差分画像を予め決められた枚数生成しても良い。
【００８６】
図１１は、多重画像と差分画像の生成例を示す図である。これらの画像は、第２メモリ１４に記録される。つまり、多重画像の生成回路５３は、例えば第１画像に対して、Ｎ枚の多重画像を生成し、（Ｎ−１）枚の差分画像を生成する。また、多重画像の生成回路５３は、例えば第２画像に対して、Ｎ枚の多重画像を生成し、（Ｎ−１）枚の差分画像を生成する。
【００８７】
ここで、特徴点の抽出回路５５、画像の位置合わせ回路５６、顕著性マップの生成回路５７、及び主要被写体の推定回路５８は、第２メモリ１４から必要に応じて、必要な多重画像や差分画像を読み出して画像処理を行なっても良い。つまり、本実施形態では、例えば、顕著性マップの生成処理と特徴点の抽出処理とにおいて、第２メモリ１４内の複数の多重画像（差分画像）のうちで異なる多重画像（差分画像）を使い回しても良いし、複数枚の多重画像（差分画像）のうちで同一の多重画像（差分画像）と異なる多重画像（差分画像）とを混在して使い回しても良い。このような構成によれば、多重画像の生成回路５３による１回の多重画像生成処理で生成された多重画像のうちの一部の画像を、例えば顕著性マップの生成処理に使用し、他の画像を特徴点の抽出処理に用いることが可能となる。すなわち、１回の多重画像生成処理で生成された多重画像を、異なる種類の画像処理に独立して用いることもできる。
【００８８】
このように、本実施形態では、予め生成した多重画像や差分画像のうちから、必要な多重画像や差分画像を使い回すことにより画像処理の効率化を図ることができる。
【００８９】
（３）上記の画像処理装置を撮像部とともに備える電子カメラや携帯電話等の撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【００９０】
（４）上記の実施形態では、画像処理部１５ｄは、例えば、顕著性マップの生成、特徴点抽出処理、位置合わせ処理等において多重画像を共通して、或いは独立して用いる構成について説明したが、これらの画像処理に限定されず、多重画像を用いる他の画像処理であっても良い。例えば、第２処理部１５ｆは、特徴点抽出処理を行なうためにＳＩＦＴの画像処理を行なったが、多重画像を用いる特徴点抽出処理として、ＳＵＲＦ（Speeded Up Robust Features）の画像処理を行なっても良い。或いは、顕著性マップを用いて注目領域を推定した上で、多重画像を用いて、時系列画像における注目領域、或いはその他の領域の動きベクトルを算出して、例えば手振れ補正を行なう構成としても良い。
【符号の説明】
【００９１】
１・・・コンピュータ、１５ａ・・・画像読込部、１５ｂ・・・多重画像生成部、１５ｄ・・・画像処理部
【図１】
2013008124.tif 000003
【図２】
2013008124.tif 000004
【図３】
2013008124.tif 000005
【図４】
2013008124.tif 000006
【図５】
2013008124.tif 000007
【図６】
2013008124.tif 000008
【図７】
2013008124.tif 000009
【図８】
2013008124.tif 000010
【図９】
2013008124.tif 000011
【図１０】
2013008124.tif 000012
【図１１】
2013008124.tif 000013