(57)【要約】【課題】被写体領域毎に最適な諧調として、しかも記憶容量および演算量が増大することなく複数の画像を合成処理する。【解決手段】連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る際、制御部１０１は合成処理を行う前に予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、画像処理部１０６によって複数の予備画像の各々について複数の被写体領域を抽出する。制御部は複数の予備画像において被写体領域の間における輝度値の差を示す輝度差分を求めて輝度差分に応じて撮影の際の露光量を調整して合成処理に用いる画像を撮影する際の露光量を求める。そして、制御部は合成処理に用いる複数の画像の撮影を指示する。【選択図】図１
2016092518.tif 000002
【特許請求の範囲】
【請求項１】
連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、
前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する第１の抽出手段と、
前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御手段と、
前記制御手段による露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記被写体領域について予め定められた目標輝度値に応じて撮影の際の目標露光量を求めて、前記目標露光量の差分絶対値を前記輝度差分とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記被写体領域の一つを主被写体領域として、前記主被写体領域における目標輝度値を出力輝度値として、前記出力輝度値に応じて求められた前記主被写体領域に係る出力露光量を前記輝度差分に応じて調整して前記合成画像に用いる画像を撮影する際の露光量を求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記指示手段の指示に応じて撮影を行った結果得られた複数の画像の各々について所定の領域を抽出領域として抽出する第２の抽出手段と、
前記抽出領域を外部装置に送信する第１の送信手段と、
前記外部装置において前記抽出領域に基づいて求められ前記複数の画像を合成する際に用いられる合成情報を前記外部装置から受けて、前記合成情報に応じて前記複数の画像を合成処理して合成画像を得る合成手段とを有することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の抽出手段は、互いに隣接する画像において共通する領域であるのりしろ領域を前記抽出領域として抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記外部装置は、前記のりしろ領域を複数のブロックに分割して、前記互いに隣接する画像において当該ブロックの各々の動きベクトルを求めて、当該動きベクトルに応じて射影変換処理で用いられる射影変換係数を前記合成情報として求めることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記合成手段は、前記複数の画像のうちの一つを、前記射影変換処理における変換先となる基準画像として、前記射影変換係数に応じて前記複数の画像を繋ぎ合わせて前記合成画像を生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の抽出手段による前記抽出領域の抽出の前に、前記被写体領域の各々の輝度値および前記複数の画像の各々における輝度ヒストグラムに応じて得られたゲインテーブルに応じて前記複数の画像の各々について階調処理を行って階調処理済み画像を得る処理手段を有し、
前記第２の抽出手段は前記階調処理済み画像について抽出処理を行うことを特徴とする請求項４〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の抽出手段による抽出処理の前に、前記複数の画像の各々を前記外部装置に送る第２の送信手段と、
前記外部装置において前記複数の画像の各々における特徴量に応じて求められたゲインテーブルを受けて当該ゲインテーブルに応じて前記複数の画像の各々について階調処理を行って階調処理済み画像を得る処理手段を有し、
前記第２の抽出手段は前記階調処理済み画像について抽出処理を行うことを特徴とする請求項４〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第２の送信手段は、前記複数の画像の各々を縮小した縮小画像を前記外部装置に送り、前記外部装置は前記縮小画像の特徴量に応じて前記ゲインテーブルを生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の送信手段は、前記縮小画像とともに前記複数の画像の各々における測距結果および測光結果を示すデータを前記外部装置に送り、前記外部装置は前記データを参照して前記ゲインテーブルを生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記予備画像および前記複数の画像を撮像する撮像手段と、
請求項１〜１１のいずれか１項に記載の画像処理装置と、
前記複数の画像を合成処理した合成画像を記録媒体に記録する記録手段と、
を有することを特徴とする撮像装置。
【請求項１３】
連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、
前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する抽出ステップと、
前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御ステップと、
前記制御ステップによる露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示ステップと、
を有することを特徴とする制御方法。
【請求項１４】
連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する抽出ステップと、
前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御ステップと、
前記制御ステップによる露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、複数の画像データを合成処理するための画像処理装置に関する。
【背景技術】
【０００２】
一般に、撮影の結果得られた複数の画像データを合成処理して１枚の画像データでは得られない画角を有する合成画像データを得る手法が知られている。例えば、撮像装置を動かして画角を変化させつつ連続的に撮影を行って得られた画像データを繋ぎ合わせる処理を行って広角の画像データを生成するパノラマ合成処理がある。
【０００３】
さらに、Ｄ（ダイナミック）レンジおよびコントラストが人の見た目に近づけるため、被写体領域毎に所定のトーンマッピング（以下、ＴＭ）処理を行って階調圧縮処理する手法（例えば、特開2014-153959）が知られている。
【０００４】
ところが、上述の諧調圧縮処理においては、撮影の結果得られた複数の画像データの全てを撮像装置又は外部処理装置に記憶して合成処理を行っており、この結果、撮影枚数が多くなるに伴って必要とする記録容量および処理に要する演算時間が増大してしまう。
【０００５】
一方、撮像装置による連続的な撮影の結果得られた画像データを、位置合わせして合成しつつ階調補正を行って広角なパノラマ画像を生成する手法がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−８１０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところが、上述の特許文献１に記載の手法においては、被写体領域毎の明るさおよび被写体領域毎の明るさのバランスを考慮しておらず、このため被写体領域毎に最適な階調とするために適する露出とはならないことがある。
【０００８】
さらには、複数の画像データを、主記憶装置を用いて合成処理する結果、撮影枚数が多くなるに従って、主記憶装置で必要な記憶容量および合成処理の際の演算量が増大してしまうことになる。
【０００９】
従って、本発明の目的は、被写体領域毎に最適な諧調として、しかも記憶容量および演算量が増大することなく複数の画像データを合成処理することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による画像処理装置は、連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置であって、前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する第１の抽出手段と、前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御手段と、前記制御手段による露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示手段と、を有することを特徴とする。
【００１１】
本発明による撮像装置は、前記予備画像および前記複数の画像を撮像する撮像手段と、上記の画像処理装置と、前記複数の画像を合成処理した合成画像を記録媒体に記録する記録手段と、を有することを特徴とする。
【００１２】
本発明による制御方法は、連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置の制御方法であって、前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する抽出ステップと、前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御ステップと、前記制御ステップによる露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示ステップと、を有することを特徴とする。
【００１３】
本発明による制御プログラムは、連続的な撮影の結果得られた複数の画像を合成処理して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記合成処理を行う前に、予め定められた露光量で画角を変更しつつ撮影された複数の画像を予備画像として、前記複数の予備画像の各々について複数の被写体領域を抽出する抽出ステップと、前記複数の予備画像において前記被写体領域の間における輝度値の差を示す輝度差分を求めて前記輝度差分に応じて撮影の際の露光量を調整して前記合成処理に用いる画像を撮影する際の露光量を求める制御ステップと、前記制御ステップによる露光量の調整の後、前記合成処理に用いる前記複数の画像の撮影を指示する指示ステップと、を実行させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像合成を行う前に、被写体領域の間の輝度差分に応じて、画像合成に用いる画像を撮影する際の露光量を制御する。これによって、被写体領域毎に最適な諧調としてしかも記憶容量および演算量が増大することなく複数の画像を合成処理することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】本発明の第１の実施形態による画像処理装置とともに用いられる外部装置の一例であるＰＣについてその構成を示すブロック図である。
【図３】図１に示すカメラによる連続的な撮影の結果得られた画像データの一例を示す図である。
【図４】図１に示すカメラで行われる撮影動作の一例を説明するためのフローチャートである。
【図５】図１に示すカメラにおいて行われた被写体領域の判別結果の一例を示す図である。
【図６】撮影画像の露光量と被写体領域の露光量との関係を説明するための図であり、（Ａ）は撮影画像の露光量と被写体領域の目標露光量との関係を示す図、（Ｂ）は撮影画像の露光量に対する被写体領域の露光量を示す図である。
【図７】図１に示すカメラで行われる画像合成処理の一例を説明するためのフローチャートである。
【図８】図１に示すカメラを右方向に動かしつつ連続的な撮影を行った結果得られた画像データの一例を示す図である。
【図９】図１に示すカメラで行われるのりしろ領域の抽出を示す図である。
【図１０】図１に示すカメラで行われる画像の合成処理（画像連結）を説明するための図である。
【図１１】図２に示すＰＣで行われる射影変換係数の算出についてその一例を説明するためのフローチャートである。
【図１２】図１に示すカメラで行われる射影変換係数を用いた画像合成処理の一例を説明するためのフローチャートである。
【図１３】図１に示すカメラで行われる射影変換係数を用いた画像合成処理の得られた最終的な合成画像の一例を示す図である。
【図１４】本発明の第２の実施形態によるカメラで行われる撮影動作の一例を説明するためのフローチャートである。
【図１５】本発明の第２の実施形態によるＰＣで行われるゲインテーブル生成処理の一例を説明するためのフローチャートである。
【図１６】本発明の第２の実施形態によるカメラで行われるゲインテーブルを用いた処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１６】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１７】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。なお、以下の説明では、撮像装置としてデジタルカメラ（以下単にカメラと呼ぶ）を例に挙げ、当該カメラと通信を行う外部装置としてパーソナルコンピュータ（ＰＣ）を例に挙げて説明する。
【００１８】
カメラ１００は制御部１０１を有しており、この制御部１０１は、例えば、ＣＰＵである。制御部１０１はＲＯＭ１０２から制御プログラム（動作プログラムともいう）を読み出して、当該制御プログラムをＲＡＭ１０３に展開して実行する。これによって、制御部１０１はカメラ１００全体の制御を行う。
【００１９】
ＲＯＭ１０２は、例えば、書き換え可能な不揮発性メモリであって、ＲＯＭ１０２にはカメラ１００の動作プログラムに加えて、カメラ１００の動作に必要なパラメータなどが記憶される。ＲＡＭ１０３は、書き換え可能な揮発性メモリであって、ＲＡＭ１０３はカメラ１００の動作によって得られた画像データなどのデータを一時的に記憶する記憶領域として用いられる。
【００２０】
光学系１０４は光学像（被写体像）を撮像部１０５に結像する。なお、光学系１０４はカメラ１００の動きを検出して、当該動きの方向および大きさを出力する。
【００２１】
撮像部１０５は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子であり、光学系１０４によって結像した光学像を光電変換してアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、アナログ画像信号をＡ／Ｄ変換してデジタル画像信号を画像データとしてＲＡＭ１０３に出力する。
【００２２】
画像処理部１０７は、ＲＡＭ１０３に記憶された画像データに対して所定の画像処理を行って、処理済み画像データとしてＲＡＭ１０３に記録する。記録媒体１０８はカメラ１００に対して着脱可能なメモリカードなどである。記録媒体１０８には、ＲＡＭ１０３に記憶された処理済み画像データ又はＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像データなどが記録画像データとして記録される。
【００２３】
通信部１０９は、無線ＬＡＮなどの公衆モバイル通信網を用いて、記録媒体１０８に記録された画像データなどを外部装置（図示せず）に送信する。さらに、通信部１０９は外部装置から各種データを受信する。
【００２４】
図２は、本発明の第１の実施形態による画像処理装置とともに用いられる外部装置の一例であるＰＣについてその構成を示すブロック図である。
【００２５】
ＰＣ２００は、制御部２０１を有しており、この制御部２０１は、例えば、ＣＰＵである。制御部２０１はＲＯＭ２０２から制御プログラム（動作プログラムともいう）を読み出して、当該制御プログラムをＲＡＭ２０３に展開して実行する。これによって、制御部２０１はＰＣ２００全体の制御を行う。
【００２６】
ＲＯＭ２０２は、例えば、書き換え可能な不揮発性メモリであって、ＲＯＭ２０２にはＰＣ２００の動作プログラムに加えて、ＰＣ２００の動作に必要なパラメータなどが記憶される。ＲＡＭ２０３は、書き換え可能な揮発性メモリであって、ＲＡＭ１０３はＰＣ２００の動作によって得られたデータを一時的に記憶する記憶領域として用いられる。
【００２７】
通信部２０４は、無線ＬＡＮなどの公衆モバイル通信網を用いて、外部機器からデータを受信するとともに、外部機器に対してデータを送信する。例えば、通信部２０４は、図１に示すカメラ１００から画像データを受信する。
【００２８】
記録媒体２０５は、例えば、内蔵ハードディスク装置であり、記録媒体２０５には、通信部２０４で受信した画像データなどが保存される。そして、記録媒体２０５に保存された画像データはＲＡＭ２０３に展開されて、画像処理部２０６によって所定の画像処理（例えば、合成処理）が行われる。
【００２９】
図３は、図１に示すカメラ１００による連続的な撮影の結果得られた画像データの一例を示す図である。
【００３０】
いま、カメラ１００を用いて被写体を連続的に撮影して複数枚の画像データを得たとする。ここでは、カメラ１００（つまり、光学系１０４の光軸）を図中左方向に動かしつつ、図３に示す画像３００〜３０３の順に画像を得たものとする。
【００３１】
図４は、図１に示すカメラ１００で行われる撮影動作の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０１の制御下で行われる。
【００３２】
撮影動作を開始すると、前述したようにして、制御部１０１は画像処理部１０７によって処理済み画像データ（以下撮影画像又は現像済み画像という）を１枚得る（ステップＳ４００）。続いて、制御部１０１は撮影画像において被写体領域を判別して、当該被写体領域の抽出処理を行う（ステップＳ４０２）。
【００３３】
例えば、制御部１０１は、被写体領域として空、人物、その他背景を示す領域を抽出する。被写体領域の判別を行う際には、制御部１０１は輝度又は色相などの特徴量に応じて被写体領域を判別する。なお、ニューラルネットワークなどの物体認識手法を用いて被写体領域の判別を行うようにしてもよい。
【００３４】
図５は、図１に示すカメラ１００において行われた被写体領域の判別結果（判別画像）の一例を示す図である。
【００３５】
図５において、判別画像３１０は、図３に示す撮影画像３００において被写体領域の判別を行った判別結果を示す画像である。判別画像３１０において、斜線部分は空と判別された領域であり、白部分はその他背景と判別された領域である。
【００３６】
再び図４を参照して、ステップＳ４０２の処理の後、制御部１０１は、ユーザが希望する全ての画角において撮影が完了したか否かを判定する（ステップＳ４０２）。ここでは、制御部１０１は、光学系１０４によってカメラ１００の動きを検出する。
【００３７】
例えば、制御部１０１は１枚目の撮影画像３００を得た後、カメラ１００の左方向の動きを検出する。そして、制御部１０１は撮影画像３０３を得た後、カメラ１００の動きを検出しないと全画角において撮影が完了したと判定する。なお、全画角における撮影が完了するまで露光量を変更しないものとする。
【００３８】
全ての画角において撮影が完了しないと（ステップＳ４０２において、ＮＯ）、制御部１０１はステップＳ４００の処理に戻って、次の画角で撮影を行う。このようにして、全ての画角で撮影が完了すると、前述の判別画像３１０に加えて、判別画像３１１〜３１３が得られる。なお、判別画像３１１〜３１３はそれぞれ撮影画像３０１〜３０３において被写体領域の判別を行った結果得られた画像である。
【００３９】
全ての画角において撮影が完了すると（ステップＳ４０２において、ＹＥＳ、制御部１０１は判別画像（予備画像）３１０〜３１３の各々において被写体領域毎に輝度値を算出する（ステップＳ４０３）。
【００４０】
ここでは、制御部１０１は被写体領域毎にその代表輝度値を求める。なお、代表輝度値は、被写体領域における輝度の平均値を示し、代表輝度値を求める被写体領域として、人物の顔領域、背景領域、および空領域の３領域が用いられる。また、図３に示す例では、撮影画像３００〜３０３において人物は存在せず、空および背景の２領域が代表値を求める被写体領域として用いられる。
【００４１】
いま、背景領域および空領域の代表輝度値をそれぞれＢＡＣＫ＿ＹおよびＳＫＹ＿Ｙとする。ここでは、被写体領域の輝度の平均値を代表輝度値とするが、被写体領域の輝度について座標に応じて重み付けを行って加重平均値を求めるようにしてもよい。
【００４２】
例えば、全ての画角においてその中央に位置する撮影画像３０１および３０２から得られた代表輝度値ＢＡＣＫ＿ＹおよびＳＫＹ＿Ｙの重みが相対的に大きくなるように、４つの撮影画像３００〜３０１から得られた代表輝度値ＢＡＣＫ＿ＹおよびＳＫＹ＿Ｙを加重平均して加重平均値を求めるようにしてもよい。
【００４３】
次に、制御部１０１は被写体領域毎の代表輝度値に基づいて、被写体領域間における輝度段差（輝度差分）ΔＢＳを求める（ステップＳ４０４）。
【００４４】
図６は、撮影画像の露光量と被写体領域の露光量との関係を説明するための図である。そして、図６（Ａ）は撮影画像の露光量と被写体領域の目標露光量との関係を示す図であり、図６（Ｂ）は撮影画像の露光量に対する被写体領域の露光量（出力露光量）を示す図である。
【００４５】
目標露光量とは被写体領域の代表輝度値を目標輝度値にするための露光量であり、撮影画像における露光量に対する被写体領域の露光量をいう。つまり、目標露光量として撮影画像における露光量をどの程度オーバー側又はアンダー側とすれば、被写体領域の代表輝度値を目標輝度値にすることができるかを示す露光量である。
【００４６】
なお、ここで、オーバーとは撮影画像における露光量よりも大きくすることをいい、アンダーとは撮影画像における露光量よりも小さくすることをいう。また、目標輝度値は被写体領域に応じて予め定められた輝度値であって、ここでは、背景領域および空領域の目標輝度値をそれぞれＢＡＣＫ＿ｒｅｆ＿ＹおよびＳＫＹ＿ｒｅｆ＿Ｙとする。
【００４７】
図６（Ａ）に示す目標露光量ΔＢＶ＿ＢＡＣＫ＿ｒｅｆおよびΔＢＶ＿ＳＫＹ＿ｒｅｆは目標輝度値ＢＡＣＫ＿ｒｅｆ＿ＹおよびＳＫＹ＿ｒｅｆ＿Ｙを用いてそれぞれ式（１）および式（２）で与えられる。
【００４８】
【数１】
2016092518.tif 000003
【００４９】
制御部１０１は、式（１）および式（２）によって求められた目標露光量ΔＢＶ＿ＢＡＣＫ＿ｒｅｆおよびΔＢＶ＿ＳＫＹ＿ｒｅｆの差分絶対値を算出して、当該差分絶対値を背景領域と空領域の輝度段差ΔＢＳとする。
【００５０】
続いて、制御部１０１は被写体領域毎の代表輝度値に基づいて、主被写体の出力輝度値を算出する（ステップＳ４０５）。ここで、主被写体の出力輝度値とは、後で撮影された撮影画像において最終的に出力したい主被写体領域の輝度値をいう。
【００５１】
なお、人物が存在する撮影シーンでは、人物を主被写体として人物の顔領域の出力輝度値を算出することになるが、ここでは、人物が存在しないので背景を主被写体とする。そして、背景領域の目標輝度値ＢＡＣＫ＿ｒｅｆ＿Ｙを背景領域の出力輝度値ＢＡＣＫ＿ＯＵＴ＿Ｙとする。
【００５２】
次に、制御部１０１は出力輝度値ＢＡＣＫ＿ＯＵＴ＿Ｙに応じて露光量を算出して露光量を調整する露光量制御を行う（ステップＳ４０６）。
【００５３】
図６（Ｂ）を参照すると、ここでは、撮影画像の露光量に対する被写体領域毎の出力露光量が示されている。ここで、出力露光量とは、主被写体領域の明るさを所定の明るさとするための露光量であり、撮影画像における露光量に対する主被写体領域の露光量をいう。つまり、出力露光量として撮影画像における露光量をどの程度オーバー側又はアンダー側とすれば、主被写体領域の明るさを所定の明るさにすることができるかを示す露光量である。
【００５４】
背景領域の出力露光量をΔＢＶ＿ＢＡＣＫとすると、出力露光量は次の式（３）によって求められる。
【００５５】
【数２】
2016092518.tif 000004
【００５６】
制御部１０１は、式（３）で求めた主被写体である背景の出力露光量ΔＢＶ＿ＢＡＣＫを基準として、輝度段差ΔＢＳを所定数（図６（Ｂ）に示すα）だけ縮めたキャプチャー露光量ΔＢＶ＿Ｃａｐｔｕｒｅを撮影の際の露光量として決定する。そして、制御部１０１は後の撮影においてキャプチャー露光量ΔＢＶ＿Ｃａｐｔｕｒｅに基づいて露光量を制御する。
【００５７】
ステップＳ４０６の処理の後、制御部１０１はユーザに対して撮影の指示を表示する（ステップＳ４０７）。例えば、ステップＳ４０２の処理までにおいてはカメラ１００を左方向に動かしつつ撮影が行われたので、制御部１０１は続いてカメラ１００を右方向に動かしつつ撮影を行うように、ＬＣＤ画面などに右方向の矢印を点滅表示する。その後、制御部１０１は撮影動作を終了する。
【００５８】
このようにして、複数枚の撮影画像を得た後、制御部１０１は露光量を変更して、ユーザに後の撮影を指示することになる。これによって、後述するように、複数枚の撮影画像を合成して得られるパノラマ画像が備える画角に含まれる被写体に対して適切に階調補正を行うための露光量とすることができる。
【００５９】
図７は、図１に示すカメラ１００で行われる画像合成処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０１の制御下で行われる。
【００６０】
ユーザは、制御部１０１の指示に応じて、例えば、カメラ１００を右方向に動かしつつ撮影を行って、複数枚の撮影画像を得る（ステップＳ４１０）。制御部１０１は光学系１０４によってカメラ１００の動きを検出して、カメラ１００の右方向への動きが検出されなくなったタイミングを撮影完了とする。なお、制御部１０１はステップＳ４０２の処理と同一の枚数を得たタイミングを撮影完了とするようにしてもよい。
【００６１】
図８は、図１に示すカメラ１００を右方向に動かしつつ連続的な撮影を行った結果得られた画像データの一例を示す図である。
【００６２】
いま、カメラ１００を用いて被写体を連続的に撮影して複数枚の画像データを得たとする。ここでは、カメラ１００（つまり、光学系１０４の光軸）を図中右方向に動かしつつ、図８に示す撮影画像５００〜５０３の順に画像を得たものとする。
【００６３】
続いて、制御部１０１は撮影画像５００〜５０３から基準画像を選択する（ステップＳ４１１）。ここで、基準画像とは、後述する射影変換処理において変換先となる画像をいい、図示の例では、制御部１０１は最初に撮影した撮影画像５００を基準画像として選択するものとする。
【００６４】
なお、撮影画像５００以外の撮影画像３０１〜３０３のいずれかを基準画像として選択するようにしてもよい。以下、射影変換処理された撮影画像５０１〜５０３をそれぞれ変換画像５０１〜５０３とする。
【００６５】
次に、制御部１０１は、基準画像以外の撮影画像５０１〜５０３の全てについて画像処理部１０７による後述する所定の画像処理が終了したか否かを判定する（ステップＳ４１２）。撮影画像５０１〜５０３の全てについて画像処理が終了していないと（ステップＳ４１において、ＮＯ）、制御部１０１は画像処理部１０７によって画像に対してＴＭ処理（階調処理）を含む信号処理を施してパノラマ合成用現像済み画像（以下パノラマ用画像という）を生成する（ステップＳ４１３）。
【００６６】
ステップＳ４１３の処理では、制御部１０１は、被写体領域毎の代表輝度値および輝度ヒストグラムを用いて輝度別ゲインテーブルを生成する。そして、制御部１０１は平均値処理を行いつつ撮影画像をゲイン信号に変換して乗算する。これによって、ユーザの見た目通りのコントラストと明るさとを有するパノラマ用画像（階調処理済み画像）を得ることができる。
【００６７】
次に、制御部１０１は画像処理部１０７によってパノラマ用画像の各々からのりしろ領域を抽出領域として抽出して、ＰＣ２００に送信する（ステップＳ４１４）。ここで、のりしろ領域とは互いに隣接する２つの画像において互いに共通する画角の画像領域をいう。
【００６８】
以下の説明では、基準画像５００および撮影画像５０１を例に挙げて説明する。例えば、制御部１０１は、光学系１０４の動き検出結果に応じて、基準画像５００を撮影したカメラ１００の位置からカメラ１００が水平右方向に動いて、撮影画像５０１を撮影したことを判定する。そして、制御部１０１は画像処理部１０７によって基準画像５００に対応するパノラマ用画像の右端の領域と撮影画像５００に対応するパノラマ用画像の左端の領域とを共通するのりしろ領域として抽出する（ステップＳ４１４）。
【００６９】
図９は、図１に示すカメラ１００で行われるのりしろ領域の抽出を示す図である。
【００７０】
図９に示す例では、基準画像５００に対応するパノラマ用画像が参照番号６００で示され、撮影画像５０１に対応するパノラマ用画像が参照番号６０１で示されている。
【００７１】
パノラマ用画像６００および画像６０１はそれぞれ破線で示す複数のブロック単位６０２および６０３に分割されている（ここでは、パノラマ用画像６００および６０１におけるブロック単位６０２および６０３の数および大きさは同一である）。そして、実線で示すブロック単位は６０４および６０５はそれぞれパノラマ用画像６００および画像６０１におけるのりしろ領域を示す。
【００７２】
図９においては、全てのブロック単位のうち３分の１をのりしろ領域として抽出しているが、カメラ１００の水平右方向の動きに応じてのりしろ領域を変更するようにしてもよい。例えば、水平右方向の動きの大きさが所定の値以上であると、制御部１０１はのりしろ範囲を大きくする（例えば、全てのブロック単位の２分の１）。
【００７３】
また、水平右方向の動きの大きさが所定の値未満であると、制御部１０１はのりしろ領域を小さくする（例えば、全てのブロック単位の４分の１）。そして、制御部１０１は通信部１０９によって実線で示すのりしろ領域をＰＣ２００に送信する（ステップＳ４１４）。
【００７４】
続いて、制御部１０１は画像処理部１０７によってパノラマ用画像６００および６０１を光学系１０４の動き検出結果に基づいて加重加算合成処理する（ステップＳ４１５：画像連結）。ここでは、制御部１０１は動き検出結果に基づいてパノラマ用画像６００および６０１における合成領域を決定する。
【００７５】
図１０は、図１に示すカメラで行われる画像の合成処理（画像連結）を説明するための図である。
【００７６】
図１０に示すパノラマ用画像６００および６０１において、のりしろ領域７００および７０１を除く画像領域がそれぞれおおよその合成領域７０２および７０３とされる。ここでは、２つの合成領域７０２および７０３の境界は必ずしも高精度に一致する必要はない。そして、制御部１０１は画像処理部１０７によって２つの合成領域７０２および７０３を加重平均して繋ぎ合わせて簡易合成画像７１０を得る。この簡易合成画像７１０はカメラ１００において確認用に用いられる確認用合成画像であり、記録用の合成画像は後述するようにして生成される。
【００７７】
その後、制御部１０１はステップＳ４１２の処理に戻る。つまり、制御部１０１は全てのパノラマ用画像を繋ぎ合わせた簡易合成画像を得るまで、ステップＳ４１２〜４１５の処理を行う。つまり、パノラマ用画像６００および６０１を繋ぎ合わせた後、制御部１０１は、ステップＳ４１４でパノラマ用画像６０１と撮影画像５０２に対応するパノラマ用画像とについてのりしろ領域を抽出して当該のりしろ領域をＰＣ２００に送信する。そして、制御部１０１は前述のようにして、ステップＳ４１５においてパノラマ用画像６０１と撮影画像５０２に対応するパノラマ用画像とを加算平均して合成処理を行う。
【００７８】
同様にして、制御部１０１は撮影画像５０２に対応するパノラマ用画像と撮影画像５０４に対応するパノラマ用画像とについてステップＳ４４１４およびＳ４１５の処理を行い、続いて、制御部１０１は３つの合成画像について、同様にして合成処理を行う。これによって、全てのパノラマ用画像が合成処理されて、図１０に示す合成画像７２０が得られる。
【００７９】
撮影画像５００〜５０３の全てについて画像処理部１０７による画像処理が終了すると（ステップＳ４１２において、ＹＥＳ）、つまり、撮影画像５００〜５０３の合成処理が終了すると、制御部１０１は合成画像７２０を記録媒体１０８に記録する（ステップＳ４１６）。そして、制御部１０１は画像合成処理を終了する。
【００８０】
図１１は、図２に示すＰＣ２００で行われる射影変換係数の算出についてその一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部２０１の制御下で行われる。
【００８１】
まず、制御部２０１は通信部２０４によって全てのパノラマ用画像に係るのりしろ領域を受信する（ステップＳ４２０）。続いて、制御部２０１は基準画像５００に係るのりしろ領域に関してその動きベクトルをブロック単位毎に算出する（ステップＳ４２１）。ここでは、例えば、制御部２０１は、既知のように信頼性の低い動きベクトルを除外しつつＳＡＤ値を用いてパターンマッチングによってブロック単位毎に動きベクトルを算出する。
【００８２】
次に、制御部２０１は、既知の手法を用いて動きベクトルに基づいて射影変換係数（合成情報）を求めて、当該射影変換係数をカメラ１００に送信する（ステップＳ４２２）。
【００８３】
同様にして、制御部２０１は撮影画像５０１〜５０３に関して、のりしろ領域のブロック単位毎にその動きベクトルを算出して、当該動きベクトルに応じた射影変換係数をカメラ１００に送信する。そして、ＰＣは射影変換係数の算出を終了する。
【００８４】
ここでは、制御部２０１は基準画像５００に対する撮影画像５０１の射影変換係数を第１の射影変換係数として求める。また、制御部２０１は撮影画像５０１および撮影画像５０２と撮影画像５０２および撮影画像５０３とについてその射影変換係数を求めて、それぞれ第２および第３の射影変換係数とする。
【００８５】
図１２は、図１に示すカメラ１００で行われる射影変換係数を用いた画像合成処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０１の制御下で行われる。
【００８６】
カメラ１００では、制御部１０１は通信部１０９によって第１〜第３の射影変換係数を受信する（ステップＳ４３０）。続いて、制御部１０１は、基準画像以外のパノラマ用の全てについて画像処理部１０７による射影変換処理が終了したか否かを判定する（ステップＳ４３１）。
【００８７】
撮影画像５０１〜５０３に対応するパノラマ用画像の全てについて射影変換処理が終了していないと（ステップＳ４３１において、ＮＯ）、制御部１０１は第１〜第３の射影変換係数を用いて撮影画像５０１〜５０３に対応するパノラマ用画像について射影変換処理を行う（ステップＳ４３２）。
【００８８】
ここでは、制御部１０１はまず第３の射影変換係数を用いて撮影画像５０３に対応するパノラマ用画像について射影変換処理を行う。これによって、制御部１０１は撮影画像５０３に対応するパノラマ用画像ののりしろ領域が撮影画像５０２に対応するパノラマ用画像ののりしろ領域と位置が合うように変換して、変換画像５０３を生成する。
【００８９】
続いて、制御部１０１は画像処理部１０７によって変換画像５０３と撮影画像５０２に対応するパノラマ用画像とを合成処理して連結する（ステップＳ４３３）。例えば、制御部１０１はのりしろ領域を加算平均して撮影画像５０２に対応するパノラマ用画像と変換画像５０３とを繋ぎ合わせて、第１の合成画像を得る。
【００９０】
その後、制御部１０１はステップＳ４３２１の処理に戻る。つまり、制御部１０１は基準画像５００に対応するパノラマ用画像に対して全ての変換画像５０１〜５０３を繋ぎ合わせるまで、ステップＳ４３１〜４３３の処理を行う。
【００９１】
ここでは、制御部１０１は第１の合成画像について第２の射影変換係数を用いて射影変換処理を行って、当該変換処理後の合成画像を画像５０１に対応するパノラマ用画像と繋ぎ合わせて、第２の合成画像を得る。そして、制御部１０１は第２の合成画像を第１の射影変換係数を用いて射影変換処理を行って、当該変換処理後の合成画像を基準画像５０１に対応するパノラマ用画像と繋ぎ合わせて、最終的な合成画像を得る。
【００９２】
図１３は、図１に示すカメラ１００で行われる射影変換係数を用いた画像合成処理の得られた最終的な合成画像の一例を示す図である。
【００９３】
図１３に示すように、最終的な合成画像８００はのりしろ領域にずれが生じることなく、画像５０１〜５０３に対応するパノラマ用画像が繋ぎ合わされていることが分かる。
【００９４】
画像５０１〜５０３に対応するパノラマ用画像の全てについて射影変換処理が終了すると（ステップＳ４３１において、ＹＥＳ）、つまり、最終的な合成画像が生成されると、制御部１０１は当該最終的な合成画像（つまり、パノラマ画像）によって記録媒体１０８に記録された簡易合成画像を更新する（ステップＳ４３４）。そして、制御部１０１は画像合成処理を終了する。
【００９５】
このように、本発明の第１の実施形態では、カメラにおいて複数の画像を合成してパノラマ画像などの合成画像を生成する際に、主被写体の明るさが所定の明るさとなるように露出制御を行って複数枚の画像を得る。そして、合成処理の際に必要な射影変換係数をＰＣなどの外部装置で算出するようにしたので、被写体領域毎に最適な諧調として、しかも記憶容量および演算量が増大することなく複数の画像を合成処理することができる。
【００９６】
さらには、カメラ１００においては、射影変換係数を用いて合成処理を行う前に、のりしろ領域に応じて複数の画像を繋ぎ合わせて簡易合成画像を生成するようにしたので、ユーザは簡易合成画像によって合成結果を予め確認することができる。
【００９７】
また、カメラ１００は射影変換係数の算出に必要なのりしろ領域をＰＣなどの外部装置に送信するようにしたので、カメラ１００と外部装置との通信データ量の増大を抑えることができる。
【００９８】
なお、上述の第１の実施形態では、カメラ１００を水平方向にスイングして４枚の画像を連続的に撮影する例について説明したが、水平方向に限らず垂直又は水平および垂直方向にカメラ１００を動かした場合についても同様にして合成画像を生成するようにすればよい。
【００９９】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置であるＰＣおよびカメラの一例について説明する。なお、第２の実施形態によるカメラおよびＰＣの構成はそれぞれ図１および図２に示すカメラおよびＰＣと同様である。
【０１００】
第２の実施形態においては、撮影画像における被写体領域の抽出からゲインテーブルの生成までの処理が、例えば、外部装置であるＰ２００で行われる。
【０１０１】
図１４は、本発明の第２の実施形態によるカメラ１００で行われる撮影動作の一例を説明するためのフローチャートである。
【０１０２】
まず、ユーザがカメラ１００によって撮影を行って１枚の撮影画像を得る（ステップＳ１０００）。続いて、制御部１０１は画像処理部１０７によって撮影画像を所定の縮小率で縮小処理して縮小画像とする（ステップＳ１００１）。なお、縮小の手法については線形処理による縮小など既知の手法が用いられる。
【０１０３】
次に、制御部１０１は、通信部１０９によって縮小画像とカメラ１００による撮影の際に得た評価値である測距および測光情報（測距結果および測光結果）をＰＣ２００に送信する（ステップＳ１００２）。
【０１０４】
測距情報を取得する際には、例えば、制御部１０１は縮小画像を複数の分割領域に分割して、当該分割領域毎に像ずれ量を演算して測距情報を得る。また、測光情報を取得する際には、制御部１０１は測光領域の輝度値に対して、当該測光領域の周囲の領域の輝度値を加味して平均化処理を行って測光情報を得る。
【０１０５】
続いて、制御部１０１は画像処理部１０７によって撮影画像に対して信号処理を施して現像済み画像とする（ステップＳ１００３）。そして、制御部１０１は現像済み画像を記録媒体１０８に記録して（ステップＳ１００４）、撮影動作を終了する。
【０１０６】
図１５は、本発明の第２の実施形態によるＰＣ２００で行われるゲインテーブル生成処理の一例を説明するためのフローチャートである。
【０１０７】
まず、制御部２０１は通信部２０４によって縮小画像と測距および測光情報とを受信する（ステップＳ１０１０）。続いて、制御部２０１はＴＭ処理で用いるゲインテーブルを生成する（ステップＳ１０１１）。
【０１０８】
ステップＳ１０１１の処理では、制御部２０１は、前述のステップＳ４０１で説明した処理と同様にして、輝度又は色相などの特徴量を用いて空、人物、およびその他背景を示す被写体領域を縮小画像から抽出する。この際、制御部２０１は特徴量に加えて、測距および測光情報を用いて抽出を行う。
【０１０９】
例えば、空領域を抽出する際には、制御部２０１は測距情報に応じてカメラ１００からの距離が近い領域を除外する。さらに、制御部２０１は測光情報に応じて明るさが所定の明るさよりも低いシーンにおいては空領域の抽出を行わないようにする。これによって、縮小画像から得られる特徴量のみを用いて被写体領域を抽出するよりも被写体領域の抽出の精度を向上させることができる。
【０１１０】
続いて、ステップＳ１０１１の処理においては、制御部２０１は被写体領域毎の代表輝度値および輝度ヒストグラムに応じて輝度別ゲインテーブルを生成する。
【０１１１】
ステップＳ１０１１の処理の後、制御部２０１は通信部２０４によって輝度別ゲインテーブルをカメラ１００に送信する。そして、制御部２０１はゲインテーブル生成処理を終了する。
【０１１２】
図１６は、本発明の第２の実施形態によるカメラ１００で行われるゲインテーブルを用いた画像処理を説明するためのフローチャートである。
【０１１３】
まず、制御部１０１は通信部１０９によって輝度別ゲインテーブルをＰＣ２００から受信する（ステップＳ１０２０）。続いて、制御部１０１は画像処理部１０７によって輝度別ゲインテーブルを用いて、ステップＳ１０００で得た撮影画像に対してゲイン乗算を含むＴＭ処理を行う（ステップＳ１０２１）。
【０１１４】
ここで、ゲイン乗算については、前述のステップＳ４１３の処理で説明したように、制御部１０１は平均値処理を行いつつ撮影画像をゲイン信号に変換して乗算する。
【０１１５】
続いて、制御部１０１はＴＭ処理後の画像を保存画像として記録媒体１０８に記録して記録済みの画像を更新する（ステップＳ１０２２）。そして、制御部１０１はゲインテーブルを用いた画像処理を終了する。
【０１１６】
上述の図１４〜図１６で説明した処理は、撮影画像を１枚撮影する都度行われる。そして、複数の画像について図１４〜図１６で説明した処理を行った後、第１の実施形態で説明したようにして合成処理が行われることになる。
【０１１７】
本発明の第２の実施形態によれば、第１の実施形態で説明した利点に加えて、輝度別ゲインテーブルの生成をＰＣ２００で行うようにしたので、カメラ１００における演算負荷をさらに抑えることができる。この際、カメラ１００では領域抽出処理に必要な情報として、画像のみではなく測距および測光情報などの評価値もＰＣ２００に送るようにしたので、ＰＣ２００では特徴量に加えて測距および測光情報を用いることによって被写体領域を精度よく抽出することができる。
【０１１８】
上述の説明から明らかなように、図１に示す例では、少なくとも制御部１０１、画像処理部１０７、および通信部（第１の送信手段および第２の送信手段）１０９が画像処理装置を構成する。
【０１１９】
また、制御部１０１および画像処理部１０７は第１の抽出手段、第２の抽出手段、処理手段、および合成手段として機能し、制御部１０１は制御手段、指示手段、および記録手段として機能する。さらに、光学系１０４、撮像部１０５、およびＡ／Ｄ変換部１０６は撮像手段として機能する。
【０１２０】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１２１】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【符号の説明】
【０１２２】
１００  カメラ
１０１，２０１  制御部
１０２，２０２  ＲＯＭ
１０３，２０３  ＲＡＭ
１０４  光学系
１０５  撮像部
１０７，２０６  画像処理部
１０８，２０５  記録媒体
１０９，２０４  通信部
２００  パーソナルコンピュータ（ＰＣ）
【図１】
2016092518.tif 000005
【図２】
2016092518.tif 000006
【図３】
2016092518.tif 000007
【図４】
2016092518.tif 000008
【図５】
2016092518.tif 000009
【図６】
2016092518.tif 000010
【図７】
2016092518.tif 000011
【図８】
2016092518.tif 000012
【図９】
2016092518.tif 000013
【図１０】
2016092518.tif 000014
【図１１】
2016092518.tif 000015
【図１２】
2016092518.tif 000016
【図１３】
2016092518.tif 000017
【図１４】
2016092518.tif 000018
【図１５】
2016092518.tif 000019
【図１６】
2016092518.tif 000020