(57)【要約】【課題】より簡単に、より自然なパノラマ画像を生成する【解決手段】撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理装置において、輝度倍率近似関数算出部１０６は、複数の画像の撮影の条件から、それぞれの画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、輝度調整部１０７は、近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の画像の輝度を調整し、画像合成部１０８は、輝度が調整された複数の画像をつなぎ合わせることで１つの合成画像に合成する。本発明は、デジタルスチルカメラに適用できる。【選択図】図６
2007334558.tif 000002
【特許請求の範囲】
【請求項１】
撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理装置において、
複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出する算出手段と、
前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整する調整手段と、
輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する合成手段と
を備える画像処理装置。
【請求項２】
複数の前記画像の輝度のダイナミックレンジから、調整したあとの輝度のダイナミックレンジを定めるパラメータを決定する決定手段をさらに備え、
前記調整手段は、前記近似関数および前記パラメータに応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整する
請求項１に記載の画像処理装置。
【請求項３】
複数の前記画像のRGBである表色系を、輝度の成分および色の成分で表される表色系に変換する変換手段をさらに備え、
前記調整手段は、輝度の成分を変化させることにより、複数の前記画像の輝度を調整する
請求項１に記載の画像処理装置。
【請求項４】
輝度の調整の前に、複数の前記画像に逆ガンマ補正の処理を適用し、前記合成画像にガンマ補正の処理を適用する補正手段をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理方法において、
複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、
前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し、
輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する
ステップを含む画像処理方法。
【請求項６】
撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理を、コンピュータに行わせるプログラムにおいて、
複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、
前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し、
輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、画像を合成する画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、複数の画像を撮影し、撮影した画像を張り合わせて、１つの画像に合成するパノラマ撮影が広く行われている。
【０００３】
例えば、特許文献１には、パノラマ撮影を行う場合、露出値として同一のものを保持し、パノラマ撮影が終了するまで同一の露出値に基づいて露出を制御することにより、不自然でないパノラマ画像を得るカメラが開示されている。
【０００４】
また、特許文献２には、パノラマ撮影を行う場合、一連の複数の画像を、同一の、露出量、合焦点、ズーム値、およびホワイトバランス等で、撮影する電子カメラシステムが開示されている。
【０００５】
また、特許文献３には、複数枚の露光の異なる画像を、線形または対数変換することにより個々の撮影画像のダイナミックレンジを縮小した上でパノラマ合成する装置が開示されている。
【０００６】
また、特許文献４には、合成画像の画質が均一でない場合、合成画像の画質が均一となるように各撮像装置に設定されている画質パラメータを制御することにより画像を合成する撮像システムが開示されている。
【０００７】
また、特許文献５には、対数変換を用いてダイナミックレンジ圧縮を行う方法が開示されている。
【０００８】
さらに、局所的コントラストを保存した状態で、ダイナミックレンジ圧縮を行う研究も多くなされている。
【０００９】
【特許文献１】特開平３−１４５６３５号公報
【００１０】
【特許文献２】特開平９−３２２０５４号公報
【００１１】
【特許文献３】特開２００４−１８０３０８号公報
【００１２】
【特許文献４】特開２００１−３２０６１６号公報
【００１３】
【特許文献５】特表２００２−５１４３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、パノラマ画像は、水平画角が非常に広いため、極めて広い輝度のダイナミックレンジが要求される。例えば、屋外ではなく、室内でパノラマ撮影をユーザが行った場合、１枚のパノラマ画像には、家具の裏などの部屋の奥の暗い場所から、窓の外の明るい場所までが写りこむことになる。すなわち、画像の白とび、黒つぶれは避けられないと言える。
【００１５】
また、線形変換または対数変換でダイナミックレンジの縮小を行っている場合、このような単調関数による変換では、処理後の画像の局所的コントラストは減少する。
【００１６】
また、撮像装置に設定されている画質パラメータを変更するだけでは、輝度のダイナミックレンジの広い画像を作成することはできない。
【００１７】
また、対数変換によるダイナミックレンジ圧縮では、画像の局所的コントラストは保存されない。コントラストが減少した画像は、監視カメラで撮影される画像としては使用上問題は発生しないが、芸術性を追及した表現手段として画像をとらえた場合、その鑑賞価値は極めて低くなる。
【００１８】
さらに、局所的コントラストを保存した状態でダイナミックレンジ圧縮を行う場合、画像から輝度の変化の低周波成分を求めるので、モバイル機器に組み込む場合、計算量が多くなり、消費電力も多くモバイル機器には不向きとなる。
【００１９】
このように、パノラマ合成が実施される場合、パノラマ合成された画像に白とび、黒つぶれが発生し、さらに、画像の局所的コントラストが減少した画像となり、芸術性を追及した場合、鑑賞価値は極めて低くなる。
【００２０】
このため、パノラマ合成された画像の白とび、黒つぶれを軽減させ、画像の局所的コントラストを維持する技術の必要が高まっている。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、より簡単に、より自然なパノラマ画像を生成することができるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面の画像処理装置は、撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理装置であって、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出する算出手段と、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整する調整手段と、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する合成手段とを備える。
【００２３】
複数の前記画像の輝度のダイナミックレンジから、調整したあとの輝度のダイナミックレンジを定めるパラメータを決定する決定手段をさらに設け、前記調整手段には、前記近似関数および前記パラメータに応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整させることができる。
【００２４】
複数の前記画像のRGBである表色系を、輝度の成分および色の成分で表される表色系に変換する変換手段をさらに設け、前記調整手段には、輝度の成分を変化させることにより、複数の前記画像の輝度を調整させることができる。
【００２５】
輝度の調整の前に、複数の前記画像に逆ガンマ補正の処理を適用し、前記合成画像にガンマ補正の処理を適用する補正手段をさらに設けることができる。
【００２６】
本発明の一側面の画像処理方法は、撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理方法であって、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成するステップを含む。
【００２７】
本発明の一側面のプログラムは、撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理を、コンピュータに行わせるプログラムであって、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成するステップを含む。
【００２８】
本発明の一側面においては、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数が算出され、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度が調整され、輝度が調整された複数の前記画像がつなぎ合わされることで１つの合成画像に合成される。
【発明の効果】
【００２９】
以上のように、本発明の一側面によれば、パノラマ画像を生成することができる。
【００３０】
また、本発明の一側面によれば、より簡単に、より自然なパノラマ画像を生成することができる。
【発明を実施するための最良の形態】
【００３１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３２】
本発明の一側面の画像処理装置は、撮影の方向の角度を変化させて撮影した複数の画像を処理する画像処理装置において、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出する算出手段（例えば、図６の輝度倍率近似関数算出部１０６）と、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整する調整手段（例えば、図６の輝度調整部１０７）と、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する合成手段（例えば、図６の画像合成部１０８）とを備える。
【００３３】
複数の前記画像の輝度のダイナミックレンジから、調整したあとの輝度のダイナミックレンジを定めるパラメータを決定する決定手段（例えば、図６の調整用パラメータ決定部１２１）をさらに設けることができ、前記調整手段は、前記近似関数および前記パラメータに応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整することができる。
【００３４】
複数の前記画像のRGBである表色系を、輝度の成分および色の成分で表される表色系に変換する変換手段（例えば、図６の表色系変換部１０５）をさらに設けることができ、前記調整手段は、輝度の成分を変化させることにより、複数の前記画像の輝度を調整することができる。
【００３５】
輝度の調整の前に、複数の前記画像に逆ガンマ補正の処理を適用し、前記合成画像にガンマ補正の処理を適用する補正手段（例えば、図６のガンマ補正部８３）をさらに設けることができる。
【００３６】
本発明の一側面の画像処理方法またはプログラムは、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し（例えば、図１２のステップＳ４４）、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し（例えば、図１２のステップＳ４５）、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成する（例えば、図１２のステップ４６）ステップを含む。
【００３７】
図１は、本発明のデジタルスチルカメラ１の一実施の形態の外観を示す図である。デジタルスチルカメラ１は、パノラマ撮影を行う。デジタルスチルカメラ１は、情報処理装置の一例である。デジタルスチルカメラ１は、撮像素子とレンズブロックからなるレンズユニット１１、レンズユニット１１を回動自在に軸支し、デジタルスチルカメラ１全体を制御する本体１２、および本体１２に対してレンズユニット１１を回動させるためのモータドライブユニット１３から構成される。
【００３８】
レンズユニット１１には、撮像素子に被写体の光学的な画像を結像させるレンズブロックを構成するレンズ２１が設けられている。レンズユニット１１には、図示しない撮像素子が設けられている。撮像素子は、例えば、CCD（Charge Coupled Devices）イメージセンサまたはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどである。
【００３９】
図２は、モータドライブユニット１３の内部構成を示す図である。モータドライブユニット１３は、位置検出センサ３１、モータ３２、減速ギア３３から構成される。
【００４０】
位置検出センサ３１は、例えば、ポテンショメータ、レゾルバ、またはエンコーダなどからなり、本体１２に対するレンズユニット１１の回動の角度を検出する。モータ３２は、レンズユニット１１を回動させるための回転の駆動力を発生する。減速ギア３３は、モータ３２が発生した回転の駆動力を減速する。減速ギア３３により減速された、モータ３２の回転の駆動力によって、レンズユニット１１が、本体１２に対して回動させられる。
【００４１】
図３は、デジタルスチルカメラ１のハードウェアの構成を示すブロック図である。本体１２には、制御ユニット５１が設けられ、着脱自在に外部記録媒体５２が装着される。
【００４２】
制御ユニット５１は、レンズユニット１１およびモータドライブユニット１３を制御し、デジタルスチルカメラ１の全体を制御する。制御ユニット５１は、モータドライブユニット１３によってレンズユニット１１を所定の方向に向け、レンズユニット１１に撮影を行わせる。
【００４３】
外部記録媒体５２は、半導体メモリ、ハードディスク、または光ディスクおよびそのドライブなどからなり、撮影した画像の画像データなどを記録する。
【００４４】
制御ユニット５１は、CPU（Central Processing Unit）６１、Ａ／Ｄ（Analog to Digital）コンバータ６２、モータドライバ６３、レンズコントローラ６４、撮像素子制御回路６５、画像処理部６６、内蔵メモリ６７、およびディスプレイ６８から構成される。CPU６１、レンズコントローラ６４、撮像素子制御回路６５、画像処理部６６、内蔵メモリ６７、ディスプレイ６８、および外部記録媒体５２は、バスにより相互に接続されている。
【００４５】
CPU６１は、プログラムを実行して、Ａ／Ｄコンバータ６２、モータドライバ６３、レンズコントローラ６４、撮像素子制御回路６５、画像処理部６６、内蔵メモリ６７、ディスプレイ６８、および外部記録媒体５２を制御する。
【００４６】
Ａ／Ｄコンバータ６２は、例えば、ポテンショメータである位置検出センサ３１から供給された、本体１２に対するレンズユニット１１の回動の角度を示すアナログ信号を、デジタル信号に変換する。Ａ／Ｄコンバータ６２は、変換により得られた、本体１２に対するレンズユニット１１の回動の角度を示すデジタル信号をCPU６１に供給する。
【００４７】
モータドライバ６３は、CPU６１の制御に基づいて、モータ３２の駆動軸を回転させるように、モータ３２を駆動させる。
【００４８】
レンズコントローラ６４は、CPU６１の制御に基づいて、フォーカス、ズーム、または絞りなどを制御するように、レンズユニット１１のレンズブロックを制御する。撮像素子制御回路６５は、CPU６１の制御に基づいて、被写体を撮像素子に撮影させる、すなわち、撮像素子に、レンズブロックによって結像された光学的な被写体の像を電気信号に変換させるなど、レンズユニット１１に設けられている撮像素子を制御する。また、撮像素子制御回路６５は、被写体の撮影の結果、撮像素子から出力される、電気信号を取得して、バスを介して内蔵メモリ６７に記憶させる。例えば、撮像素子からの画像のアナログの電気信号が出力される場合、撮像素子制御回路６５は、撮像素子からのアナログの電気信号を、デジタルの電気信号に変換してから、デジタルの電気信号を画像データとして内蔵メモリ６７に記憶させる。
【００４９】
画像処理部６６は、内蔵メモリ６７に記憶されている、撮像素子の撮影により得られた画像データに各種の画像処理を適用する。
【００５０】
内蔵メモリ６７は、SDRAM（Synchronous Dynamic Random Access Memory）などからなり、画像データなどを記憶する。
【００５１】
ディスプレイ６８は、LCD（Liquid Crystal Display）または有機EL（Electro Luminescence）ディスプレイなどからなり、CPU６１の制御の基に、内蔵メモリ６７に記憶している画像データに応じた画像を表示させる。例えば、ディスプレイ６８は、撮像素子に撮影されている被写体の画像、または外部記録媒体５２に記録されている画像データに応じた画像を表示させる。
【００５２】
図４は、デジタルスチルカメラ１の撮影画角および水平画角を示す図である。図４のＡはレンズユニット１１の回動の中心を示す。レンズユニット１１の回動の中心Ａは、レンズブロックのズームレンズ広角端でのレンズＮＰ点の位置とされる。ＮＰ点は、絞りの中心を通る主光線の中で、ガウス領域を通る主光線を選択し、主光線における物空間での直線成分を延長して光軸と交わる点のことである。レンズユニット１１の回動の中心Ａは、撮影画像のパララックスを極力小さくするように決定される。
【００５３】
水平画角βは、レンズユニット１１の水平方向の画角を示す。撮影画角αは、本体１２に対して回動するレンズユニット１１の、回動することによって撮影できる水平方向の角度の範囲を示す。
【００５４】
例えば、撮影画角αと水平画角βが予めわかれば、撮影画角αの画像をパノラマ合成するのに必要な画像の枚数を算出することができる。
【００５５】
図５は、撮影方向による画像の明るさの違いを示す図である。デジタルスチルカメラ１は、図示せぬシャッタボタンが押圧されると、レンズユニット１１を本体１２に対して回動させながら、レンズユニット１１が本体１２に対して所定の角度の位置になると、画像を撮影し、撮影画角αの範囲でこれを繰り返し、複数枚の画像を連続して撮影する。
【００５６】
すなわち、この場合、レンズユニット１１の回動の中心Ａを中心として、レンズユニット１１が、本体１２に対して回動させられる。そして、例えば、デジタルスチルカメラ１は、レンズユニット１１が本体１２に対して最も左側を向いている角度の位置にある場合、画像７１を撮影する。デジタルスチルカメラ１は、レンズユニット１１を時計回りに回動させる。
【００５７】
デジタルスチルカメラ１は、本体１２に対してレンズユニット１１が、最も左側を向いている角度の位置と正面（センタ）を向く位置との中央の角度の位置にある場合、画像７２を撮影する。さらに、デジタルスチルカメラ１は、レンズユニット１１を時計回りに回動させる。
【００５８】
デジタルスチルカメラ１は、本体１２に対してレンズユニット１１が正面を向く角度の位置にある場合、画像７３を撮影する。さらに、デジタルスチルカメラ１は、レンズユニット１１を時計回りに回動させる。
【００５９】
デジタルスチルカメラ１は、本体１２に対してレンズユニット１１が、正面を向く位置と最も右側を向いている角度の位置との中央の角度の位置にある場合、画像７４を撮影する。さらに、デジタルスチルカメラ１は、レンズユニット１１を時計回りに回動させる。
【００６０】
デジタルスチルカメラ１は、レンズユニット１１が本体１２に対して最も右側を向いている角度の位置にある場合、画像７５を撮影する。
【００６１】
例えば、デジタルスチルカメラ１の正面に対して左側が暗く、デジタルスチルカメラ１の正面に対して右側が明るい場合、画像７１、画像７２、および画像７３の左半分には、暗い景色が撮影され、画像７３の右半分、画像７４、および画像７５には、明るい景色が撮影されることになる。
【００６２】
なお、画像７１乃至画像７５は、最終的につなぎ合わされて１つの合成画像に合成されるので、それぞれの左右の端部の画像が重複するように撮影される。
【００６３】
図６は、プログラムを実行する、制御ユニット５１のCPU６１により実現される機能を説明する図である。CPU６１がプログラムを実行することにより、撮影制御部８１、パノラマ画像生成処理部８２、およびガンマ補正部８３が実現される。
【００６４】
撮影制御部８１は、レンズユニット１１の回動およびレンズユニット１１による撮影を制御する。撮影制御部８１は、回動制御部１０１、露出調整部１０２、およびパラメータ記憶制御部１０３から構成される。
【００６５】
回動制御部１０１は、モータ３２の回動を制御することで、本体１２に対するレンズユニット１１の回動を制御する。例えば、回動制御部１０１は、位置検出センサ３１から出力された信号を、Ａ／Ｄコンバータ６２によりアナログデジタル変換して得られたデジタル信号で示される、本体１２に対するレンズユニット１１の角度の位置が、所望の角度の位置となるように、モータドライバ６３に所定の制御命令を送信するなどして、モータドライバ６３にモータ３２を駆動させて、本体１２に対してレンズユニット１１を回動させる。
【００６６】
露出調整部１０２は、画像の撮影における露出を調整する。具体的には、露出調整部１０２は、シャッタースピード、ISO（International Organization for Standardization）感度、およびレンズ絞りを調整することで、撮影の方向に合わせた露出を調整する。
【００６７】
パラメータ記憶制御部１０３は、画像を撮影したときの、シャッタースピード、ISO感度、およびレンズ絞りなどを示す露出パラメータの内蔵メモリ６７への記憶を制御する。
【００６８】
パノラマ画像生成処理部８２は、レンズユニット１１を回動させて撮影した、複数の画像の撮影の条件から、それぞれの画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の画像の輝度を調整し、輝度が調整された複数の画像をつなぎ合わせることで１つの合成画像に合成する。
【００６９】
パノラマ画像生成処理部８２は、ビット幅調整部１０４、表色系変換部１０５、輝度倍率近似関数算出部１０６、輝度調整部１０７、および画像合成部１０８から構成される。
【００７０】
ビット幅調整部１０４は、つなぎ合わせる画像またはつなぎ合わされた合成画像のビット幅を調整する。例えば、ビット幅調整部１０４は、つなぎ合わせる画像のそれぞれの各画素を８ビットから１６ビットにするように、つなぎ合わせる画像のビット幅を調整し、つなぎ合わされた合成画像のそれぞれの各画素を１６ビットから８ビットにするように、つなぎ合わされた合成画像のビット幅を調整する。
【００７１】
表色系変換部１０５は、つなぎ合わせる画像またはつなぎ合わされた合成画像の表色系を変換する。例えば、表色系変換部１０５は、つなぎ合わせる画像のRGBである表色系を、輝度の成分および色の成分で表される表色系、より具体的には、YCrCbである表色系に変換する。表色系変換部１０５は、つなぎ合わされた合成画像の輝度の成分および色の成分で表される表色系、より具体的には、YCrCbである表色系を、RGBである表色系に変換する。画像の表色系を変換することにより、輝度に注目した処理を画像に適用することができるようになる。
【００７２】
輝度倍率近似関数算出部１０６は、複数の各画像の撮影の条件から、それぞれの画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出する。例えば、輝度倍率近似関数算出部１０６は、スプライン曲線を示す近似関数または高次多項式である近似関数を算出する。近似関数を算出することで、露出の倍率の変化を円滑に調整することができるようになる。
【００７３】
輝度倍率近似関数算出部１０６は、調整用パラメータ決定部１２１を含む。調整用パラメータ決定部１２１は、パラメータ記憶制御部１０３により内蔵メモリ６７に記憶したパラメータを基に、画像の輝度を調整するためのパラメータを決定する。例えば、調整用パラメータ決定部１２１は、複数の画像の輝度のダイナミックレンジから、調整したあとの輝度のダイナミックレンジを定めるパラメータを決定する。
【００７４】
輝度調整部１０７は、算出された近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の各画像の輝度を調整する。
【００７５】
画像合成部１０８は、輝度が調整された複数の画像をつなぎ合わせることで１つの合成画像に合成する。例えば、画像合成部１０８は、輝度が調整された複数の画像をつなぎ合わせて１つに合成し、パノラマ画像を生成する。
【００７６】
ガンマ補正部８３は、輝度の調整の前に、複数の画像に逆ガンマ補正の処理を適用し、合成画像にガンマ補正の処理を適用する。例えば、複数の画像に逆ガンマ補正の処理を適用することで、合成の処理を適用する画像として、撮影した状態の画像を得ることができ、また、ガンマ補正の処理を適用することで、合成された画像が、より現実の色に近い画像として表示されるようになる。
【００７７】
なお、逆ガンマ補正またはガンマ補正の処理は、画像処理部６６が実行するようにしてもよい。
【００７８】
次に、図示せぬシャッタボタンが押下されると実行される、デジタルスチルカメラ１による撮影の処理について説明する。
【００７９】
図７は、デジタルスチルカメラ１による撮影の処理を説明するフローチャートである。ステップＳ１１において、撮影制御部８１の回動制御部１０１は、モータドライブユニット１３を駆動させて、レンズユニット１１を本体１２の正面、すなわち、レンズユニット１１をセンタの位置に回動させる。
【００８０】
ステップＳ１２において、撮影制御部８１の露出調整部１０２は、レンズユニット１１の撮像素子から供給される、正面の被写体の画像に応じた電気信号を基に、正面を測光して、最適な露出を決定する。例えば、露出調整部１０２は、露出として、シャッタースピード、ISO感度、レンズ絞りを決定する。
【００８１】
なお、レンズユニット１１に撮像素子とは別に露出計を設けて、露出計により撮影方向の明るさを計測するようにしてもよい。
【００８２】
ステップＳ１３において、撮影制御部８１のパラメータ記憶制御部１０３は、ステップＳ１２で決定した露出の条件である露出条件を内蔵メモリ６７に記憶させる。例えば、パラメータ記憶制御部１０３は、シャッタースピード、ISO感度、レンズ絞りを内蔵メモリ６７に記憶させる。
【００８３】
ステップＳ１４において、撮影制御部８１の回動制御部１０１は、モータドライブユニット１３を駆動させて、レンズユニット１１を撮影方向に回動させる。例えば、最初のステップＳ１４において、回動制御部１０１は、画像７１を撮影する、被写体に向かって最も左側の角度の位置である撮影方向にレンズユニット１１を回動させる。
【００８４】
後述するように、ステップＳ１４は合成の元になる画像の枚数であって、予め決められた枚数だけ繰り返され、合成の元になる画像を撮影するように、回動制御部１０１は、モータドライブユニット１３を駆動させ、レンズユニット１１を撮影方向に回動させる。具体的には、回動制御部１０１は、２回目のステップＳ１４において、画像７２を撮影する撮影方向にレンズユニット１１を回動させ、３回目のステップＳ１４において、画像７３を撮影する方向、すなわち正面にレンズユニット１１を回動させ、４回目のステップＳ１４において、画像７４を撮影する撮影方向にレンズユニット１１を回動させ、５回目のステップＳ１４において、画像７５を撮影する、被写体に向かって最も右側の角度の位置である撮影方向にレンズユニット１１を回動させる。
【００８５】
ステップＳ１５において、撮影制御部８１の露出調整部１０２は、レンズユニット１１の撮像素子から供給される、被写体の画像に応じた電気信号を基に、撮影方向の明るさを計測する。
【００８６】
ステップＳ１６において、撮影制御部８１の露出調整部１０２は、露出を調整する。例えば、露出調整部１０２は、レンズ絞りをステップＳ１２において決定した値としたままで、ステップＳ１５で計測した明るさを基に、最適な露出になるようにシャッタースピードとISO感度を調整する。
【００８７】
ステップＳ１７において、撮影制御部８１の露出調整部１０２は、ステップＳ１２で決定した露出とステップＳ１６で調整した露出との差異が予め設定された限度を超えているか否かを判定する。
【００８８】
ステップＳ１７において、ステップＳ１２で決定した露出とステップＳ１６で調整した露出との差異が予め設定された限度を超えていると判定された場合、露出を調整する必要があるので、手続きはステップＳ１８に進む。
【００８９】
ステップＳ１８において、撮影制御部８１の露出調整部１０２は、シャッタースピードを調整することで、限度内で露出を調整して、ステップＳ１９に進む。ISO感度を上げると画像に含まれるノイズが増えるので、ステップＳ１８において、露出調整部１０２は、ISO感度をあげる、いわゆるゲインアップを極力避けて、シャッタースピードを調整して、限度内で露出を調整する。
【００９０】
ステップＳ１７において、露出の差異が予め設定された限度を超えていないと判定された場合、露出をさらに調整する必要はないので、ステップＳ１８の処理はスキップされて、処理は、ステップＳ１９に進む。
【００９１】
ステップＳ１９において、撮影制御部８１は、レンズユニット１１に撮影を行わせる。例えば、撮影制御部８１は、レンズユニット１１に、ステップＳ１６またはステップＳ１８で調整された露出で、レンズユニット１１の撮影方向の被写体を撮影させる。
【００９２】
ステップＳ２０において、撮影制御部８１のパラメータ記憶制御部１０３は、ステップＳ１９の撮影の露出を示す撮影露光パラメータを内蔵メモリ６７に記憶させる。例えば、パラメータ記憶制御部１０３は、ステップＳ１９の撮影における、シャッタースピード、ISO感度、レンズ絞り等を示す値を内蔵メモリ６７に記憶させる。
【００９３】
ステップＳ２１において、撮影制御部８１は、予め決められた枚数だけ撮影したか否かを判定する。例えば、撮影制御部８１は、図４の撮影画角αと水平画角βにより決められた撮影枚数だけ撮影したか否かを判定する。
【００９４】
ステップＳ２１において、予め決められた枚数だけ撮影していないと判定された場合、パノラマ画像を生成するために、さらに異なる撮影方向の画像を撮影する必要があるので、ステップＳ１４に戻り、次の撮影方向の画像を撮影するように、上述した処理を繰り返す。
【００９５】
ステップＳ２１において、予め決められた枚数だけ撮影したと判定された場合、パノラマ画像を生成するために必要な画像はそろったので、処理は終了する。
【００９６】
このように撮影された画像をつなぎ合わせてパノラマ画像を合成するためには、つなぎ合わせる画像の明るさを合わせなければならない。まず、それぞれの画像を撮影したときのシャッタースピード、ISO感度、およびレンズ絞りで示されるそれぞれの画像の露出から、画像の輝度倍率を求める。画像の輝度倍率とは、基準となる画像の露出と同一の露出で全ての画像を撮影したと仮定した場合の画像の輝度の、露出を調整した画像の輝度に対する倍率をいう。
【００９７】
図８は、画像の位置と輝度倍率との関係を示す図である。
【００９８】
図８において、横軸は、撮影された画像を合成後の画像の貼り合わせ方向の画素位置を示し、縦軸は、各画像の輝度倍率を示す。横軸は、撮影の角度の位置を示しているとも言える。
【００９９】
例えば、画像７１および画像７２は、被写体が暗い景色のため、シャッタースピード１／６０秒で撮影され、明るい画像となっている。画像７５は、被写体が明るい景色のため、シャッタースピード１／５００秒で撮影され、最適な露出で撮影された画像となっている。画像７３は、その被写体が、画像７１および画像７２で撮影された景色ほど暗くなく、画像７５で撮影された景色ほど明るくない景色のため、シャッタースピード１／１２５秒で撮影され、最適な露出で撮影された画像となっている。画像７４は、その被写体が、画像７３で撮影された景色ほど暗くなく、画像７５で撮影された景色ほど明るくない景色のため、シャッタースピード１／２５０秒で撮影され、最適な露出で撮影された画像となっている。
【０１００】
画像７３を基準にすると、画像７１および画像７２を撮影したときのシャッタースピードで露光している期間の長さは、画像７３を撮影したときのシャッタースピードで露光している期間の長さの２倍なので、画像７１および画像７２の輝度倍率は、０．５である。
【０１０１】
また、画像７４を撮影したときのシャッタースピードで露光している期間の長さは、画像７３を撮影したときのシャッタースピードで露光している期間の半分の長さなので、画像７４の輝度倍率は、２．０である。
【０１０２】
さらに、画像７５を撮影したときのシャッタースピードで露光している期間の長さは、画像７３を撮影したときのシャッタースピードで露光している期間の４分の１の長さなので、画像７５の輝度倍率は、４．０である。
【０１０３】
なお、この場合、画像７３が基準なので、画像７５の輝度倍率は、１．０である。
【０１０４】
ほぼ最適な露出で撮影されている画像７１乃至画像７５のそれぞれに対して、シャッタースピードの違いによる輝度倍率を画像の輝度に掛けることにより、画像７１乃至画像７５の撮影条件は同一となり、画像７１乃至画像７５のつなぎ合わせが可能となる。
【０１０５】
図９は、画像７１乃至画像７５のそれぞれにそれぞれの輝度倍率を掛けてつなぎ合わせて合成したパノラマ画像の例を示す図である。
【０１０６】
図９において、画像７３を基準とした場合、画像７１および画像７２の明るさを０．５倍、画像７４の明るさを２倍、画像７５の明るさを４倍とすると、撮影条件の揃ったパノラマ画像が合成できる。しかし、画像７１の明るさを０．５倍すると、画像７１の暗い部分が黒つぶれを起こし、画像７５の明るさを４倍すると、画像７５の明るい部分が白とびを起こす。画像７１乃至画像７５の輝度に掛け算する倍率の最大値は４．０で最小値は０．５となり、ダイナミックレンジで表現すると８倍となる。すなわち、最小の輝度倍率に対する最大の輝度倍率の大きさの比率は、８である。
【０１０７】
黒つぶれや白とびの発生を防ぐために、輝度倍率の倍率比を小さくすることを考える。
【０１０８】
図１０は、露出を固定して撮影した場合の画像の明るさの分布の一例を示す図である。
【０１０９】
図１０において、横軸は、撮影の角度の位置、すなわち横方向の撮影方向を示し、縦軸は、画像の輝度のレベルを示す。輝度は、通常、８ビットで表現されるので、輝度が２５６以上になる画像の部分では白とびが生じる。また、輝度が低い画像の部分は、ノイズに埋もれてしまう。
【０１１０】
例えば、図１０の右上がりの斜線で示す輝度が２５６以上になる部分では、白とびが生じる。例えば、図１０の右下がりの斜線で示す輝度が１０以下になる部分では、画像がノイズに埋もれてしまう。
【０１１１】
１乃至４である横方向の撮影方向の範囲に、１０以下の輝度の画像の部分があり、その部分の画像はノイズに埋もれてしまう。また、２３乃至２４および２６乃至３０である横方向の撮影方向の範囲に、２５６以上の輝度の画像の部分があり、その部分の画像には白とびが生じている。
【０１１２】
このような、白とびが生じる部分またはノイズに埋もれてしまう部分がより少なくなるように、例えば、画像７１乃至画像７５を撮影するときの露出が調整される。
【０１１３】
図１１は、５分割してそれぞれの方向で最適な露光で撮影した場合の明るさの分布の一例を示す図である。
【０１１４】
図１１において、輝度が２５６以上になり白とびが生じる部分を、右上がりの斜線で示し、輝度が１０以下になりノイズに埋もれてしまう部分を、右下がりの斜線で示している。
【０１１５】
白ぬきの四角印（□）は、１乃至１０である横方向の撮影方向の範囲を、図１０に示す場合に対して、輝度倍率を１０倍として撮影した場合の輝度を示す。
【０１１６】
白ぬきの丸印（○）は、６乃至１５である横方向の撮影方向の範囲を、図１０に示す場合に対して、輝度倍率を３倍として撮影した場合の輝度を示す。
【０１１７】
白ぬきの三角印（△）は、１１乃至２０である横方向の撮影方向の範囲を、図１０に示す場合に対して、輝度倍率を１．４倍として撮影した場合の輝度を示す。
【０１１８】
バツ印（×）は、１６乃至２５である横方向の撮影方向の範囲を、図１０に示す場合に対して、輝度倍率を０．７５倍として撮影した場合の輝度を示す。アスタリスク（＊）は、２１乃至３０である横方向の撮影方向の範囲を、図１０に示す場合に対して、輝度倍率を０．４５倍として撮影した場合の輝度を示す。
【０１１９】
図１２は、デジタルスチルカメラ１によるダイナミックレンジの圧縮の処理を説明するフローチャートである。この処理は、輝度のダイナミックレンジを調整することにより、黒つぶれや白とびを生じさせることなく、局所的なコントラストを維持したまま、パノラマ画像を合成することができるようにする。
【０１２０】
ステップＳ４１において、ガンマ補正部８３は、例えば、画像７１乃至画像７５などの各画像に逆ガンマ補正を施して、被写体の輝度と画素RGBの関係を線形に戻す。例えば、通常、デジタルスチルカメラ１で撮影され、保存された画像には、表示および印刷時に自然に見えるようにガンマ補正が適用されている。この状態では、実際の被写体の輝度と画素値は非線形の関係にある。そのため、例えば、輝度を２倍にするときに単純に画素値を２倍にするという処理では、正しい輝度を示す画素値を得ることができない。そこで、ガンマ補正部８３は、画像を合成する処理の前に、画像を逆ガンマ補正することにより、一旦記録された画像を、撮影された状態に戻す。
【０１２１】
なお、より正確には、ガンマ補正部８３は、撮影された画像を保存する場合に適用されるデジタルスチルカメラ１による画像の補正の処理と逆の処理を画像に適用すると言える。
【０１２２】
また、デジタルスチルカメラ１が、撮影した画像にガンマ補正の処理を適用しないで、撮影した画像の画像データを外部記録媒体５２に記録する場合、記録されている画像データによる画像の画素値は、被写体の輝度と線形の関係にあるので、ステップＳ４１はスキップされる。
【０１２３】
ステップＳ４２において、パノラマ画像生成処理部８２のビット幅調整部１０４は、各画像のそれぞれの画素の画素値であるRGB値を８ビットから１６ビットに拡張する。例えば、ビット幅調整部１０４は、画像７１乃至画像７５であるつなぎ合わせる画像のそれぞれの画素の８ビットであるRGB値を１６ビットのRGB値とするように、つなぎ合わせる画像のビット幅を調整する。
【０１２４】
ステップＳ４３において、パノラマ画像生成処理部８２の表色系変換部１０５は、各画像の画素のRGB値を輝度成分と色成分に分離する。例えば、表色系変換部１０５は、画像７１乃至画像７５である各画像のそれぞれの画素の画素値のRGBである表色系をYCrCbである表色系に変換する。これにより、輝度成分に注目した処理を画像に適用することができるようになる。
【０１２５】
ステップＳ４４において、パノラマ画像生成処理部８２の輝度倍率近似関数算出部１０６は、撮影露光パラメータから、露出の倍率の変化を近似する近似関数の一例であるダイナミックレンジ圧縮用関数ｆ（ｘ）を求める。
【０１２６】
すなわち、まず、ステップＳ４４において、輝度倍率近似関数算出部１０６は、複数の画像の撮影の条件から、それぞれの画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出する。例えば、輝度倍率近似関数算出部１０６は、スプライン曲線を示す近似関数または高次多項式である近似関数を求める。
【０１２７】
図１３は、近似曲線ｋ（ｘ）を説明する図である。図１３において、横軸は、画像の貼り合わせ方向の画素位置を示し、縦軸は、輝度倍率の常用対数値を示す。
【０１２８】
輝度倍率近似関数算出部１０６は、画像７１乃至画像７５のそれぞれの撮影露光パラメータから、画像７１の輝度倍率ｋ１、画像７２の輝度倍率ｋ２、画像７３の輝度倍率ｋ３、画像７４の輝度倍率ｋ４、および画像７５の輝度倍率ｋ５を算出する。そして、図１３で示されるように、輝度倍率近似関数算出部１０６は、画像７１の輝度倍率ｋ１を画像７１の左右方向の中央の位置に対応付け、画像７２の輝度倍率ｋ２を画像７２の左右方向の中央の位置に対応付け、画像７３の輝度倍率ｋ３を画像７３の左右方向の中央の位置に対応付け、画像７４の輝度倍率ｋ４を画像７４の左右方向の中央の位置に対応付け、画像７５の輝度倍率ｋ５を画像７５の左右方向の中央の位置に対応付ける。
【０１２９】
画像７１に注目し、画像７１上の位置ｘにおける輝度成分をＰ１（ｘ）で表すと、基準となる画像７３の露出と同一の露出で画像７１を撮影したと仮定した場合、画像の貼り合わせ方向の画素位置ｘの輝度Ｐ（ｘ）は、Ｐ１（ｘ）×ｋ１で表すことができる。画像７２に注目し、画像７２上の位置ｘにおける輝度成分をＰ２（ｘ）で表すと、基準となる画像７３の露出と同一の露出で画像７２を撮影したと仮定した場合、画像の貼り合わせ方向の画素位置ｘの輝度Ｐ（ｘ）は、Ｐ２（ｘ）×ｋ２で表すことができる。また、画像７３に注目し、画像７３上の位置ｘにおける輝度成分をＰ３（ｘ）で表すと、画像の貼り合わせ方向の画素位置ｘの輝度Ｐ（ｘ）は、Ｐ３（ｘ）×ｋ３で表すことができる。
【０１３０】
同様に、画像７４に注目し、画像７４上の位置ｘにおける輝度成分をＰ４（ｘ）で表すと、基準となる画像７３の露出と同一の露出で画像７４を撮影したと仮定した場合、画像の貼り合わせ方向の画素位置ｘの輝度Ｐ（ｘ）は、Ｐ４（ｘ）×ｋ４で表すことができる。画像７５に注目し、画像７５上の位置ｘにおける輝度成分をＰ５（ｘ）で表すと、基準となる画像７３の露出と同一の露出で画像７５を撮影したと仮定した場合、画像の貼り合わせ方向の画素位置ｘの輝度Ｐ（ｘ）は、Ｐ５（ｘ）×ｋ５で表すことができる。
【０１３１】
輝度倍率近似関数算出部１０６は、Ｐ１（ｘ）×ｋ１で表される輝度Ｐ（ｘ）乃至Ｐ５（ｘ）×ｋ５で表される輝度Ｐ（ｘ）を滑らかに結ぶ近似曲線ｋ（ｘ）を求める。
【０１３２】
図１３において、Ｐ１（ｘ）×ｋ１で表される輝度Ｐ（ｘ）乃至Ｐ５（ｘ）×ｋ５で表される輝度Ｐ（ｘ）を結ぶ直線は点線で示され、近似曲線ｋ（ｘ）は一点鎖線で示されている。
【０１３３】
近似曲線ｋ（ｘ）は、画像７１乃至画像７５のそれぞれの、左右方向の中央の位置の輝度を示す点の近傍を通る曲線とされる。この曲線はスプライン曲線でもよく、高次多項式で生成された曲線でもよい。
【０１３４】
このようにして、近似曲線ｋ（ｘ）は、算出される。
【０１３５】
次に、図１４を用いて、近似曲線ｋ（ｘ）を用いて作成したダイナミックレンジ圧縮用関数ｆ（ｘ）について説明する。
【０１３６】
図１４は、輝度のダイナミックレンジの圧縮の調整用パラメータｍによるダイナミックレンジ圧縮用関数ｆ（ｘ）の変化を示す図である。画像の貼り合わせ方向の画素位置をｘとすると、ダイナミックレンジ圧縮用関数ｆ（ｘ）は、式（１）で表される。
ｆ（ｘ）＝（（ｋ（ｘ）−１）／ｍ＋１）／ｋ（ｘ）                  ・・・（１）
【０１３７】
図１４において、黒ぬりの菱型印（◆）は、調整用パラメータｍ＝１の場合、式（１）で求められるダイナミックレンジ圧縮用関数ｆ（ｘ）の値を示し、黒ぬりの四角印（■）は、調整用パラメータｍ＝１．２の場合、式（１）で求められるダイナミックレンジ圧縮用関数ｆ（ｘ）の値を示し、黒ぬりの三角印（▲）は、調整用パラメータｍ＝２の場合、式（１）で求められるダイナミックレンジ圧縮用関数ｆ（ｘ）の値を示し、黒ぬりの丸印（●）は、調整用パラメータｍ＝１００の場合、式（１）で求められるダイナミックレンジ圧縮用関数ｆ（ｘ）の値を示す。
【０１３８】
ステップＳ４５において、パノラマ画像生成処理部８２の輝度調整部１０７は、各画像の輝度成分Ｐｎ（ｘ）に（ｋｎ／Ｔ）×ｆ（ｘ）を掛けて各画像の輝度レベルを調整する。
【０１３９】
位置ｘの輝度Ｑ（ｘ）は、画像番号をｎ、各画像の位置ｘの輝度成分をＰｎ（ｘ）、画像番号ｎに対する輝度倍率をｋｎ、合成後の基準となる画像の輝度倍率をＴとすると、式（２）で表される演算により求められる。
Ｑ（ｘ）＝Ｐｎ（ｘ）×（ｋｎ／Ｔ）×（（（ｋ（ｘ）−１）／ｍ＋１）／ｋ（ｘ））
＝Ｐｎ（ｘ）×（ｋｎ／Ｔ）×ｆ（ｘ）
・・・（２）
【０１４０】
例えば、輝度調整部１０７は、輝度成分Ｐｎ（ｘ）に（ｋｎ／Ｔ）×ｆ（ｘ）を掛けて画像７１乃至画像７５の輝度レベルを調整することにより、輝度のダイナミックレンジを圧縮した輝度Ｑ（ｘ）を算出する。
【０１４１】
調整用パラメータｍ＝１の場合、画像の輝度のダイナミックレンジは、圧縮されず、調整用パラメータｍが大きくなればなるほど、画像の輝度のダイナミックレンジの圧縮率は、大きくなる。
【０１４２】
ここで、図１５乃至図１８を参照して、画像の輝度のダイナミックレンジの圧縮について説明する。
【０１４３】
図１５は、調整用パラメータｍ＝１の場合の（ｋｎ／Ｔ）×ｆ（ｘ）の特性を示す図である。（ｋｎ／Ｔ）×ｆ（ｘ）は、各画像の各画素の輝度に乗算される、輝度を調整するための値である。
【０１４４】
白ぬきの四角印（□）は、１つの画像の範囲に相当する、１乃至１０である位置ｘの範囲において、０．２で一定である（ｋｎ／Ｔ）×ｆ（ｘ）の値を示す。
【０１４５】
白ぬきの丸印（○）は、１つの画像の範囲に相当する、６乃至１５である位置ｘの範囲において、０．５で一定である（ｋｎ／Ｔ）×ｆ（ｘ）の値を示す。
【０１４６】
白ぬきの三角印（△）は、１つの画像の範囲に相当する、１１乃至２０である位置ｘの範囲において、１．０で一定である（ｋｎ／Ｔ）×ｆ（ｘ）の値を示す。
【０１４７】
バツ印（×）は、１つの画像の範囲に相当する、１６乃至２５である位置ｘの範囲において、２．１で一定である（ｋｎ／Ｔ）×ｆ（ｘ）の値を示す。
【０１４８】
アスタリスク（＊）は、１つの画像の範囲に相当する、２１乃至３０である位置ｘの範囲において、３．４で一定である（ｋｎ／Ｔ）×ｆ（ｘ）の値を示す。
【０１４９】
ただし、Ｔ＝ｋ３である。
【０１５０】
このように、調整用パラメータｍ＝１の場合、各画像の各画素の輝度に乗算される、輝度を調整するための値は、画像毎に定まり、画像における位置ｘによって変化せず、画像の輝度のダイナミックレンジは圧縮されない。
【０１５１】
図１６は、調整用パラメータｍ＝１の場合の輝度Ｑ（ｘ）の特性を示す図である。
【０１５２】
図１６で示されるように、画像のうち、輝度が低い部分では、画像がノイズに埋もれてしまい、輝度が高い部分では、輝度が２５６以上となり、飽和してしまっている。
【０１５３】
例えば、２２乃至３０である位置ｘの範囲の画素の輝度は、２５６以上になり、白とびが生じている。例えば、１乃至４である位置ｘの範囲の画素の輝度は、１０以下になり、画像がノイズに埋もれてしまっている。
【０１５４】
１乃至４である位置ｘの範囲に、１０以下の輝度の画像の部分があり、その部分の画像はノイズに埋もれてしまう。また、２２乃至３０である位置ｘの範囲に、２５６以上の輝度の画像の部分があり、その部分の画像には白とびが生じている。
【０１５５】
このような、白とびが生じる部分またはノイズに埋もれてしまう部分がより少なくなるように、調整用パラメータｍの値が調整される。
【０１５６】
図１７は、調整用パラメータｍ＝４の場合の（ｋｎ／Ｔ）×ｆ（ｘ）の特性を示す図である。
【０１５７】
図１７において、白ぬきの四角印（□）、白ぬきの丸印（○）、白ぬきの三角印（△）、バツ印（×）、およびアスタリスク（＊）は、それぞれ、１つの画像の範囲における、各画像の各画素の輝度に乗算される、輝度を調整するための値である（ｋｎ／Ｔ）×ｆ（ｘ）を示す。ただし、Ｔ＝ｋ３とし、白ぬきの三角印（△）で（ｋｎ／Ｔ）×ｆ（ｘ）が示される画像を基準としている。
【０１５８】
白ぬきの四角印（□）で示されるように、１つめの画像の、１乃至１０である位置ｘの範囲の画素の輝度には、位置ｘの値が増えるに従って小さくなる、１．３乃至０．２５の範囲の、各画素の輝度を調整するための値が乗算されることになる。
【０１５９】
白ぬきの丸印（○）で示されるように、２つめの画像の、６乃至１５である位置ｘの範囲の画素の輝度には、位置ｘの値が増えるに従って小さくなる、１．３乃至０．３８の範囲の、各画素の輝度を調整するための値が乗算されることになる。
【０１６０】
さらに、白ぬきの三角印（△）で示されるように、３つめの画像の、１１乃至２０である位置ｘの範囲の画素の輝度には、位置ｘの値が増えるに従って小さくなる、１．１９乃至０．５０の範囲の、各画素の輝度を調整するための値が乗算されることになる。
【０１６１】
また、バツ印（×）で示されるように、４つめの画像の、１６乃至２５である位置ｘの範囲の画素の輝度には、位置ｘの値が増えるに従って小さくなる、１．３９乃至０．８１の範囲の、各画素の輝度を調整するための値が乗算されることになる。
【０１６２】
そして、アスタリスク（＊）で示されるように、５つめの画像の、２１乃至３０である位置ｘの範囲の画素の輝度には、位置ｘの値が増えるに従って小さくなる、１．６０乃至１．１９の範囲の、各画素の輝度を調整するための値が乗算されることになる。
【０１６３】
図１７に示されるように、調整用パラメータｍ＝４の場合、一定の割合でダイナミックレンジは圧縮されることになる。
【０１６４】
図１８は、調整用パラメータｍ＝４の場合の輝度Ｑ（ｘ）の特性を示す。
【０１６５】
図１８で示されるように、輝度が低いところでもノイズに埋もれてしまうことはなく、輝度が高いところでも、飽和してしまうことがなく、局所的なコントラストである輝度変化の高周波成分も維持されている。
【０１６６】
例えば、２２乃至３０である位置ｘの範囲の画素の輝度は、２５６未満となり、白とびが生じない。例えば、１乃至４である位置ｘの範囲の画素の輝度は、１０を超え、画像がノイズに埋もれてしまうことはない。
【０１６７】
このように、白とびが生じる部分またはノイズに埋もれてしまう部分がなくなるように、例えば、画像７１乃至画像７５のダイナミックレンジが調整される。調整用パラメータ決定部１２１は、白とびが生じる部分またはノイズに埋もれてしまう部分がなくなるように、画像の輝度のダイナミックレンジを圧縮するための調整用パラメータｍの値を決定する。
【０１６８】
なお、調整用パラメータｍの値として、１０乃至１００などの大きな値を設定し、画像の輝度のダイナミックレンジをより小さく圧縮し、パノラマ合成後の画像に不自然さが生じた場合、調整用パラメータｍの値を小さくして、画像の輝度のダイナミックレンジの圧縮率を下げることで、画質を調整することができる。
【０１６９】
また、式（３）により、輝度Ｑ（ｘ）を算出するようにしてもよい。
Ｑ（ｘ）＝Ｐｎ（ｘ）×（ｋｎ／Ｔ）／ｋ（ｘ）      ・・・（３）
この場合、画像の低周波成分が完全に取り除かれる。
【０１７０】
図１２に戻り、ステップＳ４６において、パノラマ画像生成処理部８２の画像合成部１０８は、画像をパノラマ合成する。例えば、画像合成部１０８は、輝度のダイナミックレンジが圧縮された画像７１乃至画像７５をパノラマ合成する。
【０１７１】
図１９は、輝度が調整された画像７１乃至画像７５をつなぎ合わせて作成したパノラマ画像の例を示す図である。
【０１７２】
図１９において、画像の黒つぶれや白とびは発生していない。画像７１乃至画像７５のそれぞれは、画像の黒つぶれや白とびを発生させることなく、滑らかにつなぎ合わされて合成されている。
【０１７３】
ステップＳ４７において、パノラマ画像生成処理部８２の表色系変換部１０５は、パノラマ合成した画像の輝度成分と色成分を合成してRGB値に変換する。より具体的には、表色系変換部１０５は、パノラマ合成した画像の画素値の表色系を、YCrCbである表色系から、RGBである表色系に変換する。
【０１７４】
ステップＳ４８において、パノラマ画像生成処理部８２のビット幅調整部１０４は、合成画像の画素のRGB値を１６ビットから８ビットに変換する。例えば、ビット幅調整部１０４は、画像７１乃至画像７５をつなぎ合わせた合成画像のそれぞれ１６ビットである画素を８ビットの画素にするように、画像７１乃至画像７５をつなぎ合わせた合成画像のビット幅を調整する。例えば、ビット幅調整部１０４は、飽和処理により、２５５を超える値を総て２５５にする。
【０１７５】
ステップＳ４９において、ガンマ補正部８３は、合成画像にガンマ補正を施して、処理は終了する。ガンマ補正を施すことで、デジタルスチルカメラ１で撮影され保存された画像を、表示および印刷時に自然に見ることができるようにする。
【０１７６】
このように、画像の局所的コントラストを維持したまま、黒つぶれや白とびを回避して、パノラマ画像を合成することができるので、鑑賞価値の高いパノラマ画像を得ることができる。
【０１７７】
さらに、簡単な演算で輝度を調整するので、計算量がより少なくて済み、消費電力がより少なくなり、モバイル機器に組み込むことができる。
【０１７８】
このように、複数の画像をつなぎ合わせるようにした場合、パノラマ画像を生成することができる。また、複数の前記画像の撮影の条件から、それぞれの前記画像の撮影の方向の角度に対する露出の倍率の変化を近似する近似関数を算出し、前記近似関数に応じて、つなぎ合わせる方向に連続的に変化させるように複数の前記画像の輝度を調整し、輝度が調整された複数の前記画像をつなぎ合わせることで１つの合成画像に合成するようにした場合、より簡単に、より自然なパノラマ画像を生成することができる。
【０１７９】
図２０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０１８０】
CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１８１】
入出力インターフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１８２】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１８３】
入出力インターフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１８４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１８６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８８】
【図１】本発明のデジタルスチルカメラの一実施の形態の外観を示す図である。
【図２】モータドライブユニットの内部構成を示す図である。
【図３】デジタルスチルカメラのハードウェアの構成を示すブロック図である。
【図４】デジタルスチルカメラの撮影画角および水平画角を示す図である。
【図５】撮影方向による画像の明るさの違いを示す図である。
【図６】プログラムを実行する、制御ユニットのCPUにより実現される機能を説明する図である。
【図７】デジタルスチルカメラによる撮影の処理を説明するフローチャートである。
【図８】画像の位置と輝度倍率との関係を示す図である。
【図９】各画像のそれぞれにそれぞれの輝度倍率を掛けてつなぎ合わせて合成したパノラマ画像の例を示す図である。
【図１０】露出を固定して撮影した場合の画像の明るさの分布の一例を示す図である。
【図１１】５分割してそれぞれの方向で最適な露光で撮影した場合の明るさの分布の一例を示す図である。
【図１２】デジタルスチルカメラによるダイナミックレンジの圧縮の処理を説明するフローチャートである。
【図１３】近似曲線ｋ（ｘ）を説明する図である。
【図１４】輝度のダイナミックレンジの圧縮の調整用パラメータｍによるダイナミックレンジ圧縮用関数ｆ（ｘ）の変化を示す図である。
【図１５】調整用パラメータｍ＝１の場合の（ｋｎ／Ｔ）×ｆ（ｘ）の特性を示す図である。
【図１６】調整用パラメータｍ＝１の場合の輝度Ｑ（ｘ）の特性を示す図である。
【図１７】調整用パラメータｍ＝４の場合の（ｋｎ／Ｔ）×ｆ（ｘ）の特性を示す図である。
【図１８】調整用パラメータｍ＝４の場合の輝度Ｑ（ｘ）の特性を示す図である。
【図１９】パノラマ画像の例を示す図である。
【図２０】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０１８９】
１１  レンズユニット，  １２  本体，  １３  モータドライブユニット，  ２１  レンズ，  ３１  ポテンショメータ，  ３２  モータ，  ３３  減速ギア，  ５１  制御ユニット，  ５２  外部記録媒体，  ６１  ＣＰＵ，  ６２  Ａ／Ｄコンバータ，  ６３  モータドライバ，  ６４  レンズコントローラ，  ６５  撮像素子制御回路，  ６６  画像処理部，  ６７  内蔵メモリ，  ６８  ディスプレイ，  ８１  撮影制御部，  ８２  パノラマ画像生成処理部，  ８３  ガンマ補正部，  １０１  回転制御部，  １０２  露出調整部，  １０３  パラメータ記憶制御部，  １０４  ビット幅調整部，  １０５  表色系変換部，  １０６  輝度倍率近似関数算出部，  １０７  輝度調整部，  １０８  画像合成部，  １２１  調整用パラメータ決定部，  ２０１  ＣＰＵ，  ２０２  ＲＯＭ，  ２０３  ＲＡＭ，  ２０８  記憶部，  ２１１  リムーバブルメディア
【図１】
2007334558.tif 000003
【図２】
2007334558.tif 000004
【図３】
2007334558.tif 000005
【図４】
2007334558.tif 000006
【図５】
2007334558.tif 000007
【図６】
2007334558.tif 000008
【図７】
2007334558.tif 000009
【図８】
2007334558.tif 000010
【図９】
2007334558.tif 000011
【図１０】
2007334558.tif 000012
【図１１】
2007334558.tif 000013
【図１２】
2007334558.tif 000014
【図１３】
2007334558.tif 000015
【図１４】
2007334558.tif 000016
【図１５】
2007334558.tif 000017
【図１６】
2007334558.tif 000018
【図１７】
2007334558.tif 000019
【図１８】
2007334558.tif 000020
【図１９】
2007334558.tif 000021
【図２０】
2007334558.tif 000022