(57)【要約】【課題】高品質なパノラマ合成画像を高速に得ることができる全方位撮像装置を提供する。【解決手段】複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置であって、予め用意された複数の駆動モード（多重同時露光駆動モード（Ｓ１５），高解像駆動モード（Ｓ１６），画素混合駆動モード（Ｓ１７））のうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御する駆動制御手段と、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成する合成処理手段とを備える。【選択図】図１５
2010283743.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置であって、予め用意された複数の駆動モードのうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御する駆動制御手段と、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成する合成処理手段とを備える全方位撮像装置。
【請求項２】
請求項１に記載の全方位撮像装置であって、前記撮影シーンに応じた駆動モードとして、各画素の検出信号を独立して読み出す高解像駆動モードと、近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、近接する長時間露光画素と短時間露光画素の各検出信号を加算して出力する多重同時露光駆動モードが予め用意されている全方位撮像装置。
【請求項３】
請求項２に記載の全方位撮像装置であって、撮影シーンに応じて決定されたＩＳＯ感度が所定感度以上のときは前記画素混合駆動モードが選択され、該ＩＳＯ感度が前記所定感度に達していない場合、撮像画像中に白飛びまたは黒潰れが存在するとき前記多重同時露光駆動モードが、撮像画像中に白飛び及び黒潰れが存在しないとき前記高解像駆動モードが夫々選択される全方位撮像装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載の全方位撮像装置であって、前記カメラの各々から出力され前記画像処理された後の各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成する全方位撮像装置。
【請求項５】
複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置のパノラマ画像合成方法であって、予め用意された複数の駆動モードのうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御し、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成する全方位撮像装置のパノラマ画像合成方法。
【請求項６】
請求項５に記載の全方位撮像装置のパノラマ画像合成方法であって、前記撮影シーンに応じた駆動モードとして、各画素の検出信号を独立して読み出す高解像駆動モードと、近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、近接する長時間露光画素と短時間露光画素の各検出信号を加算して出力する多重同時露光駆動モードが予め用意されている全方位撮像装置のパノラマ画像合成方法。
【請求項７】
請求項６に記載の全方位撮像装置のパノラマ画像合成方法であって、撮影シーンに応じて決定されたＩＳＯ感度が所定感度以上のときは前記画素混合駆動モードが選択され、該ＩＳＯ感度が前記所定感度に達していない場合、撮像画像中に白飛びまたは黒潰れが存在するとき前記多重同時露光駆動モードが、撮像画像中に白飛び及び黒潰れが存在しないとき前記高解像駆動モードが夫々選択される全方位撮像装置のパノラマ画像合成方法。
【請求項８】
請求項５乃至請求項７のいずれかに記載の全方位撮像装置のパノラマ画像合成方法であって、前記カメラの各々から出力され前記画像処理された後の各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成する全方位撮像装置のパノラマ画像合成方法。
【請求項９】
周囲３６０度のパノラマ画像を複数台のカメラが分担して撮影して得られた複数の撮像データを貼り合わせ前記パノラマ画像を合成するパノラマ画像合成プログラムであって、前記カメラの各々から出力され画像処理された後の前記各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成するパノラマ画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台の撮像部を用い周囲３６０度のパノラマ画像を撮影できる全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラムに関する。
【背景技術】
【０００２】
複数台のカメラ（撮像部）をリング状に配置して周囲３６０度のパノラマ画像を撮影できる全方位撮像装置が、下記の特許文献１，２に記載されている。この様な全方位撮像装置では、複数台のカメラを用い各カメラの撮像画像をパノラマ合成する。
【０００３】
しかし、全方位撮像装置は、周囲３６０度のパノラマ画像を撮影する関係で、あるカメラは太陽を正面にして被写体画像を撮影することになり、別のカメラは、日陰に入った状態で被写体画像を撮影することになる。
【０００４】
このため、これらの被写体画像を合成するとき、単に各被写体画像を貼り合わせてパノラマ合成しただけでは、ある画像部分は明るすぎ、別の画像部分は暗すぎる画像になってしまい、品質の低いパノラマ画像しか得られない。
【０００５】
そこで、特許文献３記載の従来技術では、隣接する２枚の画像を貼り合わせ合成するとき、画像のオーバーラップ部分（同じ被写体が映っている部分）を基準として両方の画像の明暗を補正し、合成画像を見易くしている。
【０００６】
しかしながら、この合成方法では、合成対象とする複数の画像間の明暗差が大きいと、白飛びや黒潰れが発生し易くなり、かえって画質が低下してしまう虞がある。
【０００７】
画像の白飛びや黒潰れを回避する従来技術として、下記の特許文献４記載のものがある。この従来技術では、１つの構図を異なる露出で複数回撮影し、各撮影で得られた画像を合成することで、ダイナミックレンジの広い合成画像すなわち白飛びや黒潰れを回避した画像を得ている。
【０００８】
この従来技術を適用したカメラを複数台リング状に配列して全方位撮像装置を構成すれば、画質の高いパノラマ画像を撮影することが可能になる。しかし、広ダイナミックレンジの画像を得るために複数回の撮影つまり多重露光が必要になるため、シャッタ押下のタイミングからパノラマ画像が得られるまでのレスポンスが低下してしまう。
【０００９】
また、明るいシーンを撮影したカメラの撮像画像と、暗いシーンを撮影したカメラの撮像画像とを貼り合わせてパノラマ画像を合成するとき、全体の画像が高品質な画像となるための合成をどうすれば良いのかについての解決策について記載がない。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平１１―９８３４２号公報
【特許文献２】特開２００４―６１８０８号公報
【特許文献３】特開２００２―３２４２３５号公報
【特許文献４】特開平１０―１８７９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、高品質なパノラマ合成画像を得ることができる全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラムを提供することにある。また、本発明の別の目的は、高品質なパノラマ合成画像を高速に得ることができる全方位撮像装置及びそのパノラマ画像合成方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の全方位撮像装置は、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置であって、予め用意された複数の駆動モードのうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御する駆動制御手段と、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成する合成処理手段とを備える。
【００１３】
本発明の全方位撮像装置のパノラマ画像合成方法は、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置のパノラマ画像合成方法であって、予め用意された複数の駆動モードのうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御し、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成する。
【００１４】
本発明のパノラマ画像合成プログラムは、周囲３６０度のパノラマ画像を複数台のカメラが分担して撮影して得られた複数の撮像データを貼り合わせ前記パノラマ画像を合成するパノラマ画像合成プログラムであって、前記カメラの各々から出力され画像処理された後の前記各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成する。
【発明の効果】
【００１５】
本発明によれば、各カメラが撮影するシーン毎に最適な駆動モードが選択されて固体撮像素子が駆動されるため、パノラマ合成した画像全体の品質が向上する。パノラマ合成する際に、合成パノラマ画像のダイナミックレンジが大きくなりしかもレンジオーバーしない様に、各々の画像データの明度範囲を考慮して各画像データの明度範囲を変換処理すれば、更に高品質なパノラマ画像を得ることができる。更に、多重露光が必要なときは長時間露光と短時間露光とを同時に行う駆動モードを採用すれば、レスポンスの高速化も図れる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る全方位撮像装置の平面図である。
【図２】図１に示す全方位撮像装置の側面図である。
【図３】図１，図２に示す全方位撮像装置の機能ブロック図である。
【図４】図３に示す固体撮像素子の表面模式図である。
【図５】図４に示す固体撮像素子の画素配列（カラーフィルタ配列）の簡略図である。
【図６】図５の状態から垂直電荷転送路上の信号電荷を垂直方向に２段分転送した状態を示す図である。
【図７】図６の状態から垂直電荷転送路上の信号電荷を垂直方向に２段分転送した状態を示す図である。
【図８】図７の状態から残りの画素行から信号電荷を垂直電荷転送路に読み出した状態を示す図である。
【図９】図８の状態で垂直転送を行い、水平電荷転送路上の信号電荷を出力側に水平転送する状態を示す図である。
【図１０】図９の水平転送で空になった水平電荷転送路にラインメモリから信号電荷を転送する様子を示す図である。
【図１１】水平電荷転送路上で行う画素混合の様子を示す図である。
【図１２】多重同時露光駆動方法を説明する画素配列（カラーフィルタ配列）の簡略図である。
【図１３】多重同時露光駆動方法を説明するタイミングチャートである。
【図１４】図１に示す全方位撮像装置の撮像動作全体の処理手順を示すフローチャートである。
【図１５】図１に示す全方位撮像装置の個々の撮像部（カメラ）を個別制御する撮像制御処理手順を示すフローチャートである。
【図１６】撮像部４台の全方位撮像装置における各撮像部の撮影被写体を例示する図である。
【図１７】図１６の各撮像部の撮像データ明度範囲を例示する図である。
【図１８】本発明のパノラマ画像合成プログラムの処理手順の一例を示すフローチャートである。
【図１９】全方位撮像装置を構成する各撮像部による撮像データの明度変換処理を行う関数を示すトーンカーブ（ルックアップテーブル）を例示する図である。
【図２０】全方位撮像装置を構成する各撮像部による撮像データの明度変換処理後の明度範囲を例示する図である。
【図２１】パノラマ合成する撮像データ間に不連続性が存在する場合のトーンカーブの再補正方法の説明図である。
【図２２】図２１の再補正の前（上段）後（下段）のパノラマ合成画像の様子を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１８】
図１は、本発明の一実施形態に係る全方位撮像装置の外観平面図であり、図２は、その側面図である。この全方位撮像装置１００は、軸を中心に円環状（リング状）に複数台、図示する例では、計１２台の撮像部（カメラ）１〜１２が配置される。
【００１９】
１２台の各カメラ１〜１２の入射光軸は、上記軸を中心として等角度（図示する例では、３６０度÷１２台＝３０度）毎に放射状に配置されており、各カメラ１〜１２の各々の撮影画角は、隣接するカメラの撮影画角と端部分で重複するように設定される。即ち、１２台のカメラ１〜１２で、軸周りの周囲３６０度の被写体画像を同時に撮影できるようになっている。
【００２０】
１２台のカメラ１〜１２の中心部（上記の軸部分）には、回転機構部１５が設けられ、この回転機構部１５は、例えば地面などの固定面に設置される台座１４上に支持される。この回転機構部１５には、回転機構部１５により旋回駆動（回転駆動）される円盤状筐体部１３が設けられており、その周壁部に、カメラ１〜１２が固定設置される。これにより、１２台のカメラ１〜１２は、回転機構部１５を中心として、一体に、双頭矢印Ｆ（図１）で示す様に、任意位置に回転駆動される。
【００２１】
尚、上述した実施形態では、全方位撮像装置を１２台のカメラ１〜１２で構成したが、カメラ台数はこれに限定されるものではなく、任意の複数台でよい。例えば、魚眼レンズを用いれば、最低２台のカメラで全方位撮像装置を構成することができる。
【００２２】
図３は、図１，図２に示す全方位撮像装置１００の機能ブロック図である。この全方位撮像装置１００は、カメラ１〜１２と、共通制御部３０とを備える。
【００２３】
各カメラ１〜１２の内部構成は同一であり、撮影光学系（撮影レンズ，絞り，メカニカルシャッタ）２１と、本実施形態ではＣＣＤ型の固体撮像素子（ＣＣＤ―ＥＸＲ）５０と、固体撮像素子５０の出力信号（撮像画像信号）に対して相関二重サンプリング処理するＣＤＳ部２２と、ＣＤＳ部２２の出力信号を可変利得制御するアンプ部２３と、アンプ部２３の出力信号（アナログ信号）をデジタル信号に変換するＡ／Ｄ変換部２４と、後述のＣＰＵ３１からの指示を受けＡ／Ｄ変換部２４の出力信号（デジタルの撮像画像信号）に対して周知の画像処理（ガンマ補正処理，ホワイトバランス処理，ＲＧＢ／ＹＣ変換処理，同時化処理，圧縮処理（例えばＪＰＥＧ変換処理）等）を施すデジタル信号処理部２５とを備える。
【００２４】
共通制御部３０は、この全方位撮像装置１００の全体を統括制御する中央演算処理部（ＣＰＵ）３１と、各カメラ１〜１２のデジタル信号処理部２５から出力される撮像画像データを取り込んで記録するメモリ部３２と、ＣＰＵ３１からの指示を受けて各カメラ１〜１２のアンプ部２３のゲインを個別制御するアンプゲイン制御部３３と、ＣＰＵ３１からの指示を受け各カメラ１〜１２の固体撮像素子５０を個別に駆動制御するＣＣＤ駆動制御部３４と、ＣＰＵ３１にユーザ指示を入力する操作部３５と、各デジタル信号処理部２５から得られる画像やメニューを表示する画像表示部（画像表示制御部を含む）３６とを備える。
【００２５】
また、図示は省略しているが、ＣＰＵ３１は、各カメラ１〜１２の撮影光学系２１の制御（メカニカルシャッタの開閉制御，絞り開口量制御，焦点位置制御）を行う制御ラインも持っている。
【００２６】
斯かる構成の全方位撮像装置１００では、各カメラ１〜１２は、ＣＰＵ３１からの指示を受けて個別に制御され、各々が露光条件等にあったシャッタ速度，絞り開口量，焦点位置で撮影動作が行われる。また、本実施形態の全方位撮像装置１００では、固体撮像素子５０の駆動モードとして複数の駆動モードが予め用意されており、個々のカメラ１〜１２の露光条件に応じて最適な駆動モードが個々のカメラ１〜１２毎に選択され、撮影が行われる。
【００２７】
最適な駆動モードや絞り開口量等を個々のカメラ１〜１２毎に決定する場合、ＣＰＵ３１は、各固体撮像素子５０から動画状態で出力される撮像画像信号（スルー画像信号）を、ＣＤＳ部２２，アンプ部２３，Ａ／Ｄ変換部２４，デジタル信号処理部２５，メモリ３２を通して順に取り込み、解析することで、各カメラ１〜１２毎に、露光条件等を決定する。
【００２８】
そして、カメラ１〜１２毎に決定した露光条件等に応じて、各カメラ１〜１２のシャッタ速度，絞り開口量，焦点位置，駆動モードを決定し、撮影光学系２１を制御すると共にし、固体撮像素子５０の駆動モードを決定する。そして、本撮影を行う。以下、被写体の静止画像を本撮影で撮影する例について説明する。
【００２９】
各カメラ１〜１２で本撮影を行い、各固体撮像素子５０から出力される撮像画像信号は、ＣＤＳ部２２，アンプ部２３，Ａ／Ｄ変換部２４を通してデジタル信号処理部２５に取り込まれ、画像処理された後、メモリ部３２に格納される。
【００３０】
ＣＰＵ３１は、各カメラ１〜１２の本撮影で得られた１２枚の画像を貼り合わせ、周囲３６０度のパノラマ画像を合成することになるが、このとき、パノラマ画像合成プログラムにより、詳細は後述する様にして各１２枚の画像データに補正処理（明度変換処理）を施してから、合成を行う。
【００３１】
図４は、図３に示す固体撮像素子５０の表面模式図である。本実施形態で用いる固体撮像素子５０には、半導体基板の表面部に、複数のフォトダイオード（図中の斜め四角で示す部分）５１が二次元アレイ状に配列形成されている。
【００３２】
奇数行のフォトダイオード群を第１画素群とし、偶数行のフォトダイオード群を第２画素群としたとき、第１画素群と第２画素群とは、垂直方向，水平方向共に１／２画素ピッチづつずらして形成され、全体として、所謂ハニカム画素配列となっている。
【００３３】
第１画素群だけ見れば各画素５１は正方格子配列され、各画素上に、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色のカラーフィルタがベイヤ配列されている。第２画素群だけ見ても各画素５１は正方格子配列され、各画素上に、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色のカラーフィルタがベイヤ配列されている。
【００３４】
各画素列に沿って垂直電荷転送路（ＶＣＣＤ）５２が蛇行して形成され、各垂直電荷転送路５２の転送方向端部に沿って水平電荷転送路（ＨＣＣＤ）５３が形成され、水平電荷転送路５３の出力端部には、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ５４が設けられている。また、各垂直電荷転送路５２の転送方向端部と水平電荷転送路５３との間には、各垂直電荷転送路５２毎にバッファ領域を持つラインメモリ５５が設けられている。
【００３５】
このラインメモリ５５は、例えば特開２００２―１１２１１９号公報や特開２００２―１１２１２２号公報に記載されている様なラインメモリであり、ラインメモリ制御パルス（φＬＭ）に従って垂直電荷転送路５２から受け取った信号電荷を一時的に保持し、保持した信号電荷を、水平電荷転送路５３の転送タイミングに合わせて水平電荷転送路５３に転送する機能を有する。これにより、例えば、或るＲ画素（カラーフィルタＲを搭載した画素）の信号電荷と、このＲ画素の左斜め下位置のＲ画素の信号電荷とを、水平電荷転送路５３上で画素加算することが可能となる。
【００３６】
各画素５１には、１画素につき４枚の転送電極が設けられており、画素に隣接する中央２枚の転送電極のうち一方たとえば下側（ＨＣＣＤ５３側）の転送電極が読出電極兼用となっている。第１画素群の読出電極には第１画素群用の読出パルスが共通に印加され、第２画素群の読出電極には第２画素群用の読出パルスが印加される接続構成となっている。図中で、各画素５１から右斜め下方向に出ている矢印は、信号電荷の読み出し方向，読み出し位置を示している。
【００３７】
尚、「垂直」「水平」という用語を用いて説明したが、これは、半導体基板の表面に沿う「１方向」「この１方向に対して略直角の方向」という意味に過ぎない。
【００３８】
斯かる構成のＣＣＤ型の固体撮像素子５０は、３種類の駆動モード（駆動方法）で駆動することができる。３種類の駆動モードを、以下、「高解像駆動モード（全画素駆動モード）」「画素混合駆動モード（画素加算駆動モード）」「多重同時露光駆動モード（広ダイナミックレンジ駆動モード）」とする。
【００３９】
次に、「高解像駆動モード」（全画素駆動モード）について説明する。図５は、図４に示す固体撮像素子５０の画素配列（カラーフィルタ配列）の簡略図である。図示する様に、本実施形態の固体撮像素子５０では、右斜め上４５度の方向に延びる画素行は１行置きに全画素がＧのカラーフィルタを持ち、残りの１行置きの画素行は、連続する２画素づつ同色のカラーフィルタ（Ｒ，Ｂ）を交互に持つ構成となっている。
【００４０】
図中のＶ１〜Ｖ８は、垂直転送電極を示している。転送電極Ｖ１，Ｖ３，Ｖ５，Ｖ７は、読出電極兼用である。図６に示す様に、読出電極Ｖ１，Ｖ５に読出パルスを印加すると、読出電極Ｖ１，Ｖ５下に形成される電位パケット内に、当該画素の受光量に応じた信号電荷（Ｒ画素の信号電荷を「Ｒ」、Ｇ画素の信号電荷を「Ｇ」、Ｂ画素の信号電荷を「Ｂ」としている。）が読み出される。
【００４１】
この図６の状態で、転送電極Ｖ１〜Ｖ８に垂直転送パルスφＶを印加し、垂直電荷転送路上の信号電荷を垂直方向に２段分だけ転送した状態が、図７である。この図７の状態では、垂直電荷転送路上の信号電荷は、転送電極Ｖ３，Ｖ７下の電位パケット内に収納されている。
【００４２】
ここで、読出電極Ｖ３，Ｖ７に読出パルスを印加すると、図６では信号電荷が読み出されていない残りの画素から信号電荷が電極Ｖ３，Ｖ７下の電位パケット内に読み出され、図８に示す状態となる。即ち、上下に隣接する奇数行と偶数行の各画素行の信号電荷が個々に連続的に横一行に並ぶことになる。
【００４３】
以後、この状態で、垂直電荷転送路を垂直方向に転送駆動することで、信号電荷は横一行の状態を保ったまま転送され、図９に示す様に、ラインメモリ５５を通して水平電荷転送路５３まで転送される。
【００４４】
水平電荷転送路５３に、横一行の個々の信号電荷が転送されたとき、垂直転送を一時停止し、水平電荷転送路５３を水平方向に転送して横一行の個々の信号電荷をアンプ５４まで順に転送し、個々の信号電荷の電圧値信号を撮像画像信号として個別に出力する。
【００４５】
そして、水平電荷転送路５３が空になった後、再び、図１０に示す様に垂直転送を行って次の横一行の個々の信号電荷を水平電荷転送路５３に入れる、という動作を繰り返すことで、１画面分の個々の画素５１の各撮像画像信号を個別に出力する。
【００４６】
この固体撮像素子の高解像駆動モードは、上述した様に、各画素５１が検出した信号電荷量に応じた電圧値信号を個別にアンプ５４から出力するため、被写体の高精細な画像を再生することができる。
【００４７】
次に、「画素混合駆動モード」（画素加算駆動モード）について説明する。図９，図１０に示す様に、ラインメモリ５５の個々のバッファ領域に、横一行の個々の信号電荷が転送されるまでは、上述した全画素駆動方法と同じである。本実施形態の画素混合駆動モードは、ラインメモリ５５から水平電荷転送路５３への転送時の駆動タイミングが異なる。
【００４８】
ラインメモリ５５は、例えば、横一行の各バッファ領域に設ける転送電極（制御電極）のうち１つ置きに異なる転送パルスを印加できる配線接続にしておく。例えば、パルスφＬＭ１を１つ置きの制御電極に印加し、残りの１つ置きの制御電極にパルスφＬＭ２を印加する配線接続としておく。
【００４９】
高解像駆動モードの時は、ラインメモリ（ＬＭ）５５に印加するパルスを、φＬＭ１＝φＬＭ２とすることで、ラインメモリ５５の全バッファ領域を同一駆動するが、この画素混合駆動モードのときはφＬＭ１≠φＬＭ２とし、駆動タイミングを変える。
【００５０】
図９に示す様に、図４の画素配列（カラーフィルタ配列）では、…ＧＧＢＢＧＧＢＢＧＧＢＢ…と水平方向横一行に各色の信号電荷が並ぶ行と、…ＲＲＧＧＲＲＧＧＲＲ…と水平方向横一行に各色の信号電荷が並ぶ行とが交互に垂直方向に転送される。即ち、同色の信号電荷が横に２つづつ並ぶことになる。
【００５１】
そこで、先ず、図１１（ａ）→図１１（ｂ）に示す様に、ラインメモリ５５上の各バッファの１つ置きの信号電荷を水平電荷転送路５３に転送し、次に図１１（ｃ）に示す様に、水平電荷転送路５３を水平方向に１段分転送する。これにより、ラインバッファ５５上に残っている信号電荷の色と、水平電荷転送路５３で１段分転送された信号電荷の色とが同色で整列することになる。このとき、図１１（ｄ）に示す様に、ラインメモリ５５上の信号電荷を水平電荷転送路に転送することで、同色の２画素分の信号電荷が水平電荷転送路上で加算（混合）される。
【００５２】
その後、水平電荷転送路５３を水平方向に転送し、２画素加算した信号電荷量に応じた電圧値信号を撮像画像信号としてアンプ５４から出力し、水平電荷転送路が空になったとき、垂直転送を行って次の横一行の信号電荷を垂直電荷転送路からラインメモリ５５に転送する。この様な動作を繰り返すことで、２画素加算した撮像画像信号が固体撮像素子５０から出力される。
【００５３】
この画素混合駆動モードでは、近接する２つの同色画素が検出する信号電荷を画素加算して撮像画像信号として出力するため、被写体画像の画像解像度は高解像駆動モードに比較して低下するが、信号電荷量が２画素分に増えるため、暗いシーンでも高感度な被写体画像を得ることが可能になる。
【００５４】
尚、上述した画素混合駆動モードでは、水平電荷転送路上で２画素加算を行ったが、垂直電荷転送路上で同色２画素の画素加算を行い、これを水平電荷転送路で加算することで、計４画素の混合を行うことが可能となり、更に暗いシーンの撮影でも高感度な被写体画像を得ることが可能となる。同様に、８画素加算も可能である。
【００５５】
次に、多重同時露光駆動モード（広ダイナミックレンジ駆動モード）について説明する。図１１で説明した画素混合駆動モードでは、例えば或る信号電荷Ｂと、その右斜め上の信号電荷Ｂとを２画素加算して出力したが、この２つの信号電荷Ｂを得る２つの画素（フォトダイオード）では、同時に露光開始し、同時に露光終了し、その露光期間を同一とする駆動タイミングで固体撮像素子５０が駆動されている。
【００５６】
これに対し、本実施形態の多重同時露光駆動モードでは、２つの画素の露光期間を変える駆動タイミングで固体撮像素子５０を駆動し、２つの露光時間の異なる信号電荷を、上記と同様に水平電荷転送路上で画素加算し出力する。
【００５７】
本実施形態では、図５と同じカラーフィルタ配列において、転送電極Ｖ１，Ｖ５を読出電極とする画素を短時間露光用画素とし、転送電極Ｖ３，Ｖ７を読出電極とする画素を長時間露光用画素とする。長時間露光によって得られる信号電荷をＲ，Ｇ，Ｂの大文字で示し、短時間露光によって得られる信号電荷をｒ，ｇ，ｂの小文字で示した図が図１２である。
【００５８】
図１３は、多重同時露光駆動モードを示すタイミングチャートである。メカニカルシャッタ「開」の状態下で、ＯＦＤ（オーバーフロードレイン）パルスの印加停止タイミングｘで、長時間露光用画素と短時間露光用画素の夫々で露光が開始し、信号電荷の蓄積が始まる。
【００５９】
次の任意タイミングｙで、読出電極Ｖ１，Ｖ５に読出パルス２１を印加すると、タイミングｘ〜ｙの間で短時間露光用画素に蓄積されていた信号電荷が垂直電荷転送路に読み出されてしまうことになる。読出電極Ｖ３，Ｖ７にはタイミングｙでの読出パルスの印加はないため、長時間露光用画素ではタイミングｘからの信号電荷の蓄積が続いている。タイミングｙで一旦「空」となった短時間露光用画素には再び信号電荷の蓄積が開始する。
【００６０】
シャッタスピードで決まる次のタイミングｚで、メカニカルシャッタが「閉」となり、長時間露光用画素，短時間露光用画素の露光が終了する。次に、垂直電荷転送路を高速掃出パルス２２で駆動すると、タイミングｙで短時間露光用画素から垂直電荷転送路に読み出されたタイミングｘ〜ｙまでの信号電荷は廃棄されてしまう。
【００６１】
これにより、長時間露光用画素には、タイミングｘ〜ｚ（露光期間Ｔ）の信号電荷が蓄積され、短時間露光用画素には、タイミングｙ〜ｚ（露光期間ｔ）の信号電荷が蓄積されることになる。
【００６２】
以後に、高解像駆動モード，画素混合駆動モードで説明した図５〜図１１の読出処理により、Ｒ＋ｒ，Ｇ＋ｇ，Ｂ＋ｂの信号電荷に応じた撮像画像信号が固体撮像素子５０から出力される。
【００６３】
これにより、白飛びや黒潰れの無いダイナミックレンジの広い被写体画像を撮影することが可能となる。
【００６４】
図１４は、上述した全方位撮像装置１００における撮像動作の全体の処理手順を示すフローチャートである。ステップＳ１―１，Ｓ１―２，…，Ｓ１―１２で、同時並行的に、各カメラ１〜１２の撮像制御を個別に行わせる。各カメラ１〜１２における撮像制御では、ＣＰＵ３１が決定した各カメラ１〜１２毎のシャッタ速度，絞り開口量，焦点位置，駆動モードで各カメラ１〜１２が動作して被写体画像を撮像する。これにより、各カメラ１〜１２による被写体の撮像画像データ（デジタル信号処理部２５による画像処理後のデータ）が、夫々、メモリ部３２に格納される。
【００６５】
次のステップＳ２では、個々のカメラ１〜１２で撮像され得られた１２枚の撮像画像データを、ＣＰＵ３１が周囲３６０度のパノラマ画像として合成し、ステップＳ３で、この合成画像データをメモリ部３２に保存し、ステップＳ４で合成画像データを表示部３６に表示し、この処理を終了する。
【００６６】
図１５は、個々のカメラ１〜１２を個別制御する撮像制御処理手順を示すフローチャートである。先ず、各カメラ毎の測光データを取得し（ステップＳ１１）、自動露出機能により各カメラ毎のシャッタ速度，ＩＳＯ感度，絞り開口量を設定し、また、焦点位置制御を行う（ステップＳ１２）。
【００６７】
次のステップＳ１３では、各カメラ毎のＩＳＯ感度が「１００〜４００」であるか否かを判定する。ＩＳＯ１００〜４００の場合には、次に、各固体撮像素子５０から動画状態（スルー画像）として出力される撮像画像信号中に白飛び箇所または黒潰れ箇所があるか否かを判定する。白飛びまたは黒潰れがある場合には、ステップＳ１５に進み、その固体撮像素子５０の駆動モードとして多重同時露光駆動モードを設定する。
【００６８】
ステップＳ１４の判定の結果、白飛びも黒潰れも無い場合にはステップＳ１６に進み、その固体撮像素子５０の駆動モードとして高解像駆動モードを設定する。
【００６９】
ステップＳ１３の判定の結果、ＩＳＯ感度がＩＳＯ８００以上の場合には、ステップＳ１７に進み、その固体撮像素子５０の駆動モードとして画素混合モードを設定する。
【００７０】
ステップＳ１５，Ｓ１６，Ｓ１７で固体撮像素子５０の駆動モードが設定された後は、ステップＳ１８に進み、そのカメラにより本撮影を行う。そして、次のステップＳ１９で、固体撮像素子５０から出力された撮像画像信号に対して各種処理（ＣＤＳ処理，画像処理など）を施し、メモリ部３２に保存して、この処理を終了する。
【００７１】
次に、各カメラから得られた各撮像画像を貼り合わせてパノラマ画像を合成する方法について説明する。尚、図１，図２では、カメラ１２台を用いた全方位撮像装置について説明したが、パノラマ合成の説明を簡単にするため、以下の説明では、東西南北の４方向を４台のカメラで撮影する全方位撮像装置として説明する。
【００７２】
図１６に示す様に、全方位撮像装置２００の４台のカメラ６１，６２，６３，６４で東西南北の画像を撮影したとする。カメラ６１は北側の明暗差の大きい被写体を撮影しており、カメラ６２は東側の薄暗い被写体を撮影しており、カメラ６３は南側の明るい被写体を撮影しており、カメラ６４は西側の極めて明るい被写体を撮影している。
【００７３】
図１７は、各カメラ６１〜６４の撮像データを示す図である。カメラ６４の撮像データを「Ａ」、カメラ６１の撮像データを「Ｂ」、カメラ６２の撮像データを「Ｃ」、カメラ６３の撮像データを「Ｄ」としている。
【００７４】
撮像データＡは、極めて明るい被写体の撮像データであるため、カメラ６４は、ＩＳＯ感度１００で撮影を行い、図１５のフローチャートに従えば、高解像駆動モードで撮影を行っている。撮像データＡの明度範囲は、図示する例では、２５６階調で「６５〜２２５」の範囲となっている。
【００７５】
撮像データＢは、明暗差の大きい被写体の撮像データである。カメラ６１は、ＩＳＯ感度４００で撮影を行い、明暗差が大きく白飛び，黒潰れが発生する確率が高いため、多重同時露光駆動モードで撮影を行っている。撮像データＢの明度範囲は、２５６階調で「３６〜２１８」の範囲となっている。
【００７６】
撮像データＣは、薄暗い被写体の撮像データであり、カメラ６２は、ＩＳＯ感度４００で撮影を行っている。図１５のフローチャートに従えば、カメラ６２は、高解像駆動モードで撮影を行っている。撮像データＣの明度範囲は、２５６階調で「７３〜１６０」となっている。
【００７７】
撮像データＤは、明るい被写体の撮像データであり、カメラ６２は、ＩＳＯ感度２００で撮影を行い、高解像駆動モードで撮影を行っている。撮像データＤの明度範囲は、２５６階調で「３５〜２２０」となっている。
【００７８】
隣接する撮像データ間には、重複領域が存在し、重複領域の被写体は、両方のカメラで撮影が行われている。この重複領域で両方の画像データが同じ明度となるようにパノラマ合成する必要があるが、単純に合成してしまうと、繋ぎ目箇所（重複領域）以外の画像データが白飛び／黒潰れを起こしてしまう虞がある。
【００７９】
そこで、本実施形態では、各撮像データの明度範囲内のデータ明度を所定階調内、この実施形態では２５６階調内となるように変換処理し、白飛び／黒潰れを回避して以下に述べる様にパノラマ合成を行う。
【００８０】
図１８は、パノラマ画像合成プログラムの処理手順を示すフローチャートである。先ず、明度変換処理の対象とするカメラを選択する（ステップＳ２１）。例えば、カメラ６４を最初に選択する。次に、メモリ部３２内のカメラ６４の撮像データＡを取得し（ステップＳ２２）、この撮像データＡのＩＳＯ感度と明度をチェックする（ステップＳ２３）。このチェックにより、ＩＳＯ感度１００であり、明度範囲が上述した「６５〜２２５」であることを知る。
【００８１】
次のステップＳ２４では、ステップＳ２３で求めたＩＳＯ感度の値から、補正ルックアップテーブルの関数式ｆｎ（ｘ）を生成し、次のステップＳ２５では、ステップＳ２３で求めた明度範囲から補正オフセットの係数ａｎを生成する。
【００８２】
明度変換処理後の補正輝度の値をｙとしたとき、
ｙ＝ｆｎ（ｘ）＋ａｎ
で求める。ここでｆｎ（ｘ）は、ＩＳＯ感度毎に設定してあるトーンカーブであり、例えば図１９に一例を示す様に、ｎ＝１のｆ1（ｘ）をＩＳＯ感度１００のトーンカーブとして予め設定してある。
【００８３】
図示する例では、ｎ＝２のｆ2（ｘ）をＩＳＯ感度２００のトーンカーブ、ｎ＝３のｆ3（ｘ）をＩＳＯ感度４００のトーンカーブ、ｎ＝４のｆ4（ｘ）をＩＳＯ感度８００のトーンカーブとしている。
【００８４】
これらのトーンカーブは、各画像データＡ，Ｂ，Ｃ，Ｄの明度を正規化して同一値を基準とするような明度となるように明度変換を行う様に設定されている。
【００８５】
図１９に例示する明度変換処理用のトーンカーブは、横軸が２５６階調の「０〜２５５」の値を示し、縦軸がルックアップ係数値０．０〜１．０を示している。実際の撮像データＡの明度（輝度）の階調値と、該当のトーンカーブとから、ルックアップ係数値を求め、実際の撮像データＡにルックアップ係数値を乗算することで、補正輝度の値ｙを求める（ステップＳ２６）。
【００８６】
これにより、図１７で説明した明度範囲「６５〜２２５」の撮像データＡは、図２０に示す様に、明度範囲「１２８〜２３５」の補正データＡに変換される。
【００８７】
ステップＳ２７の後は、ステップＳ２８に進み、全カメラの選択が終了したか否かを判定し、終了していない場合にはステップＳ２１に戻り、次のカメラ６１を選択してステップＳ２２〜Ｓ２８を繰り返す。
【００８８】
これにより、図１７の明度範囲「３６〜２１８」の撮像データＢは、図２０の明度範囲「５６〜１５８」の補正データＢに、図１７の明度範囲「７３〜１６０」の撮像データＣは、図２０の明度範囲「７１〜１２２」の補正データＣに、図１７の明度範囲「３５〜２２０」の撮像データＤは、図２０の明度範囲「８７〜１６６」の補正データＤに変換処理される。
【００８９】
この様に、明度変換処理後の撮像データ（補正データ）Ａ，Ｂ，Ｃ，Ｄの明度範囲は、パノラマ合成した状態で、ダイナミックレンジを大きくとれる様なものとなる。また、各明度範囲の正規化も合わせて行われるため、図２０に示す様に、各補正データＡ〜Ｄのパノラマ合成時における連続性の破綻も低減することができ、画像のつなぎ目（重複部分）の不自然さを回避できる。
【００９０】
パノラマ合成する際に、明度変換処理前の各撮像データＡ，Ｂ，Ｃ，Ｄの各最大値，最小値を基に、明度変換処理後の補正データがレンジオーバーしないように、明度変換処理用の関数（ルックアップテーブルの上記トーンカーブ）を規定する。
【００９１】
撮像データの最大値は、「個々の撮像データの最大ディジット（Digit）値×ＩＳＯ感度」で表され、最小値は、「個々の撮像データの最小ディジット値×ＩＯＳ感度」で表される。
【００９２】
従って、パノラマ合成で補正データがレンジオーバーしないようするには、「最も高ＩＳＯ感度の撮像データの最小値」〜「最も低ＩＳＯ感度の撮像データの最大値」が最大レンジ（０〜２５５／８ビット）となるように、ルックアップテーブルを設ければ良い。
【００９３】
上述した実施形態のパノラマ合成を実施することで、隣接する撮像データの重複部分における画質破綻は回避することができる。しかし、パノラマ合成した重複領域を詳細に観察したとき、明暗差が生じる場合もある。この場合には、重複領域における両方の撮像データが同一明度となるようルックアップテーブルの再補正を次の様に行い、繋ぎ目部分の画質破綻を回避する。
【００９４】
図２１は、隣接する撮像データの重複部分が同一明度となるようにルックアップテーブルを再補正する説明図であり、図２２は、この再補正前後の撮像データを例図する説明図である。
【００９５】
図２２の上段には、撮像データＡと、撮像データＢとが重複領域Ｍで重なっている状態を示している。図１９で説明したルックアップテーブルを用い、図２０に示す様にパノラマ合成することで、撮像データＡ，Ｂ間（他の撮像データＢ，Ｃ間、Ｃ，Ｄ間、Ｄ，Ａ間でも同様であるが、ここでは撮像データＡ，Ｂ間についてのみ説明する。）の繋ぎ目部分の不自然さは緩和されている。
【００９６】
しかし、詳細に観察すると、図２２の上段に示すように、撮像データＡ，Ｂ間に明暗差（撮像データＡの明るい状態を「網掛け無し」で表示、撮像データＢの暗い状態を「網掛け有り」で表示）が生じることがある。
【００９７】
この場合、２枚の撮像データＡ，Ｂの合成端部（重複領域）Ｍにおけるディジット値（輝度の２５６階調のデジタル値）を比較する。そして、合成端部Ｍのディジット値の平均レベルの差が所定ディジット値以上、例えば１０ディジット値以上のとき、トーンカーブの再補正を行う。
【００９８】
図２１は、トーンカーブの再補正を説明する図である。撮像データＡは、ＩＳＯ感度１００のトーンカーブＬ１を用いて明度変換処理を行い、撮像データＢは、ＩＳＯ感度４００のトーンカーブＬ２とを用いて明度変換処理を行ったのであるが、両者間で１０ディジット値以上のレベルが生じているため、図示する例では、トーンカーブＬ１をトーンカーブＬ２方向（矢印Ｊ方向）に移動させてトーンカーブＬ１’とし、同じ位置の画像データの明るさが同じ明るさとなるようにトーンカーブＬ１を再補正する。即ち、合成端部の平均値レベルが一致するように、ルックアップテーブルを補正する。
【００９９】
これにより、図２２の下段の図に示す様に、撮像データＡと撮像データＢとの間の明暗の連続性が確保されたパノラマ画像が得られる。
【０１００】
従来、パノラマ画像合成を行う場合、ｎ枚の撮像データの平均値をとる方法や、平均的な１枚の撮像データを基準として他の撮像データの明度補正を行う方法は既に提案されているが、これらの従来方法は、合成した画像が自然に見えるように合成することを主眼にしているに過ぎず、個々のカメラで撮像した撮像データを有効に利用し、周囲３６０度のパノラマ画像全体の画質向上を図る方法としては不十分であり、白飛び，黒潰れが発生する可能性が高い。
【０１０１】
これに対し、上述した本発明の実施形態に係るパノラマ画像合成方法では、撮影シーンの露光条件に応じて複数の駆動モードの選択が可能なカメラ複数台で全方位の撮像データを取得し、各々のカメラが白飛び，黒潰れの無い画像を撮像し、且つ、ｎ枚の撮像データに対して、明るい方位から暗い方位まで、最大限のダイナミックレンジを確保する様にパノラマ合成するため、全方位の撮像データの画質向上を図ることが可能となる。
【０１０２】
上述した実施形態の図１７において、撮像データＢは多重同時露光駆動モードで撮影された画像であるため、長時間露光用画素と短時間露光用画素との画素加算が行われており、高解像駆動モードの撮像データＡ，Ｃ，Ｄとは画素数が異なる。画素加算駆動モードの場合も、同様に、画素数が高解像駆動モードの撮像データより少なくなる。
【０１０３】
このため、パノラマ合成する場合には、撮像データＡ，Ｃ，Ｄを画素間引きし撮像データＢと同じ大きさに変換してからパノラマ合成するか、撮像データＢを画素補間して撮像データＡ，Ｃ，Ｄと同じ大きさに変換してからパノラマ合成することになる。どちらでも良いが、画素間引きする方が一般的に綺麗な画像となる。
【０１０４】
また、上述した実施形態の全方位撮像装置で静止画像を撮像する例について説明したが、図１３で説明したメカニカルシャッタを常時「開」とし、パルス２１で垂直電荷転送路に読み出された電荷を直ちに高速掃出パルスで掃き出してしまい、タイミングｚで全画素（長時間露光画素及び短時間露光画素）の信号電荷を読み出すことで、高速に多重同時露光による撮像データを得ることができ、高フレームレートで全方位のパノラマ画像を動画像として取得することも可能である。
【０１０５】
更に、上述した実施形態では、全方位撮像装置１００内で図１８で説明したパノラマ画像合成プログラムを実行して画像合成を行ったが、メモリ部３２に格納された撮像データを外部に取りだして、外部のコンピュータでパノラマ画像合成プログラムを実行する構成としてもよいことはいうまでもない。
【０１０６】
以上述べた様に、実施形態による全方位撮像装置及びそのパノラマ画像合成方法は、複数の画素が半導体基板の表面に二次元アレイ状に配列され被写体からの入射光を受光して該被写体の撮像画像信号を出力する固体撮像素子を搭載したカメラ複数台を配列して構成され、周囲３６０度のパノラマ画像を前記複数台のカメラの各々が分担して撮像する全方位撮像装置において、予め用意された複数の駆動モードのうち前記被写体の撮影シーンに応じた駆動モードを前記カメラ毎に選択して該カメラの固体撮像素子を駆動制御し、各々の前記固体撮像素子から出力される撮像画像信号を画像処理した後の各撮像データを前記パノラマ画像として合成することを特徴とする。
【０１０７】
また、実施形態の全方位撮像装置及びそのパノラマ画像合成方法は、前記撮影シーンに応じた駆動モードとして、各画素の検出信号を独立して読み出す高解像駆動モードと、近接する複数の画素の検出信号を加算して出力する画素混合駆動モードと、近接する長時間露光画素と短時間露光画素の各検出信号を加算して出力する多重同時露光駆動モードが予め用意されていることを特徴とする。
【０１０８】
また、実施形態の全方位撮像装置及びそのパノラマ画像合成方法は、撮影シーンに応じて決定されたＩＳＯ感度が所定感度以上のときは前記画素混合駆動モードが選択され、該ＩＳＯ感度が前記所定感度に達していない場合、撮像画像中に白飛びまたは黒潰れが存在するとき前記多重同時露光駆動モードが、撮像画像中に白飛び及び黒潰れが存在しないとき前記高解像駆動モードが夫々選択されることを特徴とする。
【０１０９】
また、実施形態の全方位撮像装置及びそのパノラマ画像合成方法は、前記カメラの各々から出力され前記画像処理された後の各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成することを特徴とする。
【０１１０】
また、実施形態のパノラマ画像合成プログラムは、周囲３６０度のパノラマ画像を複数台のカメラが分担して撮影して得られた複数の撮像データを貼り合わせ前記パノラマ画像を合成するパノラマ画像合成プログラムであって、前記カメラの各々から出力され画像処理された後の前記各撮像データの明度範囲を検出し、各明度範囲の輝度データがレンジオーバーせずに所定の階調範囲内に収まる様に明度変換処理してから該明度変換処理後の各撮像データを貼り合わせ前記パノラマ画像を合成することを特徴とする。
【０１１１】
これにより、実施形態の全方位撮像装置，パノラマ画像合成方法，パノラマ画像合成プログラムによれば、高品質な周囲３６０度のパノラマ画像を高速に得ることが可能となる。
【産業上の利用可能性】
【０１１２】
本発明に係る全方位撮像装置は、全方位を構成する各々の画像データが白飛び，黒潰れの無い、暗いシーンでも高感度撮影（画素混合）された画像データとなるため、高品質なパノラマ画像を得ることが可能となる。しかも、パノラマ合成する際に、合成パノラマ画像のダイナミックレンジが大きくなりしかもレンジオーバーしない様に、各々の画像データの明度範囲を考慮して各画像データの明度範囲を変換処理するため、更に高品質なパノラマ画像を得ることができる。このため、本発明は、全方位撮像装置の普及を図るのに有用である。
【符号の説明】
【０１１３】
１〜１２，６１〜６４  カメラ（撮像部）
５０  固体撮像素子
５１  画素（フォトダイオード）
５２  垂直電荷転送路（ＶＣＣＤ）
５３  水平電荷転送路（ＨＣＣＤ）
５４  出力アンプ
５５  ラインメモリ（ＬＭ）
【図１】
2010283743.tif 000003
【図２】
2010283743.tif 000004
【図３】
2010283743.tif 000005
【図４】
2010283743.tif 000006
【図５】
2010283743.tif 000007
【図６】
2010283743.tif 000008
【図７】
2010283743.tif 000009
【図８】
2010283743.tif 000010
【図９】
2010283743.tif 000011
【図１０】
2010283743.tif 000012
【図１１】
2010283743.tif 000013
【図１２】
2010283743.tif 000014
【図１３】
2010283743.tif 000015
【図１４】
2010283743.tif 000016
【図１５】
2010283743.tif 000017
【図１６】
2010283743.tif 000018
【図１７】
2010283743.tif 000019
【図１８】
2010283743.tif 000020
【図１９】
2010283743.tif 000021
【図２０】
2010283743.tif 000022
【図２１】
2010283743.tif 000023
【図２２】
2010283743.tif 000024