(57)【要約】【課題】  輝度が急激に変化する被写体に対してパノラマ撮像を行うときに合成画像の明るさが大きく変化しない現像方法が必要である。【解決手段】  撮像装置は、複数の画像を撮像する撮像手段と、前記複数の画像のうち、隣り合う画像の間の輝度の差に基づいて、該画像にグラデーション状のゲインをかける調整手段と、前記調整手段が前記グラデーション状のゲインをかけた後の前記画像に対して合成を行い、合成画像を生成する合成手段と、を有する。【選択図】  図２
2020120194.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を撮像する撮像手段と、
前記複数の画像のうち、隣り合う画像の間の輝度の差に基づいて、該画像にグラデーション状のゲインをかける調整手段と、
前記調整手段が前記グラデーション状のゲインをかけた後の前記画像に対して合成を行い、合成画像を生成する合成手段と、を有することを特徴とする撮像装置。
【請求項２】
前記撮像手段が、パンニングしながら前記複数の画像を撮像することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段が、前記グラデーション状のゲインをかけた後の前記画像の部分を、前記合成画像の対応する部分に用いることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記調整手段が、前記画像の位置と一次関数の関係をもつ前記グラデーション状のゲインをかけることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項５】
前記調整手段は、前記隣り合う画像の間の輝度の差に基づいて、前記グラデーション状のゲインをかけることにより、前記合成画像において該隣り合う画像が対応する部分のつながりが滑らかになることを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
【請求項６】
前記合成手段が、前記合成において、アルファブレンディングを行うことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
【請求項７】
複数の画像を撮像する撮像ステップと、
前記複数の画像のうち、隣り合う画像の間の輝度の差に基づいて、該画像にグラデーション状のゲインをかける調整ステップと、
前記調整ステップにおいて前記グラデーション状のゲインをかけた後の前記画像に対して合成を行い、合成画像を生成する合成ステップと、を有することを特徴とする撮像方法。
【請求項８】
撮像装置のコンピュータに動作させるコンピュータのプログラムであって、
複数の画像を撮像する撮像ステップと、
前記複数の画像のうち、隣り合う画像の間の輝度の差に基づいて、該画像にグラデーション状のゲインをかける調整ステップと、
前記調整ステップにおいて前記グラデーション状のゲインをかけた後の前記画像に対して合成を行い、合成画像を生成する合成ステップと、を行わせることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ撮像を行い、パノラマ画像を生成する撮像装置に関するものであり、特にパノラマ画像における輝度の段差を低減するための撮像装置に関するものである。
【背景技術】
【０００２】
特許文献１などでは、デジタルカメラなどの撮像装置をパンニングしながら複数の画像を撮像し、撮像した画像を繋ぎ合わせてパノラマ画像を生成する方法が開示されている。
【０００３】
この際、露出を固定にし、パノラマ撮像を行うと、合成画像上の輝度ムラが発生しないようにしている。ただし、被写体によってはパノラマ写真の開始点と終了点では明るさが大きく変動している場合では、露出を追従させて撮像を行う。
【０００４】
しかし、露出を追従させて撮像する場合、隣り合う２枚間の画像に輝度差ができてしまい、合成したパノラマ画像において、輝度段差ができてしまう課題がある。
【０００５】
このような課題に対して、特許文献２には、露出の異なる画像を複数枚撮像し、全体が適正露出になるように輝度を調整してパノラマ画像を合成する方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２８７６４号公報
【特許文献２】特開２０１４−２３００１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２の方法では、最終的に合成に用いられない画像を大量に撮像する必要があり、かつ、リアルタイムに合成を行うことができない。
【０００８】
本発明は、上記の課題を鑑みてなされたものであり、パノラマ撮像を行うとき、撮像画像に対してグラデーション状のゲインをかけるために、パノラマ画像における輝度段差を低減する。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本願発明は、複数の画像を撮像する撮像手段と、前記複数の画像のうち、隣り合う画像の間の輝度の差に基づいて、該画像にグラデーション状のゲインをかける調整手段と、前記調整手段が前記グラデーション状のゲインをかけた後の前記画像に対して合成を行い、合成画像を生成する合成手段と、を有する撮像装置を提供する。
【発明の効果】
【００１０】
本発明の構成によれば、明るさの大きく変動しているシーンにおいても、無駄な撮像を行わずに、輝度段差の少ないパノラマ画像を作成する撮像装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。
【図２】本発明の実施形態における合成画像の生成について説明するためのフローチャートである。
【図３】本発明の実施形態におけるグラデーションゲインを説明するための図である。
【図４】本発明の実施形態におけるグラデーションゲインをかけない合成画像を説明するための図である。
【図５】本発明の実施形態における円筒状における移動量の推定を説明するための図である。
【発明を実施するための形態】
【００１２】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１３】
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。
【００１４】
デジタルカメラ１００は、静止画を撮像することおよび画像の合成が可能なものである。なお、デジタルカメラ１００を、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器で置き換えてもよい。光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。
【００１５】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、デジタルカメラ１００を構成する各部を制御することで、デジタルカメラ１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、後述する画像処理部１０５で利用されたり、記録媒体１０６へ記録されたりもする。二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、デジタルカメラ１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
【００１６】
画像処理部１０５は、記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングおよびＪＰＥＧなどの規格で圧縮処理など、様々な画像処理を行う。また、画像処理部１０５は、ＣＰＵ１０３に内蔵されるようにしてもよい。
【００１７】
記録媒体１０６は、一次記憶装置１０４に記憶されている撮像により得られた画像のデータなどを記録する。なお、記録媒体１０６は、例えば半導体メモリカードのようにデジタルカメラ１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、デジタルカメラ１００は、記録媒体１０６の着脱機構および読み書き機能を有する。表示部１０８は、撮像時のビューファインダー画像の表示、撮像した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。
【００１８】
センサー１１０は、デジタルカメラ１００自体の移動情報を取得する。例えば、ジャイロや加速度センサーといった入力機器が挙げられる。ＣＰＵ１０３で演算することにより、デジタルカメラ１００自体の移動量や角速度の取得が可能である。
【００１９】
なお、本実施形態のデジタルカメラ１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮像モードに応じた色調の調整なども行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。
【００２０】
図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。
【００２１】
ステップＳ２０１で、撮像素子１０２が１枚目の画像の撮像を行う。ステップＳ２０１での撮像は、一般的に、適正露出となる露出の設定で行われる。
【００２２】
ステップＳ２０２で、画像処理部１０５は、ステップＳ２０１で撮像素子１０２が撮像した画像の現像を行う。
【００２３】
ステップＳ２０３で、撮像素子１０２は、ｎ枚目の画像を撮像する。変数ｎは、ステップＳ２０１で１の値を与えられ、ステップＳ２０５でインクリメントする。
【００２４】
ステップＳ２０４では、画像処理部１０５は、隣り合う２枚の画像（ｎ枚目とｎ＋１枚目）にゲインをかけ、２枚の画像の輝度レベルが同じになるように、露出合わせを行う。ステップＳ２０４での露出合わせは、後述する位置合わせのためのものである。露出合わせを行われないと、後述するベクトルの探索の精度が悪くなる可能性がある。
【００２５】
ステップＳ２０５で、ＣＰＵ１０３は、隣り合う２枚の画像（ステップＳ２０４で露出合わせが行われたｎ枚目とｎ＋１枚目）に対して位置合わせを行う。まず、ＣＰＵ１０３は、露出合わせの後のｎ枚目とｎ＋１枚目との画像の位置のずれ量を算出する。まず、ＣＰＵ１０３は、ｎ枚目の画像に、複数のブロックを設定する。各々のブロックのサイズが同じになるように設定するのは好ましい。次に、ＣＰＵ１０３は、ｎ＋１枚の画像の、ｎ枚目の画像のそれぞれのブロックと同じ位置に、ｎ枚目の画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、ＣＰＵ１０３は、ｎ＋１枚目の画像のそれぞれの探索範囲に、ｎ枚目の画像のブロックとの輝度の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。ＣＰＵ１０３は、基準画像のブロックの中心と前述した対応点から、前述した位置のずれをベクトルとして算出する。ＣＰＵ１０３は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。
【００２６】
つぎに、ＣＰＵ１０３は、前述したずれ量から変換係数を算出する。変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。
【００２７】
最後に、ＣＰＵ１０３は、ｎ＋１枚目の画像に対して変形を行う。
【００２８】
たとえば、ＣＰＵ１０３は、（式１）に示した式を用いて変形を行うことができる。
【００２９】
【数１】
2020120194.tif 000003
【００３０】
（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列Ａは変形係数を示す。
【００３１】
以上のような処理を経て、ＣＰＵ１０３は、ｎ枚目とｎ＋１枚目との画像に対して位置合わせを行うことができる。
【００３２】
ステップＳ２０６で、画像処理部１０５は、ステップＳ２０６で撮像素子１０２が撮像した画像の現像に用いるグラデーションゲインを算出する。ステップＳ２０７で、画像処理部１０５は、ステップＳ２０６で算出したグラデーションゲインを用いてステップＳ２０３で撮像素子１０２が撮像した画像の現像を行う。
【００３３】
図３は、本実施形態におけるグラデーションゲインを説明するための図である。図３（ａ）は、パノラマ撮像で輝度の異なる３枚の撮像画像の輝度と位置との関係を示している。図３（ａ）のような露出の異なる画像を繋げようとした場合、つなぎ目で輝度差が発生してしまうために、合成画像上に輝度段差が生じてしまう。そこで、図３（ｂ）のように、ＣＰＵ１０３がステップＳ２０４で推定した画像における移動量に基づいて合成位置（ｎとｎ＋１枚目の間）を決め、ｎ＋１枚目の画像に対してグラデーション状のゲインをかけて合成することによって、合成位置（ｎとｎ＋１枚目の間）においての輝度を揃えることができる。同様のことをｎ＋２枚目で行うことにより、合成位置（ｎ＋１とｎ＋２枚目の間）でも輝度を揃えることができる。また、図３（ｃ）のように、画像における移動量（ｎとｎ＋１枚目の間）を使用して、合成予定位置（ｎ＋１とｎ＋２枚目の間）を割り出し、その手前までのグラデーションゲインをかける方法もある。ｎ＋２枚目のグラデーションゲインのカーブと合成位置（ｎ＋１とｎ＋２枚目の間）を調整することによって、図３（ｂ）に示したものよりも滑らかに画像を繋ぐことができる。図３におけるグラデーション状のゲインは一次関数を示すが、上記は方法を限定しておらず、輝度段差を軽減するためにグラデーションゲインをかける方法であれば方法は問わない。なお、輝度の急激な変化を防ぐため、グラデーションゲインを意味する直線の傾きを一定の上限を設けてもよい。
【００３４】
図４は、本実施形態におけるグラデーションゲインをかけない合成画像を説明するための図である。図４（ａ）は、図３（ａ）に示したような複数の露出が異なる画像を、ゲインの調整をせずに合成する画像を示す。図４（ａ）は、合成画像に輝度段差ができてしまうことを示している。一方で、図４（ｂ）は、露出を固定にしたままで撮像した複数の画像を合成する画像を示す。図４（ｂ）に示した画像では、画像には大きな輝度差ができてしまうことが分かり、画像の左端が明るすぎて、右端が暗すぎて、観察者がよく見えない。
【００３５】
ステップＳ２０８で、ＣＰＵ１０３は、撮像を終了するかどうかについて判断する。ここでの判断基準は、予め定められた撮像枚数に達したか、合成画像の幅に達したか、設定した位置に達したか、記録媒体１０６の容量の上限あるいは設定した容量に達したか、などのいずれである。撮像を終了する場合、ステップＳ２１２に進み、撮像を終了しない場合、ステップＳ２０３に戻る。
【００３６】
ステップＳ２０９で、画像処理部１０５は、撮像された画像を合成し、パノラマ画像を生成する。合成処理では、画像処理部１０５が、画像間の重畳した部分では、グラデーションゲインをかけた部分を優先的に合成画像に使用する。たとえば、図３（ｂ）のような画像を用いて合成画像を作成するとき、ｎとｎ＋１枚目の画像の合成位置からｎ枚目画像の右端までの部分を合成するとき、グラデーションゲインをかけたｎ＋１枚目の部分を使って合成画像の対応する部分を作成する。
【００３７】
合成を行うためには、画像間の位置合わせが必要であるが、ステップＳ２０５で検出した変形係数を用いてもよく、改めて変形係数を算出してもよい。
【００３８】
なお、ステップＳ２０９での画像の合成において、画像間の露出差が広い場合、ＣＰＵ１０３が、アルファブレンディングを行うときにより、合成した画像の明るさの変化をより滑らかにすることができる。
【００３９】
また、前述した変形係数の情報は、センサー１１０が取得した角速度などから推定することができる。一例として、画像合成を円筒上に張り付けて合成する場合が挙げられる。
【００４０】
図５は、本実施形態における円筒状における移動量の推定を説明するための図である。回転角をθ、焦点距離をｒ、センサーサイズをｄ、とし、合成予定位置を２枚間の合成可能領域の中心とした場合で説明する。この場合、１枚目の画像中心から合成予定位置における角度をφとすると、φ＝θ／２となる。さらに、合成予定位置への画像移動量は、２＊ｒ＊ｔａｎφ  ＝  ２＊ｒ＊ｔａｎ（θ／２）となるため、センサー１１０により回転角を取得できれば、変形係数を推定することができる。
【００４１】
本実施形態によれば、パノラマ撮像を行うときに、明るさの大きく変わる被写体に対して、大量な撮像をせずに、輝度が大きく変更しない合成画像を作成することができることができる。
【００４２】
（その他の実施形態）
なお、上記実施形態においては、個人向けのデジタルカメラをもとに説明を行ったが、深度合成の機能を搭載していれば、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに適用することも可能である。または、前述した処理の一部を、携帯機器やスマートフォン、あるいは、サーバーに接続されたネットワークカメラなどに行わせてもよい。
【００４３】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４４】
１００  デジタルカメラ
１０１  光学系
１０２  撮像素子
１０３  中央演算装置（ＣＰＵ）
１０４  一次記憶装置
１０５  画像処理部
１０６  記録媒体
１０７  二次記憶装置
１０８  表示部
１０９  操作部
１１０  センサー
【図１】
2020120194.tif 000004
【図２】
2020120194.tif 000005
【図３】
2020120194.tif 000006
【図４】
2020120194.tif 000007
【図５】
2020120194.tif 000008