(57)【要約】【課題】  ハイダイナミックレンジ画像を得る際に多くの時間と電力が必要とされていた。【解決手段】  光電変換素子から出力される信号を第一のゲインで増幅することにより第一のゲイン画像を取得し、この第一のゲイン画像に基づいて、光電変換素子から出力される信号を第一のゲインとは異なる第二のゲインで増幅することにより得られる第二のゲイン画像を取得するか否かを判断する。【選択図】  図２
2019220846.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を有する撮像装置の画像処理装置であって、
前記光電変換素子から出力される信号を第一のゲインで増幅することにより第一のゲイン画像を取得する第一の画像取得手段と、
前記第一のゲイン画像に基づいて、前記光電変換素子から出力される信号を前記第一のゲインとは異なる第二のゲインで増幅することにより得られる第二のゲイン画像を取得するか否かを判断する判断手段と、
前記判断手段で前記第二のゲイン画像を取得すると判断された場合、前記第二のゲイン画像を取得する第二の画像取得手段と、
前記第一のゲイン画像、または前記第一のゲイン画像と前記第二のゲイン画像とを合成することにより得られる合成画像を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記第一のゲイン画像の最大輝度値及び最小輝度値の少なくとも一方を用いて前記第二のゲイン画像を取得するか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段は、前記第一のゲイン画像の輝度値のヒストグラムの情報を用いて前記第二のゲイン画像を取得するか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成手段は、前記合成画像のＤレンジを圧縮した後に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
光電変換素子を有する撮像装置の画像処理方法であって、
前記光電変換素子から出力される信号を第一のゲインで増幅することにより第一のゲイン画像を取得する第一の画像取得工程と、
前記第一のゲイン画像に基づいて、前記光電変換素子から出力される信号を前記第一のゲインとは異なる第二のゲインで増幅することにより得られる第二のゲイン画像を取得するか否かを判断する判断工程と、
前記第二のゲイン画像を取得すると判断された場合、前記第二のゲイン画像を取得する第二の画像取得工程と、
前記第一のゲイン画像、または前記第一のゲイン画像と前記第二のゲイン画像とを合成することにより得られる合成画像を出力する出力工程と、
を有することを特徴とする画像処理方法。
【請求項６】
コンピュータを請求項１乃至４のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光電変換素子を有する撮像装置の画像処理装置および画像処理方法、プログラムに関する。
【背景技術】
【０００２】
撮像装置において、Ｓ／Ｎ比の改善は重要である。一般的な撮像装置では、１つの光電変換素子（撮像素子）に対して１つの増幅手段を有し、光電変換素子で生じた電気信号の増幅を行う。これに対し、Ｓ／Ｎ比の改善のため、光電変換素子で生じた電気信号を２つの増幅手段により増幅する撮像装置が知られている（例えば、特許文献１、特許文献２）。このような撮像装置では、増幅した２つの電気信号、または増幅した２つの電気信号をＡＤ（アナログデジタル）変換したデジタル値を輝度に応じて適切に選択し、１枚の画像（ハイダイナミックレンジ画像）を生成することでＳ／Ｎ比を改善する事ができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２９３９７号
【特許文献２】特開ＵＳ２０１０／０１７７２２５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら関連技術（特許文献１，特許文献２）では、電気信号のゲイン（増幅率）は撮影前に予め決められ、被写体の輝度を考慮しない。そのため、例えば被写体のダイナミックレンジが狭く、１つの増幅手段で十分に撮影可能であっても、常に合成処理を行うことにより、不必要な処理がなされ、処理時間、或いは消費電力を無駄に消費してしまう可能性があるという課題があった。
【課題を解決するための手段】
【０００５】
本発明の目的は、不要な処理を避ける画像処理装置、方法、プログラムを提供することである。この目的を達成するため本発明の画像処理装置は、光電変換素子を有する撮像装置の画像処理装置であって、前記光電変換素子から出力される信号を第一のゲインで増幅することにより第一のゲイン画像を取得する第一の画像取得手段と、前記第一のゲイン画像に基づいて、前記光電変換素子から出力される信号を前記第一のゲインとは異なる第二のゲインで増幅することにより得られる第二のゲイン画像を取得するか否かを判断する判断手段と、前記判断手段で前記第二のゲイン画像を取得すると判断された場合、前記第二のゲイン画像を取得する第二の画像取得手段と、前記第一のゲイン画像と前記第二のゲイン画像とを合成することにより合成画像を出力する合成手段と、を有することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体の特性を考慮して不要な処理を低減することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１の画像処理装置の構成を示すブロック図
【図２】実施例１の画像処理装置における処理を示すフローチャート
【図３】実施例１における条件判断方法を説明するための図
【図４】実施例２の画像処理装置の構成を示すブロック図
【図５】実施例２の画像処理装置における処理を示すフローチャート
【発明を実施するための形態】
【０００８】
［実施例１］
まず、本実施例による撮像装置の基本構成について述べる。図１は本実施例に係る撮像装置の構成の一例を示す構成図である。
【０００９】
１０１は、被写体の光学像を画像に変換する撮像部である。１０２は、レンズ、絞りを含む光学系、１０３は、被写体の光学像を信号電荷に変換する光電変換素子（撮像素子）である。１０４は、光電変換素子１０３から出力された信号電荷を信号電圧へ変換するフローティングディフュージョン（ＦＤ）である。１０５、および１０６は、信号電圧を所定のゲイン（第一のゲイン、第二のゲイン）で増幅するプログラマブルゲインアンプ（第一のＰＧＡ、および第二のＰＧＡ）である。１０７および１０８は、第一のＰＧＡ１０５および第二のＰＧＡ１０６で増幅した信号電圧をデジタル値へ変換する第一のＡＤ変換回路、および第二のＡＤ変換回路である。
【００１０】
１０９は、撮影した画像の処理を行うデジタル信号処理回路である。１１０及び１１１は第一のＡＤ変換回路、および第二のＡＤ変換回路から出力された画像データをデジタル信号処理回路１０９に読み込む第一の画像取得部、および第二の画像取得部である。１１２は、第二の画像を取得するか否か、及び画像合成を行うか否かを判断する条件判断部である。１１３は、複数の画像を合成し、ＨＤＲ画像を生成するための画像合成部である。１１５は、撮影した画像データを保存するＳＤカード、ＣＦカード、ＨＤＤ等の記録媒体である。１１４は、信号処理された画像データ（第一の画像、及び／又は第二の画像）を記録媒体１１５に出力する回路である。
【００１１】
なお、ＲＯＭやＲＡＭなどの記録装置に記録されているプログラムをＣＰＵ（不図示）が読み込み実行することにより、撮像部１０１やデジタル信号処理回路１０９の各部は制御される。
【００１２】
図２は、本実施例にて行われる画像処理のフローチャートである。以下、本実施例の実施形態を、図面を用いて詳細に説明する。まず、Ｓ２０１では、撮像部１０１にて第一のゲイン画像を取得する。具体的には、光学系１０２を通った被写体からの光学像が、光電変換素子１０３にて信号電荷に変換され、ＦＤ１０４にて信号電圧に変換される。この信号電圧が、第一のＰＧＡ１０５にて、予め設定された第一のゲインにて増幅される。さらに、第一のＡＤ変換回路１０７にてデジタル値に変換された後、第一の画像取得部１１０より、デジタル信号処理回路１０９に読み込まれる。Ｓ２０２では、条件判断部１１２にて、Ｓ２０１にて取得した第一のゲイン画像を解析し、条件判断に用いる特徴量を算出する。Ｓ２０３では、条件判断部１１２にて、第二のゲイン画像が必要か否かを判断する（詳細は後述）。このとき、第二のゲイン画像が必要であると判断された場合には、Ｓ２０４に進み、そうでない場合には、Ｓ２０６に進む。Ｓ２０４では、Ｓ２０１と同様に、第一のゲインとは異なる第二のゲインにて増幅された第二のゲイン画像を取得する。Ｓ２０５では、画像合成部１１３にて、Ｓ２０１にて取得した第一のゲイン画像と、Ｓ２０４にて取得した第二のゲイン画像を合成し、ＨＤＲ画像を生成する。Ｓ２０６では、Ｓ２０５にて合成したＨＤＲ画像、あるいは、Ｓ２０１にて取得した第一のゲイン画像を記録回路１１４より出力し、記録媒体１１５に記録する。
【００１３】
＜条件判断＞
ここではＳ２０２にて行う特徴量の算出、および、Ｓ２０３にて行う条件判断方法について詳細に述べる。図３（ａ）に、異なるゲインで取得した画像の被写体輝度と、画素値との関係の一例を示す。折れ線３０１は、第一のゲイン画像の、被写体輝度と画素値との関係、直線３０２は、第二のゲイン画像の、被写体輝度と画素値との関係である。ここで、第一のゲイン画像が飽和する輝度３０３（最大輝度値）よりも暗い輝度領域においては、第二のゲイン画像に比べ、第一のゲイン画像の方がＳ／Ｎ比が高いため、第一のゲイン画像の画素値を出力画素値とする。一方、３０３よりも明るい輝度領域においては、第一のゲイン画像は飽和してしまい、情報が失われてしまっているため、第二のゲイン画像の画素値を出力画素値とする。ただし、第一のゲイン画像と、第二のゲイン画像は、異なるゲイン値により増幅されているため、最終出力画像は、これらのゲイン比を補正するため、一方の画素値は、他方の画像とのゲイン比を乗じて出力することにより、ゲインの相違を補正する。
【００１４】
ここで、被写体の輝度分布を考えた場合、たとえば、第一のゲイン画像のヒストグラムが図３（ｂ）に示すような分布であったとする。このとき、画像中に飽和画素は存在しないため、第二のゲイン画像を用いて合成画像を生成しても、出力画像に画素飽和改善の効果が見られない。そこで、第二のゲイン画像は必要ないと判断する。一方、図３（ｃ）に示すヒストグラムを有する場合、第一のゲイン画像のみでは、飽和画素が多く存在し、白飛びが発生してしまうのに対し、第二のゲイン画像を用いて画像合成を行うことにより、白飛びのない画像を生成可能である。そこで、第二のゲイン画像が必要であると判断する。
【００１５】
このように、第一のゲイン画像の最大画素値を特徴量とし、それが飽和しているか否かで、第二のゲイン画像が必要か否かを判断することができる。仮に飽和していないとなれば、第二のゲイン画像を取得するための第二のＰＧＡ１０６や第二のＡＤ変換回路での処理が不要となり、処理時間、処理負荷（消費電力）等の削減が可能となる。
【００１６】
ただし、判断条件は前記、最大輝度の画素値に限定されるものではない。例えば、ヒストグラムの高輝度側の１％等、任意の割合の画素値が飽和しているか否かを判断条件にしても良い。すなわち、第二のゲイン画像を用いることにより、画像合成の効果が得られるか否かを判断できる条件であれば、その詳細を限定するものではない。
【００１７】
＜第一のゲイン、および第二のゲインの設定＞
実施例１においては、第一のゲイン（ｇ１）と、第二のゲイン（ｇ２）との大小関係はｇ１＞ｇ２となる前提で説明した。すなわち、第一のゲインの方が大きいため、第二のゲイン画像に比べ、Ｓ／Ｎが良くなるものの、より低輝度で画素飽和が発生する。
【００１８】
これに対し、ゲインの大小関係が逆になるように設定しても良い。すなわち、ｇ１＜ｇ２となる条件を設定する場合を考える。この時、第一のゲイン画像は、第二のゲイン画像に比べ、Ｓ／Ｎが低下するものの、飽和しない輝度領域がより高輝度まで拡張する。
【００１９】
この時、第一のゲイン画像において、最小輝度値を特徴量として、例えば、大小輝度値が予め設定した値よりも小さい場合に第二のゲイン画像を用いて画像合成するようにする。そうすることにより、被写体に低輝度領域が含まれ、第一のゲイン画像のみではＳ／Ｎ特性が良好でない場合にのみ、第二のゲイン画像を用い、Ｓ／Ｎの改善を行うことが可能となる。
【００２０】
＜出力画像のＤレンジ圧縮＞
Ｓ２０５にて生成される合成画像は、第一のゲイン画像に比べ、Ｄレンジの広い画像となる。ここで、画像記録媒体に記録するための記録形式が、十分多くのビット数を有していない場合がある。そこで、前記、画像合成処理を行った後に、一般的に知られているような、Ｄレンジ圧縮処理、所謂トーンマッピング処理を行い、トーンマッピング処理後の画像データを記録媒体に記録するようにしても良い。
【００２１】
以上、実施例１によれば、異なる増幅率で撮像可能な撮像素子において、複数の増幅率（ゲイン）により増幅された画像の合成を行うか否かを判定することにより、必要性の高くない処理を低減し、効率的な処理を行うことができる。これにより処理に要する消費電力の低減、処理時間の短縮などを実現できる。
【００２２】
［実施例２］
実施例１では、第一のゲイン画像を解析し、その特徴量を用いて第二のゲイン画像を用いた画像合成を行うか否かを判断する方法について述べた。それに対し、実施例２では、ユーザが明示的に、第二のゲイン画像を用いた画像合成を行うか否かを指定する方法について説明する。
【００２３】
実施例２における画像処理装置のブロック図を図４に示す。ただし、撮像部１０１から、記録媒体１１５までは、実施例１における同一符号の構成要素と同一の機能を有するため、説明を省略する。４０１は、カメラ本体の設定ボタン等、ユーザがＨＤＲ合成処理を行うか否かを設定するためのユーザインターフェースである。
【００２４】
ここで図５は、第二の実施例にて行われる画像処理のフローチャートである。以下、本発明に係る実施例２の実施形態を、図面を用いて詳細に説明する。まず、Ｓ５０１では、撮像部１０１にて、第一のゲイン画像を取得する。具体的には、光学系１０２を通った被写体からの光学像が、光電変換素子１０３にて信号電荷に変換され、ＦＤ１０４にて信号電圧に変換される。この信号電圧が、第一のＰＧＡ１０５にて、予め設定されたゲインにて増幅される。さらに、第一のＡＤ変換回路１０７にてデジタル値に変換された後、第一に画像取得部１１０より、デジタル信号処理回路１０９に読み込まれる。Ｓ５０２では、条件判断部１１２にて、ユーザが、設定入力部４１６を介してＨＤＲ撮影をするように設定を行ったか否かを判断する。このとき、ＨＤＲ撮影を行う設定を行った場合には、Ｓ５０３に進み、そうでない場合には、Ｓ５０５に進む。Ｓ５０３では、Ｓ５０１と同様に、第二のゲイン画像を取得する。Ｓ５０４では、画像合成部１１３にて、Ｓ５０１にて取得した第一のゲイン画像と、Ｓ５０３にて取得した第二のゲイン画像を合成し、ＨＤＲ画像を生成する。Ｓ５０５では、Ｓ５０４にて合成したＨＤＲ画像、あるいは、Ｓ５０１にて取得した第一のゲイン画像を記録回路１１４より出力し、記録媒体１１５に記録する。
【００２５】
以上、説明された実施例２により、ユーザが明示的にＨＤＲ合成処理を行うか否かを指定することにより、ユーザが望まない状態でのＨＤＲ合成処理により、処理時間や電力を無駄に消費することを抑制することが可能となる。
【００２６】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
【００２７】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００２８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述された実施形態の機能を実現することになり、そのプログラムコードを記憶された記憶媒体は本発明を構成することになる。
【００２９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることが出来る。
【００３０】
また、コンピュータが読み出されたプログラムコードを実行することにより、前述された実施形態の機能が実現される場合に限定されるものではない。すなわち、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部を行い、その処理によって前述された実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形式でも良い。そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述された実施形態の機能が実現される場合も含まれることは言うまでもない。
【図１】
2019220846.tif 000003
【図２】
2019220846.tif 000004
【図３】
2019220846.tif 000005
【図４】
2019220846.tif 000006
【図５】
2019220846.tif 000007