(57)【要約】      （修正有）【課題】撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行する画像処理装置を提供する。【解決手段】撮像素子から出力された画素信号を記憶する記憶部１２１と、記憶部に記憶されている画素信号に対する信号処理を行う信号処理部１３３と、信号処理部による信号処理の完了前に同一のフレームにおける画素信号に対する検波処理を完了させる検波部１３１と、を備える。【選択図】図５
2017188760.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力された画素信号を記憶する記憶部と、
前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、
前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、
を備える、画像処理装置。
【請求項２】
前記信号処理部は、前記検波部での検波処理が完了してから同一のフレームにおける前記画素信号に対する信号処理を開始する、請求項１に記載の画像処理装置。
【請求項３】
前記検波部での検波処理の結果を解析する解析部をさらに備える、請求項１に記載の画像処理装置。
【請求項４】
前記解析部は、解析の結果に応じて前記記憶部に記憶されている前記画素信号に対する、前記信号処理部の信号処理を制御する、請求項３に記載の画像処理装置。
【請求項５】
前記解析部は、解析の結果から所定の条件を満たした場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、請求項４に記載の画像処理装置。
【請求項６】
前記解析部は、前記所定の条件として解析の結果から前記画素信号の中に動体を検出した場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、請求項５に記載の画像処理装置。
【請求項７】
前記検波部での検波処理と、前記信号処理部での信号処理とは、１フレーム内で時分割的に行われる、請求項１に記載の画像処理装置。
【請求項８】
前記信号処理部が実行する前記画素信号に対する信号処理は、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理の少なくともいずれか１つである、請求項１に記載の画像処理装置。
【請求項９】
第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記撮像素子が少なくとも形成され、
前記第２半導体基板には、前記記憶部が少なくとも形成され、
前記第３半導体基板には、前記信号処理部及び前記検波部が少なくとも形成されている、請求項１に記載の画像処理装置。
【請求項１０】
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、請求項９に記載の画像処理装置。
【請求項１１】
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、請求項９に記載の画像処理装置。
【請求項１２】
撮像素子から出力された画素信号に対する検波処理を実行することと、
前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を含む、画像処理方法。
【請求項１３】
コンピュータに、
撮像素子から出力された画素信号に対する検波処理を実行することと、
前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を実行させる、コンピュータプログラム。
【請求項１４】
請求項１に記載の画像処理装置を備える、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、コンピュータプログラム及び電子機器に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子が出力する画素信号を検波することで、撮像素子が出力する画素信号に対する信号処理へフィードバックを掛ける技術が開示されている（例えば特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−６９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが求められる。
【０００５】
そこで、本開示では、撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、撮像素子から出力された画素信号を記憶する記憶部と、前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、を備える、画像処理装置が提供される。
【０００７】
また本開示によれば、撮像素子から出力された画素信号に対する検波処理を実行することと、前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、を含む、画像処理方法が提供される。
【０００８】
また本開示によれば、コンピュータに、撮像素子から出力された画素信号に対する検波処理を実行することと、前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、を実行させる、コンピュータプログラムが提供される。
【０００９】
また本開示によれば、上記画像処理装置を備える、電子機器が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、撮像素子が出力する信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが可能な、新規かつ改良された画像処理装置、画像処理方法、コンピュータプログラム及び電子機器を提供することが出来る。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。
【図２】信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とを説明する説明図である。
【図３】本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。
【図４】撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。
【図５】同実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。
【図６】同実施の形態に係る画像処理部１２の機能構成例を示す説明図である。
【図７】同実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。
【図８】同実施の形態に係るセンサモジュール１００による効果を説明するための説明図である。
【図９】同実施の形態に係るセンサモジュール１００による効果を説明するための説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．概要
１．２．撮像装置の機能構成例
１．３．センサモジュールの構成例
１．４．動作例
２．まとめ
【００１５】
＜１．本開示の実施の形態＞
［１．１．概要］
本開示の実施の形態について詳細に説明する前に、まず本開示の実施の形態の概要について説明する。
【００１６】
上述したように、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの撮像素子が出力する画素信号を検波することで、撮像素子が出力する画素信号に対する信号処理へフィードバックを掛ける技術がある。
【００１７】
撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する信号の検波とをイメージセンサの内部で実行する場合を考える。まず、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合を考えることにする。
【００１８】
撮像素子が出力する画素信号に対し、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合、信号処理が施された後の信号と、検波結果とがそれぞれ独立してイメージセンサから出力されることになる。画素信号に対する信号処理には、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などがある。また画素信号に対する検波処理には、例えば、ピークや平均値などの統計情報の算出、動き量の算出、フリッカの検出、顔検出などがある。
【００１９】
イメージセンサの後段に設けられるプロセッサ（アプリケーションプロセッサ）は、信号処理が施された後の信号と、検波結果とを、それぞれイメージセンサから取得する。そしてプロセッサは、検波結果の解析を行って、イメージセンサやプロセッサにおける、画素信号に対する信号処理へフィードバックを掛ける。例えばプロセッサは、統計情報に基づいて信号処理の内容を変化させたり、顔の検出の有無に応じて信号処理の内容を変化させたりするといったフィードバック制御を実行することができる。
【００２０】
このように撮像素子が出力する画素信号に対し、信号処理と検波処理とをイメージセンサの内部で実行することで、画素信号に対する信号処理へのフィードバック制御が可能になる。その一方で、信号処理と検波処理とをイメージセンサの内部で並列に実行すると、１フレームごとの検波結果の生成速度は、イメージセンサの内部の信号処理帯域や、プロセッサのインターフェース帯域、信号処理帯域によりイメージセンサの内部処理の速度に律速してしまう。すなわち、信号処理と検波処理とをイメージセンサの内部で並列に実行すると、信号処理と検波処理とを同時に動かさなければならず、１枚の画像の読み出しが完了するまで、その画像の検波データは完成しないので、検波の完了までに時間が掛かる。
【００２１】
図１は、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図１には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。信号処理と検波処理とをイメージセンサの内部で並列に実行すると、信号処理と検波処理とが同時に完了することになる。言い換えれば、全ての垂直ラインに対する信号処理が完了するまで検波処理を完了させることができない。従って図１に示したように、垂直ラインに対する信号処理が完了して画像データが出来た後に検波情報が出来上がることになる。これは、フレームｆ１の検波情報は、フレームｆ１の画像データではなくフレームｆ２以降の画像データに対してしか活用出来ないことを意味している。
【００２２】
信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とについてより詳細に説明する。図２は、信号処理と検波処理とをイメージセンサの内部で並列に実行する場合の、信号処理と検波処理とを説明する説明図である。
【００２３】
例えば図２に示したように、１枚の画像データを破線のように水平方向及び垂直方向に分割して、破線で囲まれたエリアを単位として検波処理を実行する場合を考える。この場合では、画面の最も左上のエリアから検波処理が開始され、水平方向及び垂直方向に検波処理が行われ、最終的に右下のエリアの検波処理が完了した時点で、１枚の画像データについての検波処理が終わることになる。すなわち、１枚の画像データが全て揃わないと、その画像の検波データも揃わないことになる。
【００２４】
撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来れば、様々な効果が期待できる。
【００２５】
そこで本件開示者は、上述した内容に鑑みて、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る技術を考案するに至った。
【００２６】
以上、本開示の実施の形態の概要について説明した。
【００２７】
［１．２．機能構成例］
続いて、本開示の実施の形態に係る電子機器の機能構成例について説明する。図３は、本開示の実施の形態に係る電子機器１０の機能構成例を示す説明図である。以下、図３を用いて本開示の実施の形態に係る電子機器１０の機能構成例について説明する。
【００２８】
図３に示したように、本開示の実施の形態に係る電子機器１０は、撮像部１１と、画像処理部１２と、表示部１３と、制御部１４と、記憶部１５と、操作部１６と、を含んで構成される。
【００２９】
撮像部１１は、レンズや、センサモジュール等を含んで構成され、レンズを通じてセンサモジュールの受光面に結像される像に応じて、所定期間電子を蓄積する。撮像部１１は、その蓄積された電子に応じた信号に対して所定の信号処理を行う。そして撮像部１１は、信号処理を行った後の信号を画像処理部１２に出力する。なお、撮像部１１に含まれるセンサモジュールの構成については後に詳述する。
【００３０】
撮像部１１は、上記所定の信号処理として、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
【００３１】
画像処理部１２は、例えばアプリケーションプロセッサ（ＡＰ）で構成され、撮像部１１から出力される信号を用いて画像処理を実行する。画像処理部１２が実行する画像処理には、例えば撮像部１１から出力される信号を用いたデモザイク処理、デモザイク処理後の画像の表示部１３への表示処理や、記憶部１５への記憶処理などがある。
【００３２】
表示部１３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどで構成される表示デバイスである。表示部１３は、制御部１４によって表示内容が制御される。例えば、表示部１３は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を、制御部１４の制御に基づいて表示する。
【００３３】
制御部１４は、例えばＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＯＭ、ＲＡＭなどで構成され、電子機器１０の各部の動作を制御する。
【００３４】
記憶部１５は、例えばフラッシュメモリその他の不揮発性メモリなどの記憶媒体で構成される。記憶部１５は、撮像部１１によって撮像されて、画像処理部１２によって画像処理が行われた画像を記憶する。記憶部１５が記憶した画像は、電子機器１０のユーザの操作に応じて表示部１３に表示されうる。
【００３５】
操作部１６は、電子機器１０の操作のためのデバイスであり、例えばボタンやタッチパネルなどで構成される。操作部１６がタッチパネルを含む場合、タッチパネルは表示部１３の表示面に設けられる。電子機器１０のユーザは、撮像部１１が撮像する画像を電子機器１０に記録したい場合には、操作部１６の所定のボタンを操作することでシャッタトリガを発生させる。撮像部１１や画像処理部１２は、シャッタトリガの発生を検知すると、そのシャッタトリガの発生に応じて画像を電子機器１０に記録するための処理を実行する。
【００３６】
図３に示した電子機器１０は、特定の機器に限定されるものでは無く、例えばデジタルカメラ、スマートフォン、タブレット型携帯端末、携帯型音楽再生装置、ゲーム機などの様々な形態をとりうる。
【００３７】
以上、本開示の実施の形態に係る電子機器１０の機能構成例について説明した。続いて、本開示の実施の形態に係る電子機器１０の、撮像部１１に含まれるイメージセンサの構成例について説明する。
【００３８】
［１．３．センサモジュールの構成例］
図４は、撮像部１１に含まれるセンサモジュール１００の構成例を示す説明図である。本開示の実施の形態に係るセンサモジュール１００は、本開示の画像処理装置の一例で有り、図４に示したように、３つの基盤が積層されて構成されている。本開示の実施の形態に係るセンサモジュール１００は、画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成を有する。
【００３９】
画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子を有する基板である。各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。画素基板１１０が出力する画素信号は、メモリ基板１２０に蓄えられ、また信号処理基板１３０において信号処理が施される。なお、画素基板１１０は、アナログ信号をデジタル信号に変換するＡＤ変換器を備える。すなわち画素基板１１０が出力する画素信号はデジタル信号である。
【００４０】
メモリ基板１２０は、画素基板１１０が出力する画素信号を一時的に蓄えるＤＲＡＭ（Dynamic Random Access Memory）などのメモリを有する基板である。メモリ基板１２０は、複数フレーム、例えば、信号処理基板１３０において電子式手振れ補正方式による手振れ補正処理を実行することが出来るだけのフレームの画素信号を一時的に蓄えることができる容量を有する。メモリ基板１２０に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
【００４１】
信号処理基板１３０は、メモリ基板１２０に蓄えられた画素信号に対する各種信号処理を実行する。信号処理基板１３０が実行する信号処理は、メモリ基板１２０に蓄えられた画素信号に対する画質に関する信号処理であり、例えば、電子式手振れ補正方式による手振れ補正処理、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理などの信号処理を実行しうる。
【００４２】
なお、図４にはセンサモジュール１００が画素基板１１０と、メモリ基板１２０と、信号処理基板１３０と、の順に積層された構成の図を示したが、本開示は係る例に限定されない。例えば、センサモジュール１００が画素基板１１０と、信号処理基板１３０と、メモリ基板１２０と、の順に積層された構成を有していても良い。
【００４３】
以上、図４を用いてセンサモジュール１００の構成例について説明した。続いて、センサモジュール１００の機能構成例について説明する。
【００４４】
図５は、本開示の実施の形態に係るセンサモジュール１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明する。
【００４５】
画素基板１１０は、単位画素がアレイ状に形成された画素領域からなる撮像素子１１１と、所定のクロック信号やタイミング信号を撮像素子１１１に供給する制御部１１２と、を備える。制御部１１２からの信号に応じて撮像素子１１１が出力する画素信号は信号処理基板１３０に一旦送られた後に、メモリ基板１２０に送られる。
【００４６】
メモリ基板１２０は、ＤＲＡＭ（Dynamic Random Access Memory）などで構成される画像記憶部１２１を有する。画像記憶部１２１は、撮像素子１１１が出力する画素信号を一時的に蓄える。画像記憶部１２１は、複数フレームの画素信号を一時的に蓄えることができる容量を有する。画像記憶部１２１に蓄えられた画素信号は、信号処理基板１３０からの読出し命令に基づいて読み出される。
【００４７】
信号処理基板１３０は、検波部１３１と、解析部１３２と、信号処理部１３３と、を含んで構成される。
【００４８】
検波部１３１は、撮像素子１１１が出力する画素信号に対する検波処理をフレーム毎に実行する。検波部１３１は、検波処理として、例えばピークや平均値などの統計情報の算出、動き量の算出、フリッカの検出、顔検出などを実行する。検波部１３１は、画素信号に対する検波処理を実行すると、フレーム毎に検波情報を後段の画像処理部１２に出力するとともに、解析部１３２に出力する。
【００４９】
解析部１３２は、検波部１３１からフレーム毎に、または数フレームおきに、または不定期に検波情報を取得して、検波情報の解析を行う。解析部１３２は、例えば、検波情報を解析して、そのフレーム、またはそのフレーム以後の画素信号に対する信号処理の制御を信号処理部１３３に対して行う。
【００５０】
より具体的には、解析部１３２は、例えば検波情報から画像の動き量を検出し、その動き量に基づいて電子式手振れ補正方式による手振れ補正処理や、複数枚の画像を重ね合わせることでノイズを除去する処理の際の画像の切り出し位置の制御を信号処理部１３３に対して行っても良い。
【００５１】
また解析部１３２は、例えば検波情報からフリッカの存在を検出すると、そのフリッカを低減させる処理を行うよう信号処理部１３３に指示しても良い。
【００５２】
また解析部１３２は、例えば検波情報から所定の物体、例えば顔、人体、車両その他の動体などの存在を検出するまでは、画像信号の出力を行わないようにして、所定の物体の存在を検出すると、当該フレームから、また当該フレームから所定時間遡って画像信号を出力するよう信号処理部１３３に指示しても良い。
【００５３】
また解析部１３２は、検波情報に基づいて制御部１１２の動作を制御しても良い。解析部１３２は、例えば検波情報から画像の露出を検出し、制御部１１２に対して露光時間を調整する制御を行っても良い。また解析部１３２は、検波情報に基づいてフォーカスレンズの位置を調整する制御を行っても良い。解析部１３２は、例えば検波情報から位相差情報などを検出し、フォーカスレンズの位置を調整することで像高位置を調整する制御を行っても良い。
【００５４】
信号処理部１３３は、画像記憶部１２１に記憶されている画素信号に対する信号処理を実行する。信号処理部１３３は、画素信号に対する信号処理として、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理、電子式手振れ補正方式による手振れ補正処理、フリッカ軽減処理などを実行する。信号処理部１３３は、画素信号に対する信号処理を実行する際に、解析部１３２からの制御によって上述の信号処理を実行しうる。そして信号処理部１３３は、画像記憶部１２１に記憶されている画素信号に対する信号処理を実行すると、処理後の信号を画像信号として画像処理部１２に出力する。
【００５５】
本開示の実施の形態に係るセンサモジュール１００は、係る構成を有することで、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、先に検波処理を完了させることで、同一のフレームにおける信号処理に、同じフレームの画素信号の検波結果を適用することができる。
【００５６】
以上、図５を用いて本開示の実施の形態に係るセンサモジュール１００の機能構成例について説明した。続いて、本開示の実施の形態に係る画像処理部１２の機能構成例について説明する。
【００５７】
図６は、本開示の実施の形態に係る画像処理部１２の機能構成例を示す説明図である。以下、図６を用いて本開示の実施の形態に係る画像処理部１２の機能構成例について説明する。
【００５８】
図６に示したように、本開示の実施の形態に係る画像処理部１２は、解析部２０１と、信号処理部２０２と、バッファ部２０３と、を含んで構成される。
【００５９】
解析部２０１は、センサモジュール１００からフレーム毎に検波情報を取得し、その検波情報の解析処理を実行する。解析部２０１は、例えば、検波情報を解析して、そのフレーム、またはそのフレーム以後の画素信号に対する信号処理の制御を信号処理部１３３に対して行う。
【００６０】
信号処理部２０２は、センサモジュール１００からフレーム毎に画像信号を取得し、取得した画像信号に対する信号処理を実行する。信号処理部２０２は、画素信号に対する信号処理として、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理、電子式手振れ補正方式による手振れ補正処理、フリッカ軽減処理などを実行する。信号処理部２０２は、画素信号に対する信号処理を実行する際に、解析部２０１からの制御によって上述の信号処理を実行しうる。そして信号処理部２０２は、画像信号に対する信号処理を実行すると、処理後の信号をバッファ部２０３に一時的に記憶させたり、表示部１３に表示させたりする。
【００６１】
バッファ部２０３は、ＲＡＭなどで構成され、信号処理部２０２によって信号処理が施された画像信号を一時的に記憶する。
【００６２】
以上、図６を用いて本開示の実施の形態に係る画像処理部１２の機能構成例について説明した。
【００６３】
［１．４．動作例］
続いて、本開示の実施の形態に係るセンサモジュール１００の動作例を説明する。図７は、本開示の実施の形態に係るセンサモジュール１００の動作例を示す流れ図である。図７に示したのは、撮像素子１１１が出力する画素信号に対して検波処理及び信号処理を内部で実行する際の、センサモジュール１００の動作例である。以下、図７を用いて本開示の実施の形態に係るセンサモジュール１００の動作例について説明する。
【００６４】
センサモジュール１００は、撮像素子１１１が出力する画素信号に対し、フレーム毎に検波処理を実行する（ステップＳ１０１）。ステップＳ１０１の検波処理は、例えば検波部１３１が実行する。センサモジュール１００は、このステップＳ１０１の検波処理を、フレーム毎の画素信号に対する信号処理が完了する前に完了させる。
【００６５】
上記ステップＳ１０１で、画素信号に対し、フレーム毎に検波処理を実行すると、続いてセンサモジュール１００は、その検波結果を解析する（ステップＳ１０２）。ステップＳ１０２の解析処理は、例えば解析部１３２が実行する。センサモジュール１００は、このステップＳ１０２の解析処理を、毎フレーム実行しても良く、数フレーム毎に実行しても良く、数フレーム分まとめて実行しても良い。
【００６６】
上記ステップＳ１０２で、検波結果を解析すると、続いてセンサモジュール１００は、解析結果に基づいて、画素信号に対する信号処理を実行する（ステップＳ１０３）。ステップＳ１０３の信号処理は、例えば信号処理部１３３が、画像記憶部１２１に記憶されている画素信号に対して実行する。
【００６７】
本開示の実施の形態に係るセンサモジュール１００は、係る動作を実行することで、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とをイメージセンサの内部で実行する場合に、検波処理を高速に実行することが出来る。すなわち、本開示の実施の形態に係るセンサモジュール１００は、先に検波処理を完了させることで、同一のフレームにおける信号処理に、同じフレームの画素信号の検波結果を適用することができる。
【００６８】
本開示の実施の形態に係るセンサモジュール１００による効果を説明する。図８は、本開示の実施の形態に係るセンサモジュール１００による効果を説明するための図であり、本開示の実施の形態に係るセンサモジュール１００が信号処理と検波処理とを内部で独立的に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図８には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。
【００６９】
図１に示したように、イメージセンサの内部で信号処理と検波処理とを並列に動作させると、画像データが出力された後に検波情報が出力されるので、次のフレーム以降についての検波情報を用いた画像処理は可能になるが、同じフレームについて検波情報を用いた画像処理は非常に困難である。
【００７０】
これに対して、本開示の実施の形態に係るセンサモジュール１００は、図８に示したように、信号処理より先に検波処理が完了するので、同じフレームについて検波情報を用いた画像処理が可能となる。従って本開示の実施の形態に係るセンサモジュール１００は、リアルタイム性のある画像処理を実現することが出来る。また本開示の実施の形態に係るセンサモジュール１００は、後段の画像処理部１２を用いることなく、センサモジュール１００の内部で簡易的にフィードバック制御が実現できるので、画像処理部１２での処理負担を軽減させることが出来る。
【００７１】
図９は、本開示の実施の形態に係るセンサモジュール１００による効果を説明するための図であり、本開示の実施の形態に係るセンサモジュール１００が信号処理と検波処理とを内部で独立的に実行する場合の、信号処理と検波処理との処理時間を説明するための説明図である。図９には、２つのフレームｆ１、ｆ２での信号処理と検波処理との処理時間について示している。
【００７２】
本開示の実施の形態に係るセンサモジュール１００は、画素信号を画像記憶部１２１に一度溜め込んでいる。従って、本開示の実施の形態に係るセンサモジュール１００は、検波情報を基に、溜め込んだ画素信号が必要かどうかを、センサモジュール１００や画像処理部１２が判断することが出来る。
【００７３】
また、本開示の実施の形態に係るセンサモジュール１００は、図９に示すように、各フレームの信号処理の期間において繰り返し検波処理を実行することもできる。撮像素子１１１からの画素信号の出力フレームレートと、センサモジュール１００からの画像信号の出力フレームレートとは異なりうる。例えば、センサモジュール１００からの画像信号の出力フレームレートが３０ｆｐｓで、撮像素子１１１からの画素信号の出力フレームレートが１２０ｆｐｓ、または２４０ｆｐｓという場合がありうる。従って、３０ｆｐｓで検波するよりも、これより早い１２０ｆｐｓ、または２４０ｆｐｓで検波すると、例えばフレーム間の動きの量が少なくなるので、検波処理の処理量を軽くすることができる。
【００７４】
そして、本開示の実施の形態に係るセンサモジュール１００や、センサモジュール１００の後段の画像処理部１２は、検波情報に基づいて、画像記憶部１２１に溜め込んだ画素信号に対する信号処理の有無を信号処理部１３３に指示することが出来る。例えば、解析部１３２、または解析部２０１は、検波情報を解析し、所定の条件を満たしていれば画像記憶部１２１に溜め込んだ画素信号に対する信号処理を行うよう、信号処理部１３３に指示することが出来る。なお、解析部１３２、または解析部２０１は、所定の条件を満たしたフレームからではなく、数フレーム遡ったところから信号処理を行うよう、信号処理部１３３に指示してもよい。
【００７５】
このように、本開示の実施の形態に係るセンサモジュール１００は、検波処理だけを動作させることで、画像処理を行わずに画素信号に対する検波処理が可能になる。すなわち、本開示の実施の形態に係るセンサモジュール１００は、省電力での画像のセンシングを可能にする。
【００７６】
検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、自動露出処理、オートフォーカス処理、オートホワイトバランス処理に検波情報を用いることで、これらの処理の高速化を実現できる。
【００７７】
例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて露光時間を制御しても良い。解析部１３２は、例えば検波情報から画像の露出を検出し、制御部１１２に対して露光時間を調整する制御を行っても良い。また例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいてフォーカスレンズの位置を調整する制御を行っても良い。解析部１３２は、例えば検波情報から位相差情報などを検出し、フォーカスレンズの位置を調整することで像高位置を調整する制御を行っても良い。
【００７８】
また例えば、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいてガンマカーブの調整を行っても良い。本開示の実施の形態に係るセンサモジュール１００は、内部で検波情報を解析して色温度情報を検出し、その色温度情報に基づいて、画像処理の際のガンマカーブの調整を行っても良い。
【００７９】
検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて電子式手振れ補正方式による手振れ補正処理を制御できる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フレーム間の動き量を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフレーム間の動き量に基づいて、画素信号を切り出す範囲をフレーム毎に迅速に決定することが出来る、
【００８０】
検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、検波情報に基づいて複数の画像の合成によるノイズ低減処理を制御できる。複数の画像の合成によるノイズ低減処理では、位置を合わせて画像を合成する必要がある。従って、フレーム間の動き量の情報が速やかに合成処理に反映できれば、シャッタタイミングから合成処理の完了までの処理時間の短縮に繋がる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フレーム間の動き量を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフレーム間の動き量に基づいて複数の画像を合成することで、ャッタタイミングから合成処理の完了までの処理時間を短縮させることが出来る。
【００８１】
検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、撮像される動画像にフリッカが含まれる場合、検波情報に基づいて速やかにフリッカを低減させる処理を実行できる。本開示の実施の形態に係るセンサモジュール１００は、検波情報を解析して、フリッカの存在を検出する。そして本開示の実施の形態に係るセンサモジュール１００は、検波情報の解析により得られたフリッカの存在に基づいてフリッカを打ち消すような信号処理を画素信号に対して行う。これにより本開示の実施の形態に係るセンサモジュール１００は、検波情報を内部で検波することでフリッカの低減を速やかに実行することが出来る。
【００８２】
検波処理と信号処理とを独立して動作させる、本開示の実施の形態に係るセンサモジュール１００は、撮像される画像に動体が写っていなければ画像信号を画像処理部１２に出力せず、撮像される画像に動体が写っていることが検波情報の解析から得られれば、その動体の認識に応じて画像信号を画像処理部１２に出力してもよい。なお、本開示の実施の形態に係るセンサモジュール１００は、動体の認識時点から画像信号を画像処理部１２に出力してもよく、動体の認識時点から数フレーム遡った時点からの画像信号を画像処理部１２に出力してもよい。
【００８３】
また本開示の実施の形態に係るセンサモジュール１００は、撮像される画像が他にも所定の条件を満たしていた場合に限り、画像信号を画像処理部１２に出力してもよい。例えば、センサモジュール１００は、撮像される画像に人間の笑顔が含まれていなければ画像信号を画像処理部１２に出力せず、撮像される画像に人間の笑顔が含まれていれば画像信号を画像処理部１２に出力してもよい。この場合も、センサモジュール１００は、笑顔の認識時点から画像信号を画像処理部１２に出力してもよく、笑顔の認識時点から数フレーム遡った時点からの画像信号を画像処理部１２に出力してもよい。
【００８４】
＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを内部で実行する場合に、検波処理を高速に実行することが出来るセンサモジュール１００が提供される。
【００８５】
本開示の実施の形態に係るセンサモジュール１００は、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを内部で実行する際、信号処理の開始前に検波処理が完了するよう動作する。センサモジュール１００は、信号処理の開始前に検波処理が完了するよう動作することで、検波情報を用いて、その検波情報と同一のフレームの画素信号に対する信号処理を制御することが出来る。
【００８６】
本開示の実施の形態に係るセンサモジュール１００は、撮像素子が出力する画素信号に対する信号処理と、撮像素子が出力する画素信号の検波とを独立して動作させる。本開示の実施の形態に係るセンサモジュール１００は、信号処理と検波処理とを独立して動作させることで、検波情報が所定の条件を満たすまでは検波処理だけを動作させ、検波情報が所定の条件を満たすと検波処理に加えて信号処理を動作させることができる。すなわち本開示の実施の形態に係るセンサモジュール１００は、省電力で検波処理だけを動作させることが可能となる。
【００８７】
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００８８】
また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
【００８９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９０】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００９１】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像素子から出力された画素信号を記憶する記憶部と、
前記記憶部に記憶されている前記画素信号に対する信号処理を行う信号処理部と、
前記信号処理部による信号処理の完了前に同一のフレームにおける前記画素信号に対する検波処理を完了させる検波部と、
を備える、画像処理装置。
（２）
前記信号処理部は、前記検波部での検波処理が完了してから同一のフレームにおける前記画素信号に対する信号処理を開始する、前記（１）に記載の画像処理装置。
（３）
前記検波部での検波処理の結果を解析する解析部をさらに備える、前記（１）または（２）に記載の画像処理装置。
（４）
前記解析部は、解析の結果に応じて前記記憶部に記憶されている前記画素信号に対する、前記信号処理部の信号処理を制御する、前記（３）に記載の画像処理装置。
（５）
前記解析部は、解析の結果から所定の条件を満たした場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、前記（４）に記載の画像処理装置。
（６）
前記解析部は、前記所定の条件として解析の結果から前記画素信号の中に動体を検出した場合に、前記信号処理部で信号処理を実行するよう前記信号処理部の信号処理を制御する、前記（５）に記載の画像処理装置。
（７）
前記検波部での検波処理と、前記信号処理部での信号処理とは、１フレーム内で時分割的に行われる、前記（１）〜（６）のいずれかに記載の画像処理装置。
（８）
前記信号処理部が実行する前記画素信号に対する信号処理は、自動ホワイトバランス処理、自動露出処理、歪補正処理、欠陥補正処理、ノイズ低減処理、ハイダイナミックレンジ合成処理の少なくともいずれか１つである、前記（１）〜（７）のいずれかに記載の画像処理装置。
（９）
第１半導体基板、第２半導体基板、第３半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１半導体基板には、前記撮像素子が少なくとも形成され、
前記第２半導体基板には、前記記憶部が少なくとも形成され、
前記第３半導体基板には、前記信号処理部及び前記検波部が少なくとも形成されている、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０）
前記第２半導体基板が、前記第１半導体基板と前記第３半導体基板との間に設けられる、前記（９）に記載の画像処理装置。
（１１）
前記第３半導体基板が、前記第１半導体基板と前記第２半導体基板との間に設けられる、前記（９）に記載の画像処理装置。
（１２）
撮像素子から出力された画素信号に対する検波処理を実行することと、
前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を含む、画像処理方法。
（１３）
コンピュータに、
撮像素子から出力された画素信号に対する検波処理を実行することと、
前記検波処理が完了した後に同一のフレームにおける前記画素信号に対する信号処理が完了するように該信号処理を実行することと、
を実行させる、コンピュータプログラム。
（１４）
前記（１）〜（１１）に記載の画像処理装置を備える、電子機器。
【符号の説明】
【００９２】
１０    電子機器
１００    センサモジュール
【図１】
2017188760.tif 000003
【図２】
2017188760.tif 000004
【図３】
2017188760.tif 000005
【図４】
2017188760.tif 000006
【図５】
2017188760.tif 000007
【図６】
2017188760.tif 000008
【図７】
2017188760.tif 000009
【図８】
2017188760.tif 000010
【図９】
2017188760.tif 000011