(57)【要約】【課題】黒レベルのずれをより好適な態様で補正する。【解決手段】受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、を備える、信号処理装置。【選択図】図６
2018006785.tif 000002
【特許請求の範囲】
【請求項１】
受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、
を備える、信号処理装置。
【請求項２】
前記受光面は、前記有効画素が配列された有効画素領域と、外部からの入射光が遮蔽された画素が配列されたオプティカルブラック領域とを含み、
前記補正部は、前記オフセット量である第１のオフセット量と、前記オプティカルブラック領域に含まれる前記画素の前記出力値に基づく第２のオフセット量と、に基づき、前記有効画素の前記出力値を補正する、請求項１に記載の信号処理装置。
【請求項３】
前記補正部は、
前記有効画素の前記出力値を、前記第２のオフセット量に基づき補正し、
当該補正後の当該出力値を、前記第１のオフセット量に基づき補正する、
請求項２に記載の信号処理装置。
【請求項４】
前記補正部は、
前記出力値が前記閾値以下の前記有効画素が所定数以上の場合に、前記第１のオフセット量に基づき前記出力値を補正し、
前記出力値が前記閾値以下の前記有効画素が所定数未満の場合に、前記第２のオフセット量に基づき前記出力値を補正する、
請求項２に記載の信号処理装置。
【請求項５】
前記調整部は、
前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
当該有効画素の前記出力値と、前記信頼度と、に基づき、前記オフセット量を調整する、
請求項１に記載の信号処理装置。
【請求項６】
前記調整部は、前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
前記補正部は、
前記信頼度が第１の所定値以下の場合には、前記第２のオフセット量に基づき前記出力値を補正し、
前記信頼度が前記第１の所定値よりも高い第２の所定値以上の場合には、前記第１のオフセット量に基づき前記出力値を補正し、
前記信頼度が前記第１の所定値より高く前記第２の所定値よりも低い場合には、前記第１のオフセット量及び前記第２のオフセット量に基づき前記出力値を補正する、
請求項２に記載の信号処理装置。
【請求項７】
前記複数の有効画素それぞれの前記出力値をフレームごとに保持する保持部を備え、
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値に基づき調整し、
前記補正部は、フレームごとに前記保持部に保持された前記出力値を、当該フレームに対応する前記オフセット量に基づき補正する、
請求項１に記載の信号処理装置。
【請求項８】
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値に基づき調整し、
前記補正部は、フレームごとに調整された前記オフセット量に基づき、当該フレームよりも後のフレームで出力された前記出力値を補正する、
請求項１に記載の信号処理装置。
【請求項９】
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値と、当該フレームよりも前のフレームで調整された前記オフセット量と、に基づき調整する、請求項１に記載の信号処理装置。
【請求項１０】
前記調整部は、
フレームごとに、前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
前記信頼度が第１の所定値以下の場合には、当該信頼度を算出した第１のフレームよりも前の第２のフレームに対応する前記オフセット量を、当該第１のフレームに対応する前記オフセット量として決定し、
前記信頼度が前記第１の所定値よりも高い第２の所定値以上の場合には、前記第１のフレームで出力された前記出力値に基づく前記オフセット量を、当該第１のフレームに対応する前記オフセット量として決定し、
前記信頼度が前記第１の所定値よりも高く、前記第２の所定値よりも低い場合には、前記第１のフレームで出力された前記出力値に基づく前記オフセット量と、前記第２のフレームに対応する前記オフセット量とに基づき、当該第１のフレームに対応する前記オフセット量を調整する、
請求項９に記載の信号処理装置。
【請求項１１】
前記調整部は、前記複数の有効画素それぞれの前記出力値に基づく映像が非表示となる期間中に、前記オフセット量を調整する、請求項１に記載の信号処理装置。
【請求項１２】
前記調整部は、前記受光面中の複数の部分領域ごとに、当該部分領域に含まれる前記有効画素の前記出力値に基づき、前記オフセット量を調整し、
前記補正部は、前記部分領域ごとに調整された前記オフセット量に基づき、当該部分領域に含まれる前記有効画素の前記出力値を補正する、
請求項１に記載の信号処理装置。
【請求項１３】
前記調整部は、複数の前記部分領域のうちの第１の部分領域に対応する前記オフセット量を、前記第１の部分領域の近傍に位置する第２の部分領域に対応する前記オフセット量に基づき調整する、請求項１２に記載の信号処理装置。
【請求項１４】
複数の有効画素を含む受光面と、
前記受光面の少なくとも一部の領域に含まれる前記有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、
を含む、撮像装置。
【請求項１５】
複数の半導体基板が積層された積層構造を成し
前記受光面と、前記調整部及び前記補正部のうち少なくともいずれかとして動作する回路と、が互いに異なる前記半導体基板に形成される、
請求項１４に記載の撮像装置。
【請求項１６】
前記受光面と、前記調整部及び前記補正部のうち少なくともいずれかとして動作する回路と、が共通の半導体基板に形成される、請求項１４に記載の撮像装置。
【請求項１７】
プロセッサが、
受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整することと、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正することと、
を含む、信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、撮像装置、及び信号処理方法に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）等のイメージセンサ（撮像素子）を用いて得られる画像信号を補正するための処理の一例として、当該画像信号における黒レベルのずれを補正する所謂クランプ処理がある。例えば、特許文献１には、メタル等により遮光された所謂ＯＰＢ（Optical  Black）領域に設けられた画素から読み出される画像信号に基づき黒レベルを検出し、有効画素領域内の画素から読み出される画像信号を補正するクランプ処理の一例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５６８６２６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、近年では、イメージセンサのさらなる高感度化が求められている。このような、高感度化を実現するための仕組みの一例として、イメージセンサから出力された画像信号に対して、後段の処理においてデジタルゲインをかけることで、当該高感度化を実現する方法がある。一方で、画像信号に対してデジタルゲインを適用する場合には、ノイズの影響もより大きくなる傾向にある。そのため、黒レベルの検出結果に誤差が生じると、クランプ処理により画像信号の黒レベルを補正したとしても、当該デジタルゲインの適用に伴い、黒レベルの検出結果の誤差が、黒ズレ（例えば、黒浮きや黒沈み）等の現象として画像中に顕在化する場合がある。
【０００５】
そこで、本開示では、黒レベルのずれをより好適な態様で補正することが可能な、信号処理装置、撮像装置、及び信号処理方法について提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、を備える、信号処理装置が提供される。
【０００７】
また、本開示によれば、複数の有効画素を含む受光面と、前記受光面の少なくとも一部の領域に含まれる前記有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、を含む、撮像装置が提供される。
【０００８】
また、本開示によれば、プロセッサが、受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整することと、前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正することと、を含む、信号処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、黒レベルのずれをより好適な態様で補正することが可能な、信号処理装置、撮像装置、及び信号処理方法が提供される。
【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係るカメラモジュールの概略的な構成の一例について説明するための説明図である。
【図２】イメージセンサの概略的な構成の一例について説明するための説明図である。
【図３】同実施形態に係る撮像素子の概要について説明するための説明図である。
【図４】同実施形態に係る信号処理部の機能構成の一例について示したブロック図である。
【図５】同実施形態に係る第２クランプ処理部の機能構成の一例を示したブロック図である。
【図６】同実施形態に係る第２クランプ処理部の詳細な構成の一例を示したブロック図である。
【図７】黒画素判定の概要について説明するための説明図である。
【図８】黒レベルの検出結果に関する信頼度の算出方法の一例について説明するための説明図である。
【図９】同実施形態におけるクランプ処理の一例について説明するための説明図である。
【図１０】同実施形態に係る撮像装置の機能構成の一例を示したブロック図である。
【図１１】同実施形態に係るカメラモジュールにおける検出部の処理の流れの一例を示したフローチャートである。
【図１２】同実施形態に係るカメラモジュールにおける調整部の処理の流れの一例を示したフローチャートである。
【図１３】変形例２に係るカメラモジュールにおける第２クランプ処理部の構成の一例について説明するための説明図である。
【図１４】変形例２に係るカメラモジュールにおける第２クランプ処理部の構成の一例について説明するための説明図である。
【図１５】変形例３に係るカメラモジュールにおけるイメージセンサの構成の一例について説明するための説明図である。
【図１６】変形例３に係るカメラモジュールにおけるイメージセンサの構成の一例について説明するための説明図である。
【図１７】変形例３に係るカメラモジュールにおけるイメージセンサの構成の一例について説明するための説明図である。
【図１８】変形例３に係るカメラモジュールの概要について説明するための説明図である。
【図１９】変形例３に係るカメラモジュールの概要について説明するための説明図である。
【図２０】変形例３に係るカメラモジュールの概要について説明するための説明図である。
【図２１】本開示の一実施形態に係る撮像装置を実現するための情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
【図２２】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２３】図２２に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図
【図２４】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２５】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．概要
１．１．概略構成
１．２．クランプ処理に関する検討
２．機能構成
２．１．信号処理部の機能構成
２．２．撮像装置の機能構成
３．処理
４．変形例
４．１．変形例１：信号処理部の構成例
４．２．変形例２：第２クランプ処理部の構成例
４．３．変形例３：イメージセンサの構成例
４．４．変形例４：クランプ処理の制御例
５．ハードウェア構成
６．応用例
６．１．医療への応用例
６．２．移動体への応用例
７．むすび
【００１４】
＜＜１．概要＞＞
＜１．１．概略構成＞
まず、図１を参照して、本開示の一実施形態に係るカメラモジュールの概略的な構成の一例について、特に、撮像結果を画像信号として出力する部分の構成に着目して説明する。図１は、本開示の一実施形態に係るカメラモジュールの概略的な構成の一例について説明するための説明図である。
【００１５】
図１において、参照符号１００は、本実施形態に係るカメラモジュール１に設けられたイメージセンサを模式的に示している。イメージセンサ１００は、例えば、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）イメージセンサやＣＣＤ（Charge  Coupled  Device）イメージセンサ等のように、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。イメージセンサ１００は、複数の画素が行列（アレイ）状に配置された画素アレイ部１０１を含んで構成される。なお、画素アレイ部１０１が設けられた領域が、イメージセンサ１００の受光面に相当する。また、一般的には、イメージセンサ１００は、画素アレイ部１０１以外の回路も含むが、図１に示す例では、説明をわかりやすくするために、当該画素アレイ部１０１以外の回路の図示を省略している。
【００１６】
また、参照符号２００は、画素アレイ部１０１の各画素からの画素信号に基づき供給される画像信号に対して、信号処理（画像処理）を施す信号処理ＬＳＩ（Large  Scale  Integration）を模式的に示している。当該信号処理としては、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびＹＣ変換等が挙げられる。信号処理部２１０は、信号処理ＬＳＩ２００により実現される画像処理機能を模式的に示している。なお、信号処理ＬＳＩ２００は、画像処理以外の他の機能を実行するための構成を含んでもよいが、図１に示す例では、説明をわかりやすくするために、信号処理部２１０以外の構成の図示を省略している。
【００１７】
即ち、図１に示すように、本実施形態に係るカメラモジュール１では、イメージセンサ１００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を示す画像信号を生成する。そして、イメージセンサ１００は、生成した画像信号をストリームとして、信号処理ＬＳＩ２００の信号処理部２１０に出力する。
【００１８】
信号処理ＬＳＩ２００は、イメージセンサ１００からストリームとして出力された画像信号を取得し、取得した画像信号に対して信号処理を施し、信号処理後の画像信号を、例えば、図視しない表示部に画像（例えば、スルー画等）として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。また、信号処理ＬＳＩ２００は、信号処理後の画像信号を、例えば、図視しない記憶部に画像データとして記憶させてもよい。
【００１９】
以上、図１を参照して、本開示の一実施形態に係るカメラモジュールの概略的な構成の一例について、特に、撮像結果を画像信号として出力する部分の構成に着目して説明した。
【００２０】
＜１．２．クランプ処理に関する検討＞
続いて、所謂クランプ処理と呼ばれる、黒レベルを補正するための処理の概要について説明したうえで、本開示の一実施形態に係るカメラモジュールの課題について整理する。
【００２１】
一般的にイメージセンサでは、シリコン基板上に作り込まれたフォトダイオードに対して光が照射されることにより、光エネルギーによって励起されたシリコン内部の電子を、画像信号として読み出している。このような特性から、フォトダイオードに対して光が入力されていない状態においては、当該フォトダイオードから読み出される画像信号の信号レベルは０となっていることが望ましい。なお、フォトダイオードに対して光が入力されていない状態において、当該フォトダイオードから読み出される画像信号の信号レベルが「黒レベル」に相当する。
【００２２】
しかしながら、フォトダイオードに入射する光を完全に遮光した場合においても、当該フォトダイオードから読み出される信号が０にならない場合がある。具体的な一例として、暗電流や読み出しノイズの影響により、フォトダイオードから読み出される信号が０とならない場合がある。この暗電流や読み出しノイズは、例えば、温度や電源の状態に応じて刻々と変化するため、あらかじめ測定しておくことが困難である。
【００２３】
このような状況を鑑み、イメージセンサでは、開口した領域（以降では、「有効画素領域」とも称する）の近傍に、メタル等により遮光されたＯＰＢ（Optical  Black）領域と呼ばれる領域が設けられている場合がある。
【００２４】
例えば、図２は、イメージセンサの概略的な構成の一例について説明するための説明図である。例えば、図２に示す例では、右側の図に示すように、イメージセンサ１００の画素アレイ部１０１には、有効画素領域と、ＯＰＢ領域とが設けられている。なお、図２の右側の図において、ハッチングが施された部分が、フォトダイオード（即ち、画素）が設けられた部分を示している。例えば、参照符号１０１ａは、有効画素領域に設けられたフォトダイオード群（即ち、画素群）を模式的に示している。また、参照符号１０１ｂは、ＯＰＢ領域に設けられたフォトダイオード群を模式的に示している。なお、有効画素領域に設けられたフォトダイオードそれぞれから読み出された画素信号に基づく画像信号が、画像の撮像結果として出力されることとなる。
【００２５】
上記のようにＯＰＢ領域を設けることで、例えば、当該ＯＰＢ領域に設けられたフォトダイオードから出力される画素信号のレベルを測定することにより、光が入射していない状態における暗電流や読み出しノイズの影響を含んだ信号のレベル（オフセット量）を認識することが可能となる。即ち、有効画素領域中のフォトダイオードから読み出された画像信号に対して、ＯＢＰ領域中のフォトダイオードから出力される画素信号のレベルの測定値（即ち、オフセット量）を減算することで、理想的には黒レベルを０に補正することが可能となる。このように、画像信号の黒レベルを０に補正するための処理が、クランプ処理とも称される。
【００２６】
ここで、比較例として、クランプ処理の一例について概要を説明する。比較例に係るクランプ処理では、有効画素領域中のフォトダイオードから画像信号を読み出す前に、ＯＰＢ領域中のフォトダイオードから信号が読み出され、当該ＯＰＢ領域中のフォトダイオードから読み出された信号の平均値に基づき黒レベルが検出される。その後、有効画素領域中のフォトダイオードから画像信号が読み出され、当該画像信号に対して、黒レベルの検出結果が反映されるようにクランプ処理が行われる。このとき、例えば、有効画素領域中のフォトダイオードから読み出された画像信号に対して、当該画像信号と同じフレームのタイミングでＯＰＢ領域中のフォトダイオードから読み出された信号に基づき算出されたオフセット量が適用されてもよい。このような制御により、アナログゲインの変更時等のように、オフセット量が急峻に変化する場合においても、フレーム遅延なくクランプ処理を施すことが可能となる。
【００２７】
一方で、イメージセンサのサイズ（即ち、チップサイズ）の制約から、ＯＰＢ領域の広さが制限される傾向にあり、多くても数ライン分程度が設けられるに留まる。即ち、ＯＰＢ領域中のフォトダイオードの数は制限されており、ＯＰＢ領域中のフォトダイオード間でオフセット量（換言すると、黒レベルの検出結果）の平均をとったとしても、ノイズの影響を完全に除去することは困難であり、結果としてオフセット量の算出結果がフレームごとにばらつく場合がある。
【００２８】
例えば、図３は、黒レベルの検出結果の一例について説明するための説明図であり、ＯＰＢ領域中のフォトダイオードから読み出される画像信号のフレームごとの変化を模式的に示している。図３において、横軸はフレーム数を示しており、縦軸はフォトダイオードから読み出される画像信号のレベル（以降では、「画素値」とも称する）を示している。なお、図３に示す例では、ＯＰＢ領域中のフォトダイオードによる黒レベルの検出結果の、当該ＯＰＢ領域中のフォトダイオード間における平均値の変化を示すグラフを、ＯＰＢ領域に対応するデータとして示している。また、図３に示す例では、参考として、有効画素領域中のフォトダイオードによる黒レベルの検出結果（即ち、当該フォトダイオードに光が入射しない場合の画素値）の、当該有効画素領域中のフォトダイオード間における平均値の変化を示すグラフを、有効画素に対応するデータとして示している。
【００２９】
図３に示すように、有効画素領域に対応するデータは、有効画素領域の範囲が比較的広く、当該有効画素領域中のフォトダイオードの数も比較的多いため、ノイズの影響が除去され、フレーム間のばらつきが少ない。これに対して、ＯＰＢ領域に対応するデータは、ＯＰＢ領域の範囲が有効画素領域に比べて狭く、当該ＯＰＢ領域中のフォトダイオードの数も比較的少ないため、ノイズの影響が除去しきれずに、結果として、フレーム間でばらつきが生じている。このように、フレーム間において黒レベルの検出結果にばらつきが生じている状況下でクランプ処理が施されると、例えば、当該ばらつきが、画像に明滅やゆらぎを生じさせる原因ともなり得る。
【００３０】
これに対して、黒レベルの変化（ばらつき）の検出に対して不感帯を設け、閾値を超えない黒レベルの変化を無視することで、フレーム間でクランプ処理に適用されるオフセット量を安定させ、黒レベルのばらつきにより生じ得る影響を緩和する場合がある。しかしながら、不感帯が設けられることで、閾値を超えないオフセット量の変化（即ち、黒レベルの変化）が無視されることとなるため、黒レベルの検出結果と、実際の黒レベルとの間に誤差が生じる場合がある。
【００３１】
また、ＯＰＢ領域中のフォトダイオードから画像信号が読み出されるタイミングと、有効画素領域中のフォトダイオードから画像信号が読み出されるタイミングとは、厳密には異なる。そのため、例えば、この異なるタイミング間において、電源電圧の変化や、ロジック回路からの電源ノイズの変化等のような状況の変化が生じる場合も想定される。このような場合には、ＯＰＢ領域中のフォトダイオードからの画像信号に基づくオフセット量は、必ずしも、有効画素領域中のフォトダイオードから画像信号が読み出されるタイミングにおける黒レベルを補正するためのオフセット量と一致するとは限らない。
【００３２】
従来は、上述したオフセット量のずれが１ＬＳＢ（Least  Significant  Bit）未満であり、当該オフセット量のずれの影響が画像上に顕在化する恐れが無く、無視することが可能であった。しかしながら、近年では、暗いシーンをより明るく撮像するために、イメージセンサよりも後段に位置する画像処理（信号処理）において高いデジタルゲインをかける場合がある。このような場合には、上述したオフセット量のずれが、デジタルゲインがかけられることで倍化されて１ＬＳＢ以上のずれとなり、結果として、画像上に黒浮き（黒ズレ）等の現象として顕在化する場合がある。
【００３３】
以上のような状況を鑑み、本開示の一実施形態に係るカメラモジュールでは、黒レベルのずれをより好適な態様で補正することが可能な仕組みについて提案する。以降では、本開示の一実施形態に係るカメラモジュールや、当該カメラモジュールを適用した撮像装置についてより詳しく説明する。
【００３４】
＜＜２．機能構成＞＞
本開示の一実施形態に係るカメラモジュールの機能構成の一例について説明する。
【００３５】
＜２．１．信号処理部の機能構成＞
まず、図１を参照して説明した本開示の一実施形態に係るカメラモジュール１のうち信号処理部２１０の構成について、特に、画像信号に対してクランプ処理を施す部分に着目して説明する。
【００３６】
例えば、図４は、本実施形態に係る信号処理部の機能構成の一例について示したブロック図である。図４に示すように、信号処理部２１０は、第１クランプ処理部２２０と、第２クランプ処理部２３０とを含む。
【００３７】
第１クランプ処理部２２０は、ＯＰＢ領域中の画素（フォトダイオード）から読み出される画像信号に基づき黒レベルを検出し、当該黒レベルの検出結果に基づき、有効画素領域中の画素（以降では、「有効画素」とも称する）から読み出された画像信号の信号レベルを補正する（即ち、クランプ処理を実行する）。なお、ＯＰＢ領域中の画素から読み出される画像信号に基づく黒レベルの検出結果に応じて実行されるクランプ処理の内容（即ち、第１クランプ処理部２２０の処理内容）については、既に前述しているため、詳細な説明は省略する。そして、第１クランプ処理部２２０は、有効画素から読み出された画像信号に対してクランプ処理を施すと、当該クランプ処理後の画像信号を、第２クランプ処理部２３０に出力する。
【００３８】
第２クランプ処理部２３０は、有効画素から読み出された画像信号に基づき黒レベルを検出し、当該黒レベルの検出結果に基づき、当該画像信号の信号レベルを補正する（即ち、クランプ処理を実行する）。第２クランプ処理部２３０は、例えば、第１クランプ処理部２２０から出力される画像信号に対して再度クランプ処理を施すことで、当該画像信号の信号レベルを補正する。
【００３９】
例えば、図５は、本実施形態に係る第２クランプ処理部２３０の機能構成の一例を示したブロック図である。図５に示すように、第２クランプ処理部２３０は、検出部２４０と、調整部２５０と、補正部２６０とを含む。図５において、ｒａｗ＿ｉｎは、第２クランプ処理部２３０に入力される画像信号（以降では、「入力信号」とも称する）を示している。また、ｒａｗ＿ｏｕｔは、第２クランプ処理部２３０から出力される画像信号（以降では、「出力信号」とも称する）を示している。
【００４０】
検出部２４０は、逐次入力される入力信号（即ち、有効画素から読み出された画像信号）に基づき、所定の単位ごと（例えば、フレームごと）に黒レベルを検出する。また、調整部２５０は、検出部２４０による黒レベルの検出結果に基づき、入力信号に対してクランプ処理を施すためのオフセット量を算出する。そして、補正部２６０は、調整部２５０により算出されたオフセット量に基づき、逐次入力される入力信号に対して上記所定の単位ごとにクランプ処理を施し、クランプ処理後の画像信号を出力信号として後段に出力する。
【００４１】
ここで、図６を参照して、検出部２４０及び調整部２５０のより詳細な構成の一例について説明する。図６は、本実施形態に係る第２クランプ処理部２３０の詳細な構成の一例を示したブロック図である。
【００４２】
まず、検出部２４０の構成について説明する。図６に示すように、検出部２４０は、黒画素判定部２４１と、黒画素加算部２４３と、黒画素カウンタ２４５と、平均値算出部２４７とを含む。
【００４３】
黒画素判定部２４１は、入力信号が示す有効画素からの出力値（即ち、画素値）が、所謂黒色を示す値か否かを判定する。具体的には、黒画素判定部２４１は、以下に（式１）として示す関係式に基づき、入力信号の絶対値が閾値ｂｌａｃｋｐｉｘ＿ｄｅｔ＿ｔｈ以下か否かを判定する。なお、以降では、出力値が黒色の値を示す有効画素を「黒画素」とも称し、以下に（式１）として示す関係式に基づき有効画素が黒画素か否かを判定する処理を「黒画素判定」とも称する。
【００４４】
【数１】
2018006785.tif 000003
【００４５】
例えば、図７は、黒画素判定の概要について説明するための説明図である。図７において、左側の図は、入力画像を模式的に示している。また、右側の図は、黒画素判定の結果を示している。図７の右側の図では、左側に示した入力画像のうち黒画素の部分（即ち、上記（式１）に基づく判定結果が１を示す画素の部分）が白色で示されている。
【００４６】
なお、黒画素判定のための閾値ｂｌａｃｋｐｉｘ＿ｄｅｔ＿ｔｈは、例えば、入射光の強度に関係なく発生するノイズ（所謂ランダムノイズ）の標準偏差σに基づき決定すればよい。
【００４７】
そして、黒画素判定部２４１は、入力信号に対する黒画素判定の結果を、黒画素加算部２４３及び黒画素カウンタ２４５に出力する。
【００４８】
黒画素加算部２４３は、逐次入力される入力信号に対する黒画素判定の結果を黒画素判定部２４１から取得し、当該黒画素判定の結果に基づき、当該入力信号が示す有効画素からの画素値が黒色を示す値の場合（即ち、（式１）に基づく判定結果が１の場合）には当該画素値を累積加算する。以上のようにして、黒画素加算部２４３は、逐次入力される入力信号が示す有効画素の画素値のうち、黒画素である有効画素の画素値を、所定の単位ごと（例えば、フレームごと）に累積加算し、加算結果を平均値算出部２４７に出力する。
【００４９】
黒画素カウンタ２４５は、逐次入力される入力信号に対する黒画素判定の結果を黒画素判定部２４１から取得し、当該黒画素判定の結果に基づき、黒画素である有効画素（即ち、（式１）に基づく判定結果が１を示す有効画素）の数を所定の単位ごと（例えば、フレームごと）に計上する。そして、黒画素カウンタ２４５は、黒画素の計上結果を平均値算出部２４７と、検出部２４０の後段に位置する調整部２５０とに出力する。
【００５０】
平均値算出部２４７は、黒画素加算部２４３から、黒画素である有効画素の画素値の加算結果を取得する。また、平均値算出部２４７は、黒画素カウンタ２４５から、黒画素の計上結果を取得する。そして、平均値算出部２４７は、黒画素である有効画素の画素値の加算結果と、黒画素の計上結果とに基づき、黒画素である有効画素の画素値の平均値を算出し、算出した当該平均値を、黒レベルの検出結果を示す情報として調整部２５０に出力する。
【００５１】
次いで、調整部２５０の構成について説明する。図６に示すように、調整部２５０は、信頼度算出部２５１と、信頼度処理部２５３と、オフセット量保持部２５５とを含む。
【００５２】
信頼度算出部２５１は、検出部２４０から、黒画素の計上結果を所定の単位ごとに取得し、取得した当該黒画素の計上結果に基づき、黒レベルの検出結果に関する信頼度を算出する。なお、当該信頼度は、０．０〜１．０の値を示すものとする。
【００５３】
例えば、図８は、黒レベルの検出結果に関する信頼度の算出方法の一例について説明するための説明図である。図８において、横軸は、黒画素のカウント数（即ち、計上結果）を示している。また、縦軸は、黒レベルの検出結果に関する信頼度を示している。即ち、図８に示す例では、信頼度算出部２５１は、黒画素のカウント数が閾値ｔｈ＿ｏｆｆ以下の場合には、信頼度を０．０とする。また、信頼度算出部２５１は、黒画素のカウント数が閾値ｔｈ＿ｍｉｎ以上の場合には、信頼度を１．０とする。なお、閾値ｔｈ＿ｏｆｆと閾値ｔｈ＿ｍｉｎとは、ｔｈ＿ｏｆｆ＜ｔｈ＿ｍｉｎの関係にあるものとする。また、信頼度算出部２５１は、黒画素のカウント数が閾値ｔｈ＿ｏｆｆと閾値ｔｈ＿ｍｉｎとの間の値をとる場合には、当該カウント数に応じて信頼度を決定してもよい。例えば、図８に示す例では、閾値ｔｈ＿ｏｆｆと閾値ｔｈ＿ｍｉｎとの間が線型に繋がるように信頼度算出の特性（グラフ）が補間されている。即ち、信頼度算出部２５１は、補間された当該特性に基づき信頼度を決定することとなる。
【００５４】
以上のようにして、信頼度算出部２５１は、黒レベルの検出結果に関する信頼度を算出し、算出した信頼度を示す情報を信頼度処理部２５３に出力する。
【００５５】
信頼度処理部２５３は、検出部２４０から、黒レベルの検出結果を示す情報（即ち、黒画素の画素値の平均値）を取得する。また、信頼度処理部２５３は、信頼度算出部２５１から、当該黒レベル検出結果の信頼度を示す情報を取得する。そして、信頼度処理部２５３は、黒レベルの検出結果を示す情報と、当該検出結果の信頼度を示す情報とに基づき、入力信号に対してクランプ処理を施すためのオフセット量を算出する。
【００５６】
具体的な一例として、信頼度処理部２５３は、以下に（式２）として示す計算式に基づき、入力信号に対してクランプ処理を施すためのオフセット量ｖｉｓｉｂｌｅ＿ｂｌａｃｋ＿ｖａｌｕｅ’を算出する。
【００５７】
【数２】
2018006785.tif 000004
【００５８】
上記（式２）において、ａｖｅは、黒レベルの検出結果（即ち、黒画素の画素値の平均値）を示している。また、ｇａｉｎは、黒レベルの検出結果ａｖｅの信頼度を示している。また、（式２）の右辺に示したｖｉｓｉｂｌｅ＿ｂｌａｃｋ＿ｖａｌｕｅは、前のフレーム（例えば、１フレーム前）において算出されたオフセット量を示している。即ち、上記に示す（式２）では、信頼度ｇａｉｎの値に応じて、前のフレームにおけるオフセット量ｖｉｓｉｂｌｅ＿ｂｌａｃｋ＿ｖａｌｕｅを考慮することで、以降のフレームにおいてクランプ処理に適用されるオフセット量ｖｉｓｉｂｌｅ＿ｂｌａｃｋ＿ｖａｌｕｅ’を算出している。
【００５９】
具体的には、信頼度が０．０の場合には、前のフレームにおいて算出されたオフセット量が、以降のフレームにおけるオフセット量として適用されることとなる。ここで、信頼度が０．０の場合とは、図８に示す例において黒画素のカウント数が閾値ｔｈ＿ｏｆｆ以下の場合に相当する。
【００６０】
また、信頼度が１．０の場合には、取得された黒レベルの検出結果（換言すると、現在のフレームにおけるオフセット量）が、以降のフレームにおけるオフセット量として適用されることとなる。ここで、信頼度１．０の場合とは、図８に示す例において黒画素のカウント数が閾値ｔｈ＿ｍｉｎ以上の場合に相当する。
【００６１】
また、信頼度が０．０より高く１．０より低い場合には、黒レベルの検出結果（換言すると、現在のフレームにおけるオフセット量）と、前のフレームにおけるオフセット量とを、当該信頼度に応じてブレンドすることで算出されるオフセット量が、以降のフレームにおけるオフセット量として適用されることとなる。ここで、信頼度が０．０より高く１．０より低い場合とは、即ち、図８に示す例において黒画素のカウント数が閾値ｔｈ＿ｏｆｆより高く閾値ｔｈ＿ｍｉｎより低い場合に相当する。
【００６２】
以上のように、前のフレームにおいて算出されたオフセット量を考慮し、以降のフレームにおいて適用されるオフセット量を算出することで、例えば、当該オフセット量の、時間方向における急峻な変化を抑制することが可能となる。
【００６３】
以上のようにして、信頼度処理部２５３は、オフセット量を算出し、算出した当該オフセット量をフレームごとにオフセット量保持部２５５に保持させる。
【００６４】
オフセット量保持部２５５は、信頼度処理部２５３により算出されたオフセット量を一時的または恒常的に保持するための記憶領域である。オフセット量保持部２５５に保持されたオフセット量は、例えば、補正部２６０により、クランプ処理に利用される。また、オフセット量保持部２５５に保持されたオフセット量は、例えば、信頼度処理部２５３により、以降のフレームに適用されるオフセット量の算出に利用される場合がある。
【００６５】
なお、検出部２４０及び調整部２５０が上述した一連の処理を実行するタイミングは特に限定されない。具体的な一例として、検出部２４０及び調整部２５０は、垂直ブランク等のように、有効画素から出力される画像信号に基づく映像が非表示となるタイミングにおいて、上述した一連の処理、また、当該一連の処理のうち少なくとも一部の処理を実行してもよい。
【００６６】
また、上述した構成はあくまで一例であり、必ずしも上述した例のみには限定されない。具体的な一例として、信号処理部２１０に含まれる構成のうち、少なくとも一部の構成が、当該信号処理部２１０を含む装置の外部に設けられていてもよい。また、上述した検出部２４０及び調整部２５０により実行される一連の処理は、例えば、ファームウェアによるソフトウェア処理として実現されてもよい。
【００６７】
以上のように、第２クランプ処理部２３０は、有効画素のうち黒画素からの出力値（即ち、画像信号）に基づきオフセット量を算出し、当該オフセット量に基づき有効画素からの出力値を補正することで、黒レベルのずれを補正する。
【００６８】
例えば、図９は、本実施形態におけるクランプ処理の一例について説明するための説明図であり、第２クランプ処理部２３０による黒レベルのずれを補正する処理（即ち、クランプ処理）の結果の一例について示している。具体的には、図９において左側の図は、イメージセンサによる画像の撮像結果の一例を示している。なお、本説明では、当該画像の右下に示した方形状の領域（以下、「測定エリア」とも称する）を、黒レベルの測定対象とする。また、図９の右上及び右下に示した図は、測定エリアのヒストグラムを示している。即ち、図９の右上及び右下に示した図において、横軸は、画素値を示しており、縦軸は、各画素値を示す画素の数を示している。なお、図９の右上の図は、第２クランプ処理部２３０によるクランプ処理の適用前における測定エリアのヒストグラムを示しており、右下の図は、第２クランプ処理部２３０によるクランプ処理の適用後における測定エリアのヒストグラムを示している。
【００６９】
即ち、図９の右上の図では、黒色で示された測定エリアの画素値が、当該黒色を示す画素値（即ち、０）よりも高い値を示しており、即ち、所謂黒ズレ（黒浮き）が生じている。そのため、例えば、第２クランプ処理部２３０によるクランプ処理を適用する前の画像信号に対してデジタルゲインをかけると、当該デジタルゲインによりこの黒ズレの影響がより大きくなり、ひいては画像上にその影響が顕在化することとなる。これに対して、第２クランプ処理部２３０によるクランプ処理を適用することで、右上の図に示すように黒ズレ生じた画素値が、右下の図に示すよう黒色を示す画素値に補正される。即ち、第２クランプ処理部２３０によるクランプ処理を適用した後の画像信号に対してデジタルゲインをかけたとしても、適用前のように黒ズレの影響が画像上に顕在化するといった事態の発生を防止することが可能となる。
【００７０】
以上、図４〜図９を参照して、本開示の一実施形態に係るカメラモジュール１のうち信号処理部２１０の構成について、特に、画像信号に対してクランプ処理を施す部分に着目して説明した。
【００７１】
＜２．２．撮像装置の機能構成＞
続いて、図１０を参照して、本実施形態に係るカメラモジュールを適用した撮像装置の機能構成の一例について説明する。図１０は、本実施形態に係る撮像装置の機能構成の一例を示したブロック図であり、図１を参照して説明したイメージセンサ１００と信号処理ＬＳＩ２００とを同一筐体内に設けた場合の一例を示している。図１０に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【００７２】
図１０に示すように、撮像装置３００は、レンズ部３１１と、ＣＭＯＳセンサ３１２と、操作部３１４と、制御部３１５と、画像処理部３１６と、表示部３１７と、コーデック処理部３１８と、記録部３１９とを有する。
【００７３】
レンズ部３１１は、レンズや絞り等の光学系素子よりなる。レンズ部３１１は、制御部３１５に制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、ＣＭＯＳセンサ３１２に供給する。
【００７４】
ＣＭＯＳセンサ３１２は、被写体を撮像するイメージセンサであり、制御部３１５に制御されて、入射光を光電変換し、各画素の画素値をＡ／Ｄ変換することにより、被写体の撮像画像のデータ（撮像画像）を得る。ＣＭＯＳセンサ３１２は、制御部３１５に制御されて、その撮像により得られた撮像画像データを画像処理部３１６に供給する。なお、ＣＭＯＳセンサ３１２が、図１を参照して説明したイメージセンサ１００に相当する。
【００７５】
操作部３１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部３１５に供給する。
【００７６】
制御部３１５は、操作部３１４により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部３１１、ＣＭＯＳセンサ３１２、画像処理部３１６、表示部３１７、コーデック処理部３１８、および記録部３１９の駆動を制御し、各部に撮像に関する処理を行わせる。
【００７７】
画像処理部３１６は、ＣＭＯＳセンサ３１２から供給された画像信号に対して、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、」およびYC変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。画像処理部３１６は、画像処理を施した画像信号を表示部３１７およびコーデック処理部３１８に供給する。なお、画像処理部３１６が、図１を参照して説明した信号処理部２１０に相当する。
【００７８】
表示部３１７は、例えば、液晶ディスプレイ等として構成され、画像処理部３１６からの画像信号に基づいて、被写体の画像を表示する。
【００７９】
コーデック処理部３１８は、画像処理部３１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部３１９に供給する。
【００８０】
記録部３１９は、コーデック処理部３１８からの画像データを記録する。記録部３１９に記録された画像データは、必要に応じて画像処理部３１６に読み出されることで、表示部３１７に供給され、対応する画像が表示される。
【００８１】
以上、図１０を参照して、本実施形態に係る撮像装置の機能構成の一例について説明した。
【００８２】
＜＜３．処理＞＞
続いて、本実施形態に係るカメラモジュール１によるクランプ処理の流れの一例について、特に、前述した第２クランプ処理部２３０における検出部２４０及び調整部２５０の処理に着目して説明する。なお、本説明では、第２クランプ処理部２３０は、フレームごとに黒レベルの検出やオフセット量の算出を行うものとする。
【００８３】
まず、図１１を参照して、本実施形態に係るカメラモジュール１における検出部２４０の処理の流れの一例について説明する。図１１は、本実施形態に係るカメラモジュール１における検出部２４０の処理の流れの一例を示したフローチャートである。
【００８４】
図１１に示すように、検出部２４０は、入力信号が示す有効画素の画素値（即ち、有効画素からの出力値）の絶対値が閾値以下か否か（即ち、黒画素か否か）を判定する（Ｓ１０１）。入力信号が示す有効画素の画素値の絶対値が閾値以下の場合（即ち、当該有効画素が黒画素の場合）には（Ｓ１０１、ＹＥＳ）、検出部２４０は、当該画素値を累積加算し（Ｓ１０３）、黒画素の数を計上するためのカウンタをインクリメントする（Ｓ１０５）。なお、画素値の絶対値が閾値を超える場合には（Ｓ１０１、ＮＯ）、参照符号Ｓ１０３及びＳ１０５で示された処理は実行されない。
【００８５】
検出部２４０は、逐次入力される入力信号に対して、参照符号Ｓ１０１〜Ｓ１０５で示した一連の処理を、１フレーム分の入力信号に対する処理が完了するまで継続する（Ｓ１０７、ＮＯ）。
【００８６】
そして、入力信号が１フレームの最後を示す場合には（Ｓ１０７、ＹＥＳ）、検出部２４０は、黒画素である有効画素の画素値の加算結果と、黒画素の数を計上するためのカウンタの値（即ち、黒画素の計上結果）とに基づき、黒画素である有効画素の画素値の平均値を算出する。そして、検出部２４０は、算出した平均値を、黒レベルの検出結果を示す情報として出力する（Ｓ１０９）。
【００８７】
以上、図１１を参照して、本実施形態に係るカメラモジュール１における検出部２４０の処理の流れの一例について説明した。
【００８８】
続いて、図１２を参照して、本実施形態に係るカメラモジュール１における調整部２５０の処理の流れの一例について説明する。図１２は、本実施形態に係るカメラモジュール１における調整部２５０の処理の流れの一例を示したフローチャートである。
【００８９】
図１２に示すように、調整部２５０は、黒画素のカウント数が閾値ｔｈ＿ｏｆｆ以下の場合には（Ｓ２０１、ＹＥＳ）、信頼度を０．０とする。この場合には、調整部２５０は、前のフレーム（例えば、１フレーム前）において算出されたオフセット量を、以降のフレームにおいてクランプ処理に適用されるオフセット量とする（Ｓ２０３）。
【００９０】
また、調整部２５０は、黒画素のカウント数が閾値ｔｈ＿ｍｉｎ以上の場合には（Ｓ２０１、ＮＯ、かつ、Ｓ２０５、ＹＥＳ）、信頼度を１．０とする。この場合には、調整部２５０は、現在のフレームにおいて算出されたオフセット量を、以降のフレームにおいてクランプ処理に適用されるオフセット量とする（Ｓ２０７）。
【００９１】
また、調整部２５０は、黒画素のカウント数が閾値ｔｈ＿ｏｆｆより高く（Ｓ２０１、ＮＯ）閾値ｔｈ＿ｍｉｎよりも低い場合には（２０５、ＮＯ）、黒画素のカウント数のカウント数に応じて信頼度を０．０〜１．０の範囲で決定する。この場合には、調整部２５０は、現在のフレームにおけるオフセット量と、前のフレームにおけるオフセット量とを、当該信頼度に応じてブレンドした結果を、以降のフレームにおいてクランプ処理に適用されるオフセット量とする（Ｓ２０９）。
【００９２】
以上、図１１を参照して、本実施形態に係るカメラモジュール１における検出部２４０の処理の流れの一例について説明した。
【００９３】
＜＜４．変形例＞＞
続いて、本開示の一実施形態に係るカメラモジュールの変形例について説明する。
【００９４】
＜４．１．変形例１：信号処理部の構成例＞
まず、変形例１として、前述した信号処理部２１０の構成の一例について説明する。図４を参照して説明した例では、信号処理部２１０は、入力信号に対して、第１クランプ処理部２２０と、第２クランプ処理部２３０とを含み、第１クランプ処理部２２０、第２クランプ処理部２３０の順序で、それぞれが入力信号に対してクランプ処理を施している。一方で、信号処理部２１０の構成は、必ずしも図４に示した例のみには限定されない。
【００９５】
具体的な一例として、信号処理部２１０は、第２クランプ処理部２３０のみを含んでもよい。この場合には、信号処理部２１０は、クランプ処理として、有効画素から読み出された画像信号（即ち、入力信号）に基づき黒レベルを検出し、当該黒レベルの検出結果に基づき、当該画像信号の信号レベルを補正する処理のみを実行することとなる。
【００９６】
また、他の一例として、信号処理部２１０は、第２クランプ処理部２３０、第１クランプ処理部２２０の順序で、それぞれが入力信号に対してクランプ処理を施すように構成されていてもよい。また、このとき信号処理部２１０は、第２クランプ処理部２３０により算出された信頼度に基づき、第１クランプ処理部２２０によるクランプ処理を選択的に実行してもよい。具体的な一例として、信号処理部２１０は、算出された信頼度が低い場合（例えば、信頼度が閾値以下の場合）にのみ、第１クランプ処理部２２０によるクランプ処理を実行してもよい。このような構成により、信頼度が高い場合（即ち、黒画素の数が十分に多い場合）には、第１クランプ処理部２２０によるクランプ処理の実行が抑制されるため、電力の消費を低減することも可能となる。
【００９７】
以上、変形例１として、前述した信号処理部２１０の構成の一例について説明した。
【００９８】
＜４．２．変形例２：第２クランプ処理部の構成例＞
続いて、変形例２として、図１３及び図１４を参照して、前述した第２クランプ処理部２３０の構成の他の一例について説明する。図１３及び図１４は、変形例２に係るカメラモジュールにおける第２クランプ処理部の構成の一例について説明するための説明図である。
【００９９】
（フレームメモリを有する構成）
まず、図１３に示す例について説明する。図５に示す第２クランプ処理部２３０では、入力される画像信号に対してリアルタイムでクランプ処理が施される。そのため、当該第２クランプ処理部２３０では、検出部２４０及び調整部２５０による処理の遅延により、あるフレームに対応する画像信号に基づき算出されたオフセット量は、当該フレームよりも後のフレームに対応する画像信号に対するクランプ処理に適用される。
【０１００】
これに対して、図１３に示す第２クランプ処理部４３０では、補正部４６０に入力される画像信号を遅延させることで、あるフレームに対応する画像信号に基づき算出されたオフセット量を、当該フレームに対応する当該画像信号に対するクランプ処理に適用する。具体的には、図１３に示すように、第２クランプ処理部４３０は、検出部４４０と、調整部４５０と、補正部４６０と、フレームメモリ４７０とを含む。なお、検出部４４０、調整部４５０、及び補正部４６０は、図５に示した第２クランプ処理部２３０における、検出部２４０、調整部２５０、及び補正部２６０に対応する。そのため、本説明では、第２クランプ処理部４３０の動作について、特に、図５に示した第２クランプ処理部２３０と異なる部分に着目して説明し、同様の部分については詳細な説明は省略する。
【０１０１】
具体的には、第２クランプ処理部４３０では、入力された画像信号はフレームメモリ４７０に一時的に保持され、補正部４６０は、フレームメモリ４７０に保持された当該画像信号を所望のタイミングで読み出す。このような構成により、補正部４６０に入力される画像信号を遅延させることが可能となる。即ち、補正部４６０は、あるフレームに対応する画像信号に基づき算出されたオフセット量を調整部４５０から取得すると、当該フレームに対応する画像信号をフレームメモリ４７０から読み出し、当該画像信号に対して取得したオフセット量に基づきクランプ処理を施す。
【０１０２】
このような構成により、第２クランプ処理部４３０は、フレーム間で生じ得る黒レベルの変化の影響を緩和し、より精度良く黒レベルのずれを補正することが可能となる。
【０１０３】
（他のクランプ処理の結果を利用する構成）
続いて、図１４に示す例について説明する。図１４に示す第２クランプ処理部５３０は、前段に位置する第１クランプ処理部によるクランプ処理の情報（即ち、ＯＰＢ領域中の画素の出力値に基づくクランプ処理の情報）を、自身が実行するクランプ処理に利用する。
【０１０４】
具体的には、図１４に示すように、第２クランプ処理部５３０は、検出部５４０と、調整部５５０と、補正部５６０とを含む。なお、検出部５４０、調整部５５０、及び補正部５６０は、図５に示した第２クランプ処理部２３０における、検出部２４０、調整部２５０、及び補正部２６０に対応する。そのため、本説明では、第２クランプ処理部５３０の動作について、特に、図５に示した第２クランプ処理部２３０と異なる部分に着目して説明し、同様の部分については詳細な説明は省略する。
【０１０５】
具体的には、第２クランプ処理部５３０では、補正部５６０は、当該第２クランプ処理部５３０の前段に位置する第１クランプ処理部（例えば、図４に示す第１クランプ処理部２２０）から、現在のフレームに対応するクランプ処理に関する情報（例えば、オフセット量）を取得する。そして、補正部５６０は、入力された画像信号に対して、第１クランプ処理部から取得した情報と、調整部５５０から取得したオフセット量とに基づき、クランプ処理を施す。
【０１０６】
具体的な一例として、補正部５６０は、調整部５５０から出力されるオフセット量の信頼度に応じて、図８及び（式２）を参照して説明した例と同様の思想に基づき、入力された画像信号へのクランプ処理に適用するオフセット量を決定してもよい。より具体的には、補正部５６０は、信頼度が０．０の場合（即ち、黒画素の数が閾値ｔｈ＿ｏｆｆ以下の場合）には、第１クランプ処理部から取得したオフセット量を、クランプ処理に適用するオフセット量としてもよい。また、他の一例として、補正部５６０は、信頼度が１．０の場合（即ち、黒画素の数が閾値ｔｈ＿ｍｉｎ以上の場合）には、調整部５５０から取得したオフセット量を、クランプ処理に適用するオフセット量としてもよい。また、他の一例として、補正部５６０は、信頼度が０．０より高く１．０よりも低い場合（即ち、黒画素の数が閾値ｔｈ＿ｏｆｆより高く、閾値ｔｈ＿ｍｉｎより低い場合）には、第１クランプ処理部及び調整部５５０それぞれから取得したオフセット量を当該信頼度に応じてブレンドすることで、クランプ処理に適用するオフセット量を算出してもよい。
【０１０７】
このような構成により、第２クランプ処理部５３０は、例えば、黒画素の数が少ない画像の場合には、第１クランプ処理部から取得したクランプ処理に関する情報に基づき、入力された画像信号に対してクランプ処理を施すことも可能となる。即ち、第２クランプ処理部５３０は、入力される画像信号の特性（即ち、撮像された画像の特徴）に応じて、より好適な態様で、黒レベルのずれを補正することが可能となる。
【０１０８】
なお、上記に説明した例はあくまで一例であり、必ずしも上記に説明した例のみには限定されない。具体的な一例として、図１３に示す第２クランプ処理部４３０と、図１４に示す第２クランプ処理部５３０とを組み合わせてもよい。
【０１０９】
以上、変形例２として、図１３及び図１４を参照して、前述した第２クランプ処理部２３０の構成の他の一例について説明した。
【０１１０】
＜４．３．変形例３：イメージセンサの構成例＞
続いて、変形例３として、図１５〜図１７を参照して、本開示の一実施形態にイメージセンサの構成の一例について説明する。図１５〜図１７は、変形例３に係るカメラモジュールにおけるイメージセンサの構成の一例について説明するための説明図である。
【０１１１】
まず、第１の例として、図１５を参照して、半導体チップ内に複数の構成が搭載されたイメージセンサの一例について説明する。図１５に示すように、イメージセンサ１１０は、１つの半導体チップ１１１内に、画素領域１１２（例えば、図１に示す画素アレイ部１０１）と、前述した信号処理部２１０を実現するための信号処理回路１１３とを搭載して構成される。
【０１１２】
次いで、第２の例として、図１６を参照して、複数の半導体チップが積層されて構成されたイメージセンサの一例について説明する。図１６に示すように、イメージセンサ１２０は、第１の半導体チップ１２１と、第２の半導体チップ１２２とから構成される。第１の半導体チップ１２１には、画素領域１２３が搭載される。また、第２の半導体チップ１２２には、前述した信号処理部２１０を実現するための信号処理回路１２４が搭載される。そして、第１の半導体チップ１２１と第２の半導体チップ１２２とが相互に電気的に接続されることで、１つの半導体チップとしてのイメージセンサ１２０が構成される。
【０１１３】
次いで、第３の例として、図１７を参照して、複数の半導体チップが積層されて構成されたイメージセンサの他の一例について説明する。図１７は、フレームメモリ等として使用されるメモリ領域が設けられたイメージセンサの一例を示している。図１７に示すように、イメージセンサ１３０は、第１の半導体チップ１３１と、第２の半導体チップ１３２と、第３の半導体チップ１３３とから構成される。第１の半導体チップ１３１には、画素領域１３４が搭載される。また、第２の半導体チップ１３２には、フレームメモリ等として使用されるメモリ領域１３５が搭載される。また、第３の半導体チップ１３３には、前述した信号処理部２１０を実現するための信号処理回路１３６が搭載される。そして、第１の半導体チップ１３１、第２の半導体チップ１３２、及び第３の半導体チップ１３３が相互に電気的に接続されることで、１つの半導体チップとしてのイメージセンサ１３０が構成される。
【０１１４】
なお、図１５〜図１７として説明したイメージセンサの構成はあくまで一例であり、必ずしも本開示の一実施形態に係るイメージセンサの構成を限定するものではない。具体的な一例として、図１６及び図１７に示すように、イメージセンサが、複数の半導体チップが積層されて構成され、図１５に示すように、少なくとも一部の半導体チップ内に複数の構成が搭載されていてもよい。
【０１１５】
以上、変形例３として、図１５〜図１７を参照して、本開示の一実施形態に係るカメラモジュールにおけるイメージセンサの構成の一例について説明した。
【０１１６】
＜４．４．変形例４：クランプ処理の制御例＞
続いて、変形例４として、本開示の一実施形態に係るカメラモジュールによるクランプ処理の制御の一例について、特に、第２クランプ処理部によるクランプ処理に着目して説明する。前述した実施形態では、信号処理部２１０（特に、第２クランプ処理部２３０）が、有効画素から出力される画像信号に基づき、フレームごとに、黒レベルを検出し、画像信号に対してクランプ処理を施す例に着目して説明した。一方で、信号処理部２１０が画像信号に対してクランプ処理を施す単位は、必ずしもフレーム単位には限定されない。そこで、本変形例では、信号処理部２１０が、撮像された画像中を複数の部分領域に分けて、当該部分領域ごとに、黒レベルを検出し、画像信号に対してクランプ処理を施す場合の一例について説明する。例えば、図１８〜図２０は、変形例３に係るカメラモジュールの概要について説明するための説明図である。
【０１１７】
例えば、図１８は、画像を複数の部分領域に分割する態様の一例について示している。図１８の左上の図は、参考として、画像を複数の部分領域に分割しない場合の一例を示している。これに対して、例えば、左下の図に示すように、画像を格子状に複数の部分領域に分割してもよい。また、他の一例として、右上の図に示すように、画像を水平方向に複数の部分領域に分割してもよい。また、他の一例として、右下の図に示すように、画像を垂直方向に複数の部分領域に分割してもよい。
【０１１８】
続いて、第２クランプ処理部２３０の各構成の制御について、特に、前述した実施形態と異なる部分に着目して説明する。
【０１１９】
（検出部について）
検出部２４０は、黒画素の画素値の累積加算、黒画素の数の計上、及び、平均値の算出の各処理を、画像中の部分領域ごとに実行することで、当該部分領域ごとに黒レベルの検出結果を調整部２５０に出力する。
【０１２０】
（調整部について）
調整部２５０は、例えば、部分領域ごとに、黒レベルの検出結果（換言すると、現在のフレームにおけるオフセット量）と、前のフレームにおけるオフセット量とに基づき、当該部分領域に対するクランプ処理に適用されるオフセット量を算出する。このとき、注目している部分領域中の黒画素の数が少なく、当該部分領域における黒レベルの検出結果の信頼度が低い場合も想定され得る。このような場合には、調整部２５０は、例えば、注目している部分領域における黒レベルの検出結果を、当該部分領域の近傍に位置する他の部分領域における黒レベルの検出結果や黒画素の数に基づき補間してもよい。
【０１２１】
ここで、図１９及び図２０を参照して、変形例３に係る調整部２５０の処理の一例についてより詳細に説明する。例えば、図１９は、変形例３に係る調整部２５０の一連の処理の流れの一例を示したフローチャートである。なお、図１９に示す例は、参照符号Ｓ３０３〜Ｓ３０７で示された処理が、前述した実施形態（図１２参照）と異なる。そのため、本説明では、前述した実施形態と異なる部分に着目して説明し、その他の部分については詳細な説明は省略する。
【０１２２】
具体的には、調整部２５０は、注目している部分領域（以下、「注目領域」とも称する）において黒画素のカウント数が閾値ｔｈ＿ｏｆｆ以下の場合には（Ｓ３０１、ＹＥＳ）、当該部分領域の近傍に位置する他の部分領域（以下、「近傍領域」とも称する）における黒レベルの検出結果が信頼できるか否かを判定する（Ｓ３０３）。具体的な一例として、調整部２５０は、近傍領域における黒画素のカウント数が閾値ｔｈ＿ｏｆｆを超えるか否かに応じて、当該近傍領域における黒レベルの検出結果が信頼できるか否かを判定してもよい。
【０１２３】
近傍領域における黒レベルの検出結果が信頼できる場合には（Ｓ３０３、ＹＥＳ）、調整部２５０は、注目領域における黒レベルの検出結果を、近傍領域における黒レベルの検出結果に基づき補間することで、以降のフレームにおいてクランプ処理に適用されるオフセット量を算出する。
【０１２４】
例えば、図２０は、注目領域に黒レベルの検出結果を、近傍領域における黒レベルの検出結果に基づき補正する場合の処理の一例について説明するための説明図である。図２０は、画像を格子状に複数の部分領域に分割した場合の一例を示している。また、図２０において、参照符号Ａ０は、注目領域を示しており、参照符号Ａ１〜Ａ４は、注目領域Ａ０に隣接する他の部分領域を示している。なお、図２０に示す例では、調整部２５０は、部分領域Ａ１〜Ａ４を、注目領域Ａ０の近傍領域として、当該注目領域Ａ０における黒レベルの検出結果を補間する。
【０１２５】
具体的な一例として、近傍領域Ａ１〜Ａ４それぞれにおいて黒画素の数が閾値ｔｈ＿ｏｆｆを超える場合には、調整部２５０は、近傍領域Ａ１〜Ａ４それぞれにおける黒レベルの検出結果に基づき、注目領域Ａ０における黒レベルの検出結果を補間してもよい。なお、補間方法については特に限定されない。具体的な一例として、調整部２５０は、近傍領域Ａ１〜Ａ４それぞれにおける黒レベルの検出結果の平均値を、注目領域Ａ０における黒レベルの検出結果の補間に利用してもよい。また、他の一例として、調整部２５０は、近傍領域Ａ１〜Ａ４それぞれにおける黒レベルの検出結果を、当該検出結果それぞれの信頼度に応じて重み付けし、注目領域Ａ０における黒レベルの検出結果の補間に利用してもよい。
【０１２６】
また、他の一例として、近傍領域Ａ１〜Ａ４の一部において黒画素の数が閾値ｔｈ＿ｏｆｆ以下である場合には、調整部２５０は、黒画素の数が閾値ｔｈ＿ｏｆｆを超える近傍領域における黒レベルの検出結果のみを上記補間に利用してもよい。
【０１２７】
ここで、再度図１９を参照し、近傍領域における黒レベルの検出結果が信頼できない場合（Ｓ３０３、ＮＯ）の処理について説明する。この場合には、調整部２５０は、例えば、前のフレーム（例えば、１フレーム前）において算出されたオフセット量を、以降のフレームにおいてクランプ処理に適用されるオフセット量とする（Ｓ３０７）。
【０１２８】
なお、注目領域における黒画素の数が閾値ｔｈ_ｏｆｆを超える場合（Ｓ３０１、ＮＯ）の処理（即ち、参照符号Ｓ３０９〜Ｓ３１３で示した処理）については、図１２に示す例と同様である。
【０１２９】
（補正部について）
補正部２６０については、注目領域中の有効画素からの画像信号に対して、当該注目領域について算出されたオフセット量に基づきクランプ処理を施してもよい。また、補正部２６０は、注目領域中の有効画素からの画像信号に対するクランプ処理に適用するオフセット量を、近傍領域について算出されたオフセット量に基づき補間してもよい。
【０１３０】
なお、画像を部分領域に分割する場合には、当該分割の粒度がより細かいほど、当該画像内におけるオフセット量の分布の変化により柔軟に対応することが可能となる。また、画像を格子状に分割する方が、水平方向や垂直方向に分割する場合に比べて、当該画像内におけるオフセット量の分布の変化により柔軟に対応することが可能となる。一方で、オフセット量の分布形状が予測可能な状況であれば、予測結果に応じて、水平方向のみや垂直方向のみに分割したり、分割の粒度をより粗くすることで、回路規模をより小さくすることも可能となる。
【０１３１】
以上、変形例４として、図１８〜図２０を参照して、本開示の一実施形態に係るカメラモジュールによるクランプ処理の制御の一例について、特に、第２クランプ処理部によるクランプ処理に着目して説明した。
【０１３２】
＜＜５．ハードウェア構成＞＞
次に、図２１を参照しながら、前述した信号処理部２１０を信号処理装置として実現する場合等のように、本実施形態に係る撮像装置を実現するための情報処理装置９００のハードウェア構成の一例について、詳細に説明する。図２１は、本開示の一実施形態に係る撮像装置を実現するための情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。
【０１３３】
本開示の一実施形態に係る撮像装置を実現するための情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
【０１３４】
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図１及び図４〜図６を参照して前述した、信号処理部２１０や、図１０を参照して説明した画像処理部３１６、コーデック処理部３１８、及び制御部３１５は、例えば、ＣＰＵ９０１により実現され得る。
【０１３５】
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
【０１３６】
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、図１０を参照して前述した操作部３１４は、例えば、入力装置９１５により実現され得る。
【０１３７】
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１０を参照して前述した表示部３１７は、例えば、出力装置９１７により実現され得る。
【０１３８】
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。
【０１３９】
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  ｍｅｍｏｒｙ  ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ  ｃａｒｄ）又は電子機器等であってもよい。なお、図１０を参照して前述した記録部３１９は、は、例えば、ＲＡＭ９０５及びストレージ装置９１９の少なくともいずれかにより実現され得る。
【０１４０】
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
【０１４１】
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
【０１４２】
以上、本開示の一実施形態に係る撮像装置を実現するための情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２１では図示しないが、本実施形態に係る撮像装置を実現するための情報処理装置９００に対応する各種の構成を当然備える。
【０１４３】
なお、上述のような本実施形態に係る撮像装置を実現するために、情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
【０１４４】
＜＜６．応用例＞＞
続いて、本実施形態に係るカメラモジュールの応用例について説明する。当該カメラモジュールは、例えば、可視光、赤外光、紫外光、またはＸ線等をセンシングする様々な電子機器に適用することが可能である。
【０１４５】
具体的な一例として、上記カメラモジュールは、前述したデジタルカメラや、カメラ機能付きの携帯機器（例えば、スマートフォンやタブレット端末）等のような、鑑賞の用に供される画像を撮影する電子機器に適用することが可能である。また、上記カメラモジュールは、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される電子機器に適用することも可能である。また、上記カメラモジュールは、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される電子機器に適用することも可能である。また、上記カメラモジュールは、畑や作物の状態を監視するためのカメラ等の、農業の用に供される電子機器に適用することも可能である。
【０１４６】
また、上記カメラモジュールは、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される電子機器に適用することも可能である。また、上記カメラモジュールは、自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される電子機器に適用することも可能である。なお、医療への応用例と、車両等の移動体への応用例とについては、以下に具体的な例を挙げてより詳細に説明する。
【０１４７】
＜６．１．医療への応用例＞
まず、医療への応用例として、上記カメラモジュールを、内視鏡手術システムに適用した場合の一例について説明する。
【０１４８】
図２２は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図２２では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【０１４９】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０１５０】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【０１５１】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【０１５２】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【０１５３】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１５４】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０１５５】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０１５６】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【０１５７】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【０１５８】
光源装置５０４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【０１５９】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【０１６０】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【０１６１】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【０１６２】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０１６３】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１６４】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【０１６５】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図２２では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【０１６６】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【０１６７】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【０１６８】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０１６９】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０１７０】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【０１７１】
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１７２】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１７３】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１７４】
（カメラヘッド及びＣＣＵ）
図２３を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２３は、図２２に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【０１７５】
図２３を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【０１７６】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０１７７】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【０１７８】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０１７９】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
【０１８０】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【０１８１】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【０１８２】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【０１８３】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【０１８４】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５００１に搭載される。
【０１８５】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
【０１８６】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０１８７】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【０１８８】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０１８９】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０１９０】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０１９１】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０１９２】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０１９３】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１９４】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【０１９５】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０１９６】
本開示に係る技術は、以上説明した構成のうち、撮像部５００９に好適に適用され得る。具体的には、撮像部５００９が、図１を参照して説明したイメージセンサ１００及び信号処理ＬＳＩ２００を含むように構成されていてもよい。撮像部５００９として本開示に係る撮像装置を適用することにより、例えば、高感度での撮影が行われたとしても黒ズレの影響が緩和または抑制されたより鮮明な術部画像を得ることが可能となり、ひいては、手術をより安全にかつより確実に行うことが可能となる。
【０１９７】
＜６．２．移動体への応用例＞
まず、車両への応用例として、上記カメラモジュールを、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置に適用した場合の一例について説明する。
【０１９８】
図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１９９】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０２００】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０２０１】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０２０２】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２０３】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０２０４】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０２０５】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０２０６】
ここで、図２５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２０７】
なお、図２５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０２０８】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０２０９】
図２４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０２１０】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０２１１】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０２１２】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０２１３】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０２１４】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global  System  of  Mobile  communications）、ＷｉＭＡＸ、ＬＴＥ（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０２１５】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０２１６】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０２１７】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０２１８】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０２１９】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０２２０】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０２２１】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０２２２】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０２２３】
なお、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０２２４】
なお、図１及び図４〜図６を用いて説明した本実施形態に係るカメラモジュール１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。なお、上述したＨＤＭＩ及びＧＳＭは登録商標である。
【０２２５】
以上説明した車両制御システム７０００において、図１及び図４〜図６を用いて説明した本実施形態に係るカメラモジュール１は、図２４に示した応用例の撮像部７４１０に適用することができる。
【０２２６】
また、図１及び図４〜図６を用いて説明したカメラモジュール１の少なくとも一部の構成要素（例えば、信号処理部２１０）は、図２４に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１及び図４〜図６を用いて説明したカメラモジュール１の少なくとも一部の構成要素が、図２４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
【０２２７】
＜＜７．むすび＞＞
以上、説明したように、本開示の一実施形態に係るカメラモジュールは、受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値（即ち、画素値）が閾値以下となる有効画素（即ち、黒画素）の当該出力値に基づき、オフセット量を調整する。そして、カメラモジュールは、有効画素の出力値に対して、調整後のオフセット量に基づきクランプ処理を施す（即ち、出力値を補正する）。
【０２２８】
このような構成により、本開示の一実施形態に係るカメラモジュールは、特に、黒画素が多いシーンの画像においては、ＯＰＢ領域の画素の出力値のみから黒レベルを検出する場合に比べて、より多くの画素の出力値に基づき黒レベルを検出することが可能となる。そのため、当該カメラモジュールは、暗電流や読み出しノイズ等の影響を受けにくくなるため、黒レベルのずれをより精度良く補正することが可能となる。
【０２２９】
また、前述したように、ＯＰＢ領域中の画素の出力値のみにより黒レベルを検出する場合には、ＯＰＢ領域と有効画素領域との間で、黒レベルのずれが生じる場合があった。これに対して、本開示の一実施形態に係るカメラモジュールは、有効画素の出力値に基づき直接的に黒レベルを検出するため、上述したような異なる領域間で生じるずれの影響を受けにくくなるため、黒レベルのずれをより精度良く補正することが可能となる。
【０２３０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２３１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２３２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、
を備える、信号処理装置。
（２）
前記受光面は、前記有効画素が配列された有効画素領域と、外部からの入射光が遮蔽された画素が配列されたオプティカルブラック領域とを含み、
前記補正部は、前記オフセット量である第１のオフセット量と、前記オプティカルブラック領域に含まれる前記画素の前記出力値に基づく第２のオフセット量と、に基づき、前記有効画素の前記出力値を補正する、前記（１）に記載の信号処理装置。
（３）
前記補正部は、
前記有効画素の前記出力値を、前記第２のオフセット量に基づき補正し、
当該補正後の当該出力値を、前記第１のオフセット量に基づき補正する、
前記（２）に記載の信号処理装置。
（４）
前記補正部は、
前記出力値が前記閾値以下の前記有効画素が所定数以上の場合に、前記第１のオフセット量に基づき前記出力値を補正し、
前記出力値が前記閾値以下の前記有効画素が所定数未満の場合に、前記第２のオフセット量に基づき前記出力値を補正する、
前記（２）に記載の信号処理装置。
（５）
前記調整部は、
前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
当該有効画素の前記出力値と、前記信頼度と、に基づき、前記オフセット量を調整する、
前記（１）〜（４）のいずれか一項に記載の信号処理装置。
（６）
前記調整部は、前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
前記補正部は、
前記信頼度が第１の所定値以下の場合には、前記第２のオフセット量に基づき前記出力値を補正し、
前記信頼度が前記第１の所定値よりも高い第２の所定値以上の場合には、前記第１のオフセット量に基づき前記出力値を補正し、
前記信頼度が前記第１の所定値より高く前記第２の所定値よりも低い場合には、前記第１のオフセット量及び前記第２のオフセット量に基づき前記出力値を補正する、
前記（２）に記載の信号処理装置。
（７）
前記複数の有効画素それぞれの前記出力値をフレームごとに保持する保持部を備え、
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値に基づき調整し、
前記補正部は、フレームごとに前記保持部に保持された前記出力値を、当該フレームに対応する前記オフセット量に基づき補正する、
前記（１）〜（６）のいずれか一項に記載の信号処理装置。
（８）
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値に基づき調整し、
前記補正部は、フレームごとに調整された前記オフセット量に基づき、当該フレームよりも後のフレームで出力された前記出力値を補正する、
前記（１）〜（６）のいずれか一項に記載の信号処理装置。
（９）
前記調整部は、フレームごとに前記オフセット量を、当該フレームで出力された前記出力値と、当該フレームよりも前のフレームで調整された前記オフセット量と、に基づき調整する、前記（１）〜（８）のいずれか一項に記載の信号処理装置。
（１０）
前記調整部は、
フレームごとに、前記出力値が前記閾値以下の前記有効画素の数に基づき信頼度を算出し、
前記信頼度が第１の所定値以下の場合には、当該信頼度を算出した第１のフレームよりも前の第２のフレームに対応する前記オフセット量を、当該第１のフレームに対応する前記オフセット量として決定し、
前記信頼度が前記第１の所定値よりも高い第２の所定値以上の場合には、前記第１のフレームで出力された前記出力値に基づく前記オフセット量を、当該第１のフレームに対応する前記オフセット量として決定し、
前記信頼度が前記第１の所定値よりも高く、前記第２の所定値よりも低い場合には、前記第１のフレームで出力された前記出力値に基づく前記オフセット量と、前記第２のフレームに対応する前記オフセット量とに基づき、当該第１のフレームに対応する前記オフセット量を調整する、
前記（９）に記載の信号処理装置。
（１１）
前記調整部は、前記複数の有効画素それぞれの前記出力値に基づく映像が非表示となる期間中に、前記オフセット量を調整する、前記（１）〜（１０）のいずれか一項に記載の信号処理装置。
（１２）
前記調整部は、前記受光面中の複数の部分領域ごとに、当該部分領域に含まれる前記有効画素の前記出力値に基づき、前記オフセット量を調整し、
前記補正部は、前記部分領域ごとに調整された前記オフセット量に基づき、当該部分領域に含まれる前記有効画素の前記出力値を補正する、
前記（１）〜（１１）のいずれか一項に記載の信号処理装置。
（１３）
前記調整部は、複数の前記部分領域のうちの第１の部分領域に対応する前記オフセット量を、前記第１の部分領域の近傍に位置する第２の部分領域に対応する前記オフセット量に基づき調整する、前記（１２）に記載の信号処理装置。
（１４）
複数の有効画素を含む受光面と、
前記受光面の少なくとも一部の領域に含まれる前記有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整する調整部と、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正する補正部と、
を含む、撮像装置。
（１５）
複数の半導体基板が積層された積層構造を成し
前記受光面と、前記調整部及び前記補正部のうち少なくともいずれかとして動作する回路と、が互いに異なる前記半導体基板に形成される、
前記（１４）に記載の撮像装置。
（１６）
前記受光面と、前記調整部及び前記補正部のうち少なくともいずれかとして動作する回路と、が共通の半導体基板に形成される、前記（１４）に記載の撮像装置。
（１７）
プロセッサが、
受光面の少なくとも一部の領域に含まれる複数の有効画素のうち、出力値が閾値以下の前記有効画素の当該出力値に基づき、オフセット量を調整することと、
前記有効画素の前記出力値を調整後の前記オフセット量に基づき補正することと、
を含む、信号処理方法。
【符号の説明】
【０２３３】
１      カメラモジュール
１００  イメージセンサ
１０１  画素アレイ部
２１０  信号処理部
２２０  第１クランプ処理部
２３０  第２クランプ処理部
２４０  検出部
２４１  黒画素判定部
２４３  黒画素加算部
２４５  黒画素カウンタ
２４７  平均値算出部
２５０  調整部
２５１  信頼度算出部
２５３  信頼度処理部
２５５  オフセット量保持部
２６０  補正部
３００  撮像装置
３１１  レンズ部
３１２  センサ
３１４  操作部
３１５  制御部
３１６  画像処理部
３１７  表示部
３１８  コーデック処理部
３１９  記録部
【図１】
2018006785.tif 000005
【図２】
2018006785.tif 000006
【図３】
2018006785.tif 000007
【図４】
2018006785.tif 000008
【図５】
2018006785.tif 000009
【図６】
2018006785.tif 000010
【図７】
2018006785.tif 000011
【図８】
2018006785.tif 000012
【図９】
2018006785.tif 000013
【図１０】
2018006785.tif 000014
【図１１】
2018006785.tif 000015
【図１２】
2018006785.tif 000016
【図１３】
2018006785.tif 000017
【図１４】
2018006785.tif 000018
【図１５】
2018006785.tif 000019
【図１６】
2018006785.tif 000020
【図１７】
2018006785.tif 000021
【図１８】
2018006785.tif 000022
【図１９】
2018006785.tif 000023
【図２０】
2018006785.tif 000024
【図２１】
2018006785.tif 000025
【図２２】
2018006785.tif 000026
【図２３】
2018006785.tif 000027
【図２４】
2018006785.tif 000028
【図２５】
2018006785.tif 000029