(57)【要約】【課題】ノイズの少ない高画質な画像を得ることができ、消費電力を削減することができる撮像装置を提供する。【解決手段】本発明による撮像装置は、光を電気信号に変換して撮像信号を出力する固体撮像素子(101)と、前記固体撮像素子(101)からの撮像信号を処理するＡＦＥ部(107)と、前記ＡＦＥ部(107)から特定色の画像を取得する画像取得部(110)と、前記画像取得部(110)により取得された特定色の画像のノイズを検出するノイズ検出部(112)と、前記ノイズ検出部(112)により検出されたノイズの量に基づいて、水平または垂直ブランキング期間に前記ＡＦＥ部(107)への電力供給のタイミングを制御するＡＦＥパワーダウン制御部(111)と、を備えることを特徴とする。【選択図】図１
2009159205.tif 000002
【特許請求の範囲】
【請求項１】
光を電気信号に変換して撮像信号を出力する固体撮像素子と、
前記固体撮像素子からの撮像信号を処理するアナログフロントエンド(ＡＦＥ)部と、
前記ＡＦＥ部から特定色の画像を取得する画像取得部と、
前記画像取得部により取得された特定色の画像のノイズを検出するノイズ検出部と、
前記ノイズ検出部により検出されたノイズの量に基づいて、水平または垂直ブランキング期間に前記ＡＦＥ部への電力供給のタイミングを制御するＡＦＥパワーダウン制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記画像取得部は、
前記固体撮像素子からの撮像信号の任意のフレームで前記特定色の画像を取得することができ、
前記特定色の画像を取得する頻度を、前記ノイズ検出部により検出されたノイズの量に応じて、調整する、
ことを特徴とする撮像装置。
【請求項３】
請求項１において、
前記ノイズ検出部は、
前記画像取得部により取得された特定色の画像の輝度の平均値によりノイズ量を判断する、
ことを特徴とする撮像装置。
【請求項４】
請求項１において、
前記ノイズ検出部は、
前記画像取得部により取得された特定色の画像の輝度の分散値によりノイズ量を判断する、
ことを特徴とする撮像装置。
【請求項５】
請求項１において、
前記ノイズ検出部は、
所定の水平走査ラインからノイズを検出する、
ことを特徴とする撮像装置。
【請求項６】
請求項１において、
前記固体撮像素子からの撮像信号のノイズを縦筋補正により除去する処理(縦筋補正処理)の有効／無効を切り替える縦筋補正切替部をさらに備える、
ことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記縦筋補正切替部は、
前記ＡＦＥパワーダウン制御部により電力供給のタイミングを調整中に、前記縦筋補正処理を有効にする、
ことを特徴とする撮像装置。
【請求項８】
請求項６において、
前記縦筋補正切替部は、
前記ＡＦＥパワーダウン制御部によるタイミングの調整が限界に達した場合に前記縦筋補正処理を有効にする、
ことを特徴とする撮像装置。
【請求項９】
固体撮像素子からの撮像信号を処理するアナログフロントエンド(ＡＦＥ)部と、
前記ＡＦＥ部から特定色の画像を取得する画像取得部と、
前記画像取得部により取得された特定色の画像のノイズを検出するノイズ検出部と、
前記ノイズ検出部により検出されたノイズの量に基づいて、水平または垂直ブランキング期間に前記ＡＦＥ部への電力供給のタイミングを制御するＡＦＥパワーダウン制御部と、
を備えることを特徴とする半導体集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子からのアナログ撮像信号をデジタル信号に変換するためのアナログ処理回路であるアナログフロントエンド(ＡＦＥ)への電力供給タイミングを制御する技術に関する。
【背景技術】
【０００２】
近年、医療分野の撮像・撮影を目的とする医療カメラ機器において、ユーザの負担を軽減するためにカプセル形状のカメラ(以下、カプセルカメラと呼ぶ)が例えば胃カメラ等に実用化されている。カプセルカメラにおいては、形状のサイズが小さく，低消費電力，高画質であることが望まれる。形状のサイズを小さくするためには、撮像素子やプロセスのサイズを小さくする必要がある。消費電力を抑えるためには、使用しない部分の電力供給を遮断する必要があり、ブランキング期間にＡＦＥへの電力供給を遮断する手法がよく利用されている。この手法によれば、画質を損なわずに消費電力を削減できる。
【０００３】
なお、本発明に関する先行技術文献としては特許文献１，２がある。特許文献１には、有効データと無効データとが混在する場合に、アナログ回路へのノイズの影響で画質が劣化することを、ダミーデータを用いて軽減する方法が開示されている。特許文献２には、ＣＤＳ機能やＡＧＣ機能等を設けたアナログフロントエンドＩＣチップにおいて、黒基準信号期間に出力信号をクランプするためのクランプ回路に電源や外部回路等から混入する雑音の影響を抑制する方法が開示されている。これらの先行技術文献は主に画質の改善を主としており、消費電力改善については言及していない。
【特許文献１】特開2007-189391号公報
【特許文献２】特開2003-163845号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし上述の方法においては、ブランキング期間に電力供給を中断すること(ＡＦＥパワーダウン)により、電力供給再開時の立ち上がり時に波形的な歪みが発生し、入力画像に低周波ノイズが混入する場合がある(特に黒画像時に影響大)。また、ＡＦＥパワーダウンのタイミングを事前に調整することにより低周波ノイズの混入をできるが、温度変化などの外乱により歪みが変化し、調整していた位置で再びノイズが発生する可能性がある(動的に対応できない)。
【０００５】
本発明は、ノイズの少ない高画質な画像を得ることができ、消費電力を削減することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明による撮像装置は、光を電気信号に変換して撮像信号を出力する固体撮像素子と、前記固体撮像素子からの撮像信号を処理するアナログフロントエンド(ＡＦＥ)部と、前記ＡＦＥ部から特定色の画像を取得する画像取得部と、前記画像取得部により取得された特定色の画像のノイズを検出するノイズ検出部と、前記ノイズ検出部により検出されたノイズの量に基づいて、水平または垂直ブランキング期間に前記ＡＦＥ部への電力供給のタイミングを制御するＡＦＥパワーダウン制御部と、を備えることを特徴とする。
【０００７】
上記撮像装置によれば、ノイズの少ない高画質な画像を得ることができ、消費電力を削減することができる。
【０００８】
また、上記撮像装置において、前記画像取得部は、前記固体撮像素子からの撮像信号の任意のフレームで前記特定色の画像を取得することができ、前記特定色の画像を取得する頻度を、前記ノイズ検出部により検出されたノイズの量に応じて、調整する、ことを特徴とする。
【０００９】
上記撮像装置によれば、ユーザはノイズの現れない画像を得るまでの時間を削減することが可能である。
【００１０】
また、上記撮像装置において、前記ノイズ検出部は、前記画像取得部により取得された特定色の画像の輝度の平均値によりノイズ量を判断する、ことを特徴とする。
【００１１】
また、上記撮像装置において、前記ノイズ検出部は、前記画像取得部により取得された特定色の画像の輝度の分散値によりノイズ量を判断する、ことを特徴とする。
【００１２】
また、上記撮像装置において、前記ノイズ検出部は、所定の水平走査ラインからノイズを検出する、ことを特徴とする。
【００１３】
上記撮像装置によれば、フレームすべての画素データを用いずに済むため、検出速度の向上が図れる。
【００１４】
また、上記撮像装置において、前記固体撮像素子からの撮像信号のノイズを縦筋補正により除去する処理(縦筋補正処理)の有効／無効を切り替える縦筋補正切替部をさらに備える、ことを特徴とする。
【００１５】
また、上記撮像装置において、前記縦筋補正切替部は、前記ＡＦＥパワーダウン制御部により電力供給のタイミングを調整中に、前記縦筋補正処理を有効にする、ことを特徴とする。
【００１６】
上記撮像装置によれば、ＡＦＥパワーダウンのタイミング調整中でも、縦筋補正処理によりノイズを軽減することが可能となる。
【００１７】
また、上記撮像装置において、前記縦筋補正切替部は、前記ＡＦＥパワーダウン制御部によるタイミングの調整が限界に達した場合に前記縦筋補正処理を有効にする、ことを特徴とする。
【００１８】
本発明による半導体集積回路は、固体撮像素子からの撮像信号を処理するアナログフロントエンド(ＡＦＥ)部と、前記ＡＦＥ部から特定色の画像を取得する画像取得部と、前記画像取得部により取得された特定色の画像のノイズを検出するノイズ検出部と、前記ノイズ検出部により検出されたノイズの量に基づいて、水平または垂直ブランキング期間に前記ＡＦＥ部への電力供給のタイミングを制御するＡＦＥパワーダウン制御部と、を備えることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、低周波ノイズを少なくする制御を備えるため、画質改善の効果が期待できる。また、ＡＦＥへの電力供給を最適なタイミング(ノイズ最小)で調整するため、電力削減の効果が期待できる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２１】
（実施の形態１）
[全体構成]
本発明の実施の形態１による撮像装置の全体構成を図１に示す。この撮像装置は、医療用カプセルカメラとして利用されることを想定したものである。この撮像装置は、イメージセンサ１０１と、ＬＥＤ１１３と、ＤＳＰ１１４とを備えている。
【００２２】
イメージセンサ１０１は、たとえばＣＣＤやＣＭＯＳ等の固体撮像素子である。イメージセンサ１０１は、複数の画素を有しており、これらの複数の画素は、被写体の撮像に用いられる有効画素領域、および有効画素領域の周辺に配置される。有効画素領域の周辺に配置される画素は遮光された状態で配置される。
【００２３】
ＬＥＤ１１３は、体内等での撮影における露光用に設けられている。
【００２４】
ＤＳＰ１１４は、アナログフロントエンド(ＡＦＥ)１０７と、ＣＰＵ１０５と、ＴＧ(Timing Generator)１０８と、縦筋補正切替制御部１０９と、黒画像取得制御部１１０と、ＡＦＥパワーダウン制御部(AFE_PDWN)１１１と、ノイズ検出部１１２とを備えている。なお、ＤＳＰ１１４は、半導体集積回路の１チップで構成されてもよいし、複数チップで構成されてもよい。
【００２５】
ＡＦＥ１０７は、イメージセンサ１０１から出力される撮像信号(画像データ)に所定の処理を加えてデジタル撮像信号に変換する。ＡＦＥ１０７は、ＣＤＳ(Correlated Double Sampling)１０２と、ＧＣＡ(Gain Control Amplitude)１０３と、ＡＤ変換器(Analog Digital Converter)１０４と、ＤＡ変換器(Digital Analog Converter)１０６とを備えている。ＣＤＳ１０２は、イメージセンサ１０１からの撮像信号のアンプ雑音とリセット雑音を除去するために相関二重サンプリングを行う。ＧＣＡ１０３は、ＣＤＳ１０２から出力される信号を調整可能なゲインで増幅する。ＡＤ変換器１０４は、ＧＣＡ１０３によって増幅された信号をデジタル撮像信号へと変換する。
【００２６】
ＣＰＵ１０５は、システム全体を制御する。ＴＧ１０８は、撮像に用いるためのパルスを生成する。ＴＧ１０８によって生成されたパルスはイメージセンサ１０１やＬＥＤ１１３へ出力される。縦筋補正切替制御部１０９は、縦筋補正の有効／無効を切り替える。黒画像取得制御部１１０は、特定色の画像(本実施例では黒画像とする)を取得する。ＡＦＥパワーダウン制御部１１１は、ＡＦＥ１０７への電力供給のタイミングを制御する
[消費電力削減のためのＡＦＥパワーダウン]
従来技術として、消費電力削減のために垂直または水平ブランキング期間中はＡＦＥへの電力供給を停止する方法(ＡＦＥパワーダウン)が提案されている。
【００２７】
図２(ａ)に示すように、イメージセンサ２０１には、有効領域、無効領域、ＯＢ(Optical Black)領域が構成されている。水平方向の無効領域を水平ブランキング、垂直方向の無効領域を垂直ブランキングと呼ぶ。
【００２８】
図２(ｂ)に示すタイミングチャートは、垂直有効画素領域であることを示すＶＤ、水平有効画素領域であることを示すＨＤ、ＡＦＥへの電力供給の有無を示すAFE_PDWNのタイミングを示している。水平ブランキング期間(ＶＨ＝‘Ｌ’)と垂直ブランキング期間(ＶＤ＝‘Ｌ’)はＡＦＥへの電力供給を停止する(AFE_PDWN＝‘Ｈ’)。
【００２９】
[ノイズ発生]
しかし、水平ブランキング期間中にＡＦＥパワーダウンを行うと低周波ノイズが発生する場合がある。図３にＡＦＥパワーダウンによるノイズ発生のメカニズムを示す。図３(ａ)は、１Ｈの有効領域，ＯＢ領域，無効領域を示しており、図３(ｂ)は、ＡＦＥへの電力供給の様子を図３(ａ)に対応させて示している。１ＨごとにＡＦＥパワーダウンを行うと、ＡＦＥの性能にもよるが、図３(ｂ)に示すように供給電力の波形にひずみが生じる場合がある。このようなひずみが発生した場合、図３(ｃ)に示すような低周波ノイズが発生する。
【００３０】
[対処法]
工場出荷時にはノイズが載らないように最適なタイミングが設定されている。しかし、環境の変化によって、初期設定のタイミングでノイズが載るようになった場合、動的にタイミングを調整する仕組みが必要となる。
【００３１】
ＡＦＥパワーダウンにおける電力供給再開のタイミングを早めることで低周波ノイズが低減できる。また従来手法として縦筋補正を用いたノイズ除去手段もある。図４は、黒画像を取得してノイズを判断し、ＡＦＥパワーダウンのタイミングを調整する方法を示している。図４(ａ)は所定のフレームで黒画像を取得する様子を示している。医療分野におけるカプセルカメラなどではＬＥＤの発光を停止することで黒画像を取得し、黒レベルを調整する制御が組み込まれている。図４(ｂ)に簡単なフローチャートを示す。ステップ４０２で所定のフレームで黒画像を取得し、ステップ４０３で低周波ノイズがあるか判断する。低周波ノイズは黒画像時に顕著に現れる。低周波ノイズを検出した場合、ステップ４０４でＡＦＥパワーダウンにおける電力供給再開のタイミングを調整する。
【００３２】
黒画像を取得する頻度はユーザにより所定の値に設定することができる。また、ノイズの量を判断し、頻度を自動的に調整することも可能である。
【００３３】
図５はタイミング調整と消費電力の関係を示している。図５(ａ)のタイミングチャートは、センサ出力(イメージセンサ１０１の出力)に対するＡＦＥパワーダウンのタイミングを示している。Tpは、ＡＦＥパワーダウンにおける電力供給再開のタイミングが、センサ出力の有効領域開始タイミング(ブランキング期間終了タイミング)に対して有しているマージンを示している。すなわち、センサ出力の有効領域開始タイミング(ブランキング期間終了タイミング)よりもTp時間前に電力供給が再開される。Tpmaxは、上記Tpがとりうる最大値を示している。TpがTpmaxに達した場合は、縦筋補正処理に切り替える。ＡＦＥパワーダウンにおける電力供給再開タイミングと消費電力はトレードオフの関係にあり、図５(ｂ)に示す関係となる。低周波ノイズを検出した場合、Tpの位置をずらすことで、ノイズがなく、無駄のない消費電力削減を実現できる。
【００３４】
このようにノイズを判断し自動調整することで、ＡＦＥの個体差を吸収することができ、試作中の回路変更などに柔軟に対応できる。また、医療分野のカプセルカメラでは、温度変化などの環境変化に追従して補正することができる。
【００３５】
[フローチャート]
全体的な処理の流れを図６に示す。
【００３６】
撮像が開始されると(ステップ６０１)、クロックの設定やセンサ、メモリなどの初期設定を行う(ステップ６０２)。所定のフレームレートでの撮像が開始されると、所定の周期で黒画像を取得する。ステップ６０３で黒画像を取得したかの判断を行う。黒画像を取得した場合、ステップ６０５へ進む。そうでない場合は、ステップ６０４へ進み、次のフレームを取得して、再度ステップ６０３へ戻る。
【００３７】
ステップ６０５にて黒画像を取得し、ステップ６０６でノイズ検出を行う。ノイズ検出についての詳細は後述する。ノイズ検出によるノイズの有無をステップ６０７で判断する。ノイズを検出した場合は、ステップ６０８へ進む。そうでない場合は、ステップ６０３へ戻る。ステップ６０８ではＡＦＥパワーダウンのタイミングを調整する。ＡＦＥパワーダウンにおける電力供給再開のタイミングを早めることによりノイズを軽減できるので、ここでは所定の時間、再開タイミングを早める処理となる。
【００３８】
調整中にノイズが出ることは好ましくない。ステップ６０９は縦筋補正処理の使用の有無を判断する。縦筋補正が有効であればステップ６１０へ進み、そうでない場合は、ステップ６０３へ戻る。縦筋補正が有効となる場合は、ＡＦＥパワーダウンによりタイミングを調整中のときと、再開タイミングTpがTpmaxに到達したときである。最適なタイミングになった場合、縦筋補正処理は無効となる。ステップ６１０へ進んだ後はステップ６０３へ戻る。
【００３９】
ノイズ検出(ステップ６０６)の処理の流れをステップ６１１〜６１７に示す。ステップ６１２により有効画素領域の所定のラインを選択する。複数のラインを選択してもよいし、すべてのライン(１フレーム)を選択してもよい。ステップ６１３により、輝度の平均または分散、あるいは両方を取得する。また、輝度に限らず高周波成分などの値を用いてもよい。ステップ６１４により所定の値を超えているかの判断を行う。所定の値を超えていれば、ステップ６１５へ進み、そうでなければステップ６１６へ進む。
【００４０】
[ノイズ検出]
ノイズ検出部１１２は画像取得部１１０から特定色の画像を得ることで検出する。低周波ノイズは特に黒画像時にゲインを掛けることで顕著に現れ、輝度の分散や平均を求めることで、予め設定した所定の値と比較することによりノイズの有無を判断する。
【００４１】
ノイズ検出の速度を速めるために、１フレームすべての画素を用いずに所定のラインからノイズを検出することも可能である。
【００４２】
[縦筋補正の切替制御]
動的にＡＦＥパワーダウンのタイミングを調整することで、徐々にノイズが軽減していくが、調整中にノイズが載ることは好ましくない。また、調整の限界もあり、ＡＦＥパワーダウンを無効にすることで消費電力が大きくなることも好ましくない。
【００４３】
そこで、ＡＦＥパワーダウンにおける電力供給再開のタイミングを調整しているときに、まだノイズを検出している場合は、従来手法である縦筋補正処理を用いてノイズを低減する。また、調整限界に到達した場合(TpがTpmaxに到達した場合)は、ＡＦＥパワーダウンにおける電力供給再開タイミングの調整から、縦筋補正処理に切り替える。
【００４４】
（実施の形態２）
本発明の実施の形態２による撮像装置は、デジタルスチルカメラとして利用されることを想定したものである。この撮像装置の全体構成は、図１においてＬＥＤ１１３を取り除いた構成となる。カプセルカメラでは体内における露光をＬＥＤ１１３を用いて行っていたが、デジタルスチルカメラでは不要となる。消費電力削減のためのＡＦＥパワーダウンやノイズ発生についても実施の形態１と同様である。
【００４５】
デジタルスチルカメラでは、医療用カプセルカメラとは異なり、所定のフレーム間隔で黒画像を取得することは望ましくない。撮影時のリレーズ時に黒画像を取得することができるので、撮影ごとに低周波ノイズが発生していないかを確認する。ノイズが発生したと判断した場合は、ユーザにノイズ発生の旨を通知することで、ユーザがノイズを取り除くかどうかの判断をした後、ノイズを取り除く場合は、ノイズ除去手段を適用する。ただし、このとき一時的に黒画像を取得するため、通常の画像を取得することはできない。
【００４６】
実施の形態２のフローチャートを図７に示す。
【００４７】
撮像が開始されると(ステップ７０１)、クロックの設定やセンサ、メモリなどの初期設定を行う(ステップ７０２)。そしてモニタモードから撮像のためにシャッターをリレーズした後、黒画像を取得する(ステップ７０３)。ステップ７０４でノイズを検出する。検出方法は、実施の形態１と同様である。ステップ７０５でノイズの有無を判断する。ノイズを検出すればステップ７０６へ進み、そうでなければステップ７０８へ進む。ステップ７０６では黒画像を取得し、ステップ７０７でＡＦＥパワーダウンのタイミング調整を行う。ステップ７０５からステップ７０７をノイズが無くなるまで繰り返す。ノイズがなくなるとステップ７０８へ進み、モニタモードへ戻る。
【００４８】
デジタルスチルカメラでの実施は、ユーザへの通知と一時的に通常画像が撮影できなくなるという２つのデメリットがあるが、消費電力削減と画質向上の２つを優先とする場合、メリットがあると言える。
【産業上の利用可能性】
【００４９】
本発明による撮像装置は、医療用カプセルカメラやデジタルスチルカメラ等において利用可能性がある。
【図面の簡単な説明】
【００５０】
【図１】実施の形態１による撮像装置の全体構成
【図２】(ａ)ＡＦＥパワーダウンの範囲と(ｂ)タイミングチャート
【図３】ＡＦＥパワーダウンによる低周波ノイズ発生のメカニズム
【図４】低周波ノイズ対処法
【図５】低周波ノイズ対処法
【図６】実施の形態１による撮像装置のフローチャート
【図７】実施の形態２による撮像装置のフローチャート
【符号の説明】
【００５１】
１０１  イメージセンサ
１０７  アナログフロントエンド(ＡＦＥ)
１０９  縦筋補正切替制御部
１１０  黒画像取得制御部
１１１  ＡＦＥパワーダウン制御部
１１２  ノイズ検出部
【図１】
2009159205.tif 000003
【図４】
2009159205.tif 000004
【図５】
2009159205.tif 000005
【図６】
2009159205.tif 000006
【図７】
2009159205.tif 000007
【図２】
2009159205.tif 000008
【図３】
2009159205.tif 000009