(57)【要約】【課題】制御部から信号処理用の回路に送信する制御情報を削減することが可能な撮像装置を提供する。【解決手段】本発明の撮像装置は、第１の画素領域と第２の画素領域とを有する画素部と、画素部から得られる画像データに、第１の画素領域および第２の画素領域を示す領域情報を付加して出力する出力手段と、画素部から読み出された画像データに対し、第２の画素領域の画素データを用いて第１の画素領域の画素データを補正する信号処理手段と、を有し、信号処理手段は、出力手段から受信した画像データに付加された領域情報を用いて、画像データにおける第１の画素領域の画素データおよび第２の画素領域の画素データを抽出する。【選択図】図１
2016054479.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素領域と第２の画素領域とを有する画素部と、
前記画素部から得られる画像データに、前記第１の画素領域および前記第２の画素領域を示す領域情報を付加して出力する出力手段と、
前記画素部から読み出された画像データに対し、前記第２の画素領域の画素データを用いて前記第１の画素領域の画素データを補正する信号処理手段と、を有し、
前記信号処理手段は、前記出力手段から受信した画像データに付加された前記領域情報を用いて、前記画像データにおける前記第１の画素領域の画素データおよび前記第２の画素領域の画素データを抽出する、
ことを特徴とする撮像装置。
【請求項２】
前記出力手段は、
前記領域情報を前記画素部から得られた画像データに付加してパケットを生成するパケット生成手段と、
前記パケットを前記信号処理手段に出力するパケット出力手段と、を有する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力手段は、
前記領域情報から得られる画像内の領域と前記画像データの領域とを比較して、前記第１の画素領域および前記第２の画素領域を示す情報を生成する比較手段をさらに有し、
前記パケット生成手段は、前記第１の画素領域および前記第２の画素領域を示す情報を前記領域情報として前記画像データに付加してパケットを生成する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記信号処理手段は、
前記出力手段から出力された前記パケットから前記第１の画素領域および第２の画素領域を示す情報を抽出する情報抽出手段と、
前記第１の画素領域および第２の画素領域を示す情報に基づいて、前記パケットから得られる画素データのうち、前記第１の画素領域と前記第２の画素領域に含まれる画素データをそれぞれ抽出する抽出手段と、
前記第１の画素領域に含まれる画素データを用いて、前記第２の画素領域に含まれる画素データを補正するための補正値を算出する算出手段と、を有する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記領域情報は、前記第１の画素領域の画素と前記第２の画素領域の画素とを特定するための情報として、それぞれの領域の垂直座標範囲または水平座標範囲の少なくともいずれかの情報を含む、
ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記パケット生成手段は、予め定められた画素データごとに前記画像データを分割し、該分割した画像データに、前記第１の画素領域および前記第２の画素領域を示す情報をヘッダ情報として付加する、
ことを特徴とする、請求項３に記載の撮像装置。
【請求項７】
前記算出手段は、前記第２の画素領域の画素のうち前記第２の画素領域を示す情報により特定された画素の画素データの平均値に基づいて、前記補正値を算出する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記信号処理手段は、前記第１の画素領域の画素のうち前記第１の画素領域を示す情報により特定された画素の画素データから前記補正値を減算することにより、前記第２の画素領域の画素の出力を補正する補正手段を有する、
ことを特徴とする請求項４に記載の撮像装置。
【請求項９】
前記第１の画素領域の画素は、有効画素領域の画素であり、前記第２の画素領域の画素は、前記有効画素領域の画素の出力を補正するための画素である、
ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第２の画素領域の画素は、遮光された領域の画素である、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記画素部は、複数の半導体チップが互いに積層された積層型の撮像素子に含まれる、
ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
第１の画素領域と第２の画素領域とを有する画素部と、
前記画素部から得られる画像データに、前記第１の画素領域および前記第２の画素領域を示す領域情報を付加して出力する出力手段と、を有する、
ことを特徴とする撮像素子。
【請求項１３】
前記出力手段は、前記領域情報を前記画素部から得られた画像データに付加してパケットを生成するパケット生成手段と、前記パケットを出力するパケット出力手段と、を有する、
ことを特徴とする請求項１２に記載の撮像素子。
【請求項１４】
前記出力手段は、前記領域情報から得られる画像内の領域と前記画像データの領域とを比較して、前記第１の画素領域および前記第２の画素領域を示す情報を生成する比較手段をさらに有し、
前記パケット生成手段は、前記第１の画素領域および前記第２の画素領域を示す情報を前記領域情報として前記画像データに付加してパケットを生成する、
ことを特徴とする請求項１３に記載の撮像素子。
【請求項１５】
前記領域情報は、前記第１の画素領域の画素と前記第２の画素領域の画素とを特定するための情報として、それぞれの領域の垂直座標範囲または水平座標範囲の少なくともいずれかの情報を含む、
ことを特徴とする請求項１２から１４のいずれか１項に記載の撮像素子。
【請求項１６】
前記パケット生成手段は、予め定められた画素データごとに前記画像データを分割し、該分割した画像データに、前記第１の画素領域および前記第２の画素領域を示す情報をヘッダ情報として付加する
ことを特徴とする請求項１３または１４に記載の撮像素子。
【請求項１７】
前記第１の画素領域の画素は、有効画素領域の画素であり、前記第２の画素領域の画素は、前記有効画素領域の画素の出力を補正するための画素である、
ことを特徴とする請求項１２から１６のいずれか１項に記載の撮像素子。
【請求項１８】
前記第２の画素領域の画素は、遮光された領域の画素である、
ことを特徴とする請求項１７に記載の撮像素子。
【請求項１９】
前記撮像素子は、複数の半導体チップが互いに積層された積層型の撮像素子である、
ことを特徴とする請求項１２から１８のいずれか１項に記載の撮像素子。
【請求項２０】
第１の画素領域と第２の画素領域とを有する画素部を有する撮像装置の制御方法であって、
出力手段が、前記画素部から得られる画像データに、前記第１の画素領域および前記第２の画素領域を示す領域情報を付加して出力する出力工程と、
信号処理手段が、前記画素部から読み出された画像データに対し、前記第２の画素領域の画素データを用いて前記第１の画素領域の画素データを補正する信号処理工程と、を有し、
前記信号処理工程では、前記出力手段から受信した画像データに付加された前記領域情報を用いて、前記画像データにおける前記第１の画素領域の画素データおよび前記第２の画素領域の画素データを抽出する、
ことを特徴とする撮像装置の制御方法。
【請求項２１】
コンピュータを、請求項１から１１のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法、プログラムならびに撮像素子に関する。
【背景技術】
【０００２】
近年、撮像素子の多画素化や撮像素子からの読み出し速度の高速化に伴い、撮像素子とこれに接続される信号処理用の回路（DSP, Digital Signal Processor）との間に求められる伝送容量が増大している。このような要求に対して、特許文献１は、撮像素子とＤＳＰの間のデータの送受信において複数の伝送路に分割したパケットを伝送し、回路間のデータ送受信を効率化する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２０１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像素子、信号処理用の回路および制御部（例えばＣＰＵ）を有する撮像システムでは、制御部から各回路に制御情報（例えば、座標情報）を伝送する必要がある。特に、信号処理用の回路は撮像素子から出力された画像のサイズに合わせて画像データを処理するため、撮像素子から出力される画像データの画像サイズを変更する場合、信号処理用の回路は制御部から座標情報等の制御情報を受信する必要がある。さらに、例えば、撮像素子が遮光されたオプティカルブラック領域の画素を有し、信号処理用の回路が当該領域の画素データを用いて有効画素領域の画素データを補正する場合、当該回路は制御部から上述した２つの領域に対する座標情報を受信する必要がある。このとき、制御部は撮像素子および信号処理用の回路に対して同様の制御情報を送信するため、信号処理用の回路で行う処理の増加に伴い、制御部からそれぞれに送信する制御情報が増加してシステムが複雑化することが想定される。
【０００５】
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、制御部から信号処理用の回路に送信する制御情報を削減することが可能な撮像装置およびその制御方法、プログラムならびに撮像素子を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、第１の画素領域と第２の画素領域とを有する画素部と、画素部から得られる画像データに、第１の画素領域および第２の画素領域を示す領域情報を付加して出力する出力手段と、画素部から読み出された画像データに対し、第２の画素領域の画素データを用いて第１の画素領域の画素データを補正する信号処理手段と、を有し、信号処理手段は、出力手段から受信した画像データに付加された領域情報を用いて、画像データにおける第１の画素領域の画素データおよび第２の画素領域の画素データを抽出する、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、制御部から信号処理用の回路に送信する制御情報を削減することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図
【図２】本実施形態に係る撮像素子の機能構成例（ａ）および画像出力部（ｂ）を示すブロック図
【図３】本実施形態に係るＤＦＥの機能構成例を示すブロック図
【図４】本実施形態に係る撮像システムの処理の一連の動作を示すフローチャート
【図５】実施形態１に係るパケット生成処理の一連の動作を示すフローチャート
【図６】実施形態１に係る画像処理について説明するフローチャート
【図７】実施形態１に係るパケットのフォーマットの一例を示す図
【図８】実施形態１に係る画素部における画素領域の構成例を示す図
【図９】実施形態２に係る画像処理の一連の動作を示すフローチャート
【図１０】実施形態２に係る画素部における画素領域の構成例を示す図
【図１１】実施形態３に係る撮像素子の機能構成例（ａ）および画像出力部（ｂ）を示すブロック図
【図１２】実施形態３に係る画像処理の一連の動作を示すフローチャート
【図１３】実施形態３に係るパケットのフォーマットの一例を示す図
【図１４】その他の実施形態に係る積層型の撮像センサの一例を示す図
【図１５】その他の実施形態に係る撮像装置の一例としての携帯電話機の機能構成例を示すブロック図
【発明を実施するための形態】
【０００９】
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、互いに接続された撮像素子、信号処理用の回路および制御部を備えたデジタルカメラに本発明を適用した例を説明する。しかし、本発明でいう撮像装置は、デジタルカメラに限らず、このような撮像素子等の構成を備える任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。
【００１０】
（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
【００１１】
撮像素子の各画素から出力される信号には、一般に、遮光された場合であっても熱等の影響により生じる暗電流が含まれている。このため、撮像素子は、信号レベルの基準信号となる信号（黒基準信号）を得るために、光に反応しないように遮光されたオプティカルブラック画素領域（ＯＢ画素領域）を備え、有効画素の信号はそのＯＢ画素領域の画素から得た黒基準信号を基準として演算処理される。例えば、撮像素子上の有効画素領域の上部にＯＢ画素領域を設け、当該ＯＢ画素の出力から補正値を算出することにより、有効画素領域の画素から出力された信号に対して、暗電流の影響による水平方向のシェーディングを補正することができる。本実施形態では、ＤＳＰが行う画像処理の例として、暗電流に係る補正処理を行う例について説明する。即ち、撮像素子が有効画素領域およびＯＢ画素領域の両方の信号を出力して、ＤＳＰが入力した信号に対して暗電流に係る補正処理を行う例を説明する。
【００１２】
撮像部１２０は、撮像素子１２１とＤＦＥ（Digital Front End）１２２を含む。撮像素子１２１は、図２において後述するように、画素部２００、Ａ／Ｄ変換部２０１、画像出力部２０２およびタイミングジェネレータ（ＴＧ）２０３を含む。撮像素子１２１は、光学系１０２により結像された被写体光学像から画像データを生成してＤＦＥ１２２へ出力する。
【００１３】
ＤＦＥ１２２は、信号処理用のプロセッサ（ＤＳＰ）であり、撮像素子１２１が出力する画像データに対して画像処理を行い、画像処理を施した画像データを制御部１０１に出力する。
【００１４】
制御部１０１は、例えばＣＰＵあるいはＭＰＵを含み、不揮発性メモリ１０５に格納されたプログラムを揮発性メモリ１０３の作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する。制御部１０１は、ユーザにより設定された撮影条件に従って撮影動作を行うため、撮像素子１２１や光学系１０２、ＤＦＥ１２２等の各部を制御する。また、後述するように、制御部１０１は、画素部２００から信号を読み出す画素の領域を撮像素子１２１に対して指示する。
【００１５】
光学系１０２は、デジタルカメラ１００と電気的に接続され、外部から光を取り込み、画素部２００の撮像面に結像させるフォーカスレンズ、ズームレンズ、絞り、シャッターなどを含む。
【００１６】
揮発性メモリ１０３は、デジタルカメラ１００の電源を切った後は消えても構わないような一時的なデータを記憶するＲＡＭなどの主記憶装置である。揮発性メモリ１０３は、制御部１０１と接続されており、制御部１０１から提供されるデータを制御部１０１の指示に応じて保持する。
【００１７】
電力供給部１０４は、デジタルカメラ１００に対して電力を供給する。電力の供給先は、図１に示す制御部１０１のみに限定されず、デジタルカメラ１００を構成する各部に対して電力を供給する。
【００１８】
不揮発性メモリ１０５は、半導体メモリや磁気ディスク等から構成される補助記憶装置であり、撮影された画像や映像を記憶するとともに、デジタルカメラ１００に設定されるＴｖ値やＡｖ値など、電源を切った後も保持する必要のある情報を記憶する。不揮発性メモリ１０５は、制御部１０１と接続されており、制御部１０１から提供されるデータを制御部１０１の指示に応じて記憶する。
【００１９】
アクセサリシュー１０６は、デジタルカメラ１００の上部に配置され、クリップオンタイプのストロボと接続することができる金属接点の集合体である。
【００２０】
第１シャッタースイッチ１０７は、デジタルカメラ１００に設けられたシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。制御部１０１は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作を開始する。
【００２１】
第２シャッタースイッチ１０８は、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。制御部１０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２０からの信号読み出しから不揮発性メモリ１０５に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２２】
操作部１０９は、デジタルカメラ１００に設定するＡｖ値やＴｖ値等の設定値を設定するためのボタン、ダイヤルあるいはタッチパネル等である。操作部１０９は、ユーザ操作を検出すると、制御部１０１に対して操作内容あるいは設定値を通知する。ユーザ操作により設定された各種設定値は、上述したように制御部１０１の指示のもと不揮発性メモリ１０５に記憶される。
【００２３】
電源スイッチ１１０は、デジタルカメラ１００の電源状態のオンまたはオフを切り替えるメカスイッチである。ユーザによるオンまたはオフの切替え操作が検出されると、電力供給部１０４からデジタルカメラ１００の各部に対して電力供給が開始または停止される。
【００２４】
（撮像素子１２１の構成）
次に、図２（ａ）を参照して、図１で示した撮像素子１２１の構成を説明する。
【００２５】
撮像素子１２１は、光学系１０２により結像された被写体光学像を、２次元に配置された複数の画素で受光し、画素ごとに光電変換してアナログ信号を出力する。撮像素子１２１は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。撮像素子１２１の画素部２００は、タイミングジェネレータ２０３により供給されるタイミング信号に従ってアナログ信号を出力する。
【００２６】
Ａ／Ｄ変換部２０１は、画素部２００により出力されたアナログ信号を、タイミングジェネレータ２０３によって生成された動作タイミングに従って、デジタル信号に変換する。
【００２７】
画像出力部２０２は、Ａ／Ｄ変換部２０１から入力したデジタル信号に、制御部１０１から取得する制御情報に基づくヘッダ情報を付加して、当該ヘッダ情報を含む画像データを出力する。より具体的には、画像出力部２０２は、制御部１０１から制御情報、即ち後述する第１および第２の垂直座標範囲を取得して、当該垂直座標範囲に基づいてヘッダ情報を生成する。画像出力部２０２は、画像データを出力する際に、デジタル化された画素データを予め定められたデータ長に分割し、これらのデータに生成したヘッダ情報を付加してパケット化を行う。画像出力部２０２は、パケット化したデータを画像データとしてＤＦＥ１２２へ出力する。
【００２８】
タイミングジェネレータ２０３は、制御部１０１から入力された動作タイミング情報に従って、画素部２００とＡ／Ｄ変換部に動作タイミングを供給する。
【００２９】
（画像出力部２０２の構成）
さらに、図２（ｂ）を参照して、図２（ａ）で示した画像出力部２０２の構成をより詳細に説明する。
【００３０】
画素データ生成部２５０は、Ａ／Ｄ変換部２０１が出力したデジタル信号を入力し、画素データに変換する。画素データ生成部２５０は、入力したデジタル信号を、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分ごとに分離したＲＧＢ形式で各画素のデータを形成するように、画素データを生成する。
【００３１】
行カウンタ部２５１は、画素データ生成部２５０が出力した画素データを入力して、予め定められた画素数ごとに行数をカウントアップすることにより画素の行数（画素ライン数）をカウントし、カウントした行数値を比較部２５２に出力する。
【００３２】
比較部２５２は、行カウンタ部２５１から行数値を入力して、当該行数値を、制御部１０１から入力する第１の画素領域（例えば、遮光されたＯＢ画素領域）の垂直座標範囲および第２の画素領域（例えば、有効画素領域）の垂直座標範囲と比較する。比較部２５２は、当該比較により、画素データが第１の画素領域および第２の画素領域に含まれるかを判定し、画素データが図８に示す画像内の第１の画素領域および第２の画素領域に含まれるか否かを示すデータを、ヘッダ情報として生成する。本実施形態では、第１の画素領域および第２の画素領域に含まれるか否かを示すデータを、それぞれ第１の領域情報および第２の領域情報という。
【００３３】
パケット生成部２５３は、画素データ生成部２５０から出力された画素データと比較部２５２から出力されたヘッダ情報に基づいて、パケットを生成する。パケット生成部２５３は、画素データ生成部２５０から出力された画素データをパケットのペイロードに格納し、比較部２５２から出力されたヘッダ情報をさらにペイロードに付加して、パケットを生成する。
【００３４】
パケット出力部２５４は、パケット生成部２５３で生成したパケットを、撮像素子１２１とＤＦＥ１２２を接続する不図示の伝送路に応じた伝送方式に適合させて出力する。
【００３５】
（ＤＦＥ１２２の構成）
図３は、ＤＦＥ１２２のより詳細な機能構成例を示している。
【００３６】
パケット分離部３００は、入力したパケットに含まれるヘッダ情報とペイロードデータを分離する。
【００３７】
画素データ抽出部３０１は、パケット分離部３００でパケットから分離されたペイロードデータから画素データを抽出する。
【００３８】
第１の領域情報抽出部３０２は、パケット分離部３００でパケットから分離されたヘッダ情報に基づいて第１の領域情報を抽出し、補正値算出部３０３へ出力する。
【００３９】
補正値算出部３０３は、第１の領域情報抽出部３０２が抽出した第１の領域情報に基づいて、画素データ抽出部３０１から入力した画素データが第１の画素領域に含まれるか否かを判定する。そして、第１の画素領域に含まれると判定した画素データの平均値に基づいて、暗電流の影響を補正するための補正値を算出する。算出された補正値は、画素データ処理部３０５に出力される。なお、本実施形態では、暗電流の影響を補正するための補正値を、画素データの平均値を用いて算出する例について説明しているが、平均値に限定されず、目的に応じて種々の変形及び変更が可能である。
【００４０】
第２の領域情報抽出部３０４は、パケット分離部３００でパケットから分離されたヘッダ情報から第２の領域情報を抽出し、画素データ処理部３０５に出力する。
【００４１】
画素データ処理部３０５は、第２の領域情報抽出部３０４が抽出した第２の領域情報に基づいて、画素データ抽出部３０１から入力した画素データが第２の画素領域に含まれるかを判定する。そして、第２の画素領域に含まれると判定した画素データに対して、補正値算出部３０３が算出した補正値を減算処理し、画素データに含まれる暗電流の影響を補正する。画素データ処理部３０５は、補正処理を完了すると補正後の画像データとして制御部１０１に出力する。
【００４２】
（撮像処理に係る一連の動作）
次に、図４を参照して、撮像部１２０による撮像処理に係る一連の動作を説明する。本処理は、例えばデジタルカメラ１００の第２シャッタースイッチ１０８に対するユーザからの撮影指示が検出された場合に開始される。なお、本処理に係る各ステップは、制御部１０１の指示に応じて実行され、制御部１０１が不揮発性メモリ１０５に記憶されたプログラムを揮発性メモリ１０３の作業用領域に展開し、実行することにより実現される。
【００４３】
Ｓ１において、撮像部１２０は撮像を行う。制御部１０１は、例えば光学系１０２の絞りの駆動や露光時間の制御を行って、適切な露光量で画素部２００を露光させる。画素部２００から読み出されたアナログ信号は、上述したように、デジタル信号に変換されて画素データが生成される。
【００４４】
Ｓ２において、画像出力部２０２は、画像データを分割したパケットを生成する。図７は、画像出力部２０２が生成するパケットのフォーマットを示している。パケットは、ヘッダとペイロードから成る。ペイロードに格納される１行分の画素データには、ＯＢ画素領域の画素から出力された画素データあるいは有効画素領域の画素から出力された画素データが格納される。ヘッダ情報には、ペイロードに格納された画素データが、第１あるいは第２の画素領域の画素から出力された画素データであるかを示す情報が付加される。画像出力部２０２は、画像データを１行分の画素データごとに分割して１行分の画素データをペイロードに格納するとともに、ヘッダ情報を付加して、パケットを生成する。パケットの生成処理については図５に示すフローチャートを参照して、別途後述する。画像出力部２０２は、生成したパケットを、不図示の伝送路を介してＤＦＥ１２２に出力する。
【００４５】
Ｓ３において、ＤＦＥ１２２は、撮像素子１２１から入力した画像データに対して画像処理を行う。ＤＦＥ１２２は、入力したパケットデータを、画素データを格納したペイロードと第１の領域情報および第２の領域情報を格納したヘッダとに分離して、画素データに対して画像処理、即ち暗電流の影響を除去する補正を行う。画像処理の詳細については図６に示すフローチャートを参照して後述する。ＤＦＥ１２２は、補正後の画像データを制御部１０１に出力すると、制御部１０１は本処理に係る一連の動作を終了する。
【００４６】
（パケット生成処理に係る一連の動作）
図５に示すフローチャートを参照して、図４のＳ２として示したパケット生成処理に係る一連の動作について説明する。
【００４７】
Ｓ２１において、画素データ生成部２５０は、Ａ／Ｄ変換部によって出力されたデジタル信号を入力して、例えば上述したＲＧＢ形式の画素データを生成し、１画素ごとのデータとして順次出力する。生成された画素データは、行カウンタ部２５１によって予め定められた画素数を１行として行数がカウントされる。
【００４８】
Ｓ２２において、比較部２５２は、行カウンタ部２５１が生成した行数（即ち、画素データの垂直座標）と制御部１０１から入力された第１の画素領域の垂直座標範囲とを比較して、画素データの垂直座標が第１の画素領域に含まれるかを判定する。比較部２５２は、処理対象の画素データ（即ち、入力した行数）が、第１の画素領域の垂直座標範囲に含まれると判定した場合、第１の領域情報を更新する。第１の領域情報は、例えば初期値が０に設定された二進数の識別子であり、第１の画素領域の垂直座標範囲に含まれる場合に１が、当該範囲に含まれない場合に０が設定される。
【００４９】
Ｓ２３において、比較部２５２は、行カウンタ部２５１が生成した行数と制御部１０１から入力された第２の画素領域の垂直座標範囲とを比較して、画素データの垂直座標が第２の画素領域に含まれるかを判定する。比較部２５２は、処理対象の画素データが、第２の画素領域の垂直座標範囲に含まれると判定した場合、第２の領域情報を更新する。第２の領域情報は、上述した第１の領域情報と同様に設定される。
【００５０】
Ｓ２４において、比較部２５２は、第１の領域情報および第２の領域情報からなるヘッダ情報を生成する。
【００５１】
Ｓ２５において、パケット生成部２５３は、画素データを含むペイロードデータと、比較部２５２により生成されたヘッダ情報に基づいてパケットを生成する。
【００５２】
Ｓ２６において、パケット出力部２５４は、Ｓ２５において生成したパケットをＤＦＥ１２２へ出力する。パケット出力部２５４は１行分ごとのパケットの送信を繰り返し、画像データ全体についてパケットの送信を終えると、本処理に係る一連の動作を完了する。
【００５３】
（画像処理に係る一連の動作）
次に、図６に示すフローチャートを参照して、図４のＳ３として示した画像処理について説明する。
【００５４】
Ｓ３００において、ＤＦＥ１２２は、撮像素子１２１から伝送されたパケットを入力すると、Ｓ３０１において、ＤＦＥ１２２のパケット分離部３００は、ヘッダ情報とペイロードデータを分離する。
【００５５】
Ｓ３０２において、画素データ抽出部３０１は、ペイロードに含まれる画素データを抽出する。
【００５６】
Ｓ３０３において、第１の領域情報抽出部３０２は、Ｓ３０１で分離されたヘッダ情報に含まれる第１の領域情報を抽出して、補正値算出部３０３へ出力する。
【００５７】
Ｓ３０４において、補正値算出部３０３は、抽出された第１の領域情報に基づいて、Ｓ３０２においてペイロードから抽出された画素データの垂直座標が、第１の垂直領域に含まれるかを判定する。補正値算出部３０３は、第１の領域情報が１を示すとき、当該画素データが第１の垂直領域に含まれていると判定して処理をＳ３０５に進め、第１の領域情報が０を示すとき、当該画素データが第１の垂直領域に含まれていないと判定して、Ｓ３０７に進める。
【００５８】
Ｓ３０５において、補正値算出部３０３は、ペイロードの画素データをカウントすることにより得られる画素データの水平座標と制御部１０１から入力される第１の水平座標範囲を比較し、画素データの水平座標が第１の水平座標範囲に含まれるか判定する。画素データの水平座標が第１の水平座標範囲に含まれると判定した場合は、Ｓ３０６に処理を進め、含まれないと判定した場合はＳ３０７に処理を進める。
【００５９】
Ｓ３０６において、補正値算出部３０３は、第１の水平座標範囲に含まれる、第１の画素領域のすべての画素データの平均値を算出して、画像ごとの補正値として生成する。
【００６０】
Ｓ３０７において、第２の領域情報抽出部３０４は、ヘッダ情報に含まれる第２の領域情報を抽出する。
【００６１】
Ｓ３０８において、画素データ処理部３０５は、抽出した第２の領域情報から画素データの垂直座標が第２の垂直領域に含まれているかをＳ３０４と同様に判定し、第２の垂直領域に含まれていると判定した場合、Ｓ３０９に処理を進める。
【００６２】
Ｓ３０９において、画素データ処理部３０５は、補正値算出部３０３が示す水平座標情報と制御部１０１から入力される第２の水平座標範囲を比較する。画素データの水平座標が入力される水平座標の範囲に含まれると判定した場合、Ｓ３１０に処理を進める。
【００６３】
Ｓ３１０において、画素データ処理部３０５は、Ｓ３０６で算出した補正値を、第２の領域情報で特定される画素に対して減算処理を行う。画素データ処理部３０５は、第２の領域情報で特定される画素に対する補正処理を終えると、画像処理に係る一連の動作を終了する。
【００６４】
なお、本実施形態では、画素データを行ごとにパケットに格納し、制御部１０１が垂直座標範囲を画像出力部２０２に送信するようにしているが、画素データを列ごとにパケットに格納して、制御部１０１から水平座標範囲を送信するようにしてもよい。この場合は、行カウンタ部２５１は列ごとに画素データをカウントし、比較部２５２はカウンタ値が水平座標範囲に含まれるかを判定すればよい。
【００６５】
また、本実施形態における補正処理として、第２の画素領域に含まれる画素データから補正値を減算処理する例を示したが、当該補正処理は減算処理に限らず、目的に応じて種々の変形及び変更が可能である。
【００６６】
以上説明したように、本実施形態では、画素データの垂直座標情報を撮像素子１２１に入力し、撮像素子１２１が画素データの垂直座標情報を画素データとともに一元的に供給するようにした。このようにすることで、信号処理用の回路であるＤＦＥ１２２は、制御部１０１から垂直座標に関する情報を受信することなく画像処理を行うことができる。従って、制御部から信号処理用の回路に送信する制御情報を削減することができる。
【００６７】
（実施形態２）
次に実施形態２について説明する。本実施形態では、ＤＦＥ１２２が行う画像処理の例として、暗電流の影響による垂直方向のシェーディングを補正する処理について説明する。本実施形態のデジタルカメラ１００は、撮像素子の画素の構成および適用する画像処理が実施形態１と異なるが、その他の構成は実施形態１と同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
【００６８】
図１０に示すように、本実施形態に係る画素部２００は、有効画素領域と水平方向に隣り合うようにＯＢ画素領域を有している。有効画素領域と水平方向に配置されたＯＢ画素領域の画素をＤＦＥ１２２に入力し、ＤＦＥ１２２が当該ＯＢ画素領域の画素の出力を用いて補正値を算出するとともに有効画素領域に対する補正処理を行う。このようにすることで暗電流の影響による垂直方向のシェーディングを補正する。
【００６９】
ＯＢ画素領域（第１の画素領域）と有効画素領域（第２の画素領域）が水平方向に隣り合うように配置される。第１の画素領域に含まれる画素は、垂直方向の座標範囲および水平方向の座標範囲を示す、第１の画素領域の垂直座標範囲および第１の画素領域の水平座標範囲により特定される。同様に、第２の画素領域に含まれる画素は、第２の画素領域の垂直座標範囲および第２の画素領域の水平座標範囲で特定される。
【００７０】
本実施形態に係る画像処理の一連の動作について、図９に示すフローチャートを参照して説明する。なお、図９において、図６と同様の処理には同一のステップ番号を付している。
【００７１】
ＤＦＥ１２２は、図６で説明したＳ３００〜Ｓ３０５の各処理を行う。
【００７２】
次に、Ｓ９０１において、補正値算出部３０３は、画素データの水平座標が第１の水平座標範囲に含まれると判定した場合、各行の画素データの平均値を算出する。補正値算出部３０３は、算出した行ごとの平均値を、暗電流の影響による垂直方向シェーディングを補正するための補正値として画素データ処理部３０５へ出力する。
【００７３】
その後、図６で説明したＳ３０７〜Ｓ３０９の各処理を行う。
【００７４】
さらに、Ｓ９０２において、画素データ処理部３０５は、Ｓ９０１において算出された行ごとの補正値を用いて、第２の画素領域の画素データのうち、処理対象となる行の画素データに対して補正処理を行う。画素データ処理部３０５は、例えば第２の画素領域の画素データから補正値を減算処理することで、画像データの暗電流の影響による垂直方向のシェーディングを補正する。
【００７５】
以上説明したように本実施形態では、ＤＦＥ１２２は、ヘッダ情報に基づいて判定した行ごとの画素データに対して、同一の行の中から特定した画素を用いて補正値を算出し、補正処理を行うようにした。このようにすることで、撮像素子が、ＯＢ画素領域を有効画素領域と水平方向に隣り合うように有している場合であっても、信号処理用の回路であるＤＦＥ１２２は、制御部１０１から垂直座標に関する情報を受信することなく画像処理を行うことができる。従って、制御部から信号処理用の回路に送信する制御情報を削減することができる。
【００７６】
（実施形態３）
次に実施形態３について説明する。実施形態３では、第１および第２の画素領域に対する水平座標範囲をさらに制御部１０１から撮像素子１２１に入力する点が上述の実施形態と異なる。このため、パケットのヘッダ情報を生成する構成およびパケットを受信してヘッダ情報から補正値を算出する構成が異なる。その他の構成は、上述の実施形態と同一であるため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。なお、本実施形態における撮像素子は、実施形態２において図１０に示した第１および第２の画素領域を有するものとし、ＤＦＥ１２２は、実施形態２と同様に暗電流の影響による垂直方向のシェーディングを補正する処理を行う。
【００７７】
図１１（ａ）は、本実施形態における撮像素子１２１の機能構成例を示している。上述した実施形態では、図３に示した画像出力部２０２は、第１の垂直座標範囲と行数から第１の領域情報を生成した。これに対して、本実施形態に係る画像出力部１１０１は、制御部１０１から第１および第２の垂直座標範囲に加えて、第１および第２の水平座標範囲を入力する。また、図１１（ｂ）は、本実施形態に係る画像出力部１１０１の機能構成例を示している。画像出力部１１０１は、第１の垂直座標範囲および第１の水平座標範囲と、処理対象となる画素データの行数および列数から第１の領域情報を生成する。なお、本実施形態においては図１３に示すように１画素分の画素データをペイロードとして格納する例について説明する。しかし、上述した実施形態と同様に１行分の画素データをペイロードに格納し、ペイロードに格納された各画素に対する領域情報をそれぞれ示すヘッダを付加するようにしてもよい。
【００７８】
画像出力部１１０１のカウンタ部１１０２は、画素データ生成部２５０から入力される画素データに対して１画素が入力されるごとに行および列をカウントし、処理対象の画素の行および列を比較部１１０３に出力する。比較部１１０３は、カウンタ部１１０２から入力した行および列のカウンタ値と、制御部１０１から入力した第１および第２の画素領域の座標範囲と比較して、ヘッダ情報を生成する。比較部１１０３は、入力した行のカウンタ値が、第１の垂直座標範囲に含まれるかを判定し、さらに列のカウンタ値が第１の水平座標範囲に含まれるかを判定する。比較部１１０３は、列のカウンタ値が第１の垂直座標範囲に含まれる場合、第１の領域情報の対応する値を更新する。また、行のカウンタ値が第１の水平座標範囲に含まれる場合、同様に第１の領域情報を更新する。第１の領域情報は、例えば初期値が００に設定された２桁の二進数の識別子であり、垂直座標および水平座標の順にそれぞれが各座標範囲に含まれる場合に１が設定される。従って、行のカウンタ値および列のカウンタ値が第１の画素領域に含まれる場合、第１の領域情報は、１１となる。比較部１１０３は、さらに、当該画素データが第２の画素領域に含まれるかを判定して、第２の領域情報を生成する。このとき、比較部１１０３は、第２の領域情報の生成を第１の領域情報の生成と同様に行なう。
【００７９】
次に、実施形態の画像処理に係る一連の動作について、図１２を参照して説明する。なお、図１２において、図６、図９と同様の処理には同一のステップ番号を付している。
【００８０】
ＤＦＥ１２２は、図６で説明したＳ３００〜Ｓ３０４の各処理を行う。
【００８１】
次に、Ｓ１２０１において、ＤＦＥ１２２の補正値算出部３０３は、第１の領域情報を参照して、画素データの水平座標が第１の水平領域に含まれているか否かを判定し、第１の水平領域に含まれていると判定した場合、Ｓ９０１に処理を進める。より具体的には、上述した第１の領域情報において、２桁の識別子のうち水平座標に対応する桁の値が１である場合に、補正値算出部３０３は第１の水平領域に含まれていると判定する。
【００８２】
その後、図９で説明したＳ９０１、図６で説明したＳ３０７〜Ｓ３０８の各処理を行う。
【００８３】
次に、Ｓ１２０３において、補正値算出部３０３は、第２の領域情報を参照して、画素データの水平座標が第２の水平領域に含まれているかを判定し、第２の水平領域に含まれていると判定した場合、図９で説明したＳ９０２の処理を行う。
【００８４】
以上説明したように本実施形態では、画素データの垂直座標情報および水平座標情報を撮像素子１２１に入力し、撮像素子１２１が画素データの垂直座標情報および水平座標情報を画素データとともに一元的に供給するようにした。このようにすることで、信号処理用の回路であるＤＦＥ１２２は、制御部１０１から垂直座標および水平座標に関する情報を受信することなく、画像処理を行うことができるため、制御部から信号処理用の回路に送信する制御情報を削減することができる。
【００８５】
（その他の実施形態）
また、本発明は、以下に示す他の実施形態に対しても適用可能である。例えば、図１４に示す積層型の撮像素子１４００に対して本発明を適用できる。図１４に示す様に、本実施形態の撮像素子１４００は、第１の半導体チップ１４０１と第２の半導体チップ１４０２がチップレベルで積層されている。図１４（ａ）は斜投影図、図１４（ｂ）は各チップの上面図を示している。第１の半導体チップ１４０１には画素部１４０５を含む領域が含まれ、高速ロジックプロセス用の第２の半導体チップ１４０２には列ＡＤ変換回路や水平走査回路などデジタルデータを含む高速処理が可能な部分１４０３が含まれる。上述の図１の構成において、例えば、撮像素子１２１が有する画素部２００が第１の半導体チップ１４０１の画素部１４０５に対応する。また、撮像素子１２１に含まれるＡ／Ｄ変換部２０１や画像出力部２０２と画素部２００以外の他の回路が第２の半導体チップ１４０２に配置されるように構成すれば良い。
【００８６】
さらに、本発明は、撮像装置の一例としての図１５に示す携帯電話機１５００にも適用可能である。図１５は、携帯電話機１５００の機能構成を示すブロック図である。携帯電話機１５００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。通信部１０１０は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部１０２０は、音声通話時において、マイクロフォン１０３０からの音声データを発信に適した形式に変換して通信部１０１０に送る。また、音声処理部１０２０は、通信部１０１０から送られた通話相手からの音声データを復号し、スピーカ１０４０に送る。撮像部１０５０は、被写体の画像を撮影し、画素データを出力する。撮像部１０５０は各実施形態において上述した撮像素子１２１を含む。ここで、撮像素子１２１は、上述した積層型の撮像素子であっても良い。また、撮像部１０５０と画像処理部１０６０との間で上述したパケットが送信される。画像処理部１０６０は、各実施形態で上述したＤＦＥ１２２を含み、画像の撮影時においては、撮像部１０５０により撮影された画素データを処理し、記録に適した形式に変換して出力する。また、画像処理部１０６０は、記録された画像の再生時には、再生された画像を処理して表示部１０７０に送る。表示部１０７０は、数インチ程度の液晶表示パネルを備え、制御部１０９０からの指示に応じて各種の画面を表示する。不揮発性メモリ１０８０は、アドレス帳の情報や、電子メールのデータ、撮像部１０５０により撮影された画像データ等のデータを記憶する。
【００８７】
制御部１０９０は、ＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って携帯電話機１５００の各部を制御する。操作部１１００は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。メモリＩＦ１１１０は、メモリカードなどの記録媒体１１２０に対して各種のデータを記録再生する。外部ＩＦ１１３０は、不揮発性メモリ１０８０や記録媒体１１２０に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ１１３０は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。
【００８８】
次に、携帯電話機１５００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部１１００の番号キーを操作して通話相手の番号を入力するか、不揮発性メモリ１０８０に記憶されたアドレス帳を表示部１０７０に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部１０９０は通信部１０１０に対し、通話相手に発信する。通話相手に着信すると、通信部１０１０は音声処理部１０２０に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。
【００８９】
また、電子メールを送信する場合、ユーザは、操作部１１００を用いて、メール作成を指示する。メール作成が指示されると、制御部１０９０はメール作成用の画面を表示部１０７０に表示する。ユーザは操作部１１００を用いて送信先アドレスや本文を入力し、送信を指示する。制御部１０９０はメール送信が指示されると、通信部１０１０に対しアドレスの情報とメール本文のデータを送る。通信部１０１０は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部１０１０は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部１０７０に表示する。
【００９０】
次に、携帯電話機１５００における撮影機能について説明する。ユーザが操作部１１００を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部１０５０は静止画データ或いは動画データを撮影して画像処理部１０６０に送る。画像処理部１０６０は撮影された静止画データや動画データを処理し、不揮発性メモリ１０８０に記憶する。また、画像処理部１０６０は、撮影された静止画データや動画データをメモリＩＦ１１１０に送る。メモリＩＦ１１１０は静止画や動画データを記録媒体１１２０に記憶する。
【００９１】
また、携帯電話機１５００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発性メモリ１０８０や記録媒体１１２０に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。
【００９２】
また、携帯電話機１５００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ１１３０によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部１１００を操作して、不揮発性メモリ１０８０や記録媒体１１２０に記憶された画像ファイルを選択し、送信を指示する。制御部１０９０は、選択された画像ファイルを不揮発性メモリ１０８０或いは記録媒体１１２０から読み出し、外部機器に送信するよう、外部ＩＦ１１３０を制御する。
【００９３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９４】
１０１…制御部、２００…画素部、１２１…撮像素子、２０２…画像出力部、１２２…ＤＦＥ
【図１】
2016054479.tif 000003
【図２】
2016054479.tif 000004
【図３】
2016054479.tif 000005
【図４】
2016054479.tif 000006
【図５】
2016054479.tif 000007
【図６】
2016054479.tif 000008
【図７】
2016054479.tif 000009
【図８】
2016054479.tif 000010
【図９】
2016054479.tif 000011
【図１０】
2016054479.tif 000012
【図１１】
2016054479.tif 000013
【図１２】
2016054479.tif 000014
【図１３】
2016054479.tif 000015
【図１４】
2016054479.tif 000016
【図１５】
2016054479.tif 000017