(57)【要約】本発明による撮像システムは、２次元に配列された画素に光が照射されると、その各々が各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置（１２，１４，１５）と、撮像装置（１２，１４，１５）が出力するデジタル信号のデータ量を低減する前処理装置（２４）と、デジタル信号を処理するデジタル信号処理装置（１８−２０）と、デジタル信号を記憶する記憶装置（１７）と、前処理装置（２４）が出力するデジタル信号を記憶装置（１７）に格納し、かつ、デジタル信号を記憶装置（１７）から読み出してデジタル信号処理装置（１８−２０）に出力する記憶制御装置（１６）とを備える。
2004017628.tif 000002
【特許請求の範囲】
【請求項１】
２次元に配列された画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を処理するデジタル信号処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記デジタル信号を前記記憶装置から読み出して前記デジタル信号処理装置に出力する記憶制御装置と
を備える撮像システム。
【請求項２】
前記前処理装置が、前記デジタル信号の情報量を低減する情報量低減装置を備える請求項１に記載の撮像システム。
【請求項３】
前記情報量低減装置が、
２次元に配列された前記画素に光が照射されたとき、前記撮像装置が出力する複数のデジタル信号の信号量の１画面に相当する平均値である平均信号量を検出する検出装置と、
前記平均信号量が所定の値になるように、複数の前記デジタル信号に与えるべきゲインを計算する計算装置と、
前記ゲインを用いて、複数の前記デジタル信号のゲイン調整を行うゲイン調整装置と
を備える請求項２に記載の撮像システム。
【請求項４】
前記画素は、複数の色成分の光を検知する画素で構成され、
前記撮像装置は、前記画素に光が照射されると、前記画素が検知する光の量を示す複数のデジタル信号を出力し、
前記情報量低減装置が、
前記撮像装置が出力する、複数の前記色成分のいずれかに対応する複数の前記デジタル信号を用いて、複数の前記色成分について、その色成分に対応した複数の前記デジタル信号の信号量の１画面に相当する平均値である複数の平均信号量を検出する検出装置と、
複数の前記色成分に対応する複数の前記平均信号量が一致するように、複数の前記色成分について、対応した複数の前記デジタル信号に与えるべきゲインを計算する計算装置と、
複数の前記色成分に対応する前記ゲインを用いて、複数の前記色成分に対応する前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置と
を備える請求項２に記載の撮像システム。
【請求項５】
前記情報量低減装置が、さらに、第２のホワイトバランス調整装置を備え、
前記第２のホワイトバランス調整装置は、複数の前記色成分に対応するあらかじめ決められたゲインを用いて、前記撮像装置が出力する、複数の前記色成分に対応する複数の前記デジタル信号のゲイン調整を行い、ホワイトバランス調整し、
前記第１のホワイトバランス調整装置には、前記第２のホワイトバランス調整装置の出力信号を入力する請求項４に記載の撮像システム。
【請求項６】
前記情報量低減装置が、さらに、階調補正装置を備え、
前記階調補正装置は、デジタル信号の階調を補正することにより、前記撮像装置、前記ゲイン調整装置、及び前記第１のホワイトバランス調整装置のいずれかから入力されるデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する請求項２から請求項５のいずれかに記載の撮像システム。
【請求項７】
前記情報量低減装置が、さらに、入力されるデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える請求項２から請求項６のいずれかに記載の撮像システム。
【請求項８】
前記データ圧縮装置が、入力される前記デジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する請求項７に記載の撮像システム。
【請求項９】
さらに、
前記撮像装置を駆動する駆動装置と、
前記情報量低減装置、前記記憶制御装置、及び前記デジタル信号処理装置の間のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置と
を備え、
前記情報量低減装置が、第１の情報量低減装置及び第２の情報量低減装置から成り、
前記第１の情報量低減装置及び前記第２の情報最低減装置は、前記撮像装置から出力されたデジタル信号の情報量を低減し、
前記機能制御装置は、
前記モード設定装置によって第１のモードが設定されると、前記第１の情報量低減装置から入力された信号を前記第２の情報量低減装置に出力し、前記第２の情報量低減装置から入力された信号を、前記記憶制御装置に出力し、前記記憶制御装置から入力された信号を、前記デジタル信号処理装置に出力し、
前記モード設定手段によって第２のモードが設定されると、前記第１の情報量低減装置から入力された信号を前記記憶制御装置に出力し、前記記憶制御装置から入力された信号を前記第２の情報量低減装置に出力し、前記第２の情報量低減装置から入力された信号を前記デジタル信号処理装置に出力する請求項２に記載の撮像装置。
【請求項１０】
前記前処理装置は、複数の前記デジタル信号を間引く間引き装置を備える請求項１に記載の撮像システム。
【請求項１１】
前記間引き装置は、前記記憶制御装置に、一定周期でレベルが変化する制御信号を出力し、
前記前処理装置は、前記撮像装置が出力するデジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力し、
前記記憶制御装置は、前記制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記記憶装置に格納する請求項１０に記載の撮像システム。
【請求項１２】
前記前処理装置が、さらに、補間装置を備え、
前記補間装置は、前記撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力し、
前記前処理装置は、前記補間デジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力する請求項１１に記載の撮像システム。
【請求項１３】
さらに、レリーズボタンと
前記レリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、  前記検知装置から出力される前記状態信号に応じて、前記間引き装置の動作を開始又は停止させる間引き制御装置と
を備える請求項１１又は請求項１２に記載の撮像システム。
【請求項１４】
さらに、第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、
前記モード切り替え装置から出力される前記モード信号に応じて前記記憶制御装置を制御するモード制御装置と
を備え、
前記デジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを備え、
前記モード制御装置は、前記第１のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第１の圧縮装置に出力させ、
前記第２のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第２の圧縮装置に出力させる請求項１３に記載の撮像システム。
【請求項１５】
さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、
前記記録画素数選択装置から出力される信号に応じて、前記デジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記間引き装置が出力する前記制御信号のレベル変化の周期を制御する間引き率制御装置と
を備える請求項１１から請求項１４のいずれかに記載の撮像システム。
【発明の詳細な説明】
【技術分野】  本発明は、デジタルスチルカメラ等に用いられる撮像システムに関する。
【背景技術】  従来の撮像システムには、撮像素子から出力されるアナログ信号をデジタル信号に変換する（Ａ／Ｄ変換する）Ａ／Ｄ変換器、画像データの処理を行うデータ処理部、画像データを記憶するメモリ、及びメモリ制御部を備え、そのメモリ制御部によって、Ａ／Ｄ変換器やデータ処理部から出力される画像データをメモリに格納したり、その画像データをメモリから別のデータ処理部に転送したりするものがある（例えば、日本国特開平１０−１７８６１２号公報参照。）。
図２８は、そのような従来の撮像システムの構成を示すブロック図である。図２８に示されるように、撮像システム２００は、光学レンズ２１１、固体撮像素子２１２、固体撮像素子２１２の駆動回路２１３、アナログ回路２１４、Ａ／Ｄ変換回路２１５、メモリコントローラ２１６、記憶回路としてのシンクロナシスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：以下、「ＳＤＲＡＭ」という。）２１７、カメラ信号処理回路２１８、ＪＰＥＧ圧縮回路２１９、表示回路２２０、液晶表示装置２２１、カードコントローラ２２２、及び記録メディア２２３を備える。
以下に、この撮像システム２００の動作を説明する。光学レンズ２１１を通して光が入射すると、その光が固体撮像素子２１２に照射される。固体撮像素子２１２は、照射された光を光電変換し、得られる電気信号（アナログ信号）をアナログ回路２１４に出力する。アナログ回路２１４は、固体撮像素子２１２から出力されたアナログ信号をアナログ信号処理し、そのアナログ信号処理された信号をＡ／Ｄ変換回路２１５に出力する。Ａ／Ｄ変換回路２１５は、アナログ回路２１４から出力されたアナログ信号をデジタル信号に変換する。ここで、Ａ／Ｄ変換回路２１５が出力するデジタル信号は、デジタル信号処理を行う前の信号であるのでローデータ（ＲＡＷ）と呼ばれる。Ａ／Ｄ変換回路２１５は、このローデータを、メモリコントローラ２１６に出力する。メモリコントローラ２１６は、Ａ／Ｄ変換回路２１５によって出力されたローデータを、ＳＤＲＡＭ２１７に格納する。
次に、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されているローデータを読み出して、カメラ信号処理回路２１８に転送する。カメラ信号処理回路２１８は、ＳＤＲＡＭ２１７から読み出されたローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表される、記録用及び表示用のＹＣデータ（ＹＣ）を生成する。また、カメラ信号処理回路２１８は、表示用のＹＣデータを生成するために、ローデータにズーム処理などを施す。メモリコントローラ２１６は、カメラ信号処理回路２１８から、そのＹＣデータを読み出して、ＳＤＲＡＭ２１７に格納する。
次に、ＹＣデータを圧縮してＳＤＲＡＭ２１７に格納する場合、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されている記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路２１９に出力する。ＪＰＦＧ圧縮回路２１９は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ２１６は、ＪＰＥＧ圧縮回路２１９からその符号データを読み出して、ＳＤＲＡＭ２１７に格納する。
また、撮影した画像を液晶表示装置２２１に表示する場合、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されている表示用のＹＣデータを読み出して、表示回路２２０に転送する。表示回路２２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２２１に出力する。液晶表示素子２２１は、その表示用の信号によって表わされる画像を表示する。
カードコントローラ２２２は、ＳＤＲＡＭ２１７に接続され、ＳＤＲＡＭ２１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２２３に書き込む。
【発明の開示】
（発明が解決しようとする技術的課題）
上述のように、従来の撮像システムにおいては、ローデータ、ＹＣデータ、符号データ、表示データ等の多くのデータがメモリとメモリコントローラとの間でやりとりされる。よって、メモリとメモリコントローラとのインタフェース部分において電力の消費が大きい、つまり、消費電力が大きいという課題があった。
また、従来の撮像システムにおいては、扱うデータ量が多いために処理スピードが遅いという課題があった。処理スピードを上げるためには、動作周波数を上げるか、または、回路の処理性能を上げる必要があるが、どちらの場合でも消費電力が増大する。すなわち、消費電力を増大させることなく、処理スピードを速くすることが困難であるという課題があった。
本発明の目的は、消費電力が小さく、かつ、データの処理スピードが速い撮像システムを提供することである。
（その解決方法）
本発明による撮像システムは、２次元に配列された画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、前記の撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、デジタル信号を処理するデジタル信号処理装置と、デジタル信号を記憶する記憶装置と、前記の前処理装置が出力するデジタル信号を前記の記憶装置に格納し、かつ、前記のデジタル信号を前記の記憶装置から読み出して前記のデジタル信号処理装置に出力する記憶制御装置とを備える。
好ましくは、前記の前処理装置は、前記のデジタル信号の情報量を低減する情報量低減装置を備える。
好ましくは、前記の情報量低減装置は、２次元に配列された前記の画素に光が照射されたとき、前記の撮像装置が出力する複数のデジタル信号の信号量の１画面に相当する平均値である平均信号量を検出する検出装置と、前記の平均信号量が所定の値になるように、複数の前記のデジタル信号に与えるべきゲインを計算する計算装置と、前記のゲインを用いて、複数の前記のデジタル信号のゲイン調整を行うゲイン調整装置とを備える。
好ましくは、前記の画素は、複数の色成分の光を検知する画素で構成され、前記の撮像装置は、前記の画素に光が照射されると、前記の画素が検知する光の量を示す複数のデジタル信号を出力する。前記の情報量低減装置は、
前記の撮像装置が出力する、複数の前記の色成分のいずれかに対応する複数の前記のデジタル信号を用いて、複数の前記の色成分について、その色成分に対応した複数の前記のデジタル信号の信号量の１画面に相当する平均値である複数の平均信号量を検出する検出装置と、複数の前記の色成分に対応する複数の前記の平均信号量が一致するように、複数の前記の色成分について、対応した複数の前記のデジタル信号に与えるべきゲインを計算する計算装置と、複数の前記の色成分に対応する前記のゲインを用いて、複数の前記の色成分に対応する前記のデジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置とを備える。
好ましくは、前記の情報量低減装置は、さらに、第２のホワイトバランス調整装置を備える。前記の第２のホワイトバランス調整装置は、複数の前記の色成分に対応するあらかじめ決められたゲインを用いて、前記の撮像装置が出力する、複数の前記の色成分に対応する複数の前記のデジタル信号のゲイン調整を行い、ホワイトバランス調整する。前記の第１のホワイトバランス調整装置には、前記の第２のホワイトバランス調整装置の出力信号を入力する。
好ましくは、前記の情報量低減装置は、さらに、階調補正装置を備える。前記の階調補正装置は、デジタル信号の階調を補正することにより、前記の撮像装置、前記のゲイン調整装置、及び前記の第１のホワイトバランス調整装置のいずれかから入力されるデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する。
好ましくは、前記の情報量低減装置は、さらに、入力されるデジタル信号を圧縮して、前記のデジタル信号の情報量を低減するデータ圧縮装置を備える。
好ましくは、前記のデータ圧縮装置は、入力される前記のデジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する。
好ましくは、前記の撮像システムは、さらに、前記の撮像装置を駆動する駆動装置と、前記の情報量低減装置、前記の記憶制御装置、及び前記のデジタル信号処理装置の間のデジタル信号のやりとりを制御する機能制御装置と、前記の駆動装置及び前記の機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置とを備える。前記の情報量低減装置は、第１の情報量低減装置及び第２の情報量低減装置から成る。前記の第１の情報量低減装置及び前記の第２の情報量低減装置は、前記の撮像装置から出力されたデジタル信号の情報量を低減する。前記の機能制御装置は、前記のモード設定装置によって第１のモードが設定されると、前記の第１の情報量低減装置から入力された信号を前記の第２の情報量低減装置に出力し、前記の第２の情報量低減装置から入力された信号を、前記の記憶制御装置に出力し、前記の記憶制御装置から入力された信号を、前記のデジタル信号処理装置に出力し、前記のモード設定手段によって第２のモードが設定されると、前記の第１の情報量低減装置から入力された信号を前記の記憶制御装置に出力し、前記の記憶制御装置から入力された信号を前記の第２の情報量低減装置に出力し、前記の第２の情報量低減装置から入力された信号を前記のデジタル信号処理装置に出力する。
好ましくは、前記の前処理装置は、複数の前記のデジタル信号を間引く間引き装置を備える。
好ましくは、前記の間引き装置は、前記の記憶制御装置に、一定周期でレベルが変化する制御信号を出力する。前記の前処理装置は、前記の撮像装置が出力するデジタル信号と前記の制御信号とを、同時に前記の記憶制御装置に出力する。前記の記憶制御装置は、前記の制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記の記憶装置に格納する。
好ましくは、前記の前処理装置は、間引き装置に加えて、さらに、補間装置を備える。前記の補間装置は、前記の撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力する。前記の前処理装置は、前記の補間デジタル信号と前記の制御信号とを、同時に前記の記憶制御装置に出力する。
好ましくは、前記の撮像システムは、間引き装置に加えて、さらに、レリーズボタンと、前記のレリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、前記の検知装置から出力される前記の状態信号に応じて、前記の間引き装置の動作を開始又は停止させる間引き制御装置とを備える。
好ましくは、前記の撮像システムは、前記の間引き装置、前記のレリーズボタン及び前記の検知装置、前記の間引き制御制御装置に加えて、さらに、第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、前記のモード切り替え装置から出力される前記のモード信号に応じて前記の記憶制御装置を制御するモード制御装置とを備える。前記のデジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを備える。前記のモード制御装置は、前記の第１のモードを示すモード信号が入力されると、前記の記憶制御装置に、前記の記憶装置から読み出した前記のデジタル信号を前記の第１の圧縮装置に出力させ、前記の第２のモードを示すモード信号が入力されると、前記の記憶制御装置に、前記の記憶装置から読み出した前記のデジタル信号を前記の第２の圧縮装置に出力させる。
好ましくは、前記の撮像システムは、間引き装置に加えて、さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、前記の記録画素数選択装置から出力される信号に応じて、前記のデジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記の間引き装置が出力する前記の制御信号のレベル変化の周期を制御する間引き率制御装置とを備える。
（従来技術より有効な効果）
本発明による撮像システムによれば、消費電力が小さく、かつ、データの処理スピードが速い撮像システムを実現できる。
【図面の簡単な説明】  図１は、第１の実施の形態の撮像システムの構成を示すブロック図である。
図２は、ゲイン調整回路の動作を説明する図である。
図３は、第２の実施の形態の撮像システムの構成を示すブロック図である。
図４は、ホワイトバランス調整回路の動作を説明する図である。
図５は、階調補正回路の動作を説明する図である。
図６は、第３の実施の形態の撮像システムの構成を示すブロック図である。
図７は、感度の異なる撮像素子のホワイトバランス調整点を示す図である。
図８は、第４の実施の形態の撮像システムの構成を示すブロック図である。
図９は、第５の実施の形態の撮像システムの構成を示すブロック図である。
図１０は、第６の実施の形態の撮像システムの構成を示すブロック図である。
図１１は、固体撮像素子の各々の画素に設けられた色フィルタの配列の一例を示す図である。
図１２は、固体撮像素子の色フィルタが図１１のように配列された場合に、Ａ／Ｄ変換回路が出力するローデータを示すタイミング図である。
図１３は、ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
図１４は、ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／２に削減する場合の、ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
図１５は、第７の実施の形態による撮像システムの構成を示すブロック図である。
図１６は、図１５の撮像システムの変形例であって、静止画モードと動画モードとの間でモードの切り替えを行う撮像システムの構成を示すブロック図である。
図１７は、第８の実施の形態による撮像システムの構成を示すブロック図である。
図１８は、図１７の撮像システムにおいて、ズーム処理回路の構成を示すブロック図である。
図１９は、図１８のズーム処理回路における補間回路の構成を示す図である。
図２０は、図１９の補間回路が、メモリコントローラにローデータを出力する場合の、メモリコントローラに入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、ズーム係数、（４）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
図２１は、図２０に示されるズーム処理後のローデータにおけるＲデータ及びＧデータの相対的位置関係を示す図である。
図２２は、図１８のズーム処理回路における別の補間回路の構成を示すブロック図である。
図２３は、固体撮像素子の色フィルタが図１８のように配列されている場合に、Ａ／Ｄ変換回路が出力するローデータに対して、１／３倍のズーム処理を行うときのメモリコントローラに入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
図２４は、第９の実施の形態による撮像システムの構成を示すブロック図である。
図２５は、図２４の撮像システムにおけるズーム処理回路の構成を示すブロック図である。
図２６は、第１０の実施の形態による撮像システムの構成を示すブロック図である。
図２７は、第１０の実施の形態による別の撮像システムの構成を示すブロック図である。
図２８は、従来の撮像システムの構成を示すブロック図である。
【発明を実施するための最良の形態】  以下に、添付の図面を参照して、本発明の実施の形態について説明する。
以下の実施の形態で説明される撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、Ａ／Ｄ変換回路の出力信号を、メモリコントローラに出力する前に処理する前処理回路を備える。
以下に説明される第１の実施の形態乃至第５の実施の形態の撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路として、信号のビット数（情報量）を低減する情報量低減回路を備える。この情報量低減回路により、Ａ／Ｄ変換回路が出力するデジタル信号の情報量が低減され、結果として、そのデジタル信号の信号量（信号のビット数がｋのとき、２ｋで表わされる。）が低減される。これらの撮像システムは、Ａ／Ｄ変換回路が出力するデジタル信号の信号量を低減して、その信号量の低減されたデジタル信号をメモリコントローラに出力することにより、ＳＤＲＡＭとメモリコントローラとの間でやりとりされるデータ量（データ量＝データ数×情報量）を低減して、ＳＤＲＡＭとメモリコントローラとのインタフェース部分における消費電力を低減しようというものである。
（第１の実施の形態）
本実施の形態による撮像システムは、ゲイン調整回路、レベル検出回路、及びマイコンから成る情報量低減回路を備える。
図１は、第１の実施の形態による撮像システムの構成を示すブロック図である。図１において、撮像システム１０は、光学レンズ１１、固体撮像素子１２、固体撮像素子１２の駆動回路１３、アナログ回路１４、Ａ／Ｄ変換回路１５、メモリコントローラ１６、記憶回路としてのＳＤＲＡＭ１７、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、表示回路２０、液晶表示装置２１、カードコントローラ２２、記録メディア２３、及び前処理回路２４を備える。前処理回路２４は、ゲイン調整回路２６、マイクロコンピュータ（以下、「マイコン」という。）２７、及びレベル検出回路２８から成る情報量低減回路を備える。
光学レンズ１１は、固体撮像素子１２に光を収束する。駆動回路１３は、固体撮像素子１２に接続され、固体撮像素子１２を制御する。アナログ回路１４は、固体撮像素子１２に接続され、固体撮像素子１２が出力するアナログ信号をアナログ信号処理する。Ａ／Ｄ変換回路１５はアナログ回路１４に接続され、アナログ回路１４が出力するアナログ信号をデジタル信号に変換する。前処理回路２４は、Ａ／Ｄ変換回路１５に接続され、Ａ／Ｄ変換回路１５から出力された信号の情報量を低減して、その情報量が低減されたデジタル信号を出力する。メモリコントローラ１６は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７からデータを読み込んだり、ＳＤＲＡＭ１７にデータを書き込んだりする。また、メモリコントローラ１６は、ゲイン調整回路２６、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、及び表示回路２０に接続され、ＳＤＲＡＭ１７とそれらとの間のデータの入出力を制御する。液晶表示装置２１は、表示回路２０に接続され、表示回路２０から出力されたデータが示す画像を表示する。カードコントローラ２２は、ＳＤＲＡＭ１７及び記録メディア２３に接続され、ＳＤＲＡＭ１７に格納されているデータを読み出して、記録メディア２３に書き込む。
撮像システム１０において、光学レンズ１１に光が入射してから、Ａ／Ｄ変換回路１５がデジタル信号を出力するまでの動作は、以下の通りである。光学レンズ１１に光が入射すると、その光が、光学レンズ１１を通って、固体撮像素子１２に照射される。固体撮像素子１２は、照射された光を光電変換し、得られる電気信号（アナログ信号）をアナログ回路１４に出力する。アナログ回路１４は、固体撮像素子１２から出力されたアナログ信号をアナログ信号処理し、そのアナログ信号処理された信号をＡ／Ｄ変換回路１５に出力する。Ａ／Ｄ変換回路１５は、アナログ回路１４から出力されたアナログ信号をデジタル信号に変換する。
固体撮像素子１２は、例えば、電荷結合素子（以下、「ＣＣＤ」という。）である。固体撮像素子１２は、２次元に配列された多数の画素から成る。例えば、固体撮像素子１２の画素数が５００万画素の場合、それは、水平方向における２５６０画素及び垂直方向における１９２０ラインから成る有効画素数を備える。この撮像素子１２に光が照射されると、撮像素子１２は、その各々の画素に照射された光の量を示す複数の電気信号を生成する。そして、Ａ／Ｄ変換回路１５は、その各々が撮像素子１２の各々の画素に照射された光の量を示す複数のデジタル信号を出力する。このように、撮像素子の各々の画素に対応したデジタル信号の個数を、以下では、「データ数」という。
撮像システム１０において、Ａ／Ｄ変換回路１５が出力するデジタル信号の情報量は、１４ビットである。このデジタル信号は、光学レンズ１１に入射する光の量を数値化して表わしたものであり、ビット数が大きいほど、広範囲の明るさに対応できる。Ａ／Ｄ変換された１４ビットのローデータ（ＲＡＷ１４）は、ゲイン調整回路２６に入力される。ゲイン調整回路２６は、１４ビットのローデータに、マイコン２７から与えられるゲインＡによってゲイン調整を施す。結果としてローデータの情報量が低減され、ゲイン調整回路２６から１０ビットのローデータ（ＲＡＷ１０）が出力される。ＲＡＷ１０およびＲＡＷ１４の信号量を、それぞれ、Ｒ１０およびＲ１４とすると、以下の式（１）が成り立つ。
【数１】
2004017628.tif 000003
以下に、ゲインＡついて説明する。固体撮像素子１２の出力信号は、Ａ／Ｄ変換されてデジタル信号となり、このデジタル信号は、ゲイン調整回路２６に入力される。このとき、Ａ／Ｄ変換されたローデータ（ＲＡＷ１４）は、ゲイン調整回路２６に入力されると同時に、レベル検出回路２８にも入力される。レベル検出回路２８は、入力された１画面分のローデータの平均信号量を検出する。この１画面分のローデータの平均信号量とは、１つのシーンが撮影され、撮像素子１２の各々の画素によって電気信号が生成された場合に、その電気信号をＡ／Ｄ変換して得られる複数のデジタル信号の信号量の平均値である。具体的には、Ａ／Ｄ変換回路１５が出力するデジタル信号の信号量の最大値を２で割った値である。レベル検出回路２８は、その平均信号量を、マイコン２７に出力する。マイコン２７は、入力される平均信号量とゲインとを乗算して得られる信号量の値があらかじめ決められた値になるように、入力された各々の平均信号量に対してゲインＡを算出する。
図２は、１画面分のローデータ（ＲＡＷ１４）の平均信号量とゲインＡとの関係を示す。図２の（１），（２），（３）は、それぞれ、撮像システム１０に互いに異なる画面が入力された場合（つまり、撮像システム１０によって、互いに異なるシーンが撮影された場合）に、撮像素子１２に入射する光の量の範囲と、その際に、Ａ／Ｄ変換回路１５から出力される複数のデジタル信号の信号量の範囲とを示すグラフである。図２の（１）、（２）および（３）のそれぞれのグラフにおいて、横軸は、撮像素子１２に入射する光の量、縦軸は、Ａ／Ｄ変換回路１５から出力されるデジタル信号の信号量を示す。図２の（１），（２）及び（３）に示されるように、撮像素子１２に入射する光の量は広範囲であり、Ａ／Ｄ変換回路１５が出力するデジタルデータの信号量のダイナミックレンジも大きい。図２の（１）、（２）および（３）のグラフを参照すると、画面毎に、出力されるデジタルデータの信号量の範囲が異なることがわかる。Ａ／Ｄ変換回路１５が出力するデジタルデータの信号量は、それぞれの画面で、（１）０から２１４まで、（２）０から２１２まで、および、（３）０から２１０まで変化しており、それらの場合に、レベル検出回路２８が検出する平均信号量は、それぞれ、２１３、２１１および２９である。マイコン２７は、入力される平均信号量とゲインとを乗算して得られる最終的な平均信号量が全て一定になるように、つまり入力される平均信号量が、ゲインを与えることによって所定の平均信号量になるように、ゲインＡを算出する。例えば、最終的な平均信号量が２９と設定されているとき、マイコン２７は、図２の（１）、（２）および（３）に示されるローデータが入力されると、ゲインＡを、それぞれ、２−４、２−２および１と算出する。このとき、式（１）により、全ての場合において、信号量の最大値は２１０となり、平均信号量は２９となる。
ゲイン調整回路２６は、Ａ／Ｄ変換回路１５からローデータが入力されると、マイコン２７から出力されるゲインＡを用いてゲイン調整を行い、Ａ／Ｄ変換回路１５から入力されたローデータを、所定の平均信号量をもつローデータに変換する。これにより、ゲイン調整回路２６は、入力されたローデータよりも、情報量の小さいローデータを出力する。
以上のように、ゲイン調整回路２６は、Ａ／Ｄ変換回路１５から出力されるデジタル信号のビット数を、１４ビットから１０ビットに、すなわち、１０／１４に低減する。ゲイン調整回路２６は、ビット数が低減された１０ビットのローデータ（ＲＡＷ１０）を、メモリコントローラ１６に出力する。メモリコントローラ１６は、この１０ビットのローデータをＳＤＲＡＭ１７に格納する。
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納された１０ビットのローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータに、カメラ信号処理を施して、その転送されたローデータを、輝度信号（Ｙ）と色差信号（Ｃ）とで表される、記録用及び表示用のＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されて得られる記録用及び表示用のＹＣデータを、カメラ信号処理回路１８から読み出して、再び、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、ガンマ（γ）変換処理、輝度信号生成処理、色差信号生成処理、および、解像度改善のためのアパーチャ補正処理などの処理を施す。また、カメラ信号処理回路１８は、表示用のＹＣデータを生成するために、ズーム処理回路（図示されない）を用いて、ズーム処理（後述する）などを施す。
次に、撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている表示用のＹＣデータを読み出して、表示回路２０に転送する。表示回路２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２１に出力する。液晶表示素子２１は、その表示用の信号によって表わされる画像を表示する。
また、ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
カードコントローラ２２は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２３に書き込む。
ここで、メモリコントローラ１６によってＳＤＲＡＭ１７に格納される、および、ＳＤＲＡＭ１７から読み出されるローデータのビット数が１４ビットから１０ビットになった場合の、メモリコントローラ１６とＳＤＲＡＭ１７との間のインターフェース部分で消費される電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。また、例として、撮像素子１２の画素数を５００万画素とし、１つの水平ラインの画素数を２５６０画素とする。さらに、カメラ信号処理回路１８によってズーム処理が施されて、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数を７２０画素とする。
撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの流れは以下の通りである。まず、メモリコントローラ１６は、Ａ／Ｄ変換回路１５から出力されたローデータをＳＤＲＡＭ１７に格納する（１）。次に、メモリコントローラ１６は、そのローデータをＳＤＲＡＭ１７から読み出して、カメラ信号処理回路１８に出力する（２）。さらに、メモリコントローラ１６は、カメラ信号処理回路１８が表示用のＹＣデータを生成すると、そのＹＣデータをカメラ信号処理回路１８から読み出して、ＳＤＲＡＭ１７に格納する（３）。最後に、メモリコントローラ１６は、そのＹＣデータをＳＤＲＡＭ１７から読み出して、表示回路２０に出力する（４）。メモリコントローラ１６は、別個に設けられた制御回路（マイコン）によって、ソフトウェアで制御されてよい。
Ａ／Ｄ変換回路１５から出力されたローデータが１４ビットから１０ビットに低減されたとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（２）で表わされる。
【数２】
2004017628.tif 000004
一方、ローデータの情報量が低減されずに１４ビットのとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（３）で表わされる。
【数３】
2004017628.tif 000005
式（２）及び式（３）を参照すると、ローデータの情報量を低減する場合と低低減しない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は異なる。具体的に、７４２４０／９４７２０＝０．７８が成り立つことにより、情報量を低減した場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、情報量を低減しない場合と比較して、２２％程度低減される。
ここで、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量と、それらのインタフェース部分における消費電力は比例するので、本実施の形態による撮像システムの消費電力は、情報量の低減を行わない従来の撮像システムの消費電力の７８％になる。すなわち、本実施の形態による撮像システムによれば、前処理回路２４によってローデータの情報量を低減することにより、撮影した画像を液晶表示装置２１に表示する場合に、従来の撮像システム２００と比較して、２２％程度の電力を削減することができる。
ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合も、同様に、従来の撮像システムと比べて、消費電力を低減できる。
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
また、本実施の形態による撮像システムでは、前処理回路がゲイン調整回路を含むので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、画面毎に異なる信号量のダイナミックレンジも調整することができる。
なお、本実施の形態による撮像システムおいては、ゲイン調整回路２６により１画面分の平均信号量が一定になるように制御しているが、画面内の信号の分布、画面内のピークレベル、または光学系の絞りの状態を利用して、目標となる最終的な一定の平均信号量を変更しても、本発明と同様の効果が得られる。
なお、本実施の形態による撮像システムにおいて、前処理回路はゲイン調整回路を含むが、ゲイン調整回路のほかに、情報量を低減する階調補正回路や圧縮回路等の他の回路を備えていてもよい。
なお、撮像システムにおいて、レンズによって収束される光の量をデジタル信号として出力する部分を撮像装置という。例えば、図１において、撮像装置とは、固体撮像素子、アナログ回路及びＡ／Ｄ変換回路を含む部分をいう。また、撮像システムにおいて、メモリコントローラを介して、メモリと信号をやりとりして、メモリに格納されたデジタル信号を処理する装置をデジタル信号処理装置という。例えば、図１において、デジタル信号処理装置とは、カメラ信号処理回路、圧縮回路、表示回路である。
（第２の実施の形態）
本実施の形態による撮像システムは、第１の実施の形態による撮像システムと異なり、前処理回路が、ゲイン調整回路の代わりに、ホワイトバランス調整回路および階調補正回路を有する。
図３は、第２の実施の形態による撮像システムの構成を示すブロック図である。図３において、図１と同一の構成には同一の符号を付す。図３に示されるように、本実施の形態による撮像システム３０において、前処理回路３１は、ホワイトバランス調整回路３２、階調補正回路３３、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。図１と同一の符号を付した構成要素については、（第１の実施の形態）で既に述べているので、その構成および動作についての説明を省略する。
Ａ／Ｄ変換回路１５によって出力された１４ビットのローデータ（ＲＡＷ１４）は、前処理回路３１のホワイトバランス調整回路３２に入力される。ホワイトバランス調整回路３２は、そのローデータにホワイトバランス処理を施すことにより、１４ビットのローデータを１０ビットのローデータ（ＲＡＷ１０）に変換する。ホワイトバランス調整回路３２は、その変換された１０ビットのローデータを階調補正回路３３に出力する。階調補正回路３３は、入力された１０ビットのローデータに、階調補正であるガンマ補正処理を施して、その１０ビットのローデータを８ビットのローデータ（ＲＡＷ８）に変換する。階調補正回路３３は、その８ビットのローデータをメモリコントローラ１６に出力する。
ここで、ホワイトバランス調整回路３２の動作について説明する。ホワイトバランス調整とは、無彩色の被写体を撮影した場合に得られる１画面のＲ成分、Ｇ成分及びＢ成分の信号の各々の平均信号量を、それらが等しくなるように調整することをいう。ホワイトバランス調整回路３２は、マイコン２７から与えられるゲインにより、１４ビットのローデータにホワイトバランス調整を施して、その信号量を低減する。以下に、ゲインの算出方法について説明する。１４ビットのローデータ（ＲＡＷ１４）は、ホワイトバランス調整回路３２と同時に、レベル検出回路２８にも入力される。レベル検出回路２８は、入力されたローデータの１画面分の平均信号量を検出する。なお、本実施の形態においては、第１の実施の形態と異なり、１画面分のＲ（赤）成分、Ｇ（緑）成分及びＢ（青）成分のそれぞれの平均信号量を求める。レベル検出回路２８は、検出した各々の色成分の平均信号量を、マイコン２７に出力する。マイコン２７は、入力されたＲ成分、Ｇ成分及びＢ成分の各々の平均信号量にゲインを乗算した結果、それらの平均信号量が等しくなるようにゲインＡｒ、Ａｇ、Ａｂを算出する。
図４は、撮像システムに１画面が入力された場合（つまり、撮像システムによって１つのシーンが撮影された場合）に、Ｒ成分、Ｂ成分及びＧ成分のそれぞれについて、撮像素子１２に入射する光の量の範囲と、その際に、Ａ／Ｄ変換回路１５から出力される複数のデジタル信号の信号量の範囲とを示すグラフである。図４のグラフにおいて、横軸は、撮像素子１２に入射する光の量、縦軸は、Ａ／Ｄ変換回路１５から出力されるデジタル信号の信号量を示す。図４において、Ｒ成分の信号量、Ｇ成分の信号量、およびＢ成分の信号量は、それぞれ、０から２１４まで、０から２１２まで、および、０から２１０まで変化しており、それらの場合に、レベル検出回路２８が検出する平均信号量は、それぞれ、２１３、２１１および２９である。マイコン２７は、１画面分のＲ，Ｇ，Ｂ成分の平均信号量が等しくなるように、ゲインＡｒ、Ａｇ、Ａｂを算出する。例えば、Ｒ，Ｇ，Ｂ成分の信号量が、それぞれ、図４に示される範囲にある場合、マイコン２７は、Ｒ成分の信号、Ｇ成分の信号およびＢ成分の信号に対するゲイン（Ａｒ、Ａｇ、Ａｂ）を、それぞれ、２−４、２−２および１と算出する。このとき、式（１）により、全ての色成分において、信号量の最大値は２１０となり、平均信号量は２９となる。
ホワイトバランス調整回路３２は、Ａ／Ｄ変換回路１５からローデータが入力されると、そのローデータに対してホワイトバランス処理を行い、入力されたローデータよりも、情報量の小さいローデータを出力する。
次に、階調補正回路３３の動作について説明する。階調補正回路３３は、図５に示すような非線形のガンマ（γ）特性を用いて、入力された１０ビットのローデータを、８ビットのローデータ（ＲＡＷ８）に変換し、その８ビットのローデータを出力する。
以上のように、ホワイトバランス調整およびガンマ補正を施すことにより、その信号量が１４ビットから８ビットに、すなわち、８／１４の割合で低減されたローデータ（ＲＡＷ８）が、メモリコントローラ１６を通してＳＤＲＡＭ１７に格納される。これ以降の撮像システムの動作は、第１の実施の形態で説明された動作と同一であるので、説明を省略する。
ここで、ＳＤＲＡＭ１７に格納される、および、ＳＤＲＡＭ１７から読み出しされるローデータのビット数が８／１４の割合で低減された場合の電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。固体撮像素子１２の画素数が、第１の実施の形態と同様に、例えば５００万画素であるとき、１つの水平ラインの画素数は、２５６０画素であり、カメラ信号処理回路１８によって、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数は、７２０画素である。このときの、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（４）で表わされる。
【数４】
2004017628.tif 000006
一方、ローデータが１４ビットのとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、上述の式（３）で表わされる。
式（３）及び式（４）を参照すると、６４０００／９４７２０＝０．６８が成り立つことにより、本実施の形態による撮像システムにおいて、情報量を低減した場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、情報量を低減しない従来の撮像システムと比較して、３２％程度低減される。すなわち、ホワイトバランス調整回路３２および階調補正回路３３によって、ホワイトバランス調整および階調補正を行うことにより、従来の撮像システム２００と比較して、消費電力を３２％程度削減することができる。
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
また、本実施の形態による撮像システムでは、前処理回路がホワイトバランス調整回路および階調補正回路を含むので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
なお、本実施の形態においては、１画面分のＲ成分，Ｇ成分，及びＢ成分の信号の平均信号量が等しいことを前提として、ホワイトバランス調整を、１画面分のＲ成分，Ｇ成分，Ｂ成分の信号の平均信号量が一定になるように行っているが、上述の前提が成り立たない場合であっても、画面内の色の分布および光学系の絞りの値などの他の色温度情報を利用して、目標となる一定の平均信号量を変更することによって、同様の効果が得られる。
なお、本実施の形態による撮像システムにおいて、前処理回路は、ホワイトバランス調整回路および階調補正回路を含むが、前処理回路は、ホワイトバランス調整回路と階調補正回路とを必ずしも同時に備える必要はない。ホワイトバランス調整回路を備え、かつ、階調補正回路を含まない前処理回路であっても、削減量は異なるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。また、同様に、前処理回路が、階調補正回路を備え、かつ、ホワイトバランス調整回路を含まなくても、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
（第３の実施の形態）
本実施の形態による撮像システムは、第２の実施の形態による撮像システムと異なり、前処理回路が、ホワイトバランス調整回路および階調補正回路に加えて、さらにもう１つのホワイトバランス調整回路を有する。
図６は、第３の実施の形態による撮像システムの構成を示すブロック図である。図６において、図３と同一の構成には同一の符号を付している。図６に示されるように、本実施の形態による撮像システム６０において、前処理回路６１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路３３、レベル検出回路２８及びマイコン２７から成る情報最低減回路を備える。図１および図３と同一の符号を付した構成要素については、（第１の実施の形態）および（第２の実施の形態）で既に述べたので、その構成および動作についての説明を省略する。
Ａ／Ｄ変換回路１５によって出力された１４ビットのローデータ（ＲＡＷ１４）は、前処理回路６１の第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、入力されたローデータにホワイトバランス処理を施し、１０ビットのローデータ（ＲＡＷ１０Ａ）に変換して、その１０ビットのローデータを出力する。第１のホワイトバランス調整回路６２は、特定の色温度（Ｔ０）の光源に対してホワイトバランスが取れるようなゲインを用いてホワイトバランス調整を行う。このゲインは、工場出荷前の調整工程において、色温度Ｔ０の光源下で撮影を行い、そのときに得られたローデータから、レベル検出回路２８およびマイコン２７を利用して求める。撮像システム６０が出荷された後は、第１のホワイトバランス調整回路６２は、ゲインを、その出荷前の撮影によって得られたゲインに固定して、ホワイトバランス調整を行う。ここで、色温度Ｔ０は、好ましくは、光源色温度分布範囲（２５００Ｋ〜８０００Ｋ）の中間の値（例えば、４５００Ｋ）である。
次に、第１のホワイトバランス調整回路６２から出力された１０ビットのローデータ（ＲＡＷ１０Ａ）は、第２のホワイトバランス調整回路３２に入力される。第２のホワイトバランス調整回路３２は、撮像時の光源に応じたホワイトバランスのゲインを用いて、入力された１０ビットのローデータ（ＲＡＷ１０Ａ）にホワイトバランス調整を施し、１０ビットのローデータ（ＲＡＷ１０Ｂ）を出力する。以上のようにしてホワイトバランス調整が施されたローデータ（ＲＡＷ１０Ｂ）は、階調補正回路３３に入力される。階調補正回路３３は、ローデータ（ＲＡＷ１０Ｂ）に、階調補正であるγ補正を施し、結果として得られる８ビットのローデータ（ＲＡＷ８）を出力する。
以下に、Ａ／Ｄ変換回路１５から出力されたローデータに２段階のホワイトバランス調整を施す理由を説明する。撮像素子の分光特性は、素子の感度にばらつきがあるため、必ずしも一定ではない。例えば、同じ光源でも、素子によっては、ホワイトバランスのゲインが１０％程度も異なる場合がある。本実施の形態による撮像システムにおいては、第１のホワイトバランス調整回路６２により、その感度のばらつきによる影響を低減することができる。
図７は、感度の異なる撮像素子Ａ、撮像素子Ｂ、及び撮像素子Ｃを用いた場合の、それぞれの撮像素子に対するホワイトバランス調整点の分布を示すグラフである。図７の（１）は、色温度が４５００Ｋの光源下で撮像素子Ａ，Ｂ，Ｃを用いた場合の、それぞれの撮像素子を用いたときのホワイトバランス調整点を示す。図７の（２）は、図７の（１）に示されるグラフに、撮像素子Ａ，Ｂ，Ｃに対するホワイトバランス調整範囲（太線）およびホワイトバランス検出範囲（破線）を追加したものである。図７の（３）は、撮像素子Ａ，Ｂ，Ｃのホワイトバランス調整点を一致させた場合のホワイトバランスの調整範囲および検出範囲を示す。図７の（１）、（２）および（３）に示されるグラフにおいて、縦軸はＲ／Ｂ、横軸はＢ／Ｇを示し、図中の曲線は、光源の分布を表わす。ここで、Ｒ、Ｇ、Ｂは、撮像素子によって、ある光源下で無彩色の被写体を撮像した場合に得られるＲ成分、Ｇ成分、Ｂ成分の信号の平均信号量の値である。よって、図中の曲線の左上付近は、比較的Ｒ成分の多いハロゲン光（電灯）のような光源に相当し、中央部は蛍光灯、右下付近は比較的Ｂ成分の多い屋外光および曇天下の光源に相当する。例えば、ハロゲン光源下（Ｒ成分が多く、Ｂ成分が少ない）で無彩色の被写体を撮像した時のホワイトバランス調整点は、図７の左上に分布し、曇天下（Ｂ成分が多く、Ｒ成分が少ない）で無彩色の被写体を撮像した時のホワイトバランス調整点は、図７の右下に分布する。
ここで、ホワイトバランス調整とは、以上のようにして得られたＲ成分、Ｇ成分、Ｂ成分の平均信号量を、それらが等しくなるように、ゲインを用いて調整することをいう。これにより、例えば、黄色い電灯下で撮影した画像も、屋外で撮影したような好ましい色再現の画像に変換できる。
図７の（１）は、色温度が４５００Ｋの光源下で、撮像素子Ａ，Ｂ，Ｃを用いたときのホワイトバランス調整点を示す。図７の（１）に示されるように、撮像素子Ａを用いたときのホワイトバランス調整点は曲線上にあるが、撮像素子Ｂ、Ｃを用いたときのホワイトバランス調整点は曲線上になく、ややずれた位置にある。これは、同じ色温度４５００Ｋの光源を用いた場合でも、各々の撮像素子のＲ成分、Ｇ成分及びＢ成分の光を感じる特性、つまり分光特性に違いがあるためである。従って、色温度４５００Ｋの光源下において、Ｒ成分、Ｇ成分、Ｂ成分の各々の信号に与えるゲインの比は、撮像素子Ａを用いた場合は、Ｒ：Ｇ：Ｂ＝１：１：１であるのに対して、撮像素子Ｂ及び撮像素子Ｃを用いた場合は、それぞれ、Ｒ：Ｇ：Ｂ＝０．８：１：１、及びＲ：Ｇ：Ｂ＝０．９：１：１．８である。
図７の（２）は、撮像素子Ａ，Ｂ，Ｃのホワイトバランス調整範囲（太線）およびホワイトバランス検出範囲（破線）を示す。撮像システムでは、自動ホワイトバランスモードの場合に、光源を自動的に判別して最適なホワイトバランス調整用のゲインを設定する。以下に、ホワイトバランス調整範囲及びホワイトバランス検出範囲について説明する。各々の撮像素子のホワイトバランス調整範囲（太線）は、その撮像素子を用いて、例えば、ハロゲン光源下から曇天下までの範囲で撮影を行った場合の、ホワイトバランス調整点の分布である。また、ホワイトバランス検出範囲は、以下のように定められる。撮像システムのホワイトバランスでは、一般に、撮像している画像の平均の色分布から光源を判定するが、被写体が無彩色であるという保証がないので、無彩色の可能性のある画像信号から光源を求める。そこで、ホワイトバランス検出範囲に入る信号を、無彩色の可能性のある画像信号とし、ホワイトバランス検出範囲（破線）に入る映像信号のみを集めて、色成分ごとの信号量の平均値を求め、光源判定の元になる平均値の信号を得ることにしている。撮像素子の感度の違いを考慮するとき、ホワイトバランス調整を行う場合に、ホワイトバランスの調整範囲および検出範囲を、素子ごとに調整しなければならない。これらの調整範囲および検出範囲の調整は、製品の調整工程を複雑にするとともに、ホワイトバランス調整のソフトウェアを複雑にする。
本実施の形態による撮像システムにおいては、第１のホワイトバランス調整回路６２により、感度の異なる撮像素子に対して、色温度４５００Ｋにおけるホワイトバランスの調整点を一致させる。つまり、１つの色温度（４５００Ｋ）に対して、全ての撮像素子に一定のゲインをかけるのではなく、撮像素子Ａに対してはＲ：Ｇ：Ｂ＝１：１：１のゲインをかけ、一方、撮像素子Ｂ及び撮像素子Ｃに対しては、それぞれ、Ｒ：Ｇ：Ｂ＝０．８：１：１、及びＲ：Ｇ：Ｂ＝０．９：１：１．８のゲインをかける。これにより、図７の（３）に示すように、ホワイトバランスの調整範囲および検出範囲を１つに限定することができる。従って、以後、第２のホワイトバランス調整回路３２により、撮影時の条件でホワイトバランス調整を行う際には、撮像素子の感度による違いを考慮せずに、限定されたホワイトバランス調整範囲および検出範囲を利用して、ホワイトバランス調整を行うことができる。
本実施の形態による撮像システムにおいて、ローデータのデータ量は、第２の実施の形態による撮像システムと同様に低減される。従って、撮像システム６０は、従来の撮像システム１００と比較して、消費電力を３２％程度低減できる。
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
また、本実施の形態による撮像システムでは、前処理回路が、ホワイトバランス調整回路および階調補正回路を有するので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
また、本実施の形態による撮像システムは、撮像素子の感度のばらつきによる影響を低減し、カメラシステムの設計および調整を容易に実現できる。
なお、本実施の形態による撮像システムにおいて、前処理回路は、第１のホワイトバランス調整回路、第２のホワイトバランス調整回路および階調補正回路を有するが、前処理回路は、階調補正回路を必ずしも備える必要はない。第１のホワイトバランス調整回路と第２のホワイトバランス調整回路とを備え、かつ、階調補正回路を含まない前処理回路であっても、削減量の違いはあるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
（第４の実施の形態）
本実施の形態による撮像システムは、第３の実施の形態による撮像システムと異なり、前処理回路が、第１のホワイトバランス調整回路、階調補正回路および第２のホワイトバランス調整回路に加えて、圧縮回路を有する。この圧縮回路で圧縮処理を行うことにより、ローデータの情報量が低減される。
図８は、第４の実施の形態による撮像システムの構成を示すブロック図である。図８において、図６と同一の構成には同一の符号を付している。図８に示されるように、本実施の形態による撮像システム８０において、前処理回路８１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路３３および圧縮回路８２、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。図１、図３および図６と同一の符号を付した構成要素については、（第１の実施の形態）から（第３の実施の形態）で既に述べたので、その構成および動作についての説明を省略する。
階調補正回路３３から出力された８ビットのローデータ（ＲＡＷ８）は、圧縮回路８２に入力される。圧縮回路８２は、８ビットのローデータ（ＲＡＷ８）に対し、ＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ：適応差分パルス符号変調）による圧縮処理を施す。ここでのＡＤＰＣＭは、例えば、ローデータ（ＲＡＷ８）の同じ色成分の信号を８画素ごとにまとめ、先頭の画素に続く画素の値（信号量）を、先頭画素の値（先頭値）の差分で表わし、ローデータの形式を、先頭値とその差分というデータの形式に変換するものである。このとき、例えば、先頭値を８ビット、差分を６ビットで与えれば、８画素毎のデータ量は、８＋６×７＝５０ビットとなり、圧縮前の８×８＝６４ビットの場合に比べて、データ量が低減できる。また、前処理を行わない従来の撮像システムと比較して、８画素毎のデータ量が、１１２ビット（＝１４ビット×８画素）から５０ビットに低減される。なお、ここで信号を同じ色成分ごとにまとめているのは、同じ色成分の信号は、近傍で相関性が高いためである。また、８画素ごとに信号をまとめているのは、カメラ信号処理においてローデータの一部のみを使用する場合に、差分演算する画素数が多いと所望のデータを得るのに時間がかかるためである。
これ以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので説明を省略する。ただし、本実施の形態による撮像システムにおいて、カメラ信号処理回路は、ＡＤＰＣＭで圧縮されたローデータを伸張する伸張回路が必要となる。
ここで、前処理回路から出力されるローデータのビット数が８／１４の割合で低減され、かつ、圧縮されている場合の電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。なお、本実施の形態による撮像システムにおいては、カメラ信号処理回路１８にローデータが入力されると、カメラ信号処理回路１８は、圧縮されているローデータを伸張して、ＹＣデータを生成する。例えば、固体撮像素子１２の画素数を５００万画素とすると、１つの水平ラインの画素数は、２５６０画素である。また、このとき、カメラ信号処理回路１８によって、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数を、７２０画素とする。この場合に、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（５）で表わされる。
【数５】
2004017628.tif 000007
一方、ローデータが１４ビットで、かつ、圧縮されないとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、上述の式（３）で表わされる。
式（３）及び式（５）を参照すると、５５０４０／９４７２０＝０．５８が成り立つことにより、本実施の形態による撮像システムにおいて、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、従来の撮像システム２００と比較して、４２％程度低減される。すなわち、前処理回路において、ホワイトバランス調整、階調補正および圧縮処理を施すことにより、撮像システム８０は、従来の撮像システム２００と比較して、消費電力を４２％程度削減することができる。
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
また、本実施の形態による撮像システムでは、前処理回路がホワイトバランス調整回路および階調補正回路を有するので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
なお、本実施の形態による撮像システムおいては、圧縮回路の圧縮方式としてＡＤＰＣＭ方式を用いたが、その他の圧縮方式を用いても同様の効果が得られる。
また、本実施の形態による撮像システムにおいて、前処理回路としての圧縮回路の圧縮率は１／２程度であるが、圧縮率を上げれば、消費電力削減効果が上がることは言うまでもない。ただし、この場合には、画質劣化が生じる。一方、圧縮方式をＡＤＰＣＭのような非可逆圧縮方式ではなく可逆圧縮方式とすれば、画質の劣化を避けることができる。ただし、この場合には、圧縮率を上げるのが難しいか、または、ローデータの取り扱いが複雑となる。
また、本実施の形態による撮像システムにおいて、前処理回路としての圧縮回路は、固定長の圧縮を行っている。これは、例えば、ローデータの一部のみを使用する場合に、ＳＤＲＡＭ上のどの位置に必要なデータがあるかをわかりやすくするためである。固定長の代わりに可変長の符号化を施せば、圧縮率を上げることができる。ただし、この場合には、メモリコントローラの構成が複雑になる。
なお、本実施の形態による撮像システムにおいて、前処理回路は、第１のホワイトバランス調整回路、第２のホワイトバランス調整回路、階調補正回路および圧縮回路を備えるが、前処理回路が、圧縮回路を備え、かつ、ホワイトバランス調整回路や階調補正回路を含まなくても、削減量の違いはあるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
なお、圧縮回路は、これまで述べられた実施の形態による撮像システムの前処理回路に含まれても、同様の効果が得られる。
（第５の実施の形態）
本実施の形態による撮像システムは、モード設定回路によって、信号処理のモードを設定し、かつ、機能制御回路によって、その設定されたモードに応じて前処理回路の機能を制御することにより、消費電力の削減と同時に撮影モードに応じた処理を行える。具体的には、動画撮影の場合には消費電力削減を重視し、静止画撮影の場合には画質を重視した処理を行える。
図９は、第５の実施の形態による撮像システムの構成を表す。図９に示されるように、撮像システム９０は、光学レンズ１１、固体撮像素子１２、固体撮像素子１２の駆動回路１３、アナログ回路１４、Ａ／Ｄ変換回路１５、メモリコントローラ１６、記憶回路としてのＳＤＲＡＭ１７、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、表示回路２０、液晶表示装置２１、カードコントローラ２２、記録メディア２３、前処理回路９１、及び機能制御回路９２を備える。前処理回路９１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。機能制御回路９２は、設定モードによって、入力信号を切り換えることができる３つのスイッチ９３，９４，９５を備える。本実施の形態による撮像システム９０が、これまで述べられた実施の形態による撮像システムと異なる点は、機能制御回路９２を備える点である。ここで、第２のホワイトバランス調整回路３２及び階調補正回路３３は、部分情報量低減回路９６を構成する。さらに、マイコン２７が、モード設定回路としての機能も果たすように構成される。マイコン２７は、駆動回路１３、および、機能制御回路９２のスイッチ９３（ＳＷ１）、スイッチ９４（ＳＷ２）、及びスイッチ９５（ＳＷ３）に対し、モードの設定を行うことができる。図１、図３、図６および図８と同一の符号を付した構成要素については、（第１の実施の形態）から（第４の実施の形態）で既に述べているので、その構成および動作についての説明を省略する。
以下に、撮像システム９０の動作について説明する。まず、動画モードについて説明する。モード設定回路として動作するマイコン２７は、駆動回路１３、および、機能制御回路９２のスイッチ９３，９４，９５に対して動画モードの設定を行う。光学レンズ１１を通して光が入射すると、その光は、固体撮像素子１２によって光電変換される。ここで、駆動回路１３は、固体撮像素子１２を、動画モードで駆動している。次に、固体撮像素子１２の出力信号が、アナログ回路１４によって処理され、そのアナログ信号は、Ａ／Ｄ変換回路１５によってデジタル信号に変換される。Ａ／Ｄ変換されて得られる１４ビットのローデータ（ＲＡＷ１４）は、第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、第３の実施の形態と同様に、１４ビットのローデータを、ホワイトバランス調整により１０ビットのローデータ（ＲＡＷ１０Ａ）に変換し、その１０ビットのローデータを出力する。また、この第１のホワイトバランス調整回路６２は、入力されたローデータ（ＲＡＷ１４）について光源情報抽出処理やゲインの計算等を行う。第１のホワイトバランス調整回路６２から出力されたローデータ（ＲＡＷ１０Ａ）は、機能制御回路９２に入力される。ここで、機能制御回路９２は、モード設定回路として動作するマイコン２７により、動画モードに設定されている。動画モードにおいては、第１のホワイトバランス調整回路６２から機能制御回路９２に入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９４（ＳＷ２）を通って、第２のホワイトバランス調整回路３２及び階調補正回路３３を含む部分情報量低減回路９６に入力される。
部分情報量低減回路９６に入力されたローデータ（ＲＡＷ１０Ａ）は、第２のホワイトバランス調整回路３２によって、ホワイトバランス調整が施される。ここで、このホワイトバランス調整に用いられる光源情報等のホワイトバランス情報は、この入力されたローデータ（ＲＡＷ１０Ａ）が第１のホワイトバランス調整回路６２によってホワイトバランス調整される前に、第１のホワイトバランス調整回路６２に入力された時点で、その直前に、第１のホワイトバランス調整回路６２に入力されたローデータについての情報である。第２のホワイトバランス調整回路３２は、入力されたローデータに、第３の実施の形態と同様にホワイトバランス調整を施し、その結果得られるローデータ（ＲＡＷ１０Ｂ）を出力する。第２のホワイトバランス調整回路３２から出力されたローデータ（ＲＡＷ１０Ｂ）は、階調補正回路３３に入力され、階調補正回路３３により、ガンマ補正処理が施される。従って、部分情報量低減回路９６は、８ビットのローデータ（ＲＡＷ８）を出力する。部分情報量低減回路９６から出力されたローデータ（ＲＡＷ８）は、機能制御回路９２に入力され、スイッチ９３（ＳＷ１）を通って、メモリコントローラ１６に出力される。メモリコントローラ１６は、そのローデータ（ＲＡＷ８）をＤＲＡＭ１７に格納する。
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているローデータを読み出して、それを機能制御回路９２に出力する。機能制御回路９２は、動画モード設定されているので、メモリコントローラ１６から入力されたローデータ（ＲＡＷ８）を、スイッチ９５（ＳＷ３）を通して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータ（ＲＡＷ８）にカメラ信号処理を施して、ローデータ（ＲＡＷ８）を輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されたＹＣデータをカメラ信号処理回路１８から読み出して、それを再び、ＳＤＲＡＭ１７に格納する。以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので、ここでは説明を省略する。
上述の動画モードでは、撮像システム９０における消費電力が、第３の実施の形態による撮像システム６０と同様に、約３２％程度削減される。
ホワイトバランス調整においては、入力されたローデータのホワイトバランス情報を用いて、そのローデータに対してゲイン調整を行うことが望ましい。しかし、ローデータからの光源情報の抽出には、１画面分のローデータの取り込みに必要な時間を要する。動画の場合には、ローデータがホワイトバランス調整回路に次々に取り込まれる（例えば、１秒間に３０枚の画像のローデータが取り込まれる。）ので、光源情報抽出やゲイン計算等を行っている間に、次のローデータがホワイトバランス調整回路に入力される。従って、動画モードにおいては、ローデータのホワイトバランス調整を行う際に、撮像システムでそのローデータが得られる直前に得られたローデータ（例えば、１秒間に３０枚の画像のローデータが取り込まれる場合は、１／３０秒前に取り込まれたローデータ）の光源情報によりホワイトバランス処理を行う。本実施の形態による撮像システム９０においては、動画モードの場合、第１のホワイトバランス調整回路６２によって取得されたホワイトバランス情報を、次に第１のホワイトバランス調整回路６２に入力されたローデータ（ＲＡＷ１４）が、続いて第２のホワイトバランス調整回路３２に入力され、その後、その第２のホワイトバランス調整回路３２においてホワイトバランス調整される際に使用する。
次に、静止画モードでの動作について説明する。モード設定回路としてのマイコン２７は、駆動回路１３および機能制御回路９２のスイッチ９３，９４，９５に対して静止画モードの設定を行う。光学レンズ１１を通して光が入射すると、その光は、固体撮像素子１２によって光電変換される。ここで、駆動回路１３は、固体撮像素子１２を、静止画モードで駆動している。次に、固体撮像素子１２の出力信号が、アナログ回路１４によって処理され、そのアナログ信号は、Ａ／Ｄ変換回路１５によってデジタル信号に変換される。Ａ／Ｄ変換された１４ビットのローデータ（ＲＡＷ１４）は、第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、第３の実施の形態と同様に、１４ビットのローデータを、ホワイトバランス調整により１０ビットのローデータ（ＲＡＷ１０Ａ）に変換し、その１０ビットのローデータを出力する。また、この第１のホワイトバランス調整回路６２は、入力されたローデータ（ＲＡＷ１４）について光源情報抽出やゲイン計算等を行う。第１のホワイトバランス調整回路６２から出力されたローデータ（ＲＡＷ１０Ａ）は、機能制御回路９２に入力される。ここで、機能制御回路９２は、モード設定回路としてのマイコン２７により静止画モードに設定されている。静止画モードにおいては、第１のホワイトバランス調整回路６２から入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９３（ＳＷ１）を通って、メモリコントローラ１６に入力される。メモリコントローラ１６は、そのローデータ（ＲＡＷ１０Ａ）を、ＳＤＲＡＭ１７に格納する。
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているローデータ（ＲＡＷ１０Ａ）を読み出して、それを機能制御回路９２に出力する。ここで、機能制御回路９２は、モード設定回路として動作するマイコン２７により、静止画モードに設定されている。静止画モードにおいては、第１のホワイトバランス調整回路６２から機能制御回路９２に入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９４（ＳＷ２）を通って、部分情報量低減回路９６に入力される。部分情報量低減回路９６に入力された１０ビットのローデータ（ＲＡＷ１０）は、第２のホワイトバランス調整回路３２によって、ホワイトバランス調整が施される。ここで、ホワイトバランス調整に用いられる光源情報等のホワイトバランス情報は、このローデータが、第１のホワイトバランス調整回路６２に入力されたときに、その第１のホワイトバランス調整回路６２が取得したホワイトバランス情報である。第２のホワイトバランス調整回路３２は、入力されたローデータに、第３の実施の形態と同様にホワイトバランス調整を施した後、そのホワイトバランス調整されたローデータを階調補正回路３３に出力する。階調補正回路３３は、入力されたローデータを、ガンマ補正処理により、８ビットのローデータ（ＲＡＷ８）に変換し、それを出力する。部分情報量低減回路９６から出力された８ビットのローデータ（ＲＡＷ８）は、機能制御回路９２に入力される。機能制御回路９２は、静止画モードに設定されているので、その入力された８ビットのローデータを、スイッチ９５（ＳＷ３）を通して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータにカメラ信号処理を施し、入力されたローデータを、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されたＹＣデータを、カメラ信号処理回路１８から読み出し、それを再びＳＤＲＡＭ１７に格納する。以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので、ここでは説明を省略する。
静止画モードにおいては、ローデータ（ＲＡＷ１０Ａ）を、その情報量を８ビットに低減する前にＳＤＲＡＭ１７に格納する。よって、撮像システム９１が消費する電力は、従来の撮像システムと比較して、第１の実施の形態と同様に約２２％程度低減される。
静止画モードにおいては、Ａ／Ｄ変換回路１５から出力されたローデータを、一旦ＳＤＲＡＭ１７に格納してから、ホワイトバランス調整を行うので、第１のホワイトバランス調整回路６２において入力されたローデータについて光源情報抽出やゲイン計算等を行いながら、その一方で、そのローデータをＳＤＲＡＭ１７に格納し、それをＳＤＲＡＭ１７から読み出し、また、第２のホワイトバランス調整回路３２において、そのローデータに、第１のホワイトバランス調整回路６２で計算したゲイン等を用いて、ホワイトバランス調整を行うことが可能である。従って、ローデータが第１のホワイトバランス調整回路６２に入力されてから、第３のホワイトバランス調整回路３２から出力されるまでの間に、そのローデータのホワイトバランス設定値の計算が可能となり、入力されたローデータに、そのローデータの情報を用いて、ホワイトバランス調整を施すことができる。従って、ホワイトバランス精度の良い高品質な画像を得ることができる。
ホワイトバランス調整においては、入力されたローデータに対して、そのローデータの情報を用いてゲイン調整を施すことが望ましい。上述の静止画モードにおいては、取り込んだ１画面分のローデータから抽出した光源情報により、ホワイトバランスゲインを算出し、そのホワイトバランスゲインを用いて、その取り込んだローデータに対してホワイトバランス調整を行うことができる。
デジタルスチルカメラのような静止画を撮像するカメラでは、撮像したローデータのホワイトバランス情報（光源情報等）を用いてホワイトバランス調整を施すことが望ましい。本実施の形態による撮像システムにおいて、静止画撮影の場合には、取り込んだローデータに対して、その取り込んだローデータのホワイトバランス情報を用いて、ホワイトバランス調整を施すことができる。それに対して、動画の場合には、短時間に、被写体の画像が次々に撮像システムに取り込まれるので、取り込んだ画像のローデータに対して、その直前に撮像システムに取り込んだ画像のローデータのホワイトバランス情報を用いてホワイトバランス調整を施しても大きな問題はない。特に、静止画の場合には、処理時間の制約が、繰り返し処理が必要な動画に比べてゆるいので、消費電力削減よりも画質に重点が置かれる。本実施の形態による撮像システムは撮影モードに応じた処理を行うことができ、動画撮影モードの場合には消費電力削減を重視し、静止画撮影モードの場合には画質を重視して処理を行うことが可能である。
以下に説明される第６の実施の形態乃至第１０の実施の形態の撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路を備え、その前処理回路は、Ａ／Ｄ変換回路から出力されるローデータを間引きする間引き回路を備える。これらの撮像システムは、間引き回路によりローデータを間引きしてデータ数を低減し、その結果、ローデータのデータ量を低減することにより、ＳＤＲＡＭとメモリコントローラとのインタフェース部分における消費電力を低減しようというものである。
（第６の実施の形態）
図１０は、本発明の第６の実施の形態による撮像システムの構成を示すブロック図である。図１０において、図１の撮像システムと同一の構成要素には、同一の符号を付し、説明を省略する。図１０に示されるように、撮像システム１００における前処理回路１０２は、間引き回路１０３を備える。さらに、カメラ信号処理回路１８は、ズーム処理回路１０４を備える。前処理回路１０２は、Ａ／Ｄ変換回路１５に接続され、Ａ／Ｄ変換回路１５から出力された信号を受け取ってそれを出力する。なお、前処理回路１０２は、信号の情報量を低減するものではない。例えば、Ａ／Ｄ変換回路１５から出力される信号の情報量が１０ビットのとき、前処理回路１０２から出力されるローデータの情報量は１０ビットのままである。
固体撮像素子１２は、例えば、電荷結合素子（以下、「ＣＣＤ」という。）である。固体撮像素子１２は、２次元に配列された多数の画素から成る。例えば、固体撮像素子１２の画素数が５００万画素の場合、それは、水平方向及び垂直方向に、それぞれ、２５６０画素及び１９２０ラインの有効画素数を備える。また、固体撮像素子１２は、各々の画素に１つずつ対応するフォトダイオードを有する。各々のフォトダイオード上には、赤色フィルタ、緑色フィルタ、及び青色フィルタのいずれかが配置される。図１１は、撮像素子１２の各々の画素に設けられた色フィルタの配列の一例を示す。ここで、図１１は、部分的な配列（縦横４×４の配列）を示すものであり、色フィルタ全体は、この部分的な配列が複数個集まったものである。図１１において、Ｒは赤色フィルタ、Ｇは緑色フィルタ、Ｂは青色フィルタである。図１１に示されるように、撮像素子１２における色フィルタの配列は、赤色フィルタ（Ｒ）と緑色フィルタ（Ｇ）が水平方向に交互に配列された水平ラインと、緑色フィルタ（Ｇ）と青色フィルタ（Ｂ）が水平方向に交互に配列された水平ラインとが垂直方向に交互に並ぶことにより構成される。
この撮像素子１２に光が照射されると、撮像素子１２は、その各々の画素について電気信号を生成する。そして、Ａ／Ｄ変換回路１５は、撮像素子１２の各々の画素に対応するデジタルデータ（以下、「画素データ」という。）を出力する。以下では、撮像素子１２における赤色フィルタを有する画素に対応する画素データをＲデータ、緑色フィルタを有する画素に対応する画素データをＧデータ、青色フィルタを有する画素に対応する画素データをＢデータとする。
図１２は、撮像素子１２の色フィルタが図１１のように配列された場合に、Ａ／Ｄ変換回路１５が出力するデジタル信号（ローデータ）を示すタイミング図である。図１２の（１）は、水平同期信号を示し、図１２の（２）は、ローデータを示す。Ａ／Ｄ変換回路１５は、撮像素子１２における水平方向の画素配列（水平ライン）毎に、その水平ラインにおける複数の画素に対応する画素データを出力する。ここで、図１１に示される色フィルタの配列においては、赤色フィルタ（Ｒ）と緑色フィルタ（Ｇ）が交互に配列された水平ラインと、緑色フィルタ（Ｇ）と青色フィルタ（Ｂ）が交互に配列された水平ラインとが垂直方向に交互に並ぶ。よって、Ａ／Ｄ変換回路１５は、図１２に示されるように、Ｒデータ（図１２において「Ｒ」で示される。）とＧデータ（図１２において「Ｇ」で示される。）を交互に出力する動作と、ＧデータとＢデータ（図１２において「Ｂ」で示される。）を交互に出力する動作とを交互に繰り返す。そして、これらの動作は、水平同期信号により切り替わる。以上のようにしてＡ／Ｄ変換回路１５から出力されたローデータは、前処理回路１０２に入力される。
以下に、前処理回路１０２について説明する。前処理回路１０２は、入力されたローデータを、そのままメモリコントローラ１６に出力する。一方、前処理回路１０２における間引き回路１０３は、メモリコントローラ１６にＳＤＲＡＭ書き込み制御信号（図１０において、ａ１で示される。）を出力する。つまり、前処理回路１０２は、メモリコントローラ１６に、ローデータとＳＤＲＡＭ書き込み制御信号を同時に出力する。図１３は、ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図である。図１３において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図１３に示されるように、ＳＤＲＡＭ書き込み制御信号は、一定の周期で高レベルになる。具体的に、ＳＤＲＡＭ書き込み制御信号は、ある画素データがメモリコントローラ１６に入力されるときに高レベルになると、その後、続いて２個の画素データがメモリコントローラ１６に入力されるときには低レベルとなる。そして、ＳＤＲＡＭ書き込み制御信号は、その２個の画素データがメモリコントローラ１６に入力された後、３個目の画素データが入力されるときに再び高レベルになる。ＳＤＲＡＭ書き込み制御信号は、高レベル（ＨＩ）で、ＳＤＲＡＭ１７への書き込み許可を示し、低レベル（ＬＯ）で、ＳＤＲＡＭ１７への書き込み禁止を示す。よって、ＳＤＲＡＭ書込み制御信号が高レベルになるタイミングと同じタイミングでメモリコントローラ１６に入力される画素データのみが、メモリコントローラ１６からＳＤＲＡＭ１７に出力される。
撮像素子１２における１つの水平ラインに対応した複数の画素データがメモリコントローラ１６に入力される場合、図１３に示されたタイミングでは、入力される画素データの３個のうち１個の割合で、ＳＤＲＡＭ書込み制御信号が高レベルになる。従って、撮像素子１２の１つの水平ライン当たり、画素データを１／３に間引いたローデータが、ＳＤＲＡＭ１７に格納される。
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７から、間引き回路１０３によって画素データの数（つまり、データ数）が低減されたローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、そのローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）を生成する。メモリコントローラ１６は、そのＹＣデータを読み出して、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、γ変換処理、輝度信号生成処理、色差信号生成処理、解像度改善のためのアパーチャ補正処理などの処理を施す。さらに、ズーム処理回路１０４により、ローデータにズーム処理（後述する）を施す。このズーム処理により、撮像素子１２の１つの水平ラインに対応する画素データは、さらに低減される。
次に、撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている表示用のＹＣデータを読み出して、表示回路２０に転送する。表示回路２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２１に出力する。液晶表示素子２１は、その表示用の信号で表わされる画像を表示する。
また、ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
カードコントローラ２２は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２３に書き込む。
ここで、メモリコントローラ１６とＳＤＲＡＭ１７とのインタフェース部分で消費される電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。例として、前処理回路１０２から出力されるローデータの情報量を、１０ビットとする。また、撮像素子１２の画素数を５００万画素とし、１つの水平ラインの画素数を２５６０画素とする。さらに、カメラ信号処理回路１８によってズーム処理（補間及び間引き処理）が施されて、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数（画素データ数）を７２０画素とする。
撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの流れは、第１の実施の形態で説明した通りである。
ローデータを１つの水平ライン当たり１／３に間引いたローデータをＳＤＲＡＭ７に格納する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（６）で表わされる。なお、ローデータを１つの水平ライン当たり１／３に間引いた場合、その１つの水平ラインの画素数は、８５３画素である。
【数６】
2004017628.tif 000008
一方、Ａ／Ｄ変換回路１６が出力するローデータを間引かずにＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（７）で表わされる。
【数７】
2004017628.tif 000009
式（６）及び式（７）を参照すると、間引きを行う場合と行わない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は異なる。具体的に、４０１００／７４２４０＝０．５４が成り立つことにより、間引きを行った場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は、間引きを行わない場合の５４％になる。ここで、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量と、それらのインタフェース部分における消費電力は比例するので、本実施の形態による撮像システムの消費電力は、間引きを行わない従来の撮像システムの消費電力の５４％になる。すなわち、本実施の形態による撮像システムによれば、間引き回路１５によって間引きを行うことにより、撮影した画像を液晶表示装置２１に表示する場合に、４６％程度の電力を削減することができる。
ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合も、同様に、従来の撮像システムと比べて、消費電力を低減できる。
また、本実施の形態による撮像システムによれば、カメラ信号処理回路１８で信号処理をする際に、ＳＤＲＡＭ１７から読み出すローデータのデータ量が、従来の撮像システムに比べて削減されている。従って、ＳＤＲＡＭ１７からローデータを読み出す際の処理速度が速くなる。
なお、本実施の形態による撮像システムにおいては、間引き回路１５によって間引きを行うことにより、ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／３に削減したが、削減の割合はこれに限られない。例えば、１／２に削減してもよい。図１４は、ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／２に削減する場合の、ローデータとＳＤＲＡＭ書き込み制御信号を説明するタイミング図である。図１４において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図１４を参照すると、ＳＤＲＡＭ書き込み制御信号は、メモリコントローラ１６に２個の画素データ（ＲデータとＧデータ）が入力される毎にレベルが変化する。つまり、あるＲデータとＧデータが連続して入力されるときに高レベルであると、次のＲデータとＧデータが入力されるときには低レベルになる。この場合であっても、本実施の形態による撮像システムと同一の効果が得られる。
なお、駆動回路１３によって撮像素子１２におけるフォトダイオードを制御することにより、撮像素子１２の出力信号を垂直方向に間引く、すなわち、水平ライン数を間引くことも可能である。その場合、モニターモードが設定されると、駆動回路１３によって垂直方向に間引かれた信号が固体撮像素子１２から出力され、その信号は、アナログ信号１４を経て、Ａ／Ｄ変換回路１５に入力される。
（第７の実施の形態）
図１５は、本発明の第７の実施の形態による撮像システムの構成を示すブロック図である。図１５において、図１０の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１１０が、第６の実施の形態による撮像システムと異なる点は、レリーズボタンと、レリーズボタンの状態（レリーズボタン押されているかそうでないか）を検知するレリーズ検知回路と、マイコンとを備える点である。マイコンは、レリーズボタンの状態に応じて、間引き回路を制御する。
図１５に示されるように、撮像システム１１０は、レリーズボタン１１１、レリーズ検知回路１１２、及びマイコン１１３を備える。レリーズ検知回路１１２は、レリーズボタン１１１に接続され、レリーズボタン１１１がユーザによって押されたか否かを示す信号を、マイコン１１３に出力する。マイコン１１３は、間引き回路１０３及びメモリコントローラ１６に接続され、レリーズ検知回路１１２からの信号に応じて、間引き回路１０３及びメモリコントローラ１６を制御する。
撮像システム３０において、光学レンズ１１に光が入射してから、Ａ／Ｄ変換回路１５がデジタル信号を出力するまでの動作は、レリーズボタン１１１の状態がどうであれ同じであり、第１の実施の形態で説明した通りである。しかし、Ａ／Ｄ変換回路１５が前処理回路１０２にデジタル信号を出力した後の動作は、レリーズボタン１１１が押されている場合とそうでない場合とで異なる。レリーズボタン１１１が押されず、上の位置にあるときとは、通常、デジタルスチルカメラにおいて、静止画の撮影を行わず、撮影を行うための確認用に撮影画角の画像を液晶表示装置に表示させる場合（以下、「モニタモード」という。）である。モニタモードの場合、前処理回路１０２は、第６の実施の形態で説明したように間引き処理を行い、メモリ１７にデータ量が低減されたローデータが格納される。
このローデータが読み出されて、カメラ信号処理回路１８に出力されてから、カメラ信号処理回路１８で生成されたＹＣデータが表示回路２０に出力されるまでの動作は、第１の実施の形態で説明した通りである。
なお、レリーズボタン１１１が押されない場合、レリーズ検知回路１１２は、レリーズ検知回路１１２からレリーズボタン１１１が押されていないことを示す信号を出力してもよく、何も信号を出力しなくてもよい。
次に、レリーズボタン１１１を押して、静止面を撮影する場合（以下、「静止画モード」という。）について説明する。レリーズボタン１１１が押されると、レリーズ検知回路１１２からマイコン１１３に、レリーズボタン１１１が押されたことを示す信号が出力される。このとき、マイコン１１３は、間引き回路１０３に、間引きの停止を指示する。具体的には、間引き回路１０３に、常に高レベルのＳＤＲＡＭ書き込み制御信号を出力させる。このとき、前処理回路１０２からメモリコントローラ１６に出力されたローデータは、全て、メモリコントローラ１６によってＳＤＲＡＭ１７に格納される。
ローデータがＳＤＲＡＭ１６に格納された後の撮像システムの動作は、モニタモード及び静止画モードの両方で同一である。この動作は以下の通りである。メモリコントローラ１６は、次に、ＳＤＲＡＭ１７に格納されたローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、そのローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）を生成する。メモリコントローラ１６は、そのＹＣデータを読み出して、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、γ変換処理、輝度信号生成処理、色差信号生成処理、解像度改善のためのアパーチャ補正処理などの処理を施す。
静止画モードの場合、メモリコントローラ１６は、次に、ＳＤＲＡＭ１７に格納されている記録用のＹＣデータを読み出して、ＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
ＳＤＲＡＭ１７に格納されている符号データは、カードコントローラ１２２によって読み出され、記録メディア２３に書き込まれる。
本実施の形態による撮像システムによれば、解像度の高い画像を表示する必要がないモニタモードと、解像度の高い画像を記録しなければならない静止画モードとで、間引き回路の動作を変えることができる。これにより、モニタモードでは、ローデータを間引きして、ＳＤＲＡＭとメモリコントローラとの間のインタフェース部分における消費電力を低減でき、静止画モードでは、解像度の高い良質な画像をＳＤＲＡＭに格納できる。
なお、本実施の形態による撮像システムにおいては、モニタモードと静止画モードとの間でモードの切り替えを行ったが、さらに、モニタモード、静止画モード、及び動画モードの間でモードの切り替えを行ってもよい。図１６は、それらのモードの間でモードの切り替えを行う撮像システムの構成を示すブロック図である。図１６において、図１５の撮像システムと同一の構成要素には、同一の符号を付している。図１６の撮像システム１１５が、図１５の撮像システム１１０と異なる点は、さらに、モード切り替えスイッチ１１６と、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮回路１１７とを備える点である。ユーザがレリーズボタン１１１を押すとき、静止画を撮影する場合と、動画を撮影する場合がある。ユーザは、モード切り替えスイッチ１１６を用いて、撮像システムにモードを入力することができる。モード切り替えスイッチ１１６は、ユーザがどちらのモードを選択したかを示す信号をマイコン１１３に出力する。マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が出力されると、ユーザがどちらのモードを選択した場合であっても、間引き回路１０３に間引き処理を開始させる。しかし、モード切り替えスイッチ１１６によって、ユーザが静止画モードを選択したことを示す信号が入力されると、メモリコントローラ１６に、ＳＤＲＡＭ１７から記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に転送するように指示し、モード切り替えスイッチ１１６によって、ユーザが動画モードを選択したことを示す信号が入力されると、メモリコントローラ１６に、ＳＤＲＡＭ１７から記録用のＹＣデータを読み出して、それをＭＰＥＧ圧縮回路１１７に転送するように指示する。
なお、マイコン１１３によって駆動回路１３を制御することにより、駆動回路１３によって撮像素子１２におけるフォトダイオードを制御することが可能である。よって、各々の水平ラインのデータを間引くと同時に、撮像素子１２の出力信号を垂直方向に間引く、すなわち、水平ライン数を間引くことも可能である。
（第８の実施の形態）
本実施の形態による撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路として、補間回路と間引き回路とを含むズーム処理回路を備える。
図１７は、本発明の第８の実施の形態による撮像システムの構成を示すブロック図である。図１７において、図１７の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１２０が、第６の実施の形態による撮像システム１１５と異なる点は、前処理回路１０２が、間引き回路と補間回路とを含むズーム処理回路１２１を有する点である。
図１８は、ズーム処理回路１２１の構成を示すブロック図である。図１８に示されるように、ズーム処理回路１２１は、間引き回路１０３及び補間回路１２２を備える。Ａ／Ｄ変換回路１５から出力されたローデータは、補間回路１２２に入力される。補間回路１２２から出力されたデータは、メモリコントローラ１６に入力される。
以下に、補間回路１２２について説明する。図１９は、補間回路１２２の構成を示す図である。図１９に示されるように、補間回路１２２は、ディレイフリップフロップ（ｄｅｌａｙ  ｆｌｉｐ−ｆｌｏｐ：以下、「Ｄフリップフロップ」という。）１２５、第１の乗算回路１２６、第２の乗算回路１２７、及び加算回路１２８を備える。補間回路１２２に入力された信号は、２つに分岐し（「分離」ではない。補間回路１２２に入力された信号が２方向に流れる。）、その一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。Ｄフリップフロップ１２５は、入力された信号を、２クロック（１クロックは、撮像システムの動作周波数の１周期分）だけ遅らせて、第１の乗算回路１２６に出力する。第１の乗算回路１２６は、入力された信号をｋ倍（ｋはズーム係数）して、そのｋ倍された信号を出力し、第２の乗算回路１２７は、入力された信号を（１−ｋ）倍して、その（１−ｋ）倍された信号を出力する。第１の乗算回路１２６及び第２の乗算回路１２７から出力される信号は、それぞれ、加算回路１２８に入力される。加算回路１２８は、第１の乗算回路１２６の出力信号と、第２の乗算回路１２７の出力信号とを足し合わせて、その結果得られる信号をメモリコントローラ１６に出力する。加算回路１２８は、ある中心画素の画素データを１−ｋ倍したものと、その中心画素の画素データより２クロック早く出力された画素データをｋ倍したものを加算する処理を行う。
以下に、撮像素子１２の色フィルタが図１１のように配列されている場合にＡ／Ｄ変換回路１５が出力するローデータに対して、１／２倍のズーム処理を行う場合について説明する。図２０は、補間回路１２２が、メモリコントローラ１６にローデータを出力する場合の、メモリコントローラ１６に入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミングを示す。図２０において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、ズーム係数ｋ（０＜ｋ＜１）、（４）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。
図２０を参照すると、まず、補間回路１２２にＲデータが入力される。補間回路１２２に入力されたＲデータは、２つに分岐し、その一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。図２０の（３）に示されるように、この場合のズーム係数は１／３であり、第２の乗算回路１２７に入力されたＲデータは、２／３（＝１−１／３）倍される。２／３倍されたＲデータは、第２の乗算回路１２７から加算回路１２８に出力される。一方、第１の乗算回路１２６から出力されるＲデータは、第２の乗算回路１２７よりも２クロック遅延して加算回路１２８から出力される。よって、加算回路１２８には、２／３倍されたＲデータしか出力されず、補間回路１２２は、この２／３倍されたＲデータをメモリコントローラ１６に出力する。これは、次に補間回路１２２に入力されるＧデータについても同様である。なお、Ｇデータが補間回路１２２に入力された場合、ズーム係数は、２／３である。
次に、補間回路１２２に２個目のＲデータが入力される。このＲデータも、上述のように２つに分岐し、一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。図２０の（３）に示されるように、このときのズーム係数は１／３であり、第２の乗算回路１２７に入力されたＲデータは、２／３倍される。そして、この２／３倍されたＲデータ（以下、「第１のＲデータ」という。）が加算回路１２８に出力される。このとき、第１の乗算回路１２６から加算回路１２８に、２クロック前に補間回路１２２に入力されたＲデータを１／３倍したＲデータ（以下、「第２のＲデータ」）が出力される。加算回路１２８は、この第１のＲデータと第２のＲデータとを加算して、その結果得られるＲデータをメモリコントローラ１６に出力する。
これ以降に補間回路１２２に入力されるＲデータ及びＧデータについても、同様の処理が行われる。このとき、補間回路１２２にＲデータ及びＧデータが入力された場合のズーム係数は、それぞれ、１／３及び２／３である。図２０に示された矢印は、補間回路１２２に入力されたある画素データと、それよりも２クロック前に補間回路１２２に入力された画素データとが補間処理されて、メモリコントローラ１６に入力されることを示す。
図２０の（４）は、図２０の（２）に示されるローデータと同時にメモリコントローラ１６に出力されるＳＤＲＡＭ書き込み制御信号を示す。図２０の（４）に示されるように、ＳＤＲＡＭ書き込み制御信号は、一定の周期で高レベルになる。具体的に、ＳＤＲＡＭ書き込み制御信号は、ＲデータとＧデータが、それぞれ、最初にメモリコントローラ１６に入力されるときに低レベルであり、その後、続いて２個の画素データ（２個目のＲデータと２個目のＧデータ）がメモリコントローラ１６に入力されるときには高レベルとなる。そして、ＳＤＲＡＭ書き込み制御信号は、その２個の画素データがメモリコントローラ１６に入力された後、続いて２個の画素データ（３個目のＲデータと３個目のＧデータ）が入力されるときに再び低レベルになる。以上のように、画素データが、メモリコントローラ１６に２個ずつ入力される毎に、ＳＤＲＡＭ書きこみ制御信号の信号レベルが変化する。ＳＤＲＡＭ書込み制御信号が高レベルになるタイミングと同じタイミングでメモリコントローラ１６に入力される画素データのみが、メモリコントローラ１６からＳＤＲＡＭ１７に出力される。
図２１は、上述のズーム処理（補間処理と間引き処理）後のローデータにおけるＲデータ及びＧデータの相対的位置関係を示す。図２１に示されるように、ローデータにおいて、Ｒデータ及びＧデータは、等間隔に配置される。このようなＲデータとＧデータの等間隔の位置関係は、補間処理におけるズーム係数と間引き処理における間引き率とをうまく選択することによって、実現することができる。
この撮像システムにおいて、前処理回路１０２により、Ａ／Ｄ変換回路１５から出力されるローデータに１／２倍のズーム処理を行った場合、撮影した画像を液晶表示装置２１に表示するときのメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（８）で表わされる。なお、ローデータに１つの水平ライン当たり１／２倍のズーム処理を行った場合、その１つの水平ラインの画素数は、１２８０画素である。
【数８】
2004017628.tif 000010
式（７）及び式（８）を参照すると、ズーム処理を行う場合と行わない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は異なる。具体的に、４８６４０／７４２４０＝０．６６が成り立つことにより、ズーム処理を行った場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は、ズーム処理を行わない場合の６６％になる。よって、本実施の形態による撮像システムによれば、ズーム処理回路１２１によってズーム処理を行うことにより、撮影した画像を液晶表示装置２１に表示する場合に、３４％程度の電力を削減することができる。
本実施の形態による撮像システムによれば、Ａ／Ｄ変換回路１５から、前処理回路１０２及びメモリコントローラ１６を介して、ＳＤＲＡＭ１７に格納される信号は、Ａ／Ｄ変換回路１５から出力される全ての画素データを補間処理した結果得られる信号である。よって、これらの信号に対して処理を行い、その処理された信号を用いて表示する画像の品質は良質になるという効果がある。
また、本実施の形態による撮像システムによれば、カメラ信号処理回路１８で信号処理をする際に、ＳＤＲＡＭ１７から読み出すローデータのデータ量が、従来の撮像システムに比べて削減されている。従って、ＳＤＲＡＭ１７からローデータを読み出す際の処理速度が速くなる。
なお、補間処理は、上述したものに限られない。よって、補間回路は、上述の回路以外の他の回路であってもよい。図２２は、補間回路１２２の別の構成を示すブロック図である。図２２において、図１９と同一の構成要素には同一の符号を付し、説明を省略する。補間回路１２２は、乗算回路１２６，１２７の代わりに、乗算回路１３０，１３１を備える。図２２に示されるように、補間回路１２２は、ある画素に対応する第１の信号を２倍したものと、その第１の信号に対し、２クロック早く出力された第２の信号を１倍したものと、第１の信号に対し、２クロック遅延して出力された第３の信号を１倍したものとを加算して平均する処理を行う。この補間処理後のローデータは、メモリコントローラ１６に入力される。
なお、上述の説明では、ズーム処理の倍率は１／２倍であったが、これに限られない。図２３は、撮像素子１２の色フィルタが図１１のように配列されている場合に、Ａ／Ｄ変換回路１５が出力するローデータに対して、１／３倍のズーム処理を行うときのメモリコントローラ１６に入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図である。図２３において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図２３における矢印は、図２２の補間回路が３つの画素データを用いて補間処理を行うことを示す。ズーム処理において、補間処理を行った後の間引き処理は、図１３を用いて説明した処理と同一であるので、ここでは説明を省略する。
図２２及び図２３を用いて説明したズーム処理（補間処理及び間引き処理）を行った場合であっても、図１９及び図２０を用いて説明したズーム処理を行った場合と同様の効果が得られる。
なお、これまでズーム処理回路１２１の構成及び動作を詳細に説明したが、ズーム処理回路１０４の構成及び動作も、ズーム処理回路１２１のそれらと同様である。
（第９の実施の形態）
図２４は、本発明の第９の実施の形態による撮像システムの構成を示すブロック図である。図２４において、図１７の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１４０が、第８の実施の形態による撮像システム１２０と異なる点は、レリーズボタン１１１、レリーズ検知回路１１２、及びマイコン１１３を備える点である。レリーズ検知回路１１２は、レリーズボタン１１１が押されているか否かを示す信号を出力する。マイコン１１３は、レリーズボタン１１２の状態（レリーズ検知回路１１２から出力される信号）に応じて、ズーム処理回路１２１を制御する。
図２５は、ズーム処理回路１２１の構成を示すブロック図である。図２５において、図１８のズーム処理回路１２１と同一の構成要素には同一の符号を付し、説明を省略する。図２５のズーム処理回路が、図１８のズーム処理回路と異なる点は、セレクタ回路１３２を有する点である。前処理回路１２１に入力された信号は、２つに分岐して、補間回路１２２及びセレクタ回路１３２に入力される。セレクタ回路１３２は、Ａ／Ｄ変換回路１５から出力されたそのままのデジタル信号、及びＡ／Ｄ変換回路１５から出力されたデジタル信号を補間回路１２２によって補間して得られる信号のいずれかを選択して、メモリコントローラ１６に出力する。
マイコン１１１は、レリーズボタン１１２の状態に応じて、間引き回路１０３とセレクタ回路１３２を制御する。マイコン１１３による間引き回路１０３の制御は、第７の実施の形態で説明した通りである。すなわち、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されていることを示す信号が入力されない（又は、レリーズ検知回路１１２からレリーズボタン１１１が押されていないことを示す信号が入力される）と、間引き回路１０３に間引き処理をさせるが、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が入力されると、間引き回路１０３に、間引きの停止を指示する。さらに、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されていることを示す信号が入力されないと、セレクタ回路１３２に、補間回路１２２によって補間された信号を出力するように指示する。一方、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が入力されると、セレクタ回路１３２に、Ａ／Ｄ変換回路１５から出力されたデジタル信号をそのままで出力するように指示する。
本実施の形態による撮像システムによれば、第７の実施の形態による撮像システムと同様の効果が得られる。
なお、上述の撮像システムにおいて、セレクタ回路１３２は、レリーズボタン１１１が押された場合には、Ａ／Ｄ変換回路１５から出力されたデジタル信号をそのまま出力するが、レリーズボタン１１１が押された場合であっても、補間回路１２２によって補間された信号を出力してもよい。
（第１０の実施の形態）
図２６は、本実施の形態による撮像システムの構成を示すブロック図である。図２６において、図１５の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システムが、第７の実施の形態による撮像システムと異なる点は、記録画素数選択スイッチを備える点である。
図２６に示されるように、本実施の形態による撮像システム１５０は、記録画素数選択スイッチ１５１を備える。ユーザは、この記録画素数選択スイッチ１５１を用いて、記録時の画素数を設定することができる。このとき、前処理回路１０２の間引き回路１０３は、間引き率の異なる複数の間引きモードで動作可能である。ユーザが選択した記録画素数を示す信号が、記録画素数選択スイッチ１５１からマイコン１１３に入力されると、マイコン１１３は、その記録画素数から間引き率を判定し、ローデータがその間引き率で間引かれるように、間引き回路１０３を制御する。以下に、例として、撮像素子１２の画素数が５００万画素のとき、ユーザが記録時の画素数を１３０万画素と設定した場合について説明する。撮像素子１２の画素数が５００万画素のとき、１ライン当たり２５６０画素の水平ラインが、垂直方向に１９２０ライン並ぶ。また、１３０万画素の画像は、１ライン１２８０画素の水平ラインが、垂直方向に９６０ライン並ぶ。画素数が５００万画素の撮像素子１２によって撮像された画像を、１３０万画素の画像として記録するとき、１つの水平ラインの画素数を、２５６０画素から１２８０画素にする必要がある。この場合、マイコン１１３は、記録画素数選択スイッチ１５１から、選択された記録画素数が１３０万画素数であることを示す信号が入力されると、ローデータが１／２の間引き率で間引かれるように、間引き回路１０５を制御する。これにより、間引き回路１０５は、メモリコントローラ１６に、例えば、図１４に示されるＳＤＲＡＭ書き込み制御信号を出力する。
なお、本実施の形態による撮像システムによれば、選択された記録画素数に応じて、間引き回路が制御されたが、ズーム処理回路が制御されてもよい。このとき、マイコンは、ユーザが選択した記録画素数を示す信号が、記録画素数選択スイッチからマイコンに入力されると、その記録画素数からズーム倍率を判定し、ローデータがそのズーム倍率でズーム処理されるように、ズーム処理回路を制御する。図２７は、選択された記録画素数に応じてズーム処理回路を制御する撮像システムの構成を示すブロック図である。図２７に示される撮像システム１６０は、第９の実施の形態による撮像システム１４０に、記録画素数選択スイッチ１５１を追加した構成を有する。図２７に示される撮像システムによれば、図２６に示された撮像システムと同一の効果が得られる。
なお、本発明による撮像システムにおいて、Ａ／Ｄ変換回路とメモリコントローラとの間に設けられる前処理回路は、情報量低減回路、及び、間引き回路若しくはズーム処理回路を両方含んでもよい。
なお、本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。
【図１】
2004017628.tif 000011
【図２】
2004017628.tif 000012
【図３】
2004017628.tif 000013
【図４】
2004017628.tif 000014
【図５】
2004017628.tif 000015
【図６】
2004017628.tif 000016
【図７】
2004017628.tif 000017
【図８】
2004017628.tif 000018
【図９】
2004017628.tif 000019
【図１０】
2004017628.tif 000020
【図１１】
2004017628.tif 000021
【図１２】
2004017628.tif 000022
【図１３】
2004017628.tif 000023
【図１４】
2004017628.tif 000024
【図１５】
2004017628.tif 000025
【図１６】
2004017628.tif 000026
【図１７】
2004017628.tif 000027
【図１８】
2004017628.tif 000028
【図１９】
2004017628.tif 000029
【図２０】
2004017628.tif 000030
【図２１】
2004017628.tif 000031
【図２２】
2004017628.tif 000032
【図２３】
2004017628.tif 000033
【図２４】
2004017628.tif 000034
【図２５】
2004017628.tif 000035
【図２６】
2004017628.tif 000036
【図２７】
2004017628.tif 000037
【図２８】
2004017628.tif 000038
【手続補正書】
【提出日】平成16年2月24日(2004.2.24)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】特許請求の範囲
【請求項１】２次元に配列された画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する第１のデータ量低減装置と、
前記第１のデータ量低減装置が出力するデジタル信号のデータ量を低減する第２のデータ量低減装置と、
デジタル信号を記憶する記憶装置と、
入力されたデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置からデジタル信号を読み出して出力する記憶制御装置と、
前記撮像装置を駆動する駆動装置と、
前記第１のデータ量低減装置、前記第２のデータ量低減装置、及び前記記憶制御装置の間のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置と
を備える撮像システムであって、
前記機能制御装置は、
前記モード設定装置によって第１のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記第２のデータ量低減装置に入力し、前記第２のデータ量低減装置から出力された信号を、前記記憶制御装置に入力し、
前記モード設定手段によって第２のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記記憶制御装置に入力し、前記記憶制御装置から出力された信号を前記第２のデータ量低減装置に入力するシステム。
【請求項２】（削除）
【請求項３】（削除）
【請求項４】（削除）
【請求項５】２次元に配列された画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置から前記デジタル信号を読み出して出力する記憶制御装置と
を備える撮像システムであって、
前記画素は、複数の色成分の光を検知する画素で構成され、
前記撮像装置は、前記画素に光が照射されると、前記画素が検知する光の量を示す複数のデジタル信号を出力し、
前記前処理装置が、
複数の前記色成分に対応するあらかじめ決められたゲインを用いて、前記撮像装置が出力する、複数の前記色成分に対応する複数の前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置と、
前記第１のホワイトバランス調整装置が出力する、複数の前記色成分のいずれかに対応する複数の前記デジタル信号を用いて、複数の前記色成分について、その色成分に対応した複数の前記デジタル信号の信号量の１画面に相当する平均値である複数の第１の平均信号量を検出する検出装置と、
複数の前記色成分に対応する複数の前記第１の平均信号量が一致するように、複数の前記色成分について、対応した複数の前記デジタル信号に与えるべき第１のゲインを計算する計算装置と、
複数の前記色成分に対応する前記計算装置によって計算された前記第１のゲインを用いて、前記第１のホワイトバランス調整装置から出力された複数の前記色成分に対応する前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第２のホワイトバランス調整装置と
を備えるシステム。
【請求項６】前記前処理装置が、さらに、階調補正装置を備え、
前記階調補正装置は、デジタル信号の階調を補正することにより、入力されたデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する請求項２から請求項５のいずれかに記載の撮像システム。
【請求項７】前記情報量低減装置が、さらに、入力されるデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える請求項２から請求項６のいずれかに記載の撮像システム。
【請求項８】前記データ圧縮装置が、入力される前記デジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する請求項７に記載の撮像システム。
【請求項９】さらに、
前記撮像装置を駆動する駆動装置と、
前記情報量低減装置、前記記憶制御装置、及び前記デジタル信号処理装置の間のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置と
を備え、
前記情報量低減装置が、第１の情報量低減装置及び第２の情報量低減装置から成り、
前記第１の情報量低減装置及び前記第２の情報量低減装置は、前記撮像装置から出力されたデジタル信号の情報量を低減し、
前記機能制御装置は、
前記モード設定装置によって第１のモードが設定されると、前記第１の情報量低減装置から入力された信号を前記第２の情報量低減装置に出力し、前記第２の情報量低減装置から入力された信号を、前記記憶制御装置に出力し、前記記憶制御装置から入力された信号を、前記デジタル信号処理装置に出力し、
前記モード設定手段によって第２のモードが設定されると、前記第１の情報量低減装置から入力された信号を前記記憶制御装置に出力し、前記記憶制御装置から入力された信号を前記第２の情報量低減装置に出力し、前記第２の情報量低減装置から入力された信号を前記デジタル信号処理装置に出力する請求項２に記載の撮像装置。
【請求項１０】前記前処理装置は、複数の前記デジタル信号を間引く間引き装置を備える請求項１に記載の撮像システム。
【請求項１１】前記間引き装置は、前記記憶制御装置に、一定周期でレベルが変化する制御信号を出力し、
前記前処理装置は、前記撮像装置が出力するデジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力し、
前記記憶制御装置は、前記制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記記憶装置に格納する請求項１０に記載の撮像システム。
【請求項１２】前記前処理装置が、さらに、補間装置を備え、
前記補間装置は、前記撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力し、
前記前処理装置は、前記補間デジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力する請求項１１に記載の撮像システム。
【請求項１３】さらに、レリーズボタンと
前記レリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、前記検知装置から出力される前記状態信号に応じて、前記間引き装置の動作を開始又は停止させる間引き制御装置と
を備える請求項１１又は請求項１２に記載の撮像システム。
【請求項１４】さらに、第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、
前記モード切り替え装置から出力される前記モード信号に応じて前記記憶制御装置を制御するモード制御装置と
を備え、
前記デジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを備え、
前記モード制御装置は、前記第１のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第１の圧縮装置に出力させ、
前記第２のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第２の圧縮装置に出力させる請求項１３に記載の撮像システム。
【請求項１５】さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、
前記記録画素数選択装置から出力される信号に応じて、前記デジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記間引き装置が出力する前記制御信号のレベル変化の周期を制御する間引き率制御装置と
を備える請求項１１から請求項１４のいずれかに記載の撮像システム。




【手続補正書】
【提出日】平成16年8月13日(2004.8.13)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】特許請求の範囲
【請求項１】複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する第１のデータ量低減装置と、
前記第１のデータ量低減装置が出力するデジタル信号のデータ量を低減する第２のデータ量低減装置と、
デジタル信号を記憶する記憶装置と、
入力されたデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置からデジタル信号を読み出して出力する記憶制御装置と、
前記撮像装置を駆動する駆動装置と、
前記第１のデータ量低減装置、前記第２のデータ量低減装置、及び前記記憶制御装置の間のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置と
を備える撮像システムであって、
前記機能制御装置は、
前記モード設定装置によって第１のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記第２のデータ量低減装置に入力し、前記第２のデータ量低減装置から出力された信号を、前記記憶制御装置に入力し、
前記モード設定手段によって第２のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記記憶制御装置に入力し、前記記憶制御装置から出力された信号を前記第２のデータ量低減装置に入力するシステム。
【請求項２】削    除
【請求項３】削    除
【請求項４】削    除
【請求項５】複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置から前記デジタル信号を読み出して出力する記憶制御装置と
を備える撮像システムであって、
前記画素は、複数の色成分の光を検知する画素で構成され、
前記撮像装置は、前記画素に光が照射されると、前記画素が検知する光の量を示す複数のデジタル信号を出力し、
前記前処理装置が、
複数の前記色成分に対応するあらかじめ決められたゲインを用いて、前記撮像装置が出力する、複数の前記色成分に対応する複数の前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置と、
前記第１のホワイトバランス調整装置が出力する、複数の前記色成分の各々に対応する複数の前記デジタル信号を用いて、複数の前記色成分の各々について、その色成分に対応した１画面分に相当する複数の前記デジタル信号の信号量の平均値である第１の平均信号量を検出する検出装置と、
複数の前記色成分に対応する複数の前記第１の平均信号量が一致するように、複数の前記色成分について、対応した複数の前記デジタル信号に与えるべき第１のゲインを計算する計算装置と、
複数の前記色成分に対応する前記計算装置によって計算された前記第１のゲインを用いて、前記第１のホワイトバランス調整装置から出力された複数の前記色成分に対応する前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第２のホワイトバランス調整装置と
を備えるシステム。
【請求項６】前記前処理装置が、さらに、階調補正装置を備え、
前記階調補正装置は、デジタル信号の階調を補正することにより、入力されたデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する請求項５に記載の撮像システム。
【請求項７】前記前処理装置が、さらに、入力されたデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える請求項５又は請求項６に記載の撮像システム。
【請求項８】削    除
【請求項９】削    除
【請求項１０】複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記デジタル信号を前記記憶装置から読み出して出力する記憶制御装置と
を備える撮像システムであって、
前記前処理装置が、前記撮像装置が出力する前記デジタル信号を間引く間引き装置と、補間装置とを備え、
前記間引き装置は、前記記憶制御装置に、一定周期でレベルが変化する制御信号を出力し、
前記補間装置は、前記撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力し、
前記前処理装置は、前記補間デジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力し、
前記記憶制御装置は、前記制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記記憶装置に格納するシステム。
【請求項１１】削    除
【請求項１２】削    除
【請求項１３】さらに、レリーズボタンと、
前記レリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、
前記検知装置から出力される前記状態信号に応じて、前記間引き装置の動作を開始又は停止させる間引き制御装置と
を備える請求項１０に記載の撮像システム。
【請求項１４】さらに、入力されたデジタル信号を処理するデジタル信号処理装置と、
第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、
前記モード切り替え装置から出力される前記モード信号に応じて前記記憶制御装置を制御するモード制御装置と
を備え、
前記デジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを含み、
前記モード制御装置は、前記第１のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第１の圧縮装置に出力させ、
前記第２のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第２の圧縮装置に出力させる請求項１０又は請求項１３に記載の撮像システム。
【請求項１５】さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、
前記記録画素数選択装置から出力される信号に応じて、前記デジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記間引き装置が出力する前記制御信号のレベル変化の周期を制御する間引き率制御装置と
を備える請求項１０、請求項１３及び請求項１４のいずれかに記載の撮像システム。
【請求項１６】前記前処理装置が、さらに、入力された複数のデジタル信号のゲイン調整を行うゲイン調整装置を備え、
前記検出装置は、前記ゲイン調整装置に入力される複数の前記デジタル信号の信号量の１画面に相当する平均値である第２の平均信号量を検出し、
前記計算装置は、前記第２の平均信号量が所定の値になるように、前記ゲイン調整装置に入力される複数の前記デジタル信号に与えるべき第２のゲインを計算し、
前記ゲイン調整装置は、前記第２のゲインを用いて、入力された前記複数のデジタル信号のゲイン調整を行う請求項５から請求項７のいずれかに記載の撮像システム。
【請求項１７】複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置からデジタル信号を読み出して出力する記憶制御装置と
を備え、
前記前処理装置が、入力されたデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える撮像システム。
【請求項１８】前記データ圧縮装置が、入力された前記デジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する請求項７または請求項１７に記載の撮像システム。


【手続補正００２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
る。従って、ローデータが第１のホワイトバランス調整回路６２に入力されてから、第２のホワイトバランス調整回路３２から出力されるまでの間に、そのローデータのホワイトバランス設定値の計算が可能となり、入力されたローデータに、そのローデータの情報を用いて、ホワイトバランス調整を施すことができる。従って、ホワイトバランス精度の良い高品質な画像を得ることができる。
ホワイトバランス調整においては、入力されたローデータに対して、そのローデータの情報を用いてゲイン調整を施すことが望ましい。上述の静止画モードにおいては、取り込んだ１画面分のローデータから抽出した光源情報により、ホワイトバランスゲインを算出し、そのホワイトバランスゲインを用いて、その取り込んだローデータに対してホワイトバランス調整を行うことができる。
デジタルスチルカメラのような静止画を撮像するカメラでは、撮像したローデータのホワイトバランス情報（光源情報等）を用いてホワイトバランス調整を施すことが望ましい。本実施の形態による撮像システムにおいて、静止画撮影の場合には、取り込んだローデータに対して、その取り込んだローデータのホワイトバランス情報を用いて、ホワイトバランス調整を施すことができる。それに対して、動画の場合には、短時間に、被写体の画像が次々に撮像システムに取り込まれるので、取り込んだ画像のローデータに対して、その直前に撮像システムに取り込んだ画像のローデータのホワイトバランス情報を用いてホワイトバランス調整を施しても大きな問題はない。特に、静止画の場合には、処理時間の制約が、繰り返し処理が必要な動画に比べてゆるいので、消費電力削減よりも画質に重点が置かれる。本実施の形態による撮像システムは撮影モードに応じた処理を行うことができ、動画撮影モードの場合には消費電力削減を重視し、静止画撮影モードの場合には画質を重視して処理を行うことが可能である。
以下に説明される第６の実施の形態乃至第１０の実施の形態の撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路を備え、その前処理回路は、Ａ／Ｄ変換回路から出力されるローデータを間引きする間引き回路を備える。これらの撮像システムは、間引き回路によりローデータを間引きしてデータ数を低減し、その結果、ローデータのデータ量を低減することにより、ＳＤＲＡＭとメモリコントローラとのインタフェース部分における消費電力を低減しよ
【手続補正書】
【提出日】平成17年2月9日(2005.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する第１のデータ量低減装置と、
前記第１のデータ量低減装置が出力するデジタル信号のデータ量を低減する第２のデータ量低減装置と、
デジタル信号を記憶する記憶装置と、
入力されたデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置からデジタル信号を読み出して出力する記憶制御装置と、
前記撮像装置を駆動する駆動装置と、
前記第１のデータ量低減装置、前記第２のデータ量低減装置、及び前記記憶制御装置の間のデジタル信号のやりとりを制御する機能制御装置と、
前記駆動装置及び前記機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置と
を備える撮像システムであって、
前記機能制御装置は、
前記モード設定装置によって第１のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記第２のデータ量低減装置に入力し、前記第２のデータ量低減装置から出力された信号を、前記記憶制御装置に入力し、
前記モード設定手段によって第２のモードが設定されると、前記第１のデータ量低減装置から出力された信号を前記記憶制御装置に入力し、前記記憶制御装置から出力された信号を前記第２のデータ量低減装置に入力するシステム。
【請求項２】
複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置から前記デジタル信号を読み出して出力する記憶制御装置と
を備える撮像システムであって、
前記画素は、複数の色成分の光を検知する画素で構成され、
前記撮像装置は、前記画素に光が照射されると、前記画素が検知する光の量を示す複数のデジタル信号を出力し、
前記前処理装置が、
複数の前記色成分に対応するあらかじめ決められたゲインを用いて、前記撮像装置が出力する、複数の前記色成分に対応する複数の前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置と、
前記第１のホワイトバランス調整装置が出力する、複数の前記色成分の各々に対応する複数の前記デジタル信号を用いて、複数の前記色成分の各々について、その色成分に対応した１画面分に相当する複数の前記デジタル信号の信号量の平均値である第１の平均信号量を検出する検出装置と、
複数の前記色成分に対応する複数の前記第１の平均信号量が一致するように、複数の前記色成分について、対応した複数の前記デジタル信号に与えるべき第１のゲインを計算する計算装置と、
複数の前記色成分に対応する前記計算装置によって計算された前記第１のゲインを用いて、前記第１のホワイトバランス調整装置から出力された複数の前記色成分に対応する前記デジタル信号のゲイン調整を行い、ホワイトバランス調整する第２のホワイトバランス調整装置と
を備えるシステム。
【請求項３】
前記前処理装置が、さらに、階調補正装置を備え、
前記階調補正装置は、デジタル信号の階調を補正することにより、入力されたデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する請求項２に記載の撮像システム。
【請求項４】
前記前処理装置が、さらに、入力されたデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える請求項２又は請求項３に記載の撮像システム。
【請求項５】
複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記デジタル信号を前記記憶装置から読み出して出力する記憶制御装置と
を備える撮像システムであって、
前記前処理装置が、前記撮像装置が出力する前記デジタル信号を間引く間引き装置と、補間装置とを備え、
前記間引き装置は、前記記憶制御装置に、一定周期でレベルが変化する制御信号を出力し、
前記補間装置は、前記撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力し、
前記前処理装置は、前記補間デジタル信号と前記制御信号とを、同時に前記記憶制御装置に出力し、
前記記憶制御装置は、前記制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記記憶装置に格納するシステム。
【請求項６】
さらに、レリーズボタンと、
前記レリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、
前記検知装置から出力される前記状態信号に応じて、前記間引き装置の動作を開始又は停止させる間引き制御装置と
を備える請求項５に記載の撮像システム。
【請求項７】
さらに、入力されたデジタル信号を処理するデジタル信号処理装置と、
第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、
前記モード切り替え装置から出力される前記モード信号に応じて前記記憶制御装置を制御するモード制御装置と
を備え、
前記デジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを含み、
前記モード制御装置は、前記第１のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第１の圧縮装置に出力させ、
前記第２のモードを示すモード信号が入力されると、前記記憶制御装置に、前記記憶装置から読み出した前記デジタル信号を前記第２の圧縮装置に出力させる請求項５又は請求項６に記載の撮像システム。
【請求項８】
さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、
前記記録画素数選択装置から出力される信号に応じて、前記デジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記間引き装置が出力する前記制御信号のレベル変化の周期を制御する間引き率制御装置と
を備える請求項５、請求項６及び請求項７のいずれかに記載の撮像システム。
【請求項９】
前記前処理装置が、さらに、入力された複数のデジタル信号のゲイン調整を行うゲイン調整装置を備え、
前記検出装置は、前記ゲイン調整装置に入力される複数の前記デジタル信号の信号量の１画面に相当する平均値である第２の平均信号量を検出し、
前記計算装置は、前記第２の平均信号量が所定の値になるように、前記ゲイン調整装置に入力される複数の前記デジタル信号に与えるべき第２のゲインを計算し、
前記ゲイン調整装置は、前記第２のゲインを用いて、入力された前記複数のデジタル信号のゲイン調整を行う請求項２から請求項４のいずれかに記載の撮像システム。
【請求項１０】
複数の画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、
前記撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、
デジタル信号を記憶する記憶装置と、
前記前処理装置が出力するデジタル信号を前記記憶装置に格納し、かつ、前記記憶装置からデジタル信号を読み出して出力する記憶制御装置と
を備え、
前記前処理装置が、入力されたデジタル信号を圧縮して、前記デジタル信号の情報量を低減するデータ圧縮装置を備える撮像システム。
【請求項１１】
前記データ圧縮装置が、入力された前記デジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する請求項４または請求項１０に記載の撮像システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ等に用いられる撮像システムに関する。
【背景技術】
【０００２】
従来の撮像システムには、撮像素子から出力されるアナログ信号をデジタル信号に変換する（Ａ／Ｄ変換する）Ａ／Ｄ変換器、画像データの処理を行うデータ処理部、画像データを記憶するメモリ、及びメモリ制御部を備え、そのメモリ制御部によって、Ａ／Ｄ変換器やデータ処理部から出力される画像データをメモリに格納したり、その画像データをメモリから別のデータ処理部に転送したりするものがある（例えば、特許文献１参照。）。
【０００３】
図２８は、そのような従来の撮像システムの構成を示すブロック図である。図２８に示されるように、撮像システム２００は、光学レンズ２１１、固体撮像素子２１２、固体撮像素子２１２の駆動回路２１３、アナログ回路２１４、Ａ／Ｄ変換回路２１５、メモリコントローラ２１６、記憶回路としてのシンクロナシスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：以下、「ＳＤＲＡＭ」という。）２１７、カメラ信号処理回路２１８、ＪＰＥＧ圧縮回路２１９、表示回路２２０、液晶表示装置２２１、カードコントローラ２２２、及び記録メディア２２３を備える。
【０００４】
以下に、この撮像システム２００の動作を説明する。光学レンズ２１１を通して光が入射すると、その光が固体撮像素子２１２に照射される。固体撮像素子２１２は、照射された光を光電変換し、得られる電気信号（アナログ信号）をアナログ回路２１４に出力する。アナログ回路２１４は、固体撮像素子２１２から出力されたアナログ信号をアナログ信号処理し、そのアナログ信号処理された信号をＡ／Ｄ変換回路２１５に出力する。Ａ／Ｄ変換回路２１５は、アナログ回路２１４から出力されたアナログ信号をデジタル信号に変換する。ここで、Ａ／Ｄ変換回路２１５が出力するデジタル信号は、デジタル信号処理を行う前の信号であるのでローデータ（ＲＡＷ）と呼ばれる。Ａ／Ｄ変換回路２１５は、このローデータを、メモリコントローラ２１６に出力する。メモリコントローラ２１６は、Ａ／Ｄ変換回路２１５によって出力されたローデータを、ＳＤＲＡＭ２１７に格納する。
【０００５】
次に、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されているローデータを読み出して、カメラ信号処理回路２１８に転送する。カメラ信号処理回路２１８は、ＳＤＲＡＭ２１７から読み出されたローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表される、記録用及び表示用のＹＣデータ（ＹＣ）を生成する。また、カメラ信号処理回路２１８は、表示用のＹＣデータを生成するために、ローデータにズーム処理などを施す。メモリコントローラ２１６は、カメラ信号処理回路２１８から、そのＹＣデータを読み出して、ＳＤＲＡＭ２１７に格納する。
【０００６】
次に、ＹＣデータを圧縮してＳＤＲＡＭ２１７に格納する場合、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されている記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路２１９に出力する。ＪＰＦＧ圧縮回路２１９は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ２１６は、ＪＰＥＧ圧縮回路２１９からその符号データを読み出して、ＳＤＲＡＭ２１７に格納する。
【０００７】
また、撮影した画像を液晶表示装置２２１に表示する場合、メモリコントローラ２１６は、ＳＤＲＡＭ２１７に格納されている表示用のＹＣデータを読み出して、表示回路２２０に転送する。表示回路２２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２２１に出力する。液晶表示素子２２１は、その表示用の信号によって表わされる画像を表示する。
【０００８】
カードコントローラ２２２は、ＳＤＲＡＭ２１７に接続され、ＳＤＲＡＭ２１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２２３に書き込む。
【特許文献１】特開平１０−１７８６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上述のように、従来の撮像システムにおいては、ローデータ、ＹＣデータ、符号データ、表示データ等の多くのデータがメモリとメモリコントローラとの間でやりとりされる。よって、メモリとメモリコントローラとのインタフェース部分において電力の消費が大きい、つまり、消費電力が大きいという課題があった。
【００１０】
また、従来の撮像システムにおいては、扱うデータ量が多いために処理スピードが遅いという課題があった。処理スピードを上げるためには、動作周波数を上げるか、または、回路の処理性能を上げる必要があるが、どちらの場合でも消費電力が増大する。すなわち、消費電力を増大させることなく、処理スピードを速くすることが困難であるという課題があった。
【００１１】
本発明の目的は、消費電力が小さく、かつ、データの処理スピードが速い撮像システムを提供することである。
【課題を解決するための手段】
【００１２】
本発明による撮像システムは、２次元に配列された画素に光が照射されると、各画素に照射された光の量を示す複数のデジタル信号を出力する撮像装置と、前記の撮像装置が出力するデジタル信号のデータ量を低減する前処理装置と、デジタル信号を処理するデジタル信号処理装置と、デジタル信号を記憶する記憶装置と、前記の前処理装置が出力するデジタル信号を前記の記憶装置に格納し、かつ、前記のデジタル信号を前記の記憶装置から読み出して前記のデジタル信号処理装置に出力する記憶制御装置とを備える。
【００１３】
好ましくは、前記の前処理装置は、前記のデジタル信号の情報量を低減する情報量低減装置を備える。
【００１４】
好ましくは、前記の情報量低減装置は、２次元に配列された前記の画素に光が照射されたとき、前記の撮像装置が出力する複数のデジタル信号の信号量の１画面に相当する平均値である平均信号量を検出する検出装置と、前記の平均信号量が所定の値になるように、複数の前記のデジタル信号に与えるべきゲインを計算する計算装置と、前記のゲインを用いて、複数の前記のデジタル信号のゲイン調整を行うゲイン調整装置とを備える。
【００１５】
好ましくは、前記の画素は、複数の色成分の光を検知する画素で構成され、前記の撮像装置は、前記の画素に光が照射されると、前記の画素が検知する光の量を示す複数のデジタル信号を出力する。前記の情報量低減装置は、
前記の撮像装置が出力する、複数の前記の色成分のいずれかに対応する複数の前記のデジタル信号を用いて、複数の前記の色成分について、その色成分に対応した複数の前記のデジタル信号の信号量の１画面に相当する平均値である複数の平均信号量を検出する検出装置と、複数の前記の色成分に対応する複数の前記の平均信号量が一致するように、複数の前記の色成分について、対応した複数の前記のデジタル信号に与えるべきゲインを計算する計算装置と、複数の前記の色成分に対応する前記のゲインを用いて、複数の前記の色成分に対応する前記のデジタル信号のゲイン調整を行い、ホワイトバランス調整する第１のホワイトバランス調整装置とを備える。
【００１６】
好ましくは、前記の情報量低減装置は、さらに、第２のホワイトバランス調整装置を備える。前記の第２のホワイトバランス調整装置は、複数の前記の色成分に対応するあらかじめ決められたゲインを用いて、前記の撮像装置が出力する、複数の前記の色成分に対応する複数の前記のデジタル信号のゲイン調整を行い、ホワイトバランス調整する。前記の第１のホワイトバランス調整装置には、前記の第２のホワイトバランス調整装置の出力信号を入力する。
【００１７】
好ましくは、前記の情報量低減装置は、さらに、階調補正装置を備える。前記の階調補正装置は、デジタル信号の階調を補正することにより、前記の撮像装置、前記のゲイン調整装置、及び前記の第１のホワイトバランス調整装置のいずれかから入力されるデジタル信号を、そのデジタル信号の情報量よりも小さい所定の情報量を有するデジタル信号に変換する。
【００１８】
好ましくは、前記の情報量低減装置は、さらに、入力されるデジタル信号を圧縮して、前記のデジタル信号の情報量を低減するデータ圧縮装置を備える。
【００１９】
好ましくは、前記のデータ圧縮装置は、入力される前記のデジタル信号を、全て同一の情報量をもつデジタル信号に圧縮する。
【００２０】
好ましくは、前記の撮像システムは、さらに、前記の撮像装置を駆動する駆動装置と、前記の情報量低減装置、前記の記憶制御装置、及び前記のデジタル信号処理装置の間のデジタル信号のやりとりを制御する機能制御装置と、前記の駆動装置及び前記の機能制御装置に対して、異なる２つのモードのうち１つを設定するモード設定装置とを備える。前記の情報量低減装置は、第１の情報量低減装置及び第２の情報量低減装置から成る。前記の第１の情報量低減装置及び前記の第２の情報量低減装置は、前記の撮像装置から出力されたデジタル信号の情報量を低減する。前記の機能制御装置は、前記のモード設定装置によって第１のモードが設定されると、前記の第１の情報量低減装置から入力された信号を前記の第２の情報量低減装置に出力し、前記の第２の情報量低減装置から入力された信号を、前記の記憶制御装置に出力し、前記の記憶制御装置から入力された信号を、前記のデジタル信号処理装置に出力し、前記のモード設定手段によって第２のモードが設定されると、前記の第１の情報量低減装置から入力された信号を前記の記憶制御装置に出力し、前記の記憶制御装置から入力された信号を前記の第２の情報量低減装置に出力し、前記の第２の情報量低減装置から入力された信号を前記のデジタル信号処理装置に出力する。
【００２１】
好ましくは、前記の前処理装置は、複数の前記のデジタル信号を間引く間引き装置を備える。
【００２２】
好ましくは、前記の間引き装置は、前記の記憶制御装置に、一定周期でレベルが変化する制御信号を出力する。前記の前処理装置は、前記の撮像装置が出力するデジタル信号と前記の制御信号とを、同時に前記の記憶制御装置に出力する。前記の記憶制御装置は、前記の制御信号が所定のレベルであるときに入力されるデジタル信号のみを前記の記憶装置に格納する。
【００２３】
好ましくは、前記の前処理装置は、間引き装置に加えて、さらに、補間装置を備える。前記の補間装置は、前記の撮像装置が出力するデジタル信号を補間して、その補間の結果得られる補間デジタル信号を出力する。前記の前処理装置は、前記の補間デジタル信号と前記の制御信号とを、同時に前記の記憶制御装置に出力する。
【００２４】
好ましくは、前記の撮像システムは、間引き装置に加えて、さらに、レリーズボタンと、前記のレリーズボタンが押されているか否かを示す状態信号を出力する検知装置と、前記の検知装置から出力される前記の状態信号に応じて、前記の間引き装置の動作を開始又は停止させる間引き制御装置とを備える。
【００２５】
好ましくは、前記の撮像システムは、前記の間引き装置、前記のレリーズボタン及び前記の検知装置、前記の間引き制御制御装置に加えて、さらに、第１のモード又は第２のモードに対応するモード信号を出力するモード切り替え装置と、前記のモード切り替え装置から出力される前記のモード信号に応じて前記の記憶制御装置を制御するモード制御装置とを備える。前記のデジタル信号処理装置は、第１の圧縮装置と第２の圧縮装置とを備える。前記のモード制御装置は、前記の第１のモードを示すモード信号が入力されると、前記の記憶制御装置に、前記の記憶装置から読み出した前記のデジタル信号を前記の第１の圧縮装置に出力させ、前記の第２のモードを示すモード信号が入力されると、前記の記憶制御装置に、前記の記憶装置から読み出した前記のデジタル信号を前記の第２の圧縮装置に出力させる。
【００２６】
好ましくは、前記の撮像システムは、間引き装置に加えて、さらに、記録画素数を選択し、その選択した記録画素数に応じた信号を出力する記録画素数選択装置と、前記の記録画素数選択装置から出力される信号に応じて、前記のデジタル信号を間引く間引き率を判断し、その間引き率に応じて、前記の間引き装置が出力する前記の制御信号のレベル変化の周期を制御する間引き率制御装置とを備える。
【発明の効果】
【００２７】
本発明による撮像システムによれば、消費電力が小さく、かつ、データの処理スピードが速い撮像システムを実現できる。
【発明を実施するための最良の形態】
【００２８】
以下に、添付の図面を参照して、本発明の実施の形態について説明する。
以下の実施の形態で説明される撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、Ａ／Ｄ変換回路の出力信号を、メモリコントローラに出力する前に処理する前処理回路を備える。
【００２９】
以下に説明される第１の実施の形態乃至第５の実施の形態の撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路として、信号のビット数（情報量）を低減する情報量低減回路を備える。この情報量低減回路により、Ａ／Ｄ変換回路が出力するデジタル信号の情報量が低減され、結果として、そのデジタル信号の信号量（信号のビット数がｋのとき、２ｋで表わされる。）が低減される。これらの撮像システムは、Ａ／Ｄ変換回路が出力するデジタル信号の信号量を低減して、その信号量の低減されたデジタル信号をメモリコントローラに出力することにより、ＳＤＲＡＭとメモリコントローラとの間でやりとりされるデータ量（データ量＝データ数×情報量）を低減して、ＳＤＲＡＭとメモリコントローラとのインタフェース部分における消費電力を低減しようというものである。
【００３０】
（第１の実施の形態）
本実施の形態による撮像システムは、ゲイン調整回路、レベル検出回路、及びマイコンから成る情報量低減回路を備える。
【００３１】
図１は、第１の実施の形態による撮像システムの構成を示すブロック図である。図１において、撮像システム１０は、光学レンズ１１、固体撮像素子１２、固体撮像素子１２の駆動回路１３、アナログ回路１４、Ａ／Ｄ変換回路１５、メモリコントローラ１６、記憶回路としてのＳＤＲＡＭ１７、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、表示回路２０、液晶表示装置２１、カードコントローラ２２、記録メディア２３、及び前処理回路２４を備える。前処理回路２４は、ゲイン調整回路２６、マイクロコンピュータ（以下、「マイコン」という。）２７、及びレベル検出回路２８から成る情報量低減回路を備える。
【００３２】
光学レンズ１１は、固体撮像素子１２に光を収束する。駆動回路１３は、固体撮像素子１２に接続され、固体撮像素子１２を制御する。アナログ回路１４は、固体撮像素子１２に接続され、固体撮像素子１２が出力するアナログ信号をアナログ信号処理する。Ａ／Ｄ変換回路１５はアナログ回路１４に接続され、アナログ回路１４が出力するアナログ信号をデジタル信号に変換する。前処理回路２４は、Ａ／Ｄ変換回路１５に接続され、Ａ／Ｄ変換回路１５から出力された信号の情報量を低減して、その情報量が低減されたデジタル信号を出力する。メモリコントローラ１６は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７からデータを読み込んだり、ＳＤＲＡＭ１７にデータを書き込んだりする。また、メモリコントローラ１６は、ゲイン調整回路２６、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、及び表示回路２０に接続され、ＳＤＲＡＭ１７とそれらとの間のデータの入出力を制御する。液晶表示装置２１は、表示回路２０に接続され、表示回路２０から出力されたデータが示す画像を表示する。カードコントローラ２２は、ＳＤＲＡＭ１７及び記録メディア２３に接続され、ＳＤＲＡＭ１７に格納されているデータを読み出して、記録メディア２３に書き込む。
【００３３】
撮像システム１０において、光学レンズ１１に光が入射してから、Ａ／Ｄ変換回路１５がデジタル信号を出力するまでの動作は、以下の通りである。光学レンズ１１に光が入射すると、その光が、光学レンズ１１を通って、固体撮像素子１２に照射される。固体撮像素子１２は、照射された光を光電変換し、得られる電気信号（アナログ信号）をアナログ回路１４に出力する。アナログ回路１４は、固体撮像素子１２から出力されたアナログ信号をアナログ信号処理し、そのアナログ信号処理された信号をＡ／Ｄ変換回路１５に出力する。Ａ／Ｄ変換回路１５は、アナログ回路１４から出力されたアナログ信号をデジタル信号に変換する。
【００３４】
固体撮像素子１２は、例えば、電荷結合素子（以下、「ＣＣＤ」という。）である。固体撮像素子１２は、２次元に配列された多数の画素から成る。例えば、固体撮像素子１２の画素数が５００万画素の場合、それは、水平方向における２５６０画素及び垂直方向における１９２０ラインから成る有効画素数を備える。この撮像素子１２に光が照射されると、撮像素子１２は、その各々の画素に照射された光の量を示す複数の電気信号を生成する。そして、Ａ／Ｄ変換回路１５は、その各々が撮像素子１２の各々の画素に照射された光の量を示す複数のデジタル信号を出力する。このように、撮像素子の各々の画素に対応したデジタル信号の個数を、以下では、「データ数」という。
【００３５】
撮像システム１０において、Ａ／Ｄ変換回路１５が出力するデジタル信号の情報量は、１４ビットである。このデジタル信号は、光学レンズ１１に入射する光の量を数値化して表わしたものであり、ビット数が大きいほど、広範囲の明るさに対応できる。Ａ／Ｄ変換された１４ビットのローデータ（ＲＡＷ１４）は、ゲイン調整回路２６に入力される。ゲイン調整回路２６は、１４ビットのローデータに、マイコン２７から与えられるゲインＡによってゲイン調整を施す。結果としてローデータの情報量が低減され、ゲイン調整回路２６から１０ビットのローデータ（ＲＡＷ１０）が出力される。ＲＡＷ１０およびＲＡＷ１４の信号量を、それぞれ、Ｒ１０およびＲ１４とすると、以下の式（１）が成り立つ。
【数１】
2004017628.tif 000039
【００３６】
以下に、ゲインＡついて説明する。固体撮像素子１２の出力信号は、Ａ／Ｄ変換されてデジタル信号となり、このデジタル信号は、ゲイン調整回路２６に入力される。このとき、Ａ／Ｄ変換されたローデータ（ＲＡＷ１４）は、ゲイン調整回路２６に入力されると同時に、レベル検出回路２８にも入力される。レベル検出回路２８は、入力された１画面分のローデータの平均信号量を検出する。この１画面分のローデータの平均信号量とは、１つのシーンが撮影され、撮像素子１２の各々の画素によって電気信号が生成された場合に、その電気信号をＡ／Ｄ変換して得られる複数のデジタル信号の信号量の平均値である。具体的には、Ａ／Ｄ変換回路１５が出力するデジタル信号の信号量の最大値を２で割った値である。レベル検出回路２８は、その平均信号量を、マイコン２７に出力する。マイコン２７は、入力される平均信号量とゲインとを乗算して得られる信号量の値があらかじめ決められた値になるように、入力された各々の平均信号量に対してゲインＡを算出する。
【００３７】
図２は、１画面分のローデータ（ＲＡＷ１４）の平均信号量とゲインＡとの関係を示す。図２の（１），（２），（３）は、それぞれ、撮像システム１０に互いに異なる画面が入力された場合（つまり、撮像システム１０によって、互いに異なるシーンが撮影された場合）に、撮像素子１２に入射する光の量の範囲と、その際に、Ａ／Ｄ変換回路１５から出力される複数のデジタル信号の信号量の範囲とを示すグラフである。図２の（１）、（２）および（３）のそれぞれのグラフにおいて、横軸は、撮像素子１２に入射する光の量、縦軸は、Ａ／Ｄ変換回路１５から出力されるデジタル信号の信号量を示す。図２の（１），（２）及び（３）に示されるように、撮像素子１２に入射する光の量は広範囲であり、Ａ／Ｄ変換回路１５が出力するデジタルデータの信号量のダイナミックレンジも大きい。図２の（１）、（２）および（３）のグラフを参照すると、画面毎に、出力されるデジタルデータの信号量の範囲が異なることがわかる。Ａ／Ｄ変換回路１５が出力するデジタルデータの信号量は、それぞれの画面で、（１）０から２１４まで、（２）０から２１２まで、および、（３）０から２１０まで変化しており、それらの場合に、レベル検出回路２８が検出する平均信号量は、それぞれ、２１３、２１１および２９である。マイコン２７は、入力される平均信号量とゲインとを乗算して得られる最終的な平均信号量が全て一定になるように、つまり、入力される平均信号量が、ゲインを与えることによって所定の平均信号量になるように、ゲインＡを算出する。例えば、最終的な平均信号量が２９と設定されているとき、マイコン２７は、図２の（１）、（２）および（３）に示されるローデータが入力されると、ゲインＡを、それぞれ、２−４、２−２および１と算出する。このとき、式（１）により、全ての場合において、信号量の最大値は２１０となり、平均信号量は２９となる。
【００３８】
ゲイン調整回路２６は、Ａ／Ｄ変換回路１５からローデータが入力されると、マイコン２７から出力されるゲインＡを用いてゲイン調整を行い、Ａ／Ｄ変換回路１５から入力されたローデータを、所定の平均信号量をもつローデータに変換する。これにより、ゲイン調整回路２６は、入力されたローデータよりも、情報量の小さいローデータを出力する。
【００３９】
以上のように、ゲイン調整回路２６は、Ａ／Ｄ変換回路１５から出力されるデジタル信号のビット数を、１４ビットから１０ビットに、すなわち、１０／１４に低減する。ゲイン調整回路２６は、ビット数が低減された１０ビットのローデータ（ＲＡＷ１０）を、メモリコントローラ１６に出力する。メモリコントローラ１６は、この１０ビットのローデータをＳＤＲＡＭ１７に格納する。
【００４０】
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納された１０ビットのローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータに、カメラ信号処理を施して、その転送されたローデータを、輝度信号（Ｙ）と色差信号（Ｃ）とで表される、記録用及び表示用のＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されて得られる記録用及び表示用のＹＣデータを、カメラ信号処理回路１８から読み出して、再び、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、ガンマ（γ）変換処理、輝度信号生成処理、色差信号生成処理、および、解像度改善のためのアパーチャ補正処理などの処理を施す。また、カメラ信号処理回路１８は、表示用のＹＣデータを生成するために、ズーム処理回路（図示されない）を用いて、ズーム処理（後述する）などを施す。
【００４１】
次に、撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている表示用のＹＣデータを読み出して、表示回路２０に転送する。表示回路２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２１に出力する。液晶表示素子２１は、その表示用の信号によって表わされる画像を表示する。
【００４２】
また、ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
【００４３】
カードコントローラ２２は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２３に書き込む。
【００４４】
ここで、メモリコントローラ１６によってＳＤＲＡＭ１７に格納される、および、ＳＤＲＡＭ１７から読み出されるローデータのビット数が１４ビットから１０ビットになった場合の、メモリコントローラ１６とＳＤＲＡＭ１７との間のインターフェース部分で消費される電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。また、例として、撮像素子１２の画素数を５００万画素とし、１つの水平ラインの画素数を２５６０画素とする。さらに、カメラ信号処理回路１８によってズーム処理が施されて、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数を７２０画素とする。
【００４５】
撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの流れは以下の通りである。まず、メモリコントローラ１６は、Ａ／Ｄ変換回路１５から出力されたローデータをＳＤＲＡＭ１７に格納する（１）。次に、メモリコントローラ１６は、そのローデータをＳＤＲＡＭ１７から読み出して、カメラ信号処理回路１８に出力する（２）。さらに、メモリコントローラ１６は、カメラ信号処理回路１８が表示用のＹＣデータを生成すると、そのＹＣデータをカメラ信号処理回路１８から読み出して、ＳＤＲＡＭ１７に格納する（３）。最後に、メモリコントローラ１６は、そのＹＣデータをＳＤＲＡＭ１７から読み出して、表示回路２０に出力する（４）。メモリコントローラ１６は、別個に設けられた制御回路（マイコン）によって、ソフトウェアで制御されてよい。
【００４６】
Ａ／Ｄ変換回路１５から出力されたローデータが１４ビットから１０ビットに低減されたとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（２）で表わされる。
【数２】
2004017628.tif 000040
【００４７】
一方、ローデータの情報量が低減されずに１４ビットのとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（３）で表わされる。
【数３】
2004017628.tif 000041
【００４８】
式（２）及び式（３）を参照すると、ローデータの情報量を低減する場合と低低減しない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は異なる。具体的に、７４２４０／９４７２０＝０．７８が成り立つことにより、情報量を低減した場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、情報量を低減しない場合と比較して、２２％程度低減される。
【００４９】
ここで、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量と、それらのインタフェース部分における消費電力は比例するので、本実施の形態による撮像システムの消費電力は、情報量の低減を行わない従来の撮像システムの消費電力の７８％になる。すなわち、本実施の形態による撮像システムによれば、前処理回路２４によってローデータの情報量を低減することにより、撮影した画像を液晶表示装置２１に表示する場合に、従来の撮像システム２００と比較して、２２％程度の電力を削減することができる。
【００５０】
ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合も、同様に、従来の撮像システムと比べて、消費電力を低減できる。
【００５１】
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
【００５２】
また、本実施の形態による撮像システムでは、前処理回路がゲイン調整回路を含むので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、画面毎に異なる信号量のダイナミックレンジも調整することができる。
【００５３】
なお、本実施の形態による撮像システムおいては、ゲイン調整回路２６により１画面分の平均信号量が一定になるように制御しているが、画面内の信号の分布、画面内のピークレベル、または光学系の絞りの状態を利用して、目標となる最終的な一定の平均信号量を変更しても、本発明と同様の効果が得られる。
【００５４】
なお、本実施の形態による撮像システムにおいて、前処理回路はゲイン調整回路を含むが、ゲイン調整回路のほかに、情報量を低減する階調補正回路や圧縮回路等の他の回路を備えていてもよい。
【００５５】
なお、撮像システムにおいて、レンズによって収束される光の量をデジタル信号として出力する部分を撮像装置という。例えば、図１において、撮像装置とは、固体撮像素子、アナログ回路及びＡ／Ｄ変換回路を含む部分をいう。また、撮像システムにおいて、メモリコントローラを介して、メモリと信号をやりとりして、メモリに格納されたデジタル信号を処理する装置をデジタル信号処理装置という。例えば、図１において、デジタル信号処理装置とは、カメラ信号処理回路、圧縮回路、表示回路である。
【００５６】
（第２の実施の形態）
本実施の形態による撮像システムは、第１の実施の形態による撮像システムと異なり、前処理回路が、ゲイン調整回路の代わりに、ホワイトバランス調整回路および階調補正回路を有する。
【００５７】
図３は、第２の実施の形態による撮像システムの構成を示すブロック図である。図３において、図１と同一の構成には同一の符号を付す。図３に示されるように、本実施の形態による撮像システム３０において、前処理回路３１は、ホワイトバランス調整回路３２、階調補正回路３３、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。図１と同一の符号を付した構成要素については、（第１の実施の形態）で既に述べているので、その構成および動作についての説明を省略する。
【００５８】
Ａ／Ｄ変換回路１５によって出力された１４ビットのローデータ（ＲＡＷ１４）は、前処理回路３１のホワイトバランス調整回路３２に入力される。ホワイトバランス調整回路３２は、そのローデータにホワイトバランス処理を施すことにより、１４ビットのローデータを１０ビットのローデータ（ＲＡＷ１０）に変換する。ホワイトバランス調整回路３２は、その変換された１０ビットのローデータを階調補正回路３３に出力する。階調補正回路３３は、入力された１０ビットのローデータに、階調補正であるガンマ補正処理を施して、その１０ビットのローデータを８ビットのローデータ（ＲＡＷ８）に変換する。階調補正回路３３は、その８ビットのローデータをメモリコントローラ１６に出力する。
【００５９】
ここで、ホワイトバランス調整回路３２の動作について説明する。ホワイトバランス調整とは、無彩色の被写体を撮影した場合に得られる１画面のＲ成分、Ｇ成分及びＢ成分の信号の各々の平均信号量を、それらが等しくなるように調整することをいう。ホワイトバランス調整回路３２は、マイコン２７から与えられるゲインにより、１４ビットのローデータにホワイトバランス調整を施して、その信号量を低減する。以下に、ゲインの算出方法について説明する。１４ビットのローデータ（ＲＡＷ１４）は、ホワイトバランス調整回路３２と同時に、レベル検出回路２８にも入力される。レベル検出回路２８は、入力されたローデータの１画面分の平均信号量を検出する。なお、本実施の形態においては、第１の実施の形態と異なり、１画面分のＲ（赤）成分、Ｇ（緑）成分及びＢ（青）成分のそれぞれの平均信号量を求める。レベル検出回路２８は、検出した各々の色成分の平均信号量を、マイコン２７に出力する。マイコン２７は、入力されたＲ成分、Ｇ成分及びＢ成分の各々の平均信号量にゲインを乗算した結果、それらの平均信号量が等しくなるようにゲインＡｒ、Ａｇ、Ａｂを算出する。
【００６０】
図４は、撮像システムに１画面が入力された場合（つまり、撮像システムによって１つのシーンが撮影された場合）に、Ｒ成分、Ｂ成分及びＧ成分のそれぞれについて、撮像素子１２に入射する光の量の範囲と、その際に、Ａ／Ｄ変換回路１５から出力される複数のデジタル信号の信号量の範囲とを示すグラフである。図４のグラフにおいて、横軸は、撮像素子１２に入射する光の量、縦軸は、Ａ／Ｄ変換回路１５から出力されるデジタル信号の信号量を示す。図４において、Ｒ成分の信号量、Ｇ成分の信号量、およびＢ成分の信号量は、それぞれ、０から２１４まで、０から２１２まで、および、０から２１０まで変化しており、それらの場合に、レベル検出回路２８が検出する平均信号量は、それぞれ、２１３、２１１および２９である。マイコン２７は、１画面分のＲ，Ｇ，Ｂ成分の平均信号量が等しくなるように、ゲインＡｒ、Ａｇ、Ａｂを算出する。例えば、Ｒ，Ｇ，Ｂ成分の信号量が、それぞれ、図４に示される範囲にある場合、マイコン２７は、Ｒ成分の信号、Ｇ成分の信号およびＢ成分の信号に対するゲイン（Ａｒ、Ａｇ、Ａｂ）を、それぞれ、２−４、２−２および１と算出する。このとき、式（１）により、全ての色成分において、信号量の最大値は２１０となり、平均信号量は２９となる。
【００６１】
ホワイトバランス調整回路３２は、Ａ／Ｄ変換回路１５からローデータが入力されると、そのローデータに対してホワイトバランス処理を行い、入力されたローデータよりも、情報量の小さいローデータを出力する。
【００６２】
次に、階調補正回路３３の動作について説明する。階調補正回路３３は、図５に示すような非線形のガンマ（γ）特性を用いて、入力された１０ビットのローデータを、８ビットのローデータ（ＲＡＷ８）に変換し、その８ビットのローデータを出力する。
【００６３】
以上のように、ホワイトバランス調整およびガンマ補正を施すことにより、その信号量が１４ビットから８ビットに、すなわち、８／１４の割合で低減されたローデータ（ＲＡＷ８）が、メモリコントローラ１６を通してＳＤＲＡＭ１７に格納される。これ以降の撮像システムの動作は、第１の実施の形態で説明された動作と同一であるので、説明を省略する。
【００６４】
ここで、ＳＤＲＡＭ１７に格納される、および、ＳＤＲＡＭ１７から読み出しされるローデータのビット数が８／１４の割合で低減された場合の電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。固体撮像素子１２の画素数が、第１の実施の形態と同様に、例えば５００万画素であるとき、１つの水平ラインの画素数は、２５６０画素であり、カメラ信号処理回路１８によって、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数は、７２０画素である。このときの、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（４）で表わされる。
【数４】
2004017628.tif 000042
【００６５】
一方、ローデータが１４ビットのとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、上述の式（３）で表わされる。
【００６６】
式（３）及び式（４）を参照すると、６４０００／９４７２０＝０．６８が成り立つことにより、本実施の形態による撮像システムにおいて、情報量を低減した場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、情報量を低減しない従来の撮像システムと比較して、３２％程度低減される。すなわち、ホワイトバランス調整回路３２および階調補正回路３３によって、ホワイトバランス調整および階調補正を行うことにより、従来の撮像システム２００と比較して、消費電力を３２％程度削減することができる。
【００６７】
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
【００６８】
また、本実施の形態による撮像システムでは、前処理回路がホワイトバランス調整回路および階調補正回路を含むので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
【００６９】
なお、本実施の形態においては、１画面分のＲ成分，Ｇ成分，及びＢ成分の信号の平均信号量が等しいことを前提として、ホワイトバランス調整を、１画面分のＲ成分，Ｇ成分，Ｂ成分の信号の平均信号量が一定になるように行っているが、上述の前提が成り立たない場合であっても、画面内の色の分布および光学系の絞りの値などの他の色温度情報を利用して、目標となる一定の平均信号量を変更することによって、同様の効果が得られる。
【００７０】
なお、本実施の形態による撮像システムにおいて、前処理回路は、ホワイトバランス調整回路および階調補正回路を含むが、前処理回路は、ホワイトバランス調整回路と階調補正回路とを必ずしも同時に備える必要はない。ホワイトバランス調整回路を備え、かつ、階調補正回路を含まない前処理回路であっても、削減量は異なるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。また、同様に、前処理回路が、階調補正回路を備え、かつ、ホワイトバランス調整回路を含まなくても、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
【００７１】
（第３の実施の形態）
本実施の形態による撮像システムは、第２の実施の形態による撮像システムと異なり、前処理回路が、ホワイトバランス調整回路および階調補正回路に加えて、さらにもう１つのホワイトバランス調整回路を有する。
【００７２】
図６は、第３の実施の形態による撮像システムの構成を示すブロック図である。図６において、図３と同一の構成には同一の符号を付している。図６に示されるように、本実施の形態による撮像システム６０において、前処理回路６１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路３３、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。図１および図３と同一の符号を付した構成要素については、（第１の実施の形態）および（第２の実施の形態）で既に述べたので、その構成および動作についての説明を省略する。
【００７３】
Ａ／Ｄ変換回路１５によって出力された１４ビットのローデータ（ＲＡＷ１４）は、前処理回路６１の第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、入力されたローデータにホワイトバランス処理を施し、１０ビットのローデータ（ＲＡＷ１０Ａ）に変換して、その１０ビットのローデータを出力する。第１のホワイトバランス調整回路６２は、特定の色温度（Ｔ０）の光源に対してホワイトバランスが取れるようなゲインを用いてホワイトバランス調整を行う。このゲインは、工場出荷前の調整工程において、色温度Ｔ０の光源下で撮影を行い、そのときに得られたローデータから、レベル検出回路２８およびマイコン２７を利用して求める。撮像システム６０が出荷された後は、第１のホワイトバランス調整回路６２は、ゲインを、その出荷前の撮影によって得られたゲインに固定して、ホワイトバランス調整を行う。ここで、色温度Ｔ０は、好ましくは、光源色温度分布範囲（２５００Ｋ〜８０００Ｋ）の中間の値（例えば、４５００Ｋ）である。
【００７４】
次に、第１のホワイトバランス調整回路６２から出力された１０ビットのローデータ（ＲＡＷ１０Ａ）は、第２のホワイトバランス調整回路３２に入力される。第２のホワイトバランス調整回路３２は、撮像時の光源に応じたホワイトバランスのゲインを用いて、入力された１０ビットのローデータ（ＲＡＷ１０Ａ）にホワイトバランス調整を施し、１０ビットのローデータ（ＲＡＷ１０Ｂ）を出力する。以上のようにしてホワイトバランス調整が施されたローデータ（ＲＡＷ１０Ｂ）は、階調補正回路３３に入力される。階調補正回路３３は、ローデータ（ＲＡＷ１０Ｂ）に、階調補正であるγ補正を施し、結果として得られる８ビットのローデータ（ＲＡＷ８）を出力する。
【００７５】
以下に、Ａ／Ｄ変換回路１５から出力されたローデータに２段階のホワイトバランス調整を施す理由を説明する。撮像素子の分光特性は、素子の感度にばらつきがあるため、必ずしも一定ではない。例えば、同じ光源でも、素子によっては、ホワイトバランスのゲインが１０％程度も異なる場合がある。本実施の形態による撮像システムにおいては、第１のホワイトバランス調整回路６２により、その感度のばらつきによる影響を低減することができる。
【００７６】
図７は、感度の異なる撮像素子Ａ、撮像素子Ｂ、及び撮像素子Ｃを用いた場合の、それぞれの撮像素子に対するホワイトバランス調整点の分布を示すグラフである。図７の（１）は、色温度が４５００Ｋの光源下で撮像素子Ａ，Ｂ，Ｃを用いた場合の、それぞれの撮像素子を用いたときのホワイトバランス調整点を示す。図７の（２）は、図７の（１）に示されるグラフに、撮像素子Ａ，Ｂ，Ｃに対するホワイトバランス調整範囲（太線）およびホワイトバランス検出範囲（破線）を追加したものである。図７の（３）は、撮像素子Ａ，Ｂ，Ｃのホワイトバランス調整点を一致させた場合のホワイトバランスの調整範囲および検出範囲を示す。図７の（１）、（２）および（３）に示されるグラフにおいて、縦軸はＲ／Ｂ、横軸はＢ／Ｇを示し、図中の曲線は、光源の分布を表わす。ここで、Ｒ、Ｇ、Ｂは、撮像素子によって、ある光源下で無彩色の被写体を撮像した場合に得られるＲ成分、Ｇ成分、Ｂ成分の信号の平均信号量の値である。よって、図中の曲線の左上付近は、比較的Ｒ成分の多いハロゲン光（電灯）のような光源に相当し、中央部は蛍光灯、右下付近は比較的Ｂ成分の多い屋外光および曇天下の光源に相当する。例えば、ハロゲン光源下（Ｒ成分が多く、Ｂ成分が少ない）で無彩色の被写体を撮像した時のホワイトバランス調整点は、図７の左上に分布し、曇天下（Ｂ成分が多く、Ｒ成分が少ない）で無彩色の被写体を撮像した時のホワイトバランス調整点は、図７の右下に分布する。
【００７７】
ここで、ホワイトバランス調整とは、以上のようにして得られたＲ成分、Ｇ成分、Ｂ成分の平均信号量を、それらが等しくなるように、ゲインを用いて調整することをいう。これにより、例えば、黄色い電灯下で撮影した画像も、屋外で撮影したような好ましい色再現の画像に変換できる。
【００７８】
図７の（１）は、色温度が４５００Ｋの光源下で、撮像素子Ａ，Ｂ，Ｃを用いたときのホワイトバランス調整点を示す。図７の（１）に示されるように、撮像素子Ａを用いたときのホワイトバランス調整点は曲線上にあるが、撮像素子Ｂ、Ｃを用いたときのホワイトバランス調整点は曲線上になく、ややずれた位置にある。これは、同じ色温度４５００Ｋの光源を用いた場合でも、各々の撮像素子のＲ成分、Ｇ成分及びＢ成分の光を感じる特性、つまり分光特性に違いがあるためである。従って、色温度４５００Ｋの光源下において、Ｒ成分、Ｇ成分、Ｂ成分の各々の信号に与えるゲインの比は、撮像素子Ａを用いた場合は、Ｒ：Ｇ：Ｂ＝１：１：１であるのに対して、撮像素子Ｂ及び撮像素子Ｃを用いた場合は、それぞれ、Ｒ：Ｇ：Ｂ＝０．８：１：１、及びＲ：Ｇ：Ｂ＝０．９：１：１．８である。
【００７９】
図７の（２）は、撮像素子Ａ，Ｂ，Ｃのホワイトバランス調整範囲（太線）およびホワイトバランス検出範囲（破線）を示す。撮像システムでは、自動ホワイトバランスモードの場合に、光源を自動的に判別して最適なホワイトバランス調整用のゲインを設定する。以下に、ホワイトバランス調整範囲及びホワイトバランス検出範囲について説明する。各々の撮像素子のホワイトバランス調整範囲（太線）は、その撮像素子を用いて、例えば、ハロゲン光源下から曇天下までの範囲で撮影を行った場合の、ホワイトバランス調整点の分布である。また、ホワイトバランス検出範囲は、以下のように定められる。撮像システムのホワイトバランスでは、一般に、撮像している画像の平均の色分布から光源を判定するが、被写体が無彩色であるという保証がないので、無彩色の可能性のある画像信号から光源を求める。そこで、ホワイトバランス検出範囲に入る信号を、無彩色の可能性のある画像信号とし、ホワイトバランス検出範囲（破線）に入る映像信号のみを集めて、色成分ごとの信号量の平均値を求め、光源判定の元になる平均値の信号を得ることにしている。撮像素子の感度の違いを考慮するとき、ホワイトバランス調整を行う場合に、ホワイトバランスの調整範囲および検出範囲を、素子ごとに調整しなければならない。これらの調整範囲および検出範囲の調整は、製品の調整工程を複雑にするとともに、ホワイトバランス調整のソフトウェアを複雑にする。
【００８０】
本実施の形態による撮像システムにおいては、第１のホワイトバランス調整回路６２により、感度の異なる撮像素子に対して、色温度４５００Ｋにおけるホワイトバランスの調整点を一致させる。つまり、１つの色温度（４５００Ｋ）に対して、全ての撮像素子に一定のゲインをかけるのではなく、撮像素子Ａに対してはＲ：Ｇ：Ｂ＝１：１：１のゲインをかけ、一方、撮像素子Ｂ及び撮像素子Ｃに対しては、それぞれ、Ｒ：Ｇ：Ｂ＝０．８：１：１、及びＲ：Ｇ：Ｂ＝０．９：１：１．８のゲインをかける。これにより、図７の（３）に示すように、ホワイトバランスの調整範囲および検出範囲を１つに限定することができる。従って、以後、第２のホワイトバランス調整回路３２により、撮影時の条件でホワイトバランス調整を行う際には、撮像素子の感度による違いを考慮せずに、限定されたホワイトバランス調整範囲および検出範囲を利用して、ホワイトバランス調整を行うことができる。
【００８１】
本実施の形態による撮像システムにおいて、ローデータのデータ量は、第２の実施の形態による撮像システムと同様に低減される。従って、撮像システム６０は、従来の撮像システム１００と比較して、消費電力を３２％程度低減できる。
【００８２】
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
【００８３】
また、本実施の形態による撮像システムでは、前処理回路が、ホワイトバランス調整回路および階調補正回路を有するので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
【００８４】
また、本実施の形態による撮像システムは、撮像素子の感度のばらつきによる影響を低減し、カメラシステムの設計および調整を容易に実現できる。
【００８５】
なお、本実施の形態による撮像システムにおいて、前処理回路は、第１のホワイトバランス調整回路、第２のホワイトバランス調整回路および階調補正回路を有するが、前処理回路は、階調補正回路を必ずしも備える必要はない。第１のホワイトバランス調整回路と第２のホワイトバランス調整回路とを備え、かつ、階調補正回路を含まない前処理回路であっても、削減量の違いはあるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
【００８６】
（第４の実施の形態）
本実施の形態による撮像システムは、第３の実施の形態による撮像システムと異なり、前処理回路が、第１のホワイトバランス調整回路、階調補正回路および第２のホワイトバランス調整回路に加えて、圧縮回路を有する。この圧縮回路で圧縮処理を行うことにより、ローデータの情報量が低減される。
【００８７】
図８は、第４の実施の形態による撮像システムの構成を示すブロック図である。図８において、図６と同一の構成には同一の符号を付している。図８に示されるように、本実施の形態による撮像システム８０において、前処理回路８１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路３３および圧縮回路８２、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。図１、図３および図６と同一の符号を付した構成要素については、（第１の実施の形態）から（第３の実施の形態）で既に述べたので、その構成および動作についての説明を省略する。
【００８８】
階調補正回路３３から出力された８ビットのローデータ（ＲＡＷ８）は、圧縮回路８２に入力される。圧縮回路８２は、８ビットのローデータ（ＲＡＷ８）に対し、ＡＤＰＣＭ（Ａｄａｐｔｉｖｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：適応差分パルス符号変調）による圧縮処理を施す。ここでのＡＤＰＣＭは、例えば、ローデータ（ＲＡＷ８）の同じ色成分の信号を８画素ごとにまとめ、先頭の画素に続く画素の値（信号量）を、先頭画素の値（先頭値）の差分で表わし、ローデータの形式を、先頭値とその差分というデータの形式に変換するものである。このとき、例えば、先頭値を８ビット、差分を６ビットで与えれば、８画素毎のデータ量は、８＋６×７＝５０ビットとなり、圧縮前の８×８＝６４ビットの場合に比べて、データ量が低減できる。また、前処理を行わない従来の撮像システムと比較して、８画素毎のデータ量が、１１２ビット（＝１４ビット×８画素）から５０ビットに低減される。なお、ここで信号を同じ色成分ごとにまとめているのは、同じ色成分の信号は、近傍で相関性が高いためである。また、８画素ごとに信号をまとめているのは、カメラ信号処理においてローデータの一部のみを使用する場合に、差分演算する画素数が多いと所望のデータを得るのに時間がかかるためである。
【００８９】
これ以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので説明を省略する。ただし、本実施の形態による撮像システムにおいて、カメラ信号処理回路は、ＡＤＰＣＭで圧縮されたローデータを伸張する伸張回路が必要となる。
【００９０】
ここで、前処理回路から出力されるローデータのビット数が８／１４の割合で低減され、かつ、圧縮されている場合の電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。なお、本実施の形態による撮像システムにおいては、カメラ信号処理回路１８にローデータが入力されると、カメラ信号処理回路１８は、圧縮されているローデータを伸張して、ＹＣデータを生成する。例えば、固体撮像素子１２の画素数を５００万画素とすると、１つの水平ラインの画素数は、２５６０画素である。また、このとき、カメラ信号処理回路１８によって、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数を、７２０画素とする。この場合に、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（５）で表わされる。
【数５】
2004017628.tif 000043
【００９１】
一方、ローデータが１４ビットで、かつ、圧縮されないとき、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、上述の式（３）で表わされる。
【００９２】
式（３）及び式（５）を参照すると、５５０４０／９４７２０＝０．５８が成り立つことにより、本実施の形態による撮像システムにおいて、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、従来の撮像システム２００と比較して、４２％程度低減される。すなわち、前処理回路において、ホワイトバランス調整、階調補正および圧縮処理を施すことにより、撮像システム８０は、従来の撮像システム２００と比較して、消費電力を４２％程度削減することができる。
【００９３】
本実施の形態による撮像システムでは、メモリコントローラによってデータがメモリに格納される前に、そのデータのデータ量を削減する。よって、メモリとメモリコントローラとの間でやりとりされるデータ量が削減され、それらのインタフェース部分における消費電力を低減できる。結果として、撮像システムの消費電力削減および処理スピードの向上が可能になる。
【００９４】
また、本実施の形態による撮像システムでは、前処理回路がホワイトバランス調整回路および階調補正回路を有するので、撮像システムにおける消費電力削減および処理スピードの向上を実現すると同時に、ホワイトバランス調整および階調補正を行うことができる。
【００９５】
なお、本実施の形態による撮像システムおいては、圧縮回路の圧縮方式としてＡＤＰＣＭ方式を用いたが、その他の圧縮方式を用いても同様の効果が得られる。
【００９６】
また、本実施の形態による撮像システムにおいて、前処理回路としての圧縮回路の圧縮率は１／２程度であるが、圧縮率を上げれば、消費電力削減効果が上がることは言うまでもない。ただし、この場合には、画質劣化が生じる。一方、圧縮方式をＡＤＰＣＭのような非可逆圧縮方式ではなく可逆圧縮方式とすれば、画質の劣化を避けることができる。ただし、この場合には、圧縮率を上げるのが難しいか、または、ローデータの取り扱いが複雑となる。
【００９７】
また、本実施の形態による撮像システムにおいて、前処理回路としての圧縮回路は、固定長の圧縮を行っている。これは、例えば、ローデータの一部のみを使用する場合に、ＳＤＲＡＭ上のどの位置に必要なデータがあるかをわかりやすくするためである。固定長の代わりに可変長の符号化を施せば、圧縮率を上げることができる。ただし、この場合には、メモリコントローラの構成が複雑になる。
【００９８】
なお、本実施の形態による撮像システムにおいて、前処理回路は、第１のホワイトバランス調整回路、第２のホワイトバランス調整回路、階調補正回路および圧縮回路を備えるが、前処理回路が、圧縮回路を備え、かつ、ホワイトバランス調整回路や階調補正回路を含まなくても、削減量の違いはあるが、データ量を削減できるので、本実施の形態による撮像システムと同様の効果が得られる。
【００９９】
なお、圧縮回路は、これまで述べられた実施の形態による撮像システムの前処理回路に含まれても、同様の効果が得られる。
【０１００】
（第５の実施の形態）
本実施の形態による撮像システムは、モード設定回路によって、信号処理のモードを設定し、かつ、機能制御回路によって、その設定されたモードに応じて前処理回路の機能を制御することにより、消費電力の削減と同時に撮影モードに応じた処理を行える。具体的には、動画撮影の場合には消費電力削減を重視し、静止画撮影の場合には画質を重視した処理を行える。
【０１０１】
図９は、第５の実施の形態による撮像システムの構成を表す。図９に示されるように、撮像システム９０は、光学レンズ１１、固体撮像素子１２、固体撮像素子１２の駆動回路１３、アナログ回路１４、Ａ／Ｄ変換回路１５、メモリコントローラ１６、記憶回路としてのＳＤＲＡＭ１７、カメラ信号処理回路１８、ＪＰＥＧ圧縮回路１９、表示回路２０、液晶表示装置２１、カードコントローラ２２、記録メディア２３、前処理回路９１、及び機能制御回路９２を備える。前処理回路９１は、第１のホワイトバランス調整回路６２、第２のホワイトバランス調整回路３２、階調補正回路、レベル検出回路２８及びマイコン２７から成る情報量低減回路を備える。機能制御回路９２は、設定モードによって、入力信号を切り換えることができる３つのスイッチ９３，９４，９５を備える。本実施の形態による撮像システム９０が、これまで述べられた実施の形態による撮像システムと異なる点は、機能制御回路９２を備える点である。ここで、第２のホワイトバランス調整回路３２及び階調補正回路３３は、部分情報量低減回路９６を構成する。さらに、マイコン２７が、モード設定回路としての機能も果たすように構成される。マイコン２７は、駆動回路１３、および、機能制御回路９２のスイッチ９３（ＳＷ１）、スイッチ９４（ＳＷ２）、及びスイッチ９５（ＳＷ３）に対し、モードの設定を行うことができる。図１、図３、図６および図８と同一の符号を付した構成要素については、（第１の実施の形態）から（第４の実施の形態）で既に述べているので、その構成および動作についての説明を省略する。
【０１０２】
以下に、撮像システム９０の動作について説明する。まず、動画モードについて説明する。モード設定回路として動作するマイコン２７は、駆動回路１３、および、機能制御回路９２のスイッチ９３，９４，９５に対して動画モードの設定を行う。光学レンズ１１を通して光が入射すると、その光は、固体撮像素子１２によって光電変換される。ここで、駆動回路１３は、固体撮像素子１２を、動画モードで駆動している。次に、固体撮像素子１２の出力信号が、アナログ回路１４によって処理され、そのアナログ信号は、Ａ／Ｄ変換回路１５によってデジタル信号に変換される。Ａ／Ｄ変換されて得られる１４ビットのローデータ（ＲＡＷ１４）は、第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、第３の実施の形態と同様に、１４ビットのローデータを、ホワイトバランス調整により１０ビットのローデータ（ＲＡＷ１０Ａ）に変換し、その１０ビットのローデータを出力する。また、この第１のホワイトバランス調整回路６２は、入力されたローデータ（ＲＡＷ１４）について光源情報抽出処理やゲインの計算等を行う。第１のホワイトバランス調整回路６２から出力されたローデータ（ＲＡＷ１０Ａ）は、機能制御回路９２に入力される。ここで、機能制御回路９２は、モード設定回路として動作するマイコン２７により、動画モードに設定されている。動画モードにおいては、第１のホワイトバランス調整回路６２から機能制御回路９２に入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９４（ＳＷ２）を通って、第２のホワイトバランス調整回路３２及び階調補正回路３３を含む部分情報量低減回路９６に入力される。
【０１０３】
部分情報量低減回路９６に入力されたローデータ（ＲＡＷ１０Ａ）は、第２のホワイトバランス調整回路３２によって、ホワイトバランス調整が施される。ここで、このホワイトバランス調整に用いられる光源情報等のホワイトバランス情報は、この入力されたローデータ（ＲＡＷ１０Ａ）が第１のホワイトバランス調整回路６２によってホワイトバランス調整される前に、第１のホワイトバランス調整回路６２に入力された時点で、その直前に、第１のホワイトバランス調整回路６２に入力されたローデータについての情報である。第２のホワイトバランス調整回路３２は、入力されたローデータに、第３の実施の形態と同様にホワイトバランス調整を施し、その結果得られるローデータ（ＲＡＷ１０Ｂ）を出力する。第２のホワイトバランス調整回路３２から出力されたローデータ（ＲＡＷ１０Ｂ）は、階調補正回路３３に入力され、階調補正回路３３により、ガンマ補正処理が施される。従って、部分情報量低減回路９６は、８ビットのローデータ（ＲＡＷ８）を出力する。部分情報量低減回路９６から出力されたローデータ（ＲＡＷ８）は、機能制御回路９２に入力され、スイッチ９３（ＳＷ１）を通って、メモリコントローラ１６に出力される。メモリコントローラ１６は、そのローデータ（ＲＡＷ８）をＤＲＡＭ１７に格納する。
【０１０４】
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているローデータを読み出して、それを機能制御回路９２に出力する。機能制御回路９２は、動画モード設定されているので、メモリコントローラ１６から入力されたローデータ（ＲＡＷ８）を、スイッチ９５（ＳＷ３）を通して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータ（ＲＡＷ８）にカメラ信号処理を施して、ローデータ（ＲＡＷ８）を輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されたＹＣデータをカメラ信号処理回路１８から読み出して、それを再び、ＳＤＲＡＭ１７に格納する。以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので、ここでは説明を省略する。
【０１０５】
上述の動画モードでは、撮像システム９０における消費電力が、第３の実施の形態による撮像システム６０と同様に、約３２％程度削減される。
【０１０６】
ホワイトバランス調整においては、入力されたローデータのホワイトバランス情報を用いて、そのローデータに対してゲイン調整を行うことが望ましい。しかし、ローデータからの光源情報の抽出には、１画面分のローデータの取り込みに必要な時間を要する。動画の場合には、ローデータがホワイトバランス調整回路に次々に取り込まれる（例えば、１秒間に３０枚の画像のローデータが取り込まれる。）ので、光源情報抽出やゲイン計算等を行っている間に、次のローデータがホワイトバランス調整回路に入力される。従って、動画モードにおいては、ローデータのホワイトバランス調整を行う際に、撮像システムでそのローデータが得られる直前に得られたローデータ（例えば、１秒間に３０枚の画像のローデータが取り込まれる場合は、１／３０秒前に取り込まれたローデータ）の光源情報によりホワイトバランス処理を行う。本実施の形態による撮像システム９０においては、動画モードの場合、第１のホワイトバランス調整回路６２によって取得されたホワイトバランス情報を、次に第１のホワイトバランス調整回路６２に入力されたローデータ（ＲＡＷ１４）が、続いて第２のホワイトバランス調整回路３２に入力され、その後、その第２のホワイトバランス調整回路３２においてホワイトバランス調整される際に使用する。
【０１０７】
次に、静止画モードでの動作について説明する。モード設定回路としてのマイコン２７は、駆動回路１３および機能制御回路９２のスイッチ９３，９４，９５に対して静止画モードの設定を行う。光学レンズ１１を通して光が入射すると、その光は、固体撮像素子１２によって光電変換される。ここで、駆動回路１３は、固体撮像素子１２を、静止画モードで駆動している。次に、固体撮像素子１２の出力信号が、アナログ回路１４によって処理され、そのアナログ信号は、Ａ／Ｄ変換回路１５によってデジタル信号に変換される。Ａ／Ｄ変換された１４ビットのローデータ（ＲＡＷ１４）は、第１のホワイトバランス調整回路６２に入力される。第１のホワイトバランス調整回路６２は、第３の実施の形態と同様に、１４ビットのローデータを、ホワイトバランス調整により１０ビットのローデータ（ＲＡＷ１０Ａ）に変換し、その１０ビットのローデータを出力する。また、この第１のホワイトバランス調整回路６２は、入力されたローデータ（ＲＡＷ１４）について光源情報抽出やゲイン計算等を行う。第１のホワイトバランス調整回路６２から出力されたローデータ（ＲＡＷ１０Ａ）は、機能制御回路９２に入力される。ここで、機能制御回路９２は、モード設定回路としてのマイコン２７により静止画モードに設定されている。静止画モードにおいては、第１のホワイトバランス調整回路６２から入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９３（ＳＷ１）を通って、メモリコントローラ１６に入力される。メモリコントローラ１６は、そのローデータ（ＲＡＷ１０Ａ）を、ＳＤＲＡＭ１７に格納する。
【０１０８】
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているローデータ（ＲＡＷ１０Ａ）を読み出して、それを機能制御回路９２に出力する。ここで、機能制御回路９２は、モード設定回路として動作するマイコン２７により、静止画モードに設定されている。静止画モードにおいては、第１のホワイトバランス調整回路６２から機能制御回路９２に入力されたローデータ（ＲＡＷ１０Ａ）が、スイッチ９４（ＳＷ２）を通って、部分情報量低減回路９６に入力される。部分情報量低減回路９６に入力された１０ビットのローデータ（ＲＡＷ１０）は、第２のホワイトバランス調整回路３２によって、ホワイトバランス調整が施される。ここで、ホワイトバランス調整に用いられる光源情報等のホワイトバランス情報は、このローデータが、第１のホワイトバランス調整回路６２に入力されたときに、その第１のホワイトバランス調整回路６２が取得したホワイトバランス情報である。第２のホワイトバランス調整回路３２は、入力されたローデータに、第３の実施の形態と同様にホワイトバランス調整を施した後、そのホワイトバランス調整されたローデータを階調補正回路３３に出力する。階調補正回路３３は、入力されたローデータを、ガンマ補正処理により、８ビットのローデータ（ＲＡＷ８）に変換し、それを出力する。部分情報量低減回路９６から出力された８ビットのローデータ（ＲＡＷ８）は、機能制御回路９２に入力される。機能制御回路９２は、静止画モードに設定されているので、その入力された８ビットのローデータを、スイッチ９５（ＳＷ３）を通して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、転送されたローデータにカメラ信号処理を施し、入力されたローデータを、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）に変換する。メモリコントローラ１６は、変換されたＹＣデータを、カメラ信号処理回路１８から読み出し、それを再びＳＤＲＡＭ１７に格納する。以降の撮像システムの動作は、第１の実施の形態で説明した動作と同一であるので、ここでは説明を省略する。
【０１０９】
静止画モードにおいては、ローデータ（ＲＡＷ１０Ａ）を、その情報量を８ビットに低減する前にＳＤＲＡＭ１７に格納する。よって、撮像システム９１が消費する電力は、従来の撮像システムと比較して、第１の実施の形態と同様に約２２％程度低減される。
【０１１０】
静止画モードにおいては、Ａ／Ｄ変換回路１５から出力されたローデータを、一旦ＳＤＲＡＭ１７に格納してから、ホワイトバランス調整を行うので、第１のホワイトバランス調整回路６２において入力されたローデータについて光源情報抽出やゲイン計算等を行いながら、その一方で、そのローデータをＳＤＲＡＭ１７に格納し、それをＳＤＲＡＭ１７から読み出し、また、第２のホワイトバランス調整回路３２において、そのローデータに、第１のホワイトバランス調整回路６２で計算したゲイン等を用いて、ホワイトバランス調整を行うことが可能である。従って、ローデータが第１のホワイトバランス調整回路６２に入力されてから、第２のホワイトバランス調整回路３２から出力されるまでの間に、そのローデータのホワイトバランス設定値の計算が可能となり、入力されたローデータに、そのローデータの情報を用いて、ホワイトバランス調整を施すことができる。従って、ホワイトバランス精度の良い高品質な画像を得ることができる。
【０１１１】
ホワイトバランス調整においては、入力されたローデータに対して、そのローデータの情報を用いてゲイン調整を施すことが望ましい。上述の静止画モードにおいては、取り込んだ１画面分のローデータから抽出した光源情報により、ホワイトバランスゲインを算出し、そのホワイトバランスゲインを用いて、その取り込んだローデータに対してホワイトバランス調整を行うことができる。
【０１１２】
デジタルスチルカメラのような静止画を撮像するカメラでは、撮像したローデータのホワイトバランス情報（光源情報等）を用いてホワイトバランス調整を施すことが望ましい。本実施の形態による撮像システムにおいて、静止画撮影の場合には、取り込んだローデータに対して、その取り込んだローデータのホワイトバランス情報を用いて、ホワイトバランス調整を施すことができる。それに対して、動画の場合には、短時間に、被写体の画像が次々に撮像システムに取り込まれるので、取り込んだ画像のローデータに対して、その直前に撮像システムに取り込んだ画像のローデータのホワイトバランス情報を用いてホワイトバランス調整を施しても大きな問題はない。特に、静止画の場合には、処理時間の制約が、繰り返し処理が必要な動画に比べてゆるいので、消費電力削減よりも画質に重点が置かれる。本実施の形態による撮像システムは撮影モードに応じた処理を行うことができ、動画撮影モードの場合には消費電力削減を重視し、静止画撮影モードの場合には画質を重視して処理を行うことが可能である。
【０１１３】
以下に説明される第６の実施の形態乃至第１０の実施の形態の撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路を備え、その前処理回路は、Ａ／Ｄ変換回路から出力されるローデータを間引きする間引き回路を備える。これらの撮像システムは、間引き回路によりローデータを間引きしてデータ数を低減し、その結果、ローデータのデータ量を低減することにより、ＳＤＲＡＭとメモリコントローラとのインタフェース部分における消費電力を低減しようというものである。
【０１１４】
（第６の実施の形態）
図１０は、本発明の第６の実施の形態による撮像システムの構成を示すブロック図である。図１０において、図１の撮像システムと同一の構成要素には、同一の符号を付し、説明を省略する。図１０に示されるように、撮像システム１００における前処理回路１０２は、間引き回路１０３を備える。さらに、カメラ信号処理回路１８は、ズーム処理回路１０４を備える。前処理回路１０２は、Ａ／Ｄ変換回路１５に接続され、Ａ／Ｄ変換回路１５から出力された信号を受け取ってそれを出力する。なお、前処理回路１０２は、信号の情報量を低減するものではない。例えば、Ａ／Ｄ変換回路１５から出力される信号の情報量が１０ビットのとき、前処理回路１０２から出力されるローデータの情報量は１０ビットのままである。
【０１１５】
固体撮像素子１２は、例えば、電荷結合素子（以下、「ＣＣＤ」という。）である。固体撮像素子１２は、２次元に配列された多数の画素から成る。例えば、固体撮像素子１２の画素数が５００万画素の場合、それは、水平方向及び垂直方向に、それぞれ、２５６０画素及び１９２０ラインの有効画素数を備える。また、固体撮像素子１２は、各々の画素に１つずつ対応するフォトダイオードを有する。各々のフォトダイオード上には、赤色フィルタ、緑色フィルタ、及び青色フィルタのいずれかが配置される。図１１は、撮像素子１２の各々の画素に設けられた色フィルタの配列の一例を示す。ここで、図１１は、部分的な配列（縦横４×４の配列）を示すものであり、色フィルタ全体は、この部分的な配列が複数個集まったものである。図１１において、Ｒは赤色フィルタ、Ｇは緑色フィルタ、Ｂは青色フィルタである。図１１に示されるように、撮像素子１２における色フィルタの配列は、赤色フィルタ（Ｒ）と緑色フィルタ（Ｇ）が水平方向に交互に配列された水平ラインと、緑色フィルタ（Ｇ）と青色フィルタ（Ｂ）が水平方向に交互に配列された水平ラインとが垂直方向に交互に並ぶことにより構成される。
【０１１６】
この撮像素子１２に光が照射されると、撮像素子１２は、その各々の画素について電気信号を生成する。そして、Ａ／Ｄ変換回路１５は、撮像素子１２の各々の画素に対応するデジタルデータ（以下、「画素データ」という。）を出力する。以下では、撮像素子１２における赤色フィルタを有する画素に対応する画素データをＲデータ、緑色フィルタを有する画素に対応する画素データをＧデータ、青色フィルタを有する画素に対応する画素データをＢデータとする。
【０１１７】
図１２は、撮像素子１２の色フィルタが図１１のように配列された場合に、Ａ／Ｄ変換回路１５が出力するデジタル信号（ローデータ）を示すタイミング図である。図１２の（１）は、水平同期信号を示し、図１２の（２）は、ローデータを示す。Ａ／Ｄ変換回路１５は、撮像素子１２における水平方向の画素配列（水平ライン）毎に、その水平ラインにおける複数の画素に対応する画素データを出力する。ここで、図１１に示される色フィルタの配列においては、赤色フィルタ（Ｒ）と緑色フィルタ（Ｇ）が交互に配列された水平ラインと、緑色フィルタ（Ｇ）と青色フィルタ（Ｂ）が交互に配列された水平ラインとが垂直方向に交互に並ぶ。よって、Ａ／Ｄ変換回路１５は、図１２に示されるように、Ｒデータ（図１２において「Ｒ」で示される。）とＧデータ（図１２において「Ｇ」で示される。）を交互に出力する動作と、ＧデータとＢデータ（図１２において「Ｂ」で示される。）を交互に出力する動作とを交互に繰り返す。そして、これらの動作は、水平同期信号により切り替わる。以上のようにしてＡ／Ｄ変換回路１５から出力されたローデータは、前処理回路１０２に入力される。
【０１１８】
以下に、前処理回路１０２について説明する。前処理回路１０２は、入力されたローデータを、そのままメモリコントローラ１６に出力する。一方、前処理回路１０２における間引き回路１０３は、メモリコントローラ１６にＳＤＲＡＭ書き込み制御信号（図１０において、ａ１で示される。）を出力する。つまり、前処理回路１０２は、メモリコントローラ１６に、ローデータとＳＤＲＡＭ書き込み制御信号を同時に出力する。図１３は、ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図である。図１３において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図１３に示されるように、ＳＤＲＡＭ書き込み制御信号は、一定の周期で高レベルになる。具体的に、ＳＤＲＡＭ書き込み制御信号は、ある画素データがメモリコントローラ１６に入力されるときに高レベルになると、その後、続いて２個の画素データがメモリコントローラ１６に入力されるときには低レベルとなる。そして、ＳＤＲＡＭ書き込み制御信号は、その２個の画素データがメモリコントローラ１６に入力された後、３個目の画素データが入力されるときに再び高レベルになる。ＳＤＲＡＭ書き込み制御信号は、高レベル（ＨＩ）で、ＳＤＲＡＭ１７への書き込み許可を示し、低レベル（ＬＯ）で、ＳＤＲＡＭ１７への書き込み禁止を示す。よって、ＳＤＲＡＭ書込み制御信号が高レベルになるタイミングと同じタイミングでメモリコントローラ１６に入力される画素データのみが、メモリコントローラ１６からＳＤＲＡＭ１７に出力される。
【０１１９】
撮像素子１２における１つの水平ラインに対応した複数の画素データがメモリコントローラ１６に入力される場合、図１３に示されたタイミングでは、入力される画素データの３個のうち１個の割合で、ＳＤＲＡＭ書込み制御信号が高レベルになる。従って、撮像素子１２の１つの水平ライン当たり、画素データを１／３に間引いたローデータが、ＳＤＲＡＭ１７に格納される。
【０１２０】
次に、メモリコントローラ１６は、ＳＤＲＡＭ１７から、間引き回路１０３によって画素データの数（つまり、データ数）が低減されたローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、そのローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）を生成する。メモリコントローラ１６は、そのＹＣデータを読み出して、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、γ変換処理、輝度信号生成処理、色差信号生成処理、解像度改善のためのアパーチャ補正処理などの処理を施す。さらに、ズーム処理回路１０４により、ローデータにズーム処理（後述する）を施す。このズーム処理により、撮像素子１２の１つの水平ラインに対応する画素データは、さらに低減される。
【０１２１】
次に、撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されている表示用のＹＣデータを読み出して、表示回路２０に転送する。表示回路２０は、ＹＣデータを表示用の信号（表示データ）に変換して、その信号を液晶表示素子２１に出力する。液晶表示素子２１は、その表示用の信号で表わされる画像を表示する。
【０１２２】
また、ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６は、ＳＤＲＡＭ１７に格納されているＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
【０１２３】
カードコントローラ２２は、ＳＤＲＡＭ１７に接続され、ＳＤＲＡＭ１７に格納されているＪＰＥＧの符号データを読み出し、記録メディア２３に書き込む。
【０１２４】
ここで、メモリコントローラ１６とＳＤＲＡＭ１７とのインタフェース部分で消費される電力を見積もる。以下では、例として、撮影した画像を液晶表示装置２１に表示する場合について考える。例として、前処理回路１０２から出力されるローデータの情報量を、１０ビットとする。また、撮像素子１２の画素数を５００万画素とし、１つの水平ラインの画素数を２５６０画素とする。さらに、カメラ信号処理回路１８によってズーム処理（補間及び間引き処理）が施されて、表示用のＹＣデータ（輝度信号８ビット、色差信号８ビット）が生成されたときの、１つの水平ライン当たりの画素数（画素データ数）を７２０画素とする。
【０１２５】
撮影した画像を液晶表示装置２１に表示する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの流れは、第１の実施の形態で説明した通りである。
【０１２６】
ローデータを１つの水平ライン当たり１／３に間引いたローデータをＳＤＲＡＭ７に格納する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（６）で表わされる。なお、ローデータを１つの水平ライン当たり１／３に間引いた場合、その１つの水平ラインの画素数は、８５３画素である。
【数６】
2004017628.tif 000044
【０１２７】
一方、Ａ／Ｄ変換回路１６が出力するローデータを間引かずにＳＤＲＡＭ１７に格納する場合、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（７）で表わされる。
【数７】
2004017628.tif 000045
【０１２８】
式（６）及び式（７）を参照すると、間引きを行う場合と行わない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は異なる。具体的に、４０１００／７４２４０＝０．５４が成り立つことにより、間引きを行った場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は、間引きを行わない場合の５４％になる。ここで、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量と、それらのインタフェース部分における消費電力は比例するので、本実施の形態による撮像システムの消費電力は、間引きを行わない従来の撮像システムの消費電力の５４％になる。すなわち、本実施の形態による撮像システムによれば、間引き回路１５によって間引きを行うことにより、撮影した画像を液晶表示装置２１に表示する場合に、４６％程度の電力を削減することができる。
【０１２９】
ＹＣデータを圧縮してＳＤＲＡＭ１７に格納する場合も、同様に、従来の撮像システムと比べて、消費電力を低減できる。
【０１３０】
また、本実施の形態による撮像システムによれば、カメラ信号処理回路１８で信号処理をする際に、ＳＤＲＡＭ１７から読み出すローデータのデータ量が、従来の撮像システムに比べて削減されている。従って、ＳＤＲＡＭ１７からローデータを読み出す際の処理速度が速くなる。
【０１３１】
なお、本実施の形態による撮像システムにおいては、間引き回路１５によって間引きを行うことにより、ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／３に削減したが、削減の割合はこれに限られない。例えば、１／２に削減してもよい。図１４は、ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／２に削減する場合の、ローデータとＳＤＲＡＭ書き込み制御信号を説明するタイミング図である。図１４において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図１４を参照すると、ＳＤＲＡＭ書き込み制御信号は、メモリコントローラ１６に２個の画素データ（ＲデータとＧデータ）が入力される毎にレベルが変化する。つまり、あるＲデータとＧデータが連続して入力されるときに高レベルであると、次のＲデータとＧデータが入力されるときには低レベルになる。この場合であっても、本実施の形態による撮像システムと同一の効果が得られる。
【０１３２】
なお、駆動回路１３によって撮像素子１２におけるフォトダイオードを制御することにより、撮像素子１２の出力信号を垂直方向に間引く、すなわち、水平ライン数を間引くことも可能である。その場合、モニターモードが設定されると、駆動回路１３によって垂直方向に間引かれた信号が固体撮像素子１２から出力され、その信号は、アナログ信号１４を経て、Ａ／Ｄ変換回路１５に入力される。
【０１３３】
（第７の実施の形態）
図１５は、本発明の第７の実施の形態による撮像システムの構成を示すブロック図である。図１５において、図１０の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１１０が、第６の実施の形態による撮像システムと異なる点は、レリーズボタンと、レリーズボタンの状態（レリーズボタン押されているかそうでないか）を検知するレリーズ検知回路と、マイコンとを備える点である。マイコンは、レリーズボタンの状態に応じて、間引き回路を制御する。
【０１３４】
図１５に示されるように、撮像システム１１０は、レリーズボタン１１１、レリーズ検知回路１１２、及びマイコン１１３を備える。レリーズ検知回路１１２は、レリーズボタン１１１に接続され、レリーズボタン１１１がユーザによって押されたか否かを示す信号を、マイコン１１３に出力する。マイコン１１３は、間引き回路１０３及びメモリコントローラ１６に接続され、レリーズ検知回路１１２からの信号に応じて、間引き回路１０３及びメモリコントローラ１６を制御する。
【０１３５】
撮像システム３０において、光学レンズ１１に光が入射してから、Ａ／Ｄ変換回路１５がデジタル信号を出力するまでの動作は、レリーズボタン１１１の状態がどうであれ同じであり、第１の実施の形態で説明した通りである。しかし、Ａ／Ｄ変換回路１５が前処理回路１０２にデジタル信号を出力した後の動作は、レリーズボタン１１１が押されている場合とそうでない場合とで異なる。レリーズボタン１１１が押されず、上の位置にあるときとは、通常、デジタルスチルカメラにおいて、静止画の撮影を行わず、撮影を行うための確認用に撮影画角の画像を液晶表示装置に表示させる場合（以下、「モニタモード」という。）である。モニタモードの場合、前処理回路１０２は、第６の実施の形態で説明したように間引き処理を行い、メモリ１７にデータ量が低減されたローデータが格納される。
【０１３６】
このローデータが読み出されて、カメラ信号処理回路１８に出力されてから、カメラ信号処理回路１８で生成されたＹＣデータが表示回路２０に出力されるまでの動作は、第１の実施の形態で説明した通りである。
【０１３７】
なお、レリーズボタン１１１が押されない場合、レリーズ検知回路１１２は、レリーズ検知回路１１２からレリーズボタン１１１が押されていないことを示す信号を出力してもよく、何も信号を出力しなくてもよい。
【０１３８】
次に、レリーズボタン１１１を押して、静止画を撮影する場合（以下、「静止画モード」という。）について説明する。レリーズボタン１１１が押されると、レリーズ検知回路１１２からマイコン１１３に、レリーズボタン１１１が押されたことを示す信号が出力される。このとき、マイコン１１３は、間引き回路１０３に、間引きの停止を指示する。具体的には、間引き回路１０３に、常に高レベルのＳＤＲＡＭ書き込み制御信号を出力させる。このとき、前処理回路１０２からメモリコントローラ１６に出力されたローデータは、全て、メモリコントローラ１６によってＳＤＲＡＭ１７に格納される。
【０１３９】
ローデータがＳＤＲＡＭ１６に格納された後の撮像システムの動作は、モニタモード及び静止画モードの両方で同一である。この動作は以下の通りである。メモリコントローラ１６は、次に、ＳＤＲＡＭ１７に格納されたローデータを読み出して、カメラ信号処理回路１８に転送する。カメラ信号処理回路１８は、そのローデータにカメラ信号処理を施して、輝度信号（Ｙ）と色差信号（Ｃ）とで表されるＹＣデータ（ＹＣ）を生成する。メモリコントローラ１６は、そのＹＣデータを読み出して、ＳＤＲＡＭ１７に格納する。なお、カメラ信号処理回路１８は、ローデータに対して、ホワイトバランス処理、γ変換処理、輝度信号生成処理、色差信号生成処理、解像度改善のためのアパーチャ補正処理などの処理を施す。
【０１４０】
静止画モードの場合、メモリコントローラ１６は、次に、ＳＤＲＡＭ１７に格納されている記録用のＹＣデータを読み出して、ＪＰＥＧ圧縮回路１９に出力する。ＪＰＦＧ圧縮回路１９は、ＪＰＥＧ方式による圧縮処理を施し、符号データ（ＪＰＣ）を生成する。メモリコントローラ１６は、ＪＰＥＧ圧縮回路１９からその符号データを読み出して、ＳＤＲＡＭ１７に格納する。
【０１４１】
ＳＤＲＡＭ１７に格納されている符号データは、カードコントローラ１２２によって読み出され、記録メディア２３に書き込まれる。
【０１４２】
本実施の形態による撮像システムによれば、解像度の高い画像を表示する必要がないモニタモードと、解像度の高い画像を記録しなければならない静止画モードとで、間引き回路の動作を変えることができる。これにより、モニタモードでは、ローデータを間引きして、ＳＤＲＡＭとメモリコントローラとの間のインタフェース部分における消費電力を低減でき、静止画モードでは、解像度の高い良質な画像をＳＤＲＡＭに格納できる。
【０１４３】
なお、本実施の形態による撮像システムにおいては、モニタモードと静止画モードとの間でモードの切り替えを行ったが、さらに、モニタモード、静止画モード、及び動画モードの間でモードの切り替えを行ってもよい。図１６は、それらのモードの間でモードの切り替えを行う撮像システムの構成を示すブロック図である。図１６において、図１５の撮像システムと同一の構成要素には、同一の符号を付している。図１６の撮像システム１１５が、図１５の撮像システム１１０と異なる点は、さらに、モード切り替えスイッチ１１６と、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮回路１１７とを備える点である。ユーザがレリーズボタン１１１を押すとき、静止画を撮影する場合と、動画を撮影する場合がある。ユーザは、モード切り替えスイッチ１１６を用いて、撮像システムにモードを入力することができる。モード切り替えスイッチ１１６は、ユーザがどちらのモードを選択したかを示す信号をマイコン１１３に出力する。マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が出力されると、ユーザがどちらのモードを選択した場合であっても、間引き回路１０３に間引き処理を開始させる。しかし、モード切り替えスイッチ１１６によって、ユーザが静止画モードを選択したことを示す信号が入力されると、メモリコントローラ１６に、ＳＤＲＡＭ１７から記録用のＹＣデータを読み出して、それをＪＰＥＧ圧縮回路１９に転送するように指示し、モード切り替えスイッチ１１６によって、ユーザが動画モードを選択したことを示す信号が入力されると、メモリコントローラ１６に、ＳＤＲＡＭ１７から記録用のＹＣデータを読み出して、それをＭＰＥＧ圧縮回路１１７に転送するように指示する。
【０１４４】
なお、マイコン１１３によって駆動回路１３を制御することにより、駆動回路１３によって撮像素子１２におけるフォトダイオードを制御することが可能である。よって、各々の水平ラインのデータを間引くと同時に、撮像素子１２の出力信号を垂直方向に間引く、すなわち、水平ライン数を間引くことも可能である。
【０１４５】
（第８の実施の形態）
本実施の形態による撮像システムは、Ａ／Ｄ変換回路とメモリコントローラとの間に、前処理回路として、補間回路と間引き回路とを含むズーム処理回路を備える。
【０１４６】
図１７は、本発明の第８の実施の形態による撮像システムの構成を示すブロック図である。図１７において、図１７の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１２０が、第６の実施の形態による撮像システム１１５と異なる点は、前処理回路１０２が、間引き回路と補間回路とを含むズーム処理回路１２１を有する点である。
【０１４７】
図１８は、ズーム処理回路１２１の構成を示すブロック図である。図１８に示されるように、ズーム処理回路１２１は、間引き回路１０３及び補間回路１２２を備える。Ａ／Ｄ変換回路１５から出力されたローデータは、補間回路１２２に入力される。補間回路１２２から出力されたデータは、メモリコントローラ１６に入力される。
【０１４８】
以下に、補間回路１２２について説明する。図１９は、補間回路１２２の構成を示す図である。図１９に示されるように、補間回路１２２は、ディレイフリップフロップ（ｄｅｌａｙ ｆｌｉｐ−ｆｌｏｐ：以下、「Ｄフリップフロップ」という。）１２５、第１の乗算回路１２６、第２の乗算回路１２７、及び加算回路１２８を備える。補間回路１２２に入力された信号は、２つに分岐し（「分離」ではない。補間回路１２２に入力された信号が２方向に流れる。）、その一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。Ｄフリップフロップ１２５は、入力された信号を、２クロック（１クロックは、撮像システムの動作周波数の１周期分）だけ遅らせて、第１の乗算回路１２６に出力する。第１の乗算回路１２６は、入力された信号をｋ倍（ｋはズーム係数）して、そのｋ倍された信号を出力し、第２の乗算回路１２７は、入力された信号を（１−ｋ）倍して、その（１−ｋ）倍された信号を出力する。第１の乗算回路１２６及び第２の乗算回路１２７から出力される信号は、それぞれ、加算回路１２８に入力される。加算回路１２８は、第１の乗算回路１２６の出力信号と、第２の乗算回路１２７の出力信号とを足し合わせて、その結果得られる信号をメモリコントローラ１６に出力する。加算回路１２８は、ある中心画素の画素データを１−ｋ倍したものと、その中心画素の画素データより２クロック早く出力された画素データをｋ倍したものを加算する処理を行う。
【０１４９】
以下に、撮像素子１２の色フィルタが図１１のように配列されている場合にＡ／Ｄ変換回路１５が出力するローデータに対して、１／２倍のズーム処理を行う場合について説明する。図２０は、補間回路１２２が、メモリコントローラ１６にローデータを出力する場合の、メモリコントローラ１６に入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミングを示す。図２０において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、ズーム係数ｋ（０＜ｋ＜１）、（４）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。
【０１５０】
図２０を参照すると、まず、補間回路１２２にＲデータが入力される。補間回路１２２に入力されたＲデータは、２つに分岐し、その一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。図２０の（３）に示されるように、この場合のズーム係数は１／３であり、第２の乗算回路１２７に入力されたＲデータは、２／３（＝１−１／３）倍される。２／３倍されたＲデータは、第２の乗算回路１２７から加算回路１２８に出力される。一方、第１の乗算回路１２６から出力されるＲデータは、第２の乗算回路１２７よりも２クロック遅延して加算回路１２８から出力される。よって、加算回路１２８には、２／３倍されたＲデータしか出力されず、補間回路１２２は、この２／３倍されたＲデータをメモリコントローラ１６に出力する。これは、次に補間回路１２２に入力されるＧデータについても同様である。なお、Ｇデータが補間回路１２２に入力された場合、ズーム係数は、２／３である。
【０１５１】
次に、補間回路１２２に２個目のＲデータが入力される。このＲデータも、上述のように２つに分岐し、一方がＤフリップフロップ１２５に入力され、他方が第２の乗算回路１２７に入力される。図２０の（３）に示されるように、このときのズーム係数は１／３であり、第２の乗算回路１２７に入力されたＲデータは、２／３倍される。そして、この２／３倍されたＲデータ（以下、「第１のＲデータ」という。）が加算回路１２８に出力される。このとき、第１の乗算回路１２６から加算回路１２８に、２クロック前に補間回路１２２に入力されたＲデータを１／３倍したＲデータ（以下、「第２のＲデータ」）が出力される。加算回路１２８は、この第１のＲデータと第２のＲデータとを加算して、その結果得られるＲデータをメモリコントローラ１６に出力する。
【０１５２】
これ以降に補間回路１２２に入力されるＲデータ及びＧデータについても、同様の処理が行われる。このとき、補間回路１２２にＲデータ及びＧデータが入力された場合のズーム係数は、それぞれ、１／３及び２／３である。図２０に示された矢印は、補間回路１２２に入力されたある画素データと、それよりも２クロック前に補間回路１２２に入力された画素データとが補間処理されて、メモリコントローラ１６に入力されることを示す。
【０１５３】
図２０の（４）は、図２０の（２）に示されるローデータと同時にメモリコントローラ１６に出力されるＳＤＲＡＭ書き込み制御信号を示す。図２０の（４）に示されるように、ＳＤＲＡＭ書き込み制御信号は、一定の周期で高レベルになる。具体的に、ＳＤＲＡＭ書き込み制御信号は、ＲデータとＧデータが、それぞれ、最初にメモリコントローラ１６に入力されるときに低レベルであり、その後、続いて２個の画素データ（２個目のＲデータと２個目のＧデータ）がメモリコントローラ１６に入力されるときには高レベルとなる。そして、ＳＤＲＡＭ書き込み制御信号は、その２個の画素データがメモリコントローラ１６に入力された後、続いて２個の画素データ（３個目のＲデータと３個目のＧデータ）が入力されるときに再び低レベルになる。以上のように、画素データが、メモリコントローラ１６に２個ずつ入力される毎に、ＳＤＲＡＭ書きこみ制御信号の信号レベルが変化する。ＳＤＲＡＭ書込み制御信号が高レベルになるタイミングと同じタイミングでメモリコントローラ１６に入力される画素データのみが、メモリコントローラ１６からＳＤＲＡＭ１７に出力される。
【０１５４】
図２１は、上述のズーム処理（補間処理と間引き処理）後のローデータにおけるＲデータ及びＧデータの相対的位置関係を示す。図２１に示されるように、ロ−データにおいて、Ｒデータ及びＧデータは、等間隔に配置される。このようなＲデータとＧデータの等間隔の位置関係は、補間処理におけるズーム係数と間引き処理における間引き率とをうまく選択することによって、実現することができる。
【０１５５】
この撮像システムにおいて、前処理回路１０２により、Ａ／Ｄ変換回路１５から出力されるローデータに１／２倍のズーム処理を行った場合、撮影した画像を液晶表示装置２１に表示するときのメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータのデータ量は、１つの水平ライン当たり、以下の式（８）で表わされる。なお、ローデータに１つの水平ライン当たり１／２倍のズーム処理を行った場合、その１つの水平ラインの画素数は、１２８０画素である。
【数８】
2004017628.tif 000046
【０１５６】
式（７）及び式（８）を参照すると、ズーム処理を行う場合と行わない場合とでは、メモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は異なる。具体的に、４８６４０／７４２４０＝０．６６が成り立つことにより、ズーム処理を行った場合にメモリコントローラ１６とＳＤＲＡＭ１７との間でやりとりされるデータの全データ量は、ズーム処理を行わない場合の６６％になる。よって、本実施の形態による撮像システムによれば、ズーム処理回路１２１によってズーム処理を行うことにより、撮影した画像を液晶表示装置２１に表示する場合に、３４％程度の電力を削減することができる。
【０１５７】
本実施の形態による撮像システムによれば、Ａ／Ｄ変換回路１５から、前処理回路１０２及びメモリコントローラ１６を介して、ＳＤＲＡＭ１７に格納される信号は、Ａ／Ｄ変換回路１５から出力される全ての画素データを補間処理した結果得られる信号である。よって、これらの信号に対して処理を行い、その処理された信号を用いて表示する画像の品質は良質になるという効果がある。
【０１５８】
また、本実施の形態による撮像システムによれば、カメラ信号処理回路１８で信号処理をする際に、ＳＤＲＡＭ１７から読み出すローデータのデータ量が、従来の撮像システムに比べて削減されている。従って、ＳＤＲＡＭ１７からローデータを読み出す際の処理速度が速くなる。
【０１５９】
なお、補間処理は、上述したものに限られない。よって、補間回路は、上述の回路以外の他の回路であってもよい。図２２は、補間回路１２２の別の構成を示すブロック図である。図２２において、図１９と同一の構成要素には同一の符号を付し、説明を省略する。補間回路１２２は、乗算回路１２６，１２７の代わりに、乗算回路１３０，１３１を備える。図２２に示されるように、補間回路１２２は、ある画素に対応する第１の信号を２倍したものと、その第１の信号に対し、２クロック早く出力された第２の信号を１倍したものと、第１の信号に対し、２クロック遅延して出力された第３の信号を１倍したものとを加算して平均する処理を行う。この補間処理後のローデータは、メモリコントローラ１６に入力される。
【０１６０】
なお、上述の説明では、ズーム処理の倍率は１／２倍であったが、これに限られない。図２３は、撮像素子１２の色フィルタが図１１のように配列されている場合に、Ａ／Ｄ変換回路１５が出力するローデータに対して、１／３倍のズーム処理を行うときのメモリコントローラ１６に入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図である。図２３において、（１）は、前処理回路１０２に入力されるローデータ、（２）は、メモリコントローラ１６に入力されるローデータ、（３）は、メモリコントローラ１６に入力されるＳＤＲＡＭ書き込み制御信号を示す。図２３における矢印は、図２２の補間回路が３つの画素データを用いて補間処理を行うことを示す。ズーム処理において、補間処理を行った後の間引き処理は、図１３を用いて説明した処理と同一であるので、ここでは説明を省略する。
【０１６１】
図２２及び図２３を用いて説明したズーム処理（補間処理及び間引き処理）を行った場合であっても、図１９及び図２０を用いて説明したズーム処理を行った場合と同様の効果が得られる。
【０１６２】
なお、これまでズーム処理回路１２１の構成及び動作を詳細に説明したが、ズーム処理回路１０４の構成及び動作も、ズーム処理回路１２１のそれらと同様である。
【０１６３】
（第９の実施の形態）
図２４は、本発明の第９の実施の形態による撮像システムの構成を示すブロック図である。図２４において、図１７の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システム１４０が、第８の実施の形態による撮像システム１２０と異なる点は、レリーズボタン１１１、レリーズ検知回路１１２、及びマイコン１１３を備える点である。レリーズ検知回路１１２は、レリーズボタン１１１が押されているか否かを示す信号を出力する。マイコン１１３は、レリーズボタン１１２の状態（レリーズ検知回路１１２から出力される信号）に応じて、ズーム処理回路１２１を制御する。
【０１６４】
図２５は、ズーム処理回路１２１の構成を示すブロック図である。図２５において、図１８のズーム処理回路１２１と同一の構成要素には同一の符号を付し、説明を省略する。図２５のズーム処理回路が、図１８のズーム処理回路と異なる点は、セレクタ回路１３２を有する点である。前処理回路１２１に入力された信号は、２つに分岐して、補間回路１２２及びセレクタ回路１３２に入力される。セレクタ回路１３２は、Ａ／Ｄ変換回路１５から出力されたそのままのデジタル信号、及びＡ／Ｄ変換回路１５から出力されたデジタル信号を補間回路１２２によって補間して得られる信号のいずれかを選択して、メモリコントローラ１６に出力する。
【０１６５】
マイコン１１１は、レリーズボタン１１２の状態に応じて、間引き回路１０３とセレクタ回路１３２を制御する。マイコン１１３による間引き回路１０３の制御は、第７の実施の形態で説明した通りである。すなわち、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されていることを示す信号が入力されない（又は、レリーズ検知回路１１２からレリーズボタン１１１が押されていないことを示す信号が入力される）と、間引き回路１０３に間引き処理をさせるが、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が入力されると、間引き回路１０３に、間引きの停止を指示する。さらに、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されていることを示す信号が入力されないと、セレクタ回路１３２に、補間回路１２２によって補間された信号を出力するように指示する。一方、マイコン１１３は、レリーズ検知回路１１２からレリーズボタン１１１が押されたことを示す信号が入力されると、セレクタ回路１３２に、Ａ／Ｄ変換回路１５から出力されたデジタル信号をそのままで出力するように指示する。
【０１６６】
本実施の形態による撮像システムによれば、第７の実施の形態による撮像システムと同様の効果が得られる。
【０１６７】
なお、上述の撮像システムにおいて、セレクタ回路１３２は、レリーズボタン１１１が押された場合には、Ａ／Ｄ変換回路１５から出力されたデジタル信号をそのまま出力するが、レリーズボタン１１１が押された場合であっても、補間回路１２２によって補間された信号を出力してもよい。
【０１６８】
（第１０の実施の形態）
図２６は、本実施の形態による撮像システムの構成を示すブロック図である。図２６において、図１５の撮像システムと同一の構成要素には同一の符号を付し、説明を省略する。本実施の形態による撮像システムが、第７の実施の形態による撮像システムと異なる点は、記録画素数選択スイッチを備える点である。
【０１６９】
図２６に示されるように、本実施の形態による撮像システム１５０は、記録画素数選択スイッチ１５１を備える。ユーザは、この記録画素数選択スイッチ１５１を用いて、記録時の画素数を設定することができる。このとき、前処理回路１０２の間引き回路１０３は、間引き率の異なる複数の間引きモードで動作可能である。ユーザが選択した記録画素数を示す信号が、記録画素数選択スイッチ１５１からマイコン１１３に入力されると、マイコン１１３は、その記録画素数から間引き率を判定し、ローデータがその間引き率で間引かれるように、間引き回路１０３を制御する。以下に、例として、撮像素子１２の画素数が５００万画素のとき、ユーザが記録時の画素数を１３０万画素と設定した場合について説明する。撮像素子１２の画素数が５００万画素のとき、１ライン当たり２５６０画素の水平ラインが、垂直方向に１９２０ライン並ぶ。また、１３０万画素の画像は、１ライン１２８０画素の水平ラインが、垂直方向に９６０ライン並ぶ。画素数が５００万画素の撮像素子１２によって撮像された画像を、１３０万画素の画像として記録するとき、１つの水平ラインの画素数を、２５６０画素から１２８０画素にする必要がある。この場合、マイコン１１３は、記録画素数選択スイッチ１５１から、選択された記録画素数が１３０万画素数であることを示す信号が入力されると、ローデータが１／２の間引き率で間引かれるように、間引き回路１０５を制御する。これにより、間引き回路１０５は、メモリコントローラ１６に、例えば、図１４に示されるＳＤＲＡＭ書き込み制御信号を出力する。
【０１７０】
なお、本実施の形態による撮像システムによれば、選択された記録画素数に応じて、間引き回路が制御されたが、ズーム処理回路が制御されてもよい。このとき、マイコンは、ユーザが選択した記録画素数を示す信号が、記録画素数選択スイッチからマイコンに入力されると、その記録画素数からズーム倍率を判定し、ローデータがそのズーム倍率でズーム処理されるように、ズーム処理回路を制御する。図２７は、選択された記録画素数に応じてズーム処理回路を制御する撮像システムの構成を示すブロック図である。図２７に示される撮像システム１６０は、第９の実施の形態による撮像システム１４０に、記録画素数選択スイッチ１５１を追加した構成を有する。図２７に示される撮像システムによれば、図２６に示された撮像システムと同一の効果が得られる。
【０１７１】
なお、本発明による撮像システムにおいて、Ａ／Ｄ変換回路とメモリコントローラとの間に設けられる前処理回路は、情報量低減回路、及び、間引き回路若しくはズーム処理回路を両方含んでもよい。
【０１７２】
なお、本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。
【図面の簡単な説明】
【０１７３】
【図１】第１の実施の形態の撮像システムの構成を示すブロック図である。
【図２】ゲイン調整回路の動作を説明する図である。
【図３】第２の実施の形態の撮像システムの構成を示すブロック図である。
【図４】ホワイトバランス調整回路の動作を説明する図である。
【図５】階調補正回路の動作を説明する図である。
【図６】第３の実施の形態の撮像システムの構成を示すブロック図である。
【図７】感度の異なる撮像素子のホワイトバランス調整点を示す図である。
【図８】第４の実施の形態の撮像システムの構成を示すブロック図である。
【図９】第５の実施の形態の撮像システムの構成を示すブロック図である。
【図１０】第６の実施の形態の撮像システムの構成を示すブロック図である。
【図１１】固体撮像素子の各々の画素に設けられた色フィルタの配列の一例を示す図である。
【図１２】固体撮像素子の色フィルタが図１１のように配列された場合に、Ａ／Ｄ変換回路が出力するローデータを示すタイミング図である。
【図１３】ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
【図１４】ＳＤＲＡＭ１７に書き込むローデータのデータ数を１／２に削減する場合の、ローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
【図１５】第７の実施の形態による撮像システムの構成を示すブロック図である。
【図１６】図１５の撮像システムの変形例であって、静止画モードと動画モードとの間でモードの切り替えを行う撮像システムの構成を示すブロック図である。
【図１７】第８の実施の形態による撮像システムの構成を示すブロック図である。
【図１８】図１７の撮像システムにおいて、ズーム処理回路の構成を示すブロック図である。
【図１９】図１８のズーム処理回路における補間回路の構成を示す図である。
【図２０】図１９の補間回路が、メモリコントローラにローデータを出力する場合の、メモリコントローラに入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、ズーム係数、（４）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
【図２１】図２０に示されるズーム処理後のローデータにおけるＲデータ及びＧデータの相対的位置関係を示す図である。
【図２２】図１８のズーム処理回路における別の補間回路の構成を示すブロック図である。
【図２３】固体撮像素子の色フィルタが図１８のように配列されている場合に、Ａ／Ｄ変換回路が出力するローデータに対して、１／３倍のズーム処理を行うときのメモリコントローラに入力されるローデータとＳＤＲＡＭ書き込み制御信号とを説明するタイミング図であり、（１）は、前処理回路に入力されるローデータ、（２）は、メモリコントローラに入力されるローデータ、（３）は、メモリコントローラに入力されるＳＤＲＡＭ書き込み制御信号を示す。
【図２４】第９の実施の形態による撮像システムの構成を示すブロック図である。
【図２５】図２４の撮像システムにおけるズーム処理回路の構成を示すブロック図である。
【図２６】第１０の実施の形態による撮像システムの構成を示すブロック図である。
【図２７】第１０の実施の形態による別の撮像システムの構成を示すブロック図である。
【図２８】従来の撮像システムの構成を示すブロック図である。
【符号の説明】
【０１７４】
１１  光学レンズ
１２  固体撮像素子
１３  駆動回路
１４  アナログ回路
１５  Ａ／Ｄ変換回路
１６  メモリコントローラ
１７  ＳＤＲＡＭ
１８  カメラ信号処理回路
１９  ＪＰＥＧ圧縮回路
２０  表示回路
２１  液晶表示装置
２２  カードコントローラ
２３  記録メディア
２４  前処理回路
２６  ゲイン調整回路
２７  マイクロコンピュータ
２８  レベル検出回路
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2004017628.tif 000047
【図２】
2004017628.tif 000048
【図３】
2004017628.tif 000049
【図４】
2004017628.tif 000050
【図５】
2004017628.tif 000051
【図６】
2004017628.tif 000052
【図７】
2004017628.tif 000053
【図８】
2004017628.tif 000054
【図９】
2004017628.tif 000055
【図１０】
2004017628.tif 000056
【図１１】
2004017628.tif 000057
【図１２】
2004017628.tif 000058
【図１３】
2004017628.tif 000059
【図１４】
2004017628.tif 000060
【図１５】
2004017628.tif 000061
【図１６】
2004017628.tif 000062
【図１７】
2004017628.tif 000063
【図１８】
2004017628.tif 000064
【図１９】
2004017628.tif 000065
【図２０】
2004017628.tif 000066
【図２１】
2004017628.tif 000067
【図２２】
2004017628.tif 000068
【図２３】
2004017628.tif 000069
【図２４】
2004017628.tif 000070
【図２５】
2004017628.tif 000071
【図２６】
2004017628.tif 000072
【図２７】
2004017628.tif 000073
【図２８】
2004017628.tif 000074
【国際調査報告】
2004017628.tif 000075
2004017628.tif 000076