(57)【要約】【課題】撮像装置において、高速な撮像動作により品質の高い画像を撮像できるようにする。【解決手段】撮像素子により撮像されてデジタル変換された画像データは、ＲＡＷ圧縮部４１によって非可逆圧縮方式により圧縮され、圧縮画像データとしてメモリに一時的に保持される。ＲＡＷ伸張部４２は、このメモリから読み出された圧縮画像データを伸張し、デジタル画像処理回路１４内のゲイン調整部４４を含む信号処理機能は、ＲＡＷ伸張部４２により伸張された画像データに対して所定の信号処理を施す。圧縮／伸張制御部７４は、ゲイン調整部４４におけるゲイン印加量が所定のゲインしきい値以上である場合には、ＲＡＷ圧縮部４１の圧縮動作およびＲＡＷ伸張部４２の伸張動作をオフ状態に自動的に切り替える。【選択図】図３
2008113070.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いて画像を撮像する撮像装置において、
前記固体撮像素子により撮像されてデジタル変換された画像データを非可逆圧縮方式により圧縮し、圧縮画像データを出力する圧縮部と、
前記圧縮部から出力された前記圧縮画像データを一時的に保持するメモリと、
前記メモリから読み出された前記圧縮画像データを伸張する伸張部と、
前記伸張部により伸張された画像データに対して、ゲイン印加処理を含む所定の信号処理を施す信号処理部と、
前記圧縮部および前記伸張部にそれぞれ圧縮動作および伸張動作を実行させるオン状態と、前記圧縮動作および前記伸張動作を停止させて入力画像データをそのまま出力させるオフ状態とを切り替え、前記信号処理部におけるゲイン印加量が所定のゲインしきい値以上である場合に、前記圧縮動作および前記伸張動作を前記オフ状態に切り替える圧縮／伸張制御部と、
を有することを特徴とする撮像装置。
【請求項２】
撮像シーンの明るさに応じて、前記信号処理部における前記ゲイン印加処理機能を含む露出調整機能を自動的に制御する露出制御部をさらに有し、
前記圧縮／伸張制御部は、前記露出制御部により出力される、前記ゲイン印加処理機能に対するゲイン制御信号を基に前記ゲイン印加量を判別することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記圧縮／伸張制御部において設定される前記ゲインしきい値が可変とされたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記圧縮／伸張制御部は、画質より速度を優先する撮像モードにおいては、前記ゲインしきい値をより高い値に自動的に設定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記圧縮／伸張制御部は、さらに、前記伸張部から出力される画像データの高周波成分の量が所定の成分量しきい値以上である場合にも、前記圧縮動作および前記伸張動作を前記オフ状態に切り替えることを特徴とする請求項１記載の撮像装置。
【請求項６】
前記伸張部から出力される画像データから高周波成分の量を検波する高周波成分検波部と、
前記高周波成分検波部による検波結果を基に、フォーカスレンズを合焦位置に移動させるためのフォーカス制御値を演算するフォーカス制御部と、
をさらに有し、
前記圧縮／伸張制御部は、前記高周波成分検波部による検波結果と前記成分量しきい値とを比較して、前記圧縮動作および前記伸張動作を前記オフ状態とするか否かを判別することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記圧縮／伸張制御部は、さらに、前記伸張部から出力される画像データのダイナミックレンジが所定のレンジしきい値以上である場合にも、前記圧縮動作および前記伸張動作を前記オフ状態に切り替えることを特徴とする請求項１記載の撮像装置。
【請求項８】
前記伸張部から出力される画像データから、１フレーム単位の輝度ごとの頻度を示すヒストグラムを検出するヒストグラム検出部をさらに有し、
前記圧縮／伸張制御部は、前記ヒストグラム検出部により検出された前記ヒストグラムを基に、前記ダイナミックレンジを判別することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記ヒストグラム検出部により検出された前記ヒストグラムに基づく画像を表示する表示部をさらに有することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記圧縮部は、前記デジタル変換された画像データを、所定数の画素データからなるブロック単位で圧縮し、固定長の符号化データとして前記圧縮画像データを出力することを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記圧縮部は、所定数の画素データからなるブロック内の前記画素データの最大値および最小値と、それらの当該ブロック内での位置情報と、前記最大値および前記最小値を除く当該ブロック内の前記画素データから、前記最小値を減算した減算値を量子化した量子化データとを含む前記圧縮画像データを生成することを特徴とする請求項１記載の撮像装置。
【請求項１２】
前記圧縮部は、
前記ブロックごとに、前記画素データの前記最大値および前記最小値と、それらの当該ブロック内での前記位置情報とを検出する最大／最小検出部と、
前記画素データから、対応する前記ブロックにおける前記最小値を減算した前記減算値を、当該ブロック内の前記最大値と前記最小値との差分値として算出したダイナミックレンジに応じて量子化する量子化部と、
前記ブロックごとに、当該ブロックにおける前記最大値、前記最小値、およびそれらの前記位置情報と、前記量子化部で量子化された量子化データのうち、前記最大値および前記最小値に対応するものを除く前記量子化データとをパッキングして前記圧縮画像データを生成するパッキング部と、
を有することを特徴とする請求項１１記載の撮像装置。
【請求項１３】
前記量子化部での量子化語長を固定値としたことを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記圧縮部は、前記デジタル変換された画像データに対して、人間の視感度特性に応じて階調を変換した後、そのビット数を削減して前記圧縮部に供給する前圧縮部をさらに有することを特徴とする請求項１２記載の撮像装置。
【請求項１５】
前記量子化部は、量子化ステップを２のべき乗として、前記ダイナミックレンジに応じたけた数だけ下位にシフトするビットシフタにより、前記減算値を量子化することを特徴とする請求項１２記載の撮像装置。
【請求項１６】
前記パッキング部は、前記ブロックにおける最大値の代わりに、前記ビットシフタにおけるシフト量をパッキングすることを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記伸張部は、
前記ブロックごとの前記圧縮画像データから抽出した前記量子化データを、当該圧縮画像データから抽出した前記最大値と前記最小値との差分値として算出した前記ダイナミックレンジに応じて逆量子化する逆量子化部と、
前記逆量子化部により逆量子化されたデータに前記最小値を加算する加算部と、
前記ブロックごとの前記圧縮画像データから抽出した前記最小値および前記最大値の前記各位置情報に基づき、前記最大値と、前記最小値と、前記加算部からの出力値とを、前記圧縮部に入力された元の前記画素データの順に出力する出力制御部と、
を有することを特徴とする請求項１２記載の撮像装置。
【請求項１８】
固体撮像素子を用いて画像を撮像する撮像方法において、
圧縮部が、前記固体撮像素子により撮像されてデジタル変換された画像データを非可逆圧縮方式により圧縮し、圧縮画像データを出力してメモリに一時的に格納し、
伸張部が、前記メモリから読み出された前記圧縮画像データを伸張し、
信号処理部が、前記伸張部により伸張された画像データに対して、ゲイン印加処理を含む所定の信号処理を施し、
圧縮／伸張制御部が、前記圧縮部および前記伸張部にそれぞれ圧縮動作および伸張動作を実行させるオン状態と、前記圧縮動作および前記伸張動作を停止させて入力画像データをそのまま出力させるオフ状態とを切り替え、前記信号処理部におけるゲイン印加量が所定のゲインしきい値以上である場合に、前記圧縮動作および前記伸張動作を前記オフ状態に切り替える、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて画像を撮像する撮像装置および撮像方法に関し、デジタル変換された画像データをメモリに一時的に格納した後、そのメモリから画像データを読み出して処理する場合に適した撮像装置および撮像方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存することができる撮像装置が広く普及している。このような撮像装置では、撮像素子の多画素化や、装置の高機能化・高性能化が進んでいる。特に、撮像素子の多画素化が進むと、撮像信号の処理負荷が増大するが、そのような撮像装置であっても、操作にストレスがないように高速で処理できることが求められている。
【０００３】
また、一般的なデジタル方式の撮像装置では、撮像素子から得られたＲＡＷ（生）画像データを、一旦ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの画像メモリに格納した後、そこから読み出して各種の信号処理などを施す構成となっているものが多い。例えば、インタレース読み出し方式の撮像素子を用いた場合など、複数フィールドで１フレームのキャプチャが終了するタイプの撮像装置では、各フィールドのデータを画像メモリに格納してから、フレームのデータを生成することが必須である。また、カメラ信号処理部のラインメモリの規模を抑制するために、１Ｈ（水平同期期間）の長さの数分の一程度のディレイラインのみを用いて、全画面を部分的に（例えば、縦方向に数本の短冊状に）処理していくような処理系を持つ場合にも、少なくともその処理の前に全画面のデータをメモリに格納しておく必要がある。
【０００４】
しかし、このような構成の撮像装置では、撮像素子の画素数が増加し、ＲＡＷ画像データの容量が大きくなるほど、データ転送の負荷が高まり、画像メモリの書き込み／読み出しに要する時間も長くなる。従って、記録処理に要する時間を短縮しようとすると、伝送周波数を高くするなどしてバス帯域を拡大することが必要となり、装置コストが増大するという問題があった。また、画素数が多いほど、ＲＡＷ画像データを格納するメモリの容量も大きくなるという問題もあった。そこで、内部バスにおける伝送時に、ＲＡＷ画像データを圧縮して伝送することで、処理を高速化することが考えられている。
【０００５】
なお、上記に関連する技術として、撮像画像をＪＰＥＧ（Joint Photographic Experts Group）方式などによる圧縮データではなく、ＲＡＷ画像データのままで記録媒体に記録する機能を備えた撮像装置も実現されている。例えば、ＲＡＷ画像データをハフマンテーブルを利用した可逆的圧縮手法により圧縮して記録する機能を備え、そのハフマンテーブルを色チャネルごとに最適化するようにしたものがあった（例えば、特許文献１参照）。また、ＲＡＷ画像データを圧縮して記録するＲＡＷ圧縮モードに設定した際には、通常圧縮モードで使用するＲＡＷ画像データの補間処理部をバイパスするようにしたものもあった（例えば、特許文献２参照）。なお、特許文献１は、ＲＡＷ画像データを可変長符号化方式で圧縮するものであり、また、特許文献１および２の双方とも、内部バスの帯域を削減するためにＲＡＷ画像データを圧縮するものではない。
【特許文献１】特開２００４−４０３００号公報（段落番号〔００１９〕〜〔００２８〕、図２）
【特許文献２】特開２００３−１２５２０９号公報（段落番号〔００２７〕〜〔００３７〕、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、最近のデジタル方式の撮像装置に対して、撮像感度を高めることが強く要望されており、このために撮像で得られた画像データに対してゲインを印加して増幅する機会が多くなっている。しかし、一般的に画像データに強いゲインを印加すると、ノイズが多く現れて、画質が悪化してしまう。
【０００７】
特に、上記のように、撮像装置の内部バスにおいてＲＡＷ画像データを圧縮して伝送する手法、さらには、その圧縮方式として非可逆圧縮でかつ可変長符号化方式を採った場合には、従来では問題とならなかった圧縮による画質劣化が、ゲイン印加量を大きくすることで目立ってしまうことがあるという問題があった。
【０００８】
さらに、画像データ圧縮においては、その画像データに高周波成分が多く含まれる場合や、ダイナミックレンジが広い画像のデータが入力された場合にも、画質劣化に対する影響が強くなるという問題もあった。
【０００９】
本発明はこのような点に鑑みてなされたものであり、高速な撮像動作により品質の高い画像を撮像できるようにした撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、前記固体撮像素子により撮像されてデジタル変換された画像データを非可逆圧縮方式により圧縮し、圧縮画像データを出力する圧縮部と、前記圧縮部から出力された前記圧縮画像データを一時的に保持するメモリと、前記メモリから読み出された前記圧縮画像データを伸張する伸張部と、前記伸張部により伸張された画像データに対して、ゲイン印加処理を含む所定の信号処理を施す信号処理部と、前記圧縮部および前記伸張部にそれぞれ圧縮動作および伸張動作を実行させるオン状態と、前記圧縮動作および前記伸張動作を停止させて入力画像データをそのまま出力させるオフ状態とを切り替え、前記信号処理部におけるゲイン印加量が所定のゲインしきい値以上である場合に、前記圧縮動作および前記伸張動作を前記オフ状態に切り替える圧縮／伸張制御部とを有することを特徴とする撮像装置が提供される。
【００１１】
このような撮像装置では、固体撮像素子により撮像されてデジタル変換された画像データは、圧縮部によって非可逆圧縮方式により圧縮され、圧縮画像データとしてメモリに一時的に保持される。伸張部は、このメモリから読み出された圧縮画像データを伸張し、信号処理部は、伸張部により伸張された画像データに対して、ゲイン印加処理を含む所定の信号処理を施す。圧縮／伸張制御部は、圧縮部および伸張部にそれぞれ圧縮動作および伸張動作を実行させるオン状態と、圧縮動作および伸張動作を停止させて入力画像データをそのまま出力させるオフ状態とを切り替える機能を備えており、信号処理部におけるゲイン印加量が所定のゲインしきい値以上である場合には、圧縮部の圧縮動作および伸張部の伸張動作をオフ状態に自動的に切り替える。
【発明の効果】
【００１２】
本発明の撮像装置によれば、固体撮像素子により撮像されてデジタル変換された画像データが、圧縮部によって圧縮された状態でメモリに一時的に格納され、その圧縮画像データがメモリから読み出されて伸張部により伸張され、信号処理部によって処理されるので、画像データの書き込みおよび読み出しのためのメモリへのアクセス時間が短縮され、処理を高速化することができる。これとともに、圧縮／伸張制御部の制御により、信号処理部におけるゲイン印加量が所定のゲインしきい値以上である場合には、圧縮部の圧縮動作および伸張部の伸張動作がオフ状態に切り替えられるので、圧縮処理によって生じる画質劣化を抑制できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログ／デジタル（Ａ／Ｄ）変換回路１３、デジタル画像処理回路１４、画像メモリ１５、ディスプレイ１６、マイクロコンピュータ１７、入力部１８、メモリカードＩ／Ｆ（インタフェース）１９、メモリカード１９ａ、フラッシュメモリ２０、および内蔵メモリ２１を具備する。
【００１４】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、マイクロコンピュータ１７からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００１５】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、マイクロコンピュータ１７の制御の下でタイミング信号を出力する。
【００１６】
Ａ／Ｄ変換回路１３は、画像信号に対するＡ／Ｄ変換を含むアナログフロントエンド処理を実行する回路である。このＡ／Ｄ変換回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、その信号に対してＡ／Ｄ変換を行ってデジタル画像データを出力する。
【００１７】
デジタル画像処理回路１４は、Ａ／Ｄ変換回路１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にマイクロコンピュータ１７から出力される信号に応じた各種画質補正処理を施す。また、ディスプレイ１６での表示用のデータを生成する機能や、ＪＰＥＧ方式などを用いた画像データの圧縮符号化／伸張復号化処理機能なども備える。
【００１８】
画像メモリ１５は、例えばＳＤＲＡＭなどからなり、デジタル画像処理回路１４との間でメモリバス１５ａを介して接続されている。画像メモリ１５は、デジタル画像処理回路１４で処理される画像データを一時的に記憶する。なお、後述するように、画像メモリ１５とデジタル画像処理回路１４との間でメモリバス１５ａを介して受け渡される画像データの一部は、デジタル画像処理回路１４に設けられたＲＡＷ画像データの圧縮・伸張機能によって圧縮される。
【００１９】
ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）などからなり、デジタル画像処理回路１４から出力される表示用の画像データを基に画像を表示する。このディスプレイ１６には、撮像素子１２によって現在撮像中の画像や、メモリカード１９ａに記録された画像データに基づく再生画像などが表示される。
【００２０】
マイクロコンピュータ１７は、この撮像装置全体を統括的に制御する。このマイクロコンピュータ１７には、フラッシュメモリ２０および内蔵メモリ２１が接続されており、マイクロコンピュータ１７は例えば、フラッシュメモリ２０に格納された各種プログラムを読み込んで実行し、必要に応じてフラッシュメモリ２０内の各種データを参照する。また、揮発性メモリである内蔵メモリ２１は、マイクロコンピュータ１７でのプログラム実行時のワークエリアとして利用される。
【００２１】
入力部１８は、各種の入力スイッチに対するユーザによる操作入力に応じた制御信号を、マイクロコンピュータ１７に出力する。この入力スイッチとしては、例えば、シャッタレリーズボタン、各種メニュー選択や動作モードの設定などを行うための十字キーなどが設けられる。
【００２２】
メモリカードＩ／Ｆ１９は、メモリカード１９ａが装着されるカードスロット（図示せず）を備え、装着されたメモリカード１９ａに対するデータの書き込みや、このメモリカード１９ａからのデータの読み出しを行う。メモリカード１９ａは、フラッシュメモリなどの不揮発性メモリからなり、主に画像ファイルを記憶する。なお、画像ファイルが格納される記録媒体としては、メモリカード１９ａの他に、例えば、磁気テープ、光ディスクなどの可搬型記録媒体、あるいはＨＤＤ（Hard Disk Drive）などの内蔵記録媒体が用いられてもよい。
【００２３】
この撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次Ａ／Ｄ変換回路１３に供給され、デジタル画像データに変換される。デジタル画像処理回路１４は、Ａ／Ｄ変換回路１３から供給された画像データを画質補正処理し、処理後の画像データを表示用の画像信号に変換して、ディスプレイ１６に出力する。これによりディスプレイ１６には、現在撮像中の画像がディスプレイ１６が表示され、撮影者はこの画像を視認して画角を確認できるようになる。
【００２４】
また、この状態から、入力部１８のシャッタレリーズボタンが押下されることなどにより、マイクロコンピュータ１７に対して画像の記録が指示されると、デジタル画像処理回路１４は画質補正処理後の画像データを圧縮符号化処理し、画像ファイルを生成する。なお、画質補正処理や圧縮符号化が施されていないＲＡＷ画像データのファイルを生成できるようにしてもよい。マイクロコンピュータ１７は、デジタル画像処理回路１４で生成された画像ファイルをメモリカードＩ／Ｆ１９に供給し、メモリカード１９ａに記憶させる。
【００２５】
なお、メモリカード１９ａには記録する画像ファイルとしては、静止画像ファイルだけでなく、動画像ファイルが適用されてもよい。デジタル画像処理回路１４は、静止画像ファイルの記録時には、１フレーム分の画像データを圧縮符号化処理して出力し、動画像ファイルの記録時には、画像データを連続的に圧縮符号化して出力する。
【００２６】
図２は、デジタル画像処理回路の内部構成を示すブロック図である。
デジタル画像処理回路１４は、ＲＡＷ圧縮部４１、ＲＡＷ伸張部４２、検波部４３、ゲイン調整部４４、ホワイトバランス（ＷＢ）調整／ＹＣ変換部４５、および解像度変換／圧縮伸張部４６を具備する。
【００２７】
ＲＡＷ圧縮部４１は、Ａ／Ｄ変換回路１３から出力されたＲＡＷ画像データを圧縮し、メモリバス１５ａを介して画像メモリ１５に供給する。なお、実際には、Ａ／Ｄ変換回路１３から供給される画像データに対して、撮像素子１２における欠陥画素の信号補正処理や、レンズの周辺光量落ちを補正するシェーディング処理などの前処理が施された後、その処理後のＲＡＷ画像データがＲＡＷ圧縮部４１に供給されるようにしてもよい。
【００２８】
ＲＡＷ伸張部４２は、画像メモリ１５からメモリバス１５ａを介して読み出した、圧縮されたＲＡＷ画像データを伸張して、検波部４３およびゲイン調整部４４に出力する。
なお、これらのＲＡＷ圧縮部４１およびＲＡＷ伸張部４２は、マイクロコンピュータ１７からのオン／オフを指示する制御信号に応じて、入力信号に対して圧縮／伸張処理を行うか否かを切り替えることが可能になっている。
【００２９】
検波部４３は、ＲＡＷ伸張部４２から供給される画像データを基に、ＡＦ、ＡＥ、ＡＷＢ（Auto White Balance）などのための信号検波処理を行い、検波結果をマイクロコンピュータ１７に出力する。マイクロコンピュータ１７は、この検波結果に基づいて、ＡＦのためのフォーカスレンズ制御信号や、ＡＥのための露出制御信号、ＡＷＢのためのゲイン制御信号などを算出する。
【００３０】
ゲイン調整部４４は、マイクロコンピュータ１７からのゲイン制御信号に基づき、ＲＡＷ伸張部４２から供給される画像データに対して、フレームごとにゲインを印加する。
ＷＢ調整／ＹＣ変換部４５は、ゲイン調整部４４によってゲインが調整された画像データに対して、マイクロコンピュータ１７からの制御信号に応じたＷＢゲインを印加する。さらに、ＷＢ調整後の画像データをＹ（輝度）信号とＣ（色差）信号とに変換する。
【００３１】
解像度変換／圧縮伸張部４６は、ＷＢ調整／ＹＣ変換部４５によってＹＣ変換された画像データの解像度を、マイクロコンピュータ１７からの制御信号に応じた解像度に変換する。例えば、ディスプレイ１６に適合した解像度に変換して、表示用の画像データを生成する。また、メモリカード１９ａへの記録用に指定された解像度に変換し、その変換後の画像データに対して、ＪＰＥＧなどの所定の符号化方式に従って圧縮符号化処理を施す。圧縮符号化処理により生成された画像データは、マイクロコンピュータ１７を介してメモリカードＩ／Ｆ１９に供給される。さらに、メモリカードＩ／Ｆ１９からマイクロコンピュータ１７を介して供給される画像データに対して伸張復号化処理を施し、表示用の解像度に変換してディスプレイ１６に出力することもできる。
【００３２】
表示処理部４７は、例えばＮＴＳＣ（National Television Standards Committee）エンコーダなどとして構成され、解像度変換／圧縮伸張部４６によってディスプレイ１６向けに解像度が変換された画像データを基に、ディスプレイ１６に画像を表示するための画像信号を生成して、ディスプレイ１６に出力する。また、マイクロコンピュータ１７から供給される合成画像データを、解像度変換／圧縮伸張部４６からの画像データに合成することもできる。例えば、撮像画像の輝度のヒストグラムを合成して表示させることができる。
【００３３】
なお、このデジタル画像処理回路１４において、ゲイン調整部４４によってゲイン調整された画像データを、ＷＢ調整／ＹＣ変換部４５、解像度変換／圧縮伸張部４６および表示処理部４７によって処理していく過程では、処理中の画像データがメモリバス１５ａを介して適宜画像メモリ１５に書き込まれ、またそこから読み出される。
【００３４】
このように、Ａ／Ｄ変換回路１３から出力された画像データをデジタル画像処理回路１４が処理する際には、処理対象のデータを適宜画像メモリ１５に書き込み、そこから必要なデータを読み出して処理が行われる。ここで、デジタル画像処理回路１４におけるＲＡＷ画像データの入力位置にＲＡＷ圧縮部４１を設けたことにより、メモリバス１５ａを通じて画像メモリ１５に伝送されるＲＡＷ画像データのデータ量、および、そのデータを画像メモリ１５から読み出し、メモリバス１５ａを通じてデジタル画像処理回路１４に伝送する際のデータ量を、ともに低減することができる。
【００３５】
これにより、撮像動作中のメモリバス１５ａの伝送負荷を軽減し、画像メモリ１５に対する書き込み／読み出し処理に要する時間が短縮される。特に、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２における圧縮／伸張の処理をできるだけ簡単にすることで、処理時間の短縮効果を高めることができる。また、メモリバス１５ａ上の伝送周波数を低減して、消費電力を抑制することもできる。
【００３６】
また、画像メモリ１５の容量も小さくすることができる。また、同じ容量であれば、画像メモリ１５の領域を他の処理に利用する、複数フレーム分のＲＡＷ画像データを格納して、連写できる枚数を増やす、あるいは連写速度を向上させるなど、高画質化・高機能化に寄与することもできる。従って、撮像やデータ記録に必要な時間が短くされた、高性能かつ小型、低コストの撮像装置を実現できる。
【００３７】
本実施の形態において、このＲＡＷ圧縮部４１およびＲＡＷ伸張部４２は、後述するように、固定長の符号化が可能で、かつ、画像品質を良好に保つことができ、しかも比較的簡単な処理で実現できる非可逆圧縮／伸張手法を採用している。固定長で符号化することで、メモリバス１５ａにおける伝送負荷や、画像メモリ１５上に必要な画像データの格納領域の容量を安定的に低減でき、また、画像メモリ１５における読み出し／書き込みの制御処理を単純化できる。また、圧縮／伸張処理を簡単にし、高速化することで、撮像動作が確実に高速化される。
【００３８】
ところで、画像データに対して非可逆圧縮を施した場合には、基本的に、その後に伸張した画像データにおいて画質が劣化することは避けられない。特に、通常は視認するのが困難な程度の画質劣化しか生じない場合であっても、伸張後の画像データに対してゲインを印加した場合には、そのゲイン印加量が大きくなるに従って、画質劣化が目立ってしまうことがある。
【００３９】
本実施の形態の撮像装置では、撮像感度を高くした場合には、マイクロコンピュータ１７の制御により、デジタル画像処理回路１４内のゲイン調整部４４で入力画像データに印加されるゲインの量が高められ、この場合には圧縮による画質劣化が無視できない程度となる可能性がある。そこで、本実施の形態では、ゲインの印加量が高い場合には、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２において圧縮／伸張処理を行わず、入力画像をそのまま出力するように制御することで、画質の劣化を防止する。
【００４０】
また、画像データを圧縮した際には、一般的に、入力画像が高周波成分を多く含む場合や、入力画像のダイナミックレンジが広い場合にも、画質劣化が生じやすい。特に、本実施の形態で採用している圧縮手法のように、複数の画素単位で圧縮率が変更され得る固定長符号化を行う場合には、高周波成分が多いほど、またダイナミックレンジが広いほど、圧縮率が高くなって、画質劣化が生じやすくなる。
【００４１】
そこで、本実施の形態の撮像装置では、さらに、撮像画像の高周波成分やダイナミックレンジを考慮して、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２における圧縮／伸張処理の動作を制御する。
【００４２】
図３は、ＲＡＷ圧縮部およびＲＡＷ伸張部の動作を制御するためにマイクロコンピュータが備える機能を示すブロック図である。
マイクロコンピュータ１７は、ＡＥ制御部７１、ＡＦ制御部７２、合成画像生成部７３、および圧縮／伸張制御部７４を具備する。
【００４３】
ＡＥ制御部７１は、検波部４３によって検波された輝度に基づいて、露出調整機能に対する現在の制御値（露出制御値）が適正であるか否かを判定し、適正でない場合には、露出制御値を最適な値となるように更新する。また、ＡＥ制御部７１は、検波部４３からの１フレームごと（または１フレーム内の所定領域ごと）の輝度の積分値に基づいて、上記の判定処理を行ってもよい。また、ＡＥ制御部７１は、検波部４３による撮像画像データに基づく検波値ではなく、撮像装置に別途設けられた明るさ検出器による検出結果を基に、あるいはこの検出結果と検波部４３による検波値の双方を基に、露出制御値を算出してもよい。
【００４４】
このような露出制御状態の判定は、静止画像の撮像時には、例えば、入力部１８におけるシャッタレリーズボタンが半押し状態とされた場合に実行される。また、動画像の撮像時には、少なくとも動画像データの記録中に随時（例えば一定時間ごとに）実行される。また、静止画像の撮像時であっても、露出制御状態の判定を一定時間ごとに行うようにしてもよい。
【００４５】
ＡＥ制御部７１は、露出状態を制御するために、光学ブロック１１内のアイリスの開度やシャッタの速度（露光時間）を制御するための露出機構制御信号と、ゲイン調整部４４におけるゲイン印加量を制御するためのゲイン制御信号とを出力する。ＡＥ制御部７１は、基本的には、撮影シーンが暗く、アイリスやシャッタ速度を制御してもなお十分な明るさが得られない場合に、ゲイン調整部４４に対してゲインを印加するように指示する。なお、露出機構制御信号は、ドライバ１１ａおよびＴＧ１２ａに供給される。また、ゲイン制御信号は、ゲイン調整部４４に出力されるとともに、圧縮／伸張制御部７４にも供給される。
【００４６】
ＡＦ制御部７２は、検波部４３によって検波された高周波成分に基づいて、光学ブロック１１内のフォーカスレンズを駆動するためのフォーカスレンズ制御信号を演算する。ここで、検波部４３は、例えば、入力画像データにローパスフィルタ処理を施し、処理後のデータを１フレームごと（または１フレーム内の所定領域ごと）に積分して、その積分値を高周波成分として出力する。
【００４７】
ＡＦ制御部７２は、例えば、シャッタレリーズボタンが半押しされた場合や、一定時間ごとに、フォーカス合わせの処理を実行する。フォーカス合わせは、例えば、フォーカスレンズを少しずつ移動させてその都度高周波成分を取得し、高周波成分が最も多くなるようにフォーカスレンズを移動させることが行われる。
【００４８】
合成画像生成部７３は、表示処理部４７において画像上に合成する合成画像のデータを生成する。その例として、検波部４３から１フレーム中の輝度ごとの頻度を示すヒストグラム（輝度ヒストグラム）を取得して、その輝度ヒストグラムを表す合成画像のデータを生成する。撮影者による操作入力により輝度ヒストグラムの表示が要求されると、その時点での輝度ヒストグラムの合成画像データが表示処理部４７に出力される。これにより撮影者は、ディスプレイ１６に表示された輝度ヒストグラムを視認し、撮像画像の輝度分布を認識することができる。
【００４９】
圧縮／伸張制御部７４は、ＡＥ制御部７１からのゲイン制御信号、検波部４３からの高周波成分および輝度ヒストグラムに基づいて、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２における圧縮／伸張処理のオン／オフを制御する。この制御処理手順については、次の図４において詳しく説明する。
【００５０】
図４は、圧縮／伸張制御部による制御処理手順を示すフローチャートである。
〔ステップＳ１〕圧縮／伸張制御部７４は、ＡＥ制御部７１から出力されている最新のゲイン制御信号を取得する。
【００５１】
〔ステップＳ２〕圧縮／伸張制御部７４は、取得したゲイン制御信号に基づくゲイン量と、あらかじめ設定されたゲイン量のしきい値とを比較する。ゲイン制御信号に基づくゲイン量がしきい値未満である場合には、ステップＳ３の処理を実行し、ゲイン制御信号に基づくゲイン量がしきい値以上である場合には、ステップＳ９の処理を実行する。
【００５２】
〔ステップＳ３〕圧縮／伸張制御部７４は、検波部４３によって検波された最新の高周波成分を取得する。上述したように、高周波成分の量は、例えば、入力画像データにローパスフィルタ処理を施したデータを１フレームごと（または１フレーム内の所定領域ごと）に積分した値などとして取得される。
【００５３】
〔ステップＳ４〕圧縮／伸張制御部７４は、取得した高周波成分の量と、あらかじめ設定された高周波成分のしきい値とを比較する。取得した高周波成分の量がしきい値未満である場合には、ステップＳ５の処理を実行し、取得した高周波成分の量がしきい値以上である場合には、ステップＳ９の処理を実行する。
【００５４】
〔ステップＳ５〕圧縮／伸張制御部７４は、検波部４３によって検波された最新の輝度ヒストグラムを取得する。
〔ステップＳ６〕圧縮／伸張制御部７４は、取得した輝度ヒストグラムを基に、撮像シーンのダイナミックレンジを演算する。
【００５５】
ここで、図５は、ステップＳ６でのダイナミックレンジの演算手法について説明するための図である。
図５（Ａ）および（Ｂ）では、ステップＳ５で取得される輝度ヒストグラムの例を示している。圧縮／伸張制御部７４は、輝度ヒストグラムを取得すると、その頻度（すなわち画素数）が所定のしきい値Ｐｔｈ（ただし、Ｐｔｈ＞０）以上となる最小輝度値と最大輝度値とを検出し、それらの最小輝度値と最大輝度値との差分をダイナミックレンジとする。なお、図５の例では、（Ｂ）の輝度ヒストグラムを持つ画像より、（Ａ）の輝度ヒストグラムを持つ画像の方が、より広いダイナミックレンジを持っている。
【００５６】
以下、図４に戻って説明する。
〔ステップＳ７〕圧縮／伸張制御部７４は、算出したダイナミックレンジと、あらかじめ設定されたダイナミックレンジのしきい値とを比較する。算出したダイナミックレンジがしきい値未満である場合には、ステップＳ８の処理を実行し、算出したダイナミックレンジがしきい値以上である場合には、ステップＳ９の処理を実行する。
【００５７】
〔ステップＳ８〕圧縮／伸張制御部７４は、ＲＡＷ圧縮部４１による圧縮処理機能およびＲＡＷ伸張部４２による伸張処理機能を、ともにオン状態とする。
〔ステップＳ９〕圧縮／伸張制御部７４は、ＲＡＷ圧縮部４１による圧縮処理機能およびＲＡＷ伸張部４２による伸張処理機能を、ともにオフ状態（すなわち、入力画像データをそのまま出力させる状態）とする。
【００５８】
なお、以上の図４の処理は、例えば、Ａ／Ｄ変換回路１３から１フレーム分の画像データが出力されるごとに実行される。また、例えば静止画像の撮像時には、画像記録前のモニタリング状態では、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２を常にオン状態（あるいは常にオフ状態）とし、シャッタレリーズボタンが半押しされた状態で、上記処理によりＲＡＷ圧縮部４１およびＲＡＷ伸張部４２のオン／オフの状態を制御するようにしてもよい。また、動画像の撮像時には、同様に、記録待機状態では常にオン状態（あるいは常にオフ状態）とし、記録開始から終了までの期間において、上記処理によりオン／オフの状態を制御するようにしてもよい。
【００５９】
また、例えば、画質を優先する撮像モードと速度を優先する撮像モードとで、オン状態またはオフ状態で固定する制御処理と、上記処理によるオン／オフ状態の可変制御処理とを使い分けるようにしてもよい。例えば、画質を優先する撮像モードでは常にオフ状態とし、速度を優先する撮像モードでは、上記処理によりオン／オフ状態を制御するようにしてもよい。また、高速に連写を行う撮像モード（連写モード）においてのみ、上記処理によりオン／オフ状態を制御するようにしてもよい。
【００６０】
また、例えば、撮像素子１２の出力回路などに画素加算を行う機能が設けられた場合や、撮像素子１２にその受光面の中央領域の画素信号のみを出力する機能が設けられている場合など、Ａ／Ｄ変換回路１３から出力される画像データの解像度が変化するような場合には、その解像度に応じて、オン状態またはオフ状態で固定する制御処理と、上記処理によるオン／オフ状態の可変制御処理とを使い分けるようにしてもよい。例えば、解像度が低い場合には常にオフ状態とし、解像度が一定値以上となった場合に、上記処理によるオン／オフ状態の制御を行うようにしてもよい。また、Ａ／Ｄ変換回路１３から出力される画像データのフレームレートが可変である場合にも、そのフレームレートに応じて、オン状態またはオフ状態で固定する制御処理と、上記処理によるオン／オフ状態の可変制御処理とを使い分けるようにしてもよい。
【００６１】
さらに、上記のステップＳ２，Ｓ４，Ｓ７におけるしきい値は、基本的には、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２での圧縮／伸張処理による画質変化の特性に応じて決定されるが、これらのしきい値の設定をユーザの操作に応じて変更できるようにしてもよい。また、例えば、上述したシャッタレリーズボタンの半押しの有無や、記録要求の有無、各種撮像モードの設定、Ａ／Ｄ変換回路１３から出力される画像データの解像度、フレームレートなどに応じて、上記の各しきい値の設定が自動的に変更されるようにしてもよい。例として、連写モードでは、その他の撮像モードと比較して各しきい値の値を高く設定することで、所望の連写周期内にデジタル画像処理回路１４内のフレームごとの処理を確実に実行させることが可能になる。
【００６２】
以上のような圧縮／伸張制御部７４の制御により、撮像画像データに対するゲイン量が一定値以上となる条件、撮像画像データの高周波成分の量が一定値以上となる条件、撮像画像データのダイナミックレンジが一定値以上となる条件のうち、少なくとも１つの条件を満たした場合には、ＲＡＷ圧縮部４１およびＲＡＷ伸張部４２の圧縮／伸張機能がオフ状態とされる。これにより、メモリバス１５ａを介した画像メモリ１５へのＲＡＷ画像データの書き込みおよび画像メモリ１５からのＲＡＷ画像データの読み出しに要する時間を短縮して、処理を高速化し、かつ消費電力を低減するという効果を奏しながらも、圧縮／伸張処理により発生し得る画質劣化を防止できる。
【００６３】
また、圧縮／伸張制御部７４では、ＡＥ制御部７１からのゲイン制御信号や、ＡＦ制御のために検波された高周波成分、ディスプレイ１６への表示のために検波される輝度ヒストグラムなど、従来の撮像装置の内部において利用されていた情報を用いて、圧縮／伸張機能のオン／オフが制御される。従って、圧縮／伸張機能のオン／オフ制御を行うために従来の撮像装置の内部構成を大幅に変更する必要がなくなり、撮像装置の開発・製造コストを抑制することができる。
【００６４】
次に、本実施の形態で適用されるＲＡＷ画像データの圧縮／伸張手法について説明する。本実施の形態では、以下で説明するように、固定長の符号化が可能で、かつ、画像品質を良好に保つことができ、しかも比較的簡単な処理で実現できる非可逆圧縮／伸張手法を採用する。
【００６５】
ここで、固定長の符号化を可能とすることで、画像メモリ１５に対して読み書きするＲＡＷ画像データの帯域を一定に保つことができ、メモリバス１５ａにおける伝送負荷を安定的に低減できる。また、固定長の符号化がなされることで、画像メモリ１５から検波部４３にデータを読み出す際の読み出しアドレス指定などの処理が単純化される。
【００６６】
なお、以下の例では、ＲＡＷ画像データ信号を１画素当たり１４ビット、量子化語長を７ビット固定とし、同一色成分を持つ水平方向の１６画素分を、１ブロックの符号化データに変換する。なお、例えば、１４ビットのデータは、画像メモリ１５において１６ビット分の領域を占有する。上記のように１６画素を１ブロックとすると、１ブロックに対応するＲＡＷ画像データを圧縮せずに画像メモリ１５に記録した場合、２５６ビット分の領域を占有するが、本実施の形態では、このような記録領域を１２８ビット分に圧縮でき、１／２の圧縮率を達成できることになる。
【００６７】
図６は、ＲＡＷ圧縮部の内部構成を示すブロック図である。
図６に示すように、ＲＡＷ圧縮部４１は、折れ線圧縮部１０１、ブロック化部１０２、最大／最小検出部１０３、最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、最大値アドレスラッチ部１０７、減算器１０８および１０９、量子化器１１０、量子化データバッファ１１１、およびパッキング部１１２を備えている。
【００６８】
折れ線圧縮部１０１は、入力された１４ビットのＲＡＷ画像データを、折れ線を用いた近似により１１ビットのデータに非線形で圧縮する。この折れ線圧縮部１０１は、この後の圧縮手順の前に、できるだけ階調を下げておくことで、全体的な圧縮効率を向上させることを目的として設けられている。このため、目的とする圧縮率によっては、省略されてもよい。なお、この場合には、後の図９で説明するＲＡＷ伸張部４２の出力段に設けられる逆折れ線変換部についても、省略する必要がある。
【００６９】
ここで、図７は、折れ線圧縮部で用いられる折れ線の例を示す図である。
図７では、４つの点で分割された５通りの傾きを持つ直線により、入力データの階調を変換する例を示している。この例では、人間の視覚特性に合わせて、入力データが小さいほど、すなわち暗いほど（または色がうすいほど）、高い階調を割り当てるようにしている。このような折れ線は、例えば色成分ごとに用意し、入力画素の色成分ごとに切り替えて利用してもよい。
【００７０】
折れ線圧縮部１０１では、例えば、このような折れ線を用いて、入力データの階調を変換した後、変換後のデータを８で除算（すなわち３ビット分下位にシフト）して、１１ビットデータに圧縮する。このとき、捨てられる下位ビットは、例えば四捨五入する。あるいは、折れ線圧縮部１０１では、以上のような演算に基づく、入力データと圧縮後の出力データとを対応付けて記憶したＲＯＭテーブルを用意し、このＲＯＭテーブルに従って入出力データの変換が行われてもよい。
【００７１】
以下、図６に戻って説明する。
ブロック化部１０２は、折れ線圧縮部１０１から出力されたデータを、水平方向に隣接する１６画素分の同色成分画素からなるブロックに分離し、分離したブロックごとに出力する。これにより、ブロック内のデータの相関が強くなり、この後の量子化処理による画質劣化を抑制することができる。
【００７２】
例えば、ベイヤ配列の撮像素子１２が用いられた場合、出力データには、Ｒ成分とＧｒ成分の繰り返しと、Ｂ成分とＧｂ成分の繰り返しとが、１ラインごとに出現する。例として、ブロック化部１０２への入力データに、Ｒ０，Ｇｒ０，Ｒ１，Ｇｒ１，……，Ｒ１５，Ｇｒ１５のように、Ｒ成分とＧｒ成分が繰り返し現れる場合には、Ｒ０，Ｒ１，Ｒ２，……，Ｒ１５，Ｇｒ０，Ｇｒ１，……，Ｇｒ１５のように、同色成分の画素が１６個連続して現れるように、出力順序を変換して、ブロック化する。
【００７３】
最大／最小検出部１０３は、１ブロック内における最大値および最小値を検出する。具体的には、１ブロック内における最大値および最小値と、最大値および最小値をとった画素が１ブロックの先頭からそれぞれ何番目かを示すアドレス（以下、最大値アドレスおよび最小値アドレスと呼ぶ）を検出する。最大値アドレスおよび最小値アドレスは、それぞれ０〜１５のアドレス値として検出される。
【００７４】
ただし、同一の値を持つ画素がブロック内に複数存在し、かつその値が最大値または最小値であった場合を考慮して、最大値および最小値の判定には、以下のような判定ルールを設けることで、圧縮・伸張処理上の混乱を避けるようにする。まず、最大値の判定にあたっては、初期化動作として、０番目の画素の値をテンポラリな最大値（テンポラリ最大値）として取り込む。次に、１〜１５番目の画素については、テンポラリ最大値以上の値であれば、その画素の値でテンポラリ最大値を更新する。これにより、１５番目の画素の判定後のテンポラリ最大値が、ブロック内の最大値と判定される。
【００７５】
また、最小値の判定にあたっては、同様に、初期化動作として、０番目の画素の値をテンポラリな最小値（テンポラリ最小値）として取り込む。次に、１〜１５番目の画素については、テンポラリ最大値未満の値であれば、その画素の値でテンポラリ最小値を更新する。これにより、１５番目の画素の判定後のテンポラリ最小値が、ブロック内の最小値と判定される。
【００７６】
例えば、１６画素のうち、先頭の２画素（０番目，１番目）が、同一の最大値をとる場合には、最大値アドレスは“１”となる。また、１６画素がすべて同じ値の場合には、最小値アドレスは“０”、最大値アドレスは“１５”となる。
【００７７】
なお、最大／最小検出部１０３は、検出した最小値および最大値を、それぞれ最小値ラッチ部１０４および最大値ラッチ部１０５に出力し、最小値アドレスおよび最大値アドレスを、それぞれ最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７に出力する。また、入力された１ブロック分のデータを、そのブロックの最大および最小判定の終了後に、減算器１０８に順次出力する。
【００７８】
最小値ラッチ部１０４および最大値ラッチ部１０５は、最大／最小検出部１０３からの最小値および最大値を、それぞれラッチする。また、最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７は、最大／最小検出部１０３からの最小値アドレスおよび最大値アドレスを、それぞれラッチする。これらの最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、および最大値アドレスラッチ部１０７は、入力データに対応するブロックがパッキング部１１２において符号化されるまでの間、その入力データをラッチする。
【００７９】
減算器１０８は、最大／最小検出部１０３から出力される画素のデータから、最小値ラッチ部１０４が出力する対応するブロックの最小値を減算する。この減算は、１ブロック内の画素に共通するＤＣオフセット分を、各画素のデータから差し引くことと等価である。
【００８０】
減算器１０９は、最大値ラッチ部１０５が出力する最大値から、最小値ラッチ部１０４が出力する対応するブロックの最小値を減算する。この減算結果は、量子化時におけるダイナミックレンジ（ＤＲ）を示す。
【００８１】
量子化器１１０は、減算器１０８の出力データを、減算器１０９から出力されるダイナミックレンジの大きさに従って量子化する。本実施の形態では、例として、７ビットの固定長で量子化する。
【００８２】
この量子化器１１０としては、例えば、整数型の除算器を利用して、減算器１０８の出力データをダイナミックレンジで除算する構成を適用できる。また、量子化ステップを２のべき乗に限定した場合には、以下のように動作するビットシフタを適用でき、これにより回路規模を削減することができる。なお、圧縮処理側でこのようなビットシフタを利用すると、伸張処理側の逆量子化においても同様に回路規模を削減できる。
【００８３】
減算器１０８からの１１ビットの入力データを７ビットデータに量子化する場合、例えば以下のようなシフト動作を行えばよい。
［０≦ＤＲ≦１２７のとき］入力データをそのまま出力する。
【００８４】
［１２８≦ＤＲ≦２５５のとき］入力データを１ビット分下位にシフトする。
［２５６≦ＤＲ≦５１１のとき］入力データを２ビット分下位にシフトする。
［５１２≦ＤＲ≦１０２３のとき］入力データを３ビット分下位にシフトする。
【００８５】
［１０２４≦ＤＲ≦２０４７のとき］入力データを４ビット分下位にシフトする。
量子化データバッファ１１１は、量子化器１１０から出力される１６画素分の量子化データを一時的に保持する。
【００８６】
パッキング部１１２は、量子化データバッファ１１１、最小値ラッチ部１０４、最大値ラッチ部１０５、最小値アドレスラッチ部１０６、および最大値アドレスラッチ部１０７からの出力データを利用して、１ブロック当たり１２８ビットの圧縮データにパッキングする。このパッキング部１１２は、量子化データバッファ１１１から各画素に対応する量子化データを読み出す際に、最小値アドレスラッチ部１０６および最大値アドレスラッチ部１０７の出力データに基づいて、最大値および最小値に対応する量子化データを破棄し、次の図８に示すように、ブロック内の残りの１４画素分の量子化データのみパッキングする。
【００８７】
図８は、パッキングにより生成される１ブロック分の圧縮データの構成を示す図である。
この図８に示すように、圧縮データは、ブロック内の最大値および最小値（ともに１１ビット）と、それらの値に対応する最大値アドレスおよび最小値アドレス（ともに４ビット）と、最大値および最小値をとる画素を除く１４画素分の量子化データ（９８ビット）とから構成される。
【００８８】
ここで、ブロック内の最大値および最小値がパッキングされているので、これらに対応する量子化データを省略し、代わりに、これらの画素の位置を示す最大値アドレスおよび最小値アドレスをパッキングしておくことで、伸張時に元のデータを復元可能にしている。量子化データが７ビットなのに対して、アドレスは１６番地分のため４ビットであるので、これらの差分から、１ブロック当たり、最大値および最小値をあわせて６ビットの削減効果が得られる。以上より、２５６ビット分のメモリ領域を占める１６画素分のＲＡＷ画像データを、１／２に圧縮した１２８ビットのデータが得られる。
【００８９】
次に、図９は、ＲＡＷ伸張部の内部構成を示すブロック図である。
図９に示すように、ＲＡＷ伸張部４２は、データラッチ部２０１、セレクタ２０２、減算器２０３、逆量子化器２０４、加算器２０５、アドレスカウンタ２０６、アドレス比較部２０７、セレクタ２０８、逆折れ線変換部２０９、および点順次処理部２１０を備えている。
【００９０】
データラッチ部２０１は、画像メモリ１５から読み出された１２８ビットの圧縮データをラッチする。なお、このデータラッチ部２０１は、入力データに対応するブロックがセレクタ２０８においてすべて処理されるまでの間、その入力データをラッチする。
【００９１】
セレクタ２０２は、データラッチ部２０１でラッチされたデータのうち、量子化データ（９８ビット）を受け取り、そのデータから１画素分に相当する７ビット分のデータをシーケンシャルに選択して、逆量子化器２０４に供給する。
【００９２】
減算器２０３は、データラッチ部２０１でラッチされたデータのうち、最大値（１１ビット）および最小値（１１ビット）を受け取り、最大値から最小値を減算して、ダイナミックレンジを出力する。
【００９３】
逆量子化器２０４は、セレクタ２０２からの画素ごとの量子化データを、ダイナミックレンジの大きさに従って逆量子化する。本実施の形態では、７ビットの固定長符号を逆量子化して、１１ビットのデータを出力する。
【００９４】
この逆量子化器２０４としては、例えば、整数型の乗算器を利用して、量子化データとダイナミックレンジを乗算する構成を適用できる。また、上記の量子化器１１０の説明で述べた通り、量子化ステップを２のべき乗に限定して量子化した場合には、ビットシフタで構成することができ、これにより回路規模を削減することができる。このビットシフタは、例えば以下のように動作する。
【００９５】
［０≦ＤＲ≦１２７のとき］入力データ（量子化データ）をそのまま出力する。
［１２８≦ＤＲ≦２５５のとき］入力データを１ビット分上位にシフトする。
［２５６≦ＤＲ≦５１１のとき］入力データを２ビット分上位にシフトする。
【００９６】
［５１２≦ＤＲ≦１０２３のとき］入力データを３ビット分上位にシフトする。
［１０２４≦ＤＲ≦２０４７のとき］入力データを４ビット分上位にシフトする。
加算器２０５は、逆量子化器２０４の出力データと、データラッチ部２０１でラッチされた最小値とを加算する。これにより、逆量子化されたデータに、ブロック内の共通のＤＣオフセット値が加算される。
【００９７】
アドレスカウンタ２０６は、画素の出力タイミングにあわせてカウントアップ動作を行い、ブロック内の画素順に対応したカウント値（０〜１５）を生成する。
アドレス比較部２０７は、データラッチ部２０１でラッチされたデータのうち、最大値アドレスおよび最小値アドレスを受け取り、アドレスカウンタ２０６からのカウント値と比較し、各アドレスの値と一致した場合に、セレクタ２０８に対して選択信号を出力する。
【００９８】
セレクタ２０８は、加算器２０５からのデータ、データラッチ部２０１からの最大値および最小値を選択して出力する。具体的には、アドレス比較部２０７から、最大値アドレスに対応する選択信号を受信したときは、データラッチ部２０１からの最大値を選択出力し、最小値アドレスに対応する選択信号を受信したときは、データラッチ部２０１からの最小値を選択出力し、それ以外では、加算器２０５からのデータを選択出力する。これにより、１１ビットに圧縮されている同色画素のデータが、画素順に伸張される。
【００９９】
逆折れ線変換部２０９は、セレクタ２０８からのデータを、ＲＡＷ圧縮部４１の折れ線圧縮部１０１と逆の特性により、１１ビットから１４ビットのデータに伸張する。
ここで、図１０は、逆折れ線変換部で用いられる折れ線の例を示す図である。
【０１００】
この図１０の折れ線は、図７で示した折れ線圧縮部１０１における折れ線と、逆の特性により階調を変換するようになっている。逆折れ線変換部２０９は、まず、入力データに８を乗算（すなわち３ビット分上位にシフト）して１４ビット化した後、図１０の折れ線を用いて階調変換し、１４ビットの画素のデータを伸張する。なお、入力データと伸張後の出力データとを対応付けて記憶したＲＯＭテーブルを用意し、このＲＯＭテーブルに従って入出力データの変換が行われてもよい。
【０１０１】
なお、圧縮時に、折れ線圧縮部１０１による圧縮が適用されなかった場合には、伸張時には、この逆折れ線変換部２０９でのデータ変換もバイパスされる。
以下、図９に戻って説明する。
【０１０２】
点順次処理部２１０は、ＲＡＷ圧縮部４１のブロック化部１０２で実行されたブロック化と逆のプロセスで、伸張されたデータを元のＲＡＷ画像データの画素順に変換して出力する。例えば、Ｒ０，Ｒ１，Ｒ２，……，Ｒ１５，Ｇｒ０，Ｇｒ１，……，Ｇｒ１５のように、同色成分の画素が１６個連続するようにブロック化されて圧縮されていた場合には、このようなデータを、Ｒ０，Ｇｒ０，Ｒ１，Ｇｒ１，……，Ｒ１５，Ｇｒ１５のように、Ｒ成分とＧｒ成分が繰り返し現れるように並び替える。このような並び替えを行うために、点順次処理部２１０は、伸張された２ブロック分のデータを保持するためのバッファメモリを備え、２ブロック分のデータがバッファメモリに蓄積された時点で、各色成分のデータを交互に出力する。
【０１０３】
以上の構成のＲＡＷ圧縮部４１およびＲＡＷ伸張部４２によれば、圧縮時の１画素当たりの量子化語長を固定長とすることで、固定長の符号化を行って圧縮することができる。従って、メモリバス１５ａを通じて画像メモリ１５に読み書きされるデータの帯域を、一定のレベルに低減することができ、画像メモリ１５に対するアドレス管理を簡易にすることもできる。
【０１０４】
また、圧縮する１ブロックの画素数と量子化語長との組み合わせで圧縮率が決まるので、必要とする画質（すなわち、許容できる圧縮ひずみの量）や、伝送されるバスでの伝送帯域の割り当て、画像メモリ１５の読み書きの性能などにあわせて、柔軟に対応することができる。例えば、上記の実施の形態のように、１６画素分のＲＡＷ画像データを、量子化語長７ビットで量子化することで、圧縮率を１／２としながらも、通常の自然画であれば、圧縮／伸張後に輝度／色差信号に変換した時点でのＰＳＮＲ（Peak Signal to Noise Ratio）を、５０ｄＢ程度に維持できる。この信号のＰＳＮＲが５０ｄＢ〜４０ｄＢ程度であれば、圧縮歪みが肉眼では検知できない程度に抑えられるので、上記構成により画質劣化をほぼなくすことができる。
【０１０５】
また、基本的に一次元処理により圧縮／伸張処理が実行されるので、例えば、上下ラインの画素のデータを参照するためのラインメモリが不要になり、処理も比較的簡単になる。このため、圧縮／伸張のための回路規模や、製造コストを抑制でき、処理の高速化、および処理時間の短縮の効果を高められる。すなわち、画像メモリ１５におけるＲＡＷ画像データの読み書き時間の短縮効果や、メモリバス１５ａの伝送負荷軽減効果を、確実に向上させることができる。
【０１０６】
従って、撮像時の動作が高速で、高画質の画像を記録／表示でき、かつ、小型で製造コストの比較的低い撮像装置を実現できる。そして、上述した圧縮／伸張制御部７４の制御によりＲＡＷ圧縮部４１およびＲＡＷ伸張部４２の圧縮／伸張機能が適応的にオン／オフされることで、圧縮／伸張処理による画質劣化を最小限に留めることができる。
【０１０７】
すなわち、上記の圧縮／伸張手法では、非可逆圧縮を行っているために、画像データに対するゲイン印加量が大きくなるほど、圧縮／伸張により生じる画質劣化が目立ってくる可能性があるが、圧縮／伸張制御部７４により、ゲイン印加量が一定値以上の場合には圧縮／伸張機能をオフ状態とすることで、このような画質劣化を防止できる。また、上記の圧縮／伸張手法では、一定の画素数単位で固定長のパッキングを行っており、さらにダイナミックレンジに応じて圧縮率が可変されるので、高周波成分の多い画像やダイナミックレンジの広い画像では、圧縮／伸張による画質劣化が大きくなる可能性が高い。しかし、圧縮／伸張制御部７４により、高周波成分の量やダイナミックレンジがそれぞれ一定の値以上の場合には圧縮／伸張機能をオフ状態とすることで、このような画質劣化を防止できる。
【０１０８】
なお、上述した圧縮手法において、量子化ステップを２のべき乗とした場合には、量子化器はビットシフタにより構成できる。この場合、シフト量が、ブロック内のダイナミックレンジを示唆することになる。ここで、ブロック内の最大値を量子化した場合は、その全ビットが１となるのは自明であるため、伸張側では、最大値の絶対量の代わりに、シフト量から、最大値の量子化データを求め、伸張できる。
【０１０９】
従って、圧縮データ中に、最大値（１１ビット）の代わりに量子化器でのシフト量（上記動作例では少なくとも３ビット）を格納することで、圧縮データに格納すべきデータのビット数を減らすことができる。このため、圧縮率をさらに高める、あるいは量子化語長を高めて画質を向上させることが可能となる。
【０１１０】
また、上記の説明では、ＲＡＷ画像データをラインごとにブロック化して圧縮する例を示したが、上記の圧縮／伸張手法を応用して、複数ラインに亘る矩形領域ごとにブロック化することも可能である。例えば、ＣＭＯＳセンサのように全画素読み出し（プログレッシブ読み出し）が可能な撮像素子を用いた場合には、シーケンシャルに画素のデータが読み出されるため、垂直方向に対する画素のデータの相関が強くなる。従って、矩形領域内の画素をブロック化しても、画質を劣化させることなく圧縮を行うことができる。さらに、ブロック化する矩形領域を、検波部４３で適用される検波枠と同じにすることもできる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】デジタル画像処理回路の内部構成を示すブロック図である。
【図３】ＲＡＷ圧縮部およびＲＡＷ伸張部の動作を制御するためにマイクロコンピュータが備える機能を示すブロック図である。
【図４】圧縮／伸張制御部による制御処理手順を示すフローチャートである。
【図５】ダイナミックレンジの演算手法について説明するための図である。
【図６】ＲＡＷ圧縮部の内部構成を示すブロック図である。
【図７】折れ線圧縮部で用いられる折れ線の例を示す図である。
【図８】パッキングにより生成される１ブロック分の圧縮データの構成を示す図である。
【図９】ＲＡＷ伸張部の内部構成を示すブロック図である。
【図１０】逆折れ線変換部で用いられる折れ線の例を示す図である。
【符号の説明】
【０１１２】
１１……光学ブロック、１１ａ……ドライバ、１２……撮像素子、１２ａ……タイミングジェネレータ、１３……Ａ／Ｄ変換回路、１４……デジタル画像処理回路、１５……画像メモリ、１５ａ……メモリバス、１６……ディスプレイ、１７……マイクロコンピュータ、１８……入力部、１９……メモリカードＩ／Ｆ、１９ａ……メモリカード、２０……フラッシュメモリ、２１……内蔵メモリ、４１……ＲＡＷ圧縮部、４２……ＲＡＷ伸張部、４３……検波部、４４……ゲイン調整部、４５……ＷＢ調整／ＹＣ変換部、４６……解像度変換／圧縮伸張部、４７……表示処理部、７１……ＡＥ制御部、７２……ＡＦ制御部、７３……合成画像生成部、７４……圧縮／伸張制御部
【図１】
2008113070.tif 000003
【図２】
2008113070.tif 000004
【図３】
2008113070.tif 000005
【図４】
2008113070.tif 000006
【図５】
2008113070.tif 000007
【図６】
2008113070.tif 000008
【図７】
2008113070.tif 000009
【図８】
2008113070.tif 000010
【図９】
2008113070.tif 000011
【図１０】
2008113070.tif 000012