(57)【要約】【課題】撮像画像を補間合成せずに画像圧縮すると、輝度に関する人間の視覚特性を積極的に利用した画像圧縮技術を用いることができない。【解決手段】画像圧縮装置は、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成する斜方格子リサンプリング部２と、斜方格子画素に画像処理を施して、斜方格子画像信号を生成する斜方格子画像処理部３と、斜方格子画像信号に対して、少なくとも輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成する斜方格子画像データ圧縮部４とを備える。【選択図】図１
2009260633.tif 000002
【特許請求の範囲】
【請求項１】
撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成する斜方格子リサンプリング手段と、
前記斜方格子画素に画像処理を施して、斜方格子画像信号を生成する斜方格子画像処理手段と、
前記斜方格子画像信号に対して、少なくとも前記輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成する斜方格子画像データ圧縮手段と、
を備えることを特徴とする画像圧縮装置。
【請求項２】
前記斜方格子リサンプリング手段は、前記撮像信号を、前記撮像信号を生成する撮像手段の撮像素子の素子数の略半数の前記格子点にリサンプリングして、前記斜方格子画素を生成することを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記斜方格子画像データ圧縮手段で生成された前記斜方格子画像圧縮データを解読して、斜方格子画像データを生成する斜方格子画像データ解読手段と、
前記斜方格子画像データを正方格子の格子点にリサンプリングして、正方格子画素を生成する正方格子リサンプリング手段と、
前記正方格子画素に画像処理を施して、正方格子画像を生成する正方格子画像処理手段と、
をさらに備えることを特徴とする請求項１または請求項２に記載の画像圧縮装置。
【請求項４】
前記正方格子画素の画素数は、前記撮像信号を生成する撮像手段の撮像素子の素子数と略等しいことを特徴とする請求項３に記載の画像圧縮装置。
【請求項５】
前記斜方格子リサンプリング手段は、前記撮像信号に基づいて前記斜方格子の格子点ごとに前記斜方格子画素の輝度信号および色信号を生成するものであって、
前記斜方格子画像処理手段は、前記輝度信号の輝度階調性調整を行い、
前記正方格子画像処理手段は、前記正方格子画像データの輝度周波数に対する変調度特性の補正、および／または、前記正方格子画像データの輪郭特性の補正を行うことを特徴とする請求項３または請求項４に記載の画像圧縮装置。
【請求項６】
前記斜方格子画像データ圧縮手段は、前記斜方格子画像圧縮データの基準値０を定義する量子化テーブルを備え、
前記正方格子画像処理手段は、前記正方格子画像のノイズ情報を前記量子化テーブルに帰還させ、
前記斜方格子画像データ圧縮手段は、前記ノイズ情報に基づいて、前記量子化テーブルの基準値０の定義を変更することを特徴とする請求項５に記載の画像圧縮装置。
【請求項７】
前記斜方格子画像データ圧縮手段は、前記斜方格子画像信号を、水平補助線上のＨ画素（ただし、Ｈは自然数）×垂直補助線上のＶ画素（ただし、Ｖは自然数）で構成された２×Ｈ×Ｖ画素からなる単位ブロック画像にそれぞれ画像分解した後、前記単位ブロック画像内でそれぞれ独立して前記斜方格子画像圧縮データを生成することを特徴とする請求項１から請求項６のいずれか一項に記載の画像圧縮装置。
【請求項８】
前記斜方格子画像データ圧縮手段は、前記斜方格子画像信号を整数変換または固定小数点変換した後、加減算およびビットシフトにより構成される高速演算回路を用いて、前記斜方格子画像圧縮データを生成することを特徴とする請求項１から請求項７のいずれか一項に記載の画像圧縮装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の画像圧縮装置と、
光学像を撮像素子ごとに光電変換して前記撮像信号を生成する撮像手段と、
前記斜方格子画像圧縮データを記録する斜方格子画像記録手段と、
を備えることを特徴とする撮像記録装置。
【請求項１０】
前記撮像手段は、正方格子からなるベイヤ配列にて構成される緑色フィルタ、赤色フィルタ、青色フィルタを備えており、
前記緑色フィルタが配置される前記撮像素子の位置を前記斜方格子の格子点とすることを特徴とする請求項９に記載の撮像記録装置。
【請求項１１】
前記斜方格子リサンプリング手段は、前記赤色フィルタおよび前記青色フィルタが配置された前記撮像素子による前記撮像信号を前記斜方格子の格子点にリサンプリングするとともに、前記斜方格子の格子点ごとに、前記斜方格子画素の輝度信号および色信号を生成することを特徴とする請求項１０に記載の撮像記録装置。
【請求項１２】
撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成するステップと、
前記斜方格子画素に画像処理を施して、斜方格子画像信号を生成するステップと、
前記斜方格子画像信号に対して、少なくとも前記輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成するステップと、
をコンピュータに実行させることを特徴とする画像圧縮プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像圧縮装置および画像圧縮プログラムに関し、より詳細には、撮像画像を斜方格子の格子点にリサンプリングして圧縮する処理に関するものであり、また、そのような画像圧縮装置を備えた撮像記録装置に関する。
【背景技術】
【０００２】
撮像画像を圧縮記録するとともに再生可能な装置が知られている（特許文献１参照）。特許文献１に記載の撮像圧縮記録再生装置では、複数の撮像素子のうち少なくとも１枚が他の撮像素子に対応する位置から位相がずれた位置に配置された撮像部と、撮像部からの画像を圧縮する圧縮記録部と、圧縮記録部からの圧縮画像データを記録媒体に記録および、記録媒体から圧縮画像データを読み出す画像記録再生部と、画像記録再生部からの圧縮画像データを伸張する画像伸張手段と、画像伸張手段からの画像に対して補間および合成処理を行って、高解像度化する補間合成手段とを有する。
【０００３】
近年において、イメージセンサ（撮像手段）の多画素化、または、３板方式による画素ずらし手法によって、このイメージセンサから出力される撮像信号、および／または、この撮像信号に画像処理を施して得られる画像信号のデータレートが増大してきている。
【０００４】
また、これらの撮像信号、および／または、画像信号のデータレートの増大と共に、記録部もこれに合わせるようにデータレートの増大がなされるべきであるが、映像規格、または、技術的な背景、コスト的な背景を理由にして、記録部のデータレートの増大が充分になされていない現状においては、圧縮部で所望のデータレートに圧縮する必要が生じる。
【０００５】
しかしながら、圧縮部によるデータレート圧縮（非可逆圧縮）は、少なからず画質劣化を招くことになり、前述した多画素化による画像の高解像度化、輝度周波数変調度の特性改善に至ったとしても、このデータレート圧縮による画質劣化があるならば、画質の高解像度化と、圧縮による様々な画質劣化とのトレードオフになってしまうので、トータル的な画質の向上には至らない。
【０００６】
そこで、特許文献１に記載されている技術では、画素ずらしを応用した撮像部において、撮像素子から出力される画像を補間合成せずに圧縮記録部に送って圧縮し、記録媒体に記録する。記録された圧縮画像データを再生するときには、再生部において圧縮画像データを伸張した後に画素補間合成を行っている。すなわち、画素ずらしによって得られた撮像画像を補間合成せずに圧縮記録することにより、撮像画像をアップコンバートしてデータレートを増大させてしまうことがない。
【０００７】
このように、特許文献１に記載された撮像圧縮記録再生装置によれば、圧縮記録部への入力データレートが低下し、所望のデータレートに圧縮する際の圧縮率を低減することができる。
【０００８】
ここで、一般的な画像圧縮技術に関する要素は、主に、下記（１）〜（４）に示す通りである。
（１）隣接画素に変化が無い場合の平面位相上の画像圧縮
（２）フレーム間で変化が無い場合の時間軸上の画像圧縮
（３）統計的に頻繁に繰り返されるデータパターンをコンパクトに表現することによるデータ量の画像圧縮
（４）人間の視覚特性を利用した画像圧縮
【特許文献１】特開２００７−６７８２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の撮像圧縮記録再生装置のように、画素ずらしによって得られた撮像画像を補間合成せずに画像圧縮するとなると、前述した画像圧縮（１）〜（４）のうち、（１）〜（３）については、ある程度の圧縮効率の改善効果が狙えるものの、（４）については、あまり圧縮効率の改善が期待できるものではない。
【００１０】
何故ならば、画素ずらしによって得られた撮像画像を補間合成せずに画像圧縮するということは、即ち、輝度信号成分を生成する前に画像圧縮するということになるので、この輝度に関する特有の画像圧縮が積極的に実施できないからである。例えば、輝度信号成分を生成する前に画像圧縮をするとなると、輝度高周波成分のコントラスト分解能を劣化させて得る画像圧縮については実施することができないのである。
【００１１】
さらに、輝度信号成分を生成する前に画像圧縮するとなれば、この輝度に関する特有の画像処理にも様々な制限が加わることとなる。例えば、輝度に関する特有の画像処理には、高輝度領域のＫＮＥＥ処理に関する色再現性の処理、輝度の高周波成分に発生する色偽成分の彩度落とし処理等があるが、これらの画像処理を再生部に後回しにするとなると、その後回しにする分に関しては積極的な画像圧縮を施すことができないのである。あるいは、仮に積極的に画像圧縮を施すのであるならば、画像圧縮による演算精度の劣化（演算ビット数の減少）から、輝度に関して付随する様々な色信号、および／または、色差信号に対して、顕著な画質劣化が懸念されて然るべきである。
【００１２】
このように、特許文献１による撮像圧縮記録再生装置は、再生部において画素補間合成を行うことで、撮像画像の圧縮記録部への入力データレートを増大させることを防ぐことができるものの、輝度に関する人間の視覚特性を積極的に利用した画像圧縮技術を用いることができないという問題点がある。
【００１３】
従って、本発明は、上述した問題点に鑑みてなされたものであって、撮像画像を画像圧縮する際の入力データレートを低下させて画像圧縮率を低減させるとともに、輝度に関する人間の視覚特性を積極的に利用した画像圧縮技術を併用して用いることで、より圧縮効率の高い画像圧縮技術を用いた画像圧縮装置、および、そのような画像圧縮装置を備えた撮像記録装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による画像圧縮装置は、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成する斜方格子リサンプリング手段と、前記斜方格子画素に画像処理を施して、斜方格子画像信号を生成する斜方格子画像処理手段と、前記斜方格子画像信号に対して、少なくとも前記輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成する斜方格子画像データ圧縮手段とを備えることを特徴とする。
【００１５】
また、本発明による撮像記録装置は、上述した画像圧縮装置と、光学像を撮像素子ごとに光電変換して撮像信号を生成する撮像手段と、前記斜方格子画像圧縮データを記録する斜方格子画像記録手段とを備えることを特徴とする。
【００１６】
さらに、本発明による画像圧縮プログラムは、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成するステップと、前記斜方格子画素に画像処理を施して、斜方格子画像信号を生成するステップと、前記斜方格子画像信号に対して、少なくとも前記輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成するステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明による画像圧縮装置、撮像記録装置、および、画像圧縮プログラムによれば、撮像画像を圧縮する際の入力データレートを低下させるとともに、輝度に関する人間の視覚特性を積極的に利用した画像圧縮を用いることで、圧縮効率を高めることができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施の形態について説明する。
【００１９】
−第１の実施の形態−
図１は、本発明の第１の実施の形態による撮像記録装置の構成を示すブロック図である。第１の実施の形態における撮像記録装置は、イメージセンサ（撮像手段）１と、斜方格子リサンプリング演算部（斜方格子リサンプリング手段）２と、斜方格子画像処理部（斜方格子画像処理手段）３と、斜方格子画像データ圧縮部（斜方格子画像データ圧縮手段）４と、斜方格子画像記録部（斜方格子画像記録手段）５とを備えている。このうち、斜方格子リサンプリング演算部２、斜方格子画像処理部３、および、斜方格子画像データ圧縮部４により、画像圧縮装置が構成される。
【００２０】
イメージセンサ１は、光学像を撮像素子ごとに光電変換して撮像信号を生成する。斜方格子リサンプリング演算部２は、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号と色信号とを有する斜方格子画素を生成する。
【００２１】
斜方格子画像処理部３は、斜方格子画素に画像処理を施して、斜方格子画像信号を生成する。ここで、撮像素子の素子数よりも格子点のリサンプリング数の方が少なければ、この斜方格子画像処理部３の実質的な入出力データレートを抑制させることができる。
【００２２】
斜方格子画像データ圧縮部４は、斜方格子画像信号に対して画像圧縮を施して、斜方格子画像圧縮データを生成するものであって、この画像圧縮の走査方向には、斜方格子の格子子が多く含まれている。また、斜方格子画像データ圧縮部４は、輝度に関する人間の視覚特性を積極的に利用するものであって、斜方格子画像信号の輝度高周波成分のコントラスト分解能を下げる画像圧縮技術を、他の圧縮技術と併用して用いる。斜方格子画像記録部５は、斜方格子画像圧縮データを記録する。
【００２３】
このように、本発明の第１の実施の形態における撮像記録装置では、イメージセンサ１から出力される撮像信号を斜方格子の格子点にリサンプリングした後、斜方格子画素に対する画像処理、および、斜方格子走査を多く含んだ画像圧縮を施して、記録される。
【００２４】
図２（ａ）は、イメージセンサ１の一般的なベイヤ配列を部分的に示す図である。図２（ａ）において、このベイヤ配列は、正方格子からなるベイヤ配列であって、緑色フィルタ（Ｇ）、赤色フィルタ（Ｒ）、青色フィルタ（Ｂ）を備えている。
【００２５】
なお、図２（ａ）では、具体的な一例として、正方格子からなるベイヤ配列を示しているが、本発明の第１の実施の形態における撮像記録装置が備えるイメージセンサ１においては、正方格子、および／または、ベイヤ配列に限られるものではなく、斜方格子、および／または、ベイヤ配列以外の配列で構成されるイメージセンサを用いてもよい。
【００２６】
図２（ｂ）は、本発明の第１の実施形態における斜方格子の格子点を、図２（ａ）で示したベイヤ配列の緑色フィルタの配列と同配列にした場合の一例を示す図である。
【００２７】
図２（ｂ）において、丸印で示される斜方格子の格子点の位置は、緑色フィルタ（Ｇ）が配置される撮像素子の位置であり、赤色フィルタ（Ｒ）、および、青色フィルタ（Ｂ）が配置される撮像素子の位置は、破線Ｌ１で示される水平補助線、および、破線Ｌ２で示される垂直補助線の交点にあって、かつ、斜方格子の格子点ではない位置である。この斜方格子の格子点は、斜方格子リサンプリング演算部２と、斜方格子画像処理部３と、斜方格子画像データ圧縮部４とで各々用いられる斜方格子の格子点配列の一例として示されている。
【００２８】
図３（ａ）は、図２（ｂ）で示された斜方格子の格子点に対して、各色撮像信号をリサンプリングする場合の一例を示す図である。斜方格子の格子点へのリサンプリングは、斜方格子リサンプリング演算部２によって行われる。
【００２９】
図３（ａ）において、この斜方格子の格子点へのリサンプリング演算は、赤色フィルタ（Ｒ）と、青色フィルタ（Ｂ）とが配置された撮像素子（例えば、フォトダイオード等による複数の光電変換素子）によって得られた撮像信号を緑色フィルタ（Ｇ）が配置された格子点配列への平面位相変換（位置合わせ）を施したものである。
【００３０】
図３（ａ）では、この平面位相変換後の様子が（Ｇ、Ｒ’、Ｂ’）として示されている。この（Ｒ’、Ｂ’）は、それぞれ画素補間された画素であることを示している。この平面位相変換の具体定な手法としては、例えば、バイキュービック画素補間等の既知の手法を用いることができる。
【００３１】
図３（ｂ）は、図２（ｂ）に示す斜方格子の格子点に対して、輝度信号Ｙと、色信号Ｃとがそれぞれ生成される場合の一例を示す図である。図３（ｂ）に示すように、斜方格子リサンプリング演算部２は、図３（ａ）に示したような各色撮像信号の平面位相変換（Ｇ、Ｒ’、Ｂ’）を実施した後、この（Ｇ、Ｒ’、Ｂ’）に基づいて、輝度信号Ｙ、色信号Ｃのマトリクス演算を行って、（Ｙ，Ｃ）で表現される斜方格子画素を生成する。なお、この色信号Ｃは、色差信号（Ｃｒ、Ｃｂ）と置き換えても良い。
【００３２】
斜方格子リサンプリング演算部２は、各色撮像信号を平面位相変換する演算器と、各色撮像信号から輝度信号Ｙおよび色信号Ｃをそれぞれ生成する演算器（例えば、輝度マトリクス演算器、および、クロママトリクス演算器）とを一体の複合演算器として備える構成とすることも可能である。仮に、平面位相変換と、輝度信号Ｙおよび色信号Ｃとを同時に演算する一体の複合演算器を備える構成とした場合には、本発明の撮像記録装置全体において、コストダウン、並びに、ダウンサイジングに貢献することも可能となる。
【００３３】
なお、本発明の撮像記録装置は、各色撮像信号を平面位相変換する演算器と、各色撮像信号から輝度信号Ｙおよび色信号Ｃをそれぞれ生成する演算器とを一体の演算器とする構成に限定されるものではない。
【００３４】
また、斜方格子画像処理部３および斜方格子画像データ圧縮部４は、輝度信号Ｙに基づいて、それぞれ処理を行うので、輝度に関する人間の視覚特性を積極的に利用した画像圧縮技術を併用して用いる際には、各色撮像信号から輝度信号Ｙを生成する演算は必須となる演算である。
【００３５】
ここで、図３（ｂ）に示す水平補助線（破線Ｌ１）および垂直補助線（破線Ｌ２）について着目すれば、図２（ｂ）で示す水平補助線（破線１）および垂直補助線（破線Ｌ２）と比較して、それぞれ本数の増減が無いことが分かる。
【００３６】
水平補助線（破線Ｌ１）と垂直補助線（破線Ｌ２）との増減が無いということは、第１の実施の形態における斜方格子リサンプリング演算部２は、同一の被写体による撮像画像（撮像信号）において、この撮像画像の水平解像度および垂直解像度を実質的に劣化させることなく、斜方格子画像処理部３で用いる画素数（データ量）を略半減させて、かつ、斜方格子画像処理部３に入力される撮像画像のデータレートを略半減させることになる。
【００３７】
図４（ａ）は、従来の正方格子画像に対する一般的な画像圧縮処理のためのジグザグスキャン（圧縮走査経路）の一例を示す図である。図４（ａ）において、この正方格子画像は、８×８画素を単位ブロック画像としており、この８×８画素からなる単位ブロック画像について一筆書きのようにジグザグスキャンしている。このように、一般的なジグザグスキャンは、正方格子に対して、その格子子ではない斜め方向に走査していくことが多い。
【００３８】
図４（ｂ）は、本発明の第１の実施の形態における斜方格子画像を画像圧縮する際のジグザグスキャンの一例を示す図である。画像圧縮処理は、斜方格子画像データ圧縮部４によって行われる。
【００３９】
図４（ｂ）において、この斜方格子画像は、４×４画素の組が２組存在する２×４×４画素を単位ブロックとしており、この２×４×４画素について一筆書きのようにジグザグスキャンしている。図４（ｂ）から明らかなように、第１の実施の形態におけるジグザグスキャンは、斜方格子の格子子に沿った走査を、格子子に沿わない走査よりも多く含んでいる。こうすることによって、画像の水平方向と垂直方向との輝度周波数変調度（または、再現性）について、正方格子の格子子に沿った走査を行う場合よりも改善される。
【００４０】
ここで、図４（ａ）に示す従来の正方格子画像のジグザグスキャンと、図４（ｂ）に示す本発明の第１の実施の形態における斜方格子画像のジグザグスキャンとを比較すると、正方格子画像の画素数の方が斜方格子画像の画素数よりも２倍多く、また、スキャン回数（走査回数）についても約２倍多い。
【００４１】
図５（ａ）および図５（ｂ）は、画像圧縮処理のためのジグザグスキャンと、緑色フィルタ（Ｇ）が配置される撮像素子の位置との関係の一例を示す図である。図５（ａ）に示すジグザグスキャンは、図４（ａ）に示す従来のジグザグスキャンと等価であり、図５（ｂ）に示すジグザグスキャンは、図４（ｂ）に示す本発明の第１の実施の形態におけるジグザグスキャンと等価である。
【００４２】
図５（ａ）および図５（ｂ）において、丸印で示されるＧは、緑色フィルタ（Ｇ）が配置されている撮像素子による実画素の配列を示しており、破線丸印で示されるＧ’は、緑色フィルタ（Ｇ）の搭載されていない画素補間による補間画素の配列を示している。また、破線矢印で示されるスキャン（走査）は、このＧ’補間画素間におけるスキャンを示している。
【００４３】
ここで、図５（ａ）に示す従来のジグザグスキャンによるスキャン回数は、前述したように、図５（ｂ）に示す本発明の第１の実施の形態におけるジグザグスキャンによるスキャン回数と比較して２倍である。従って、圧縮走査時に発生するタイムラグ（圧縮処理時間）については、図５（ａ）の方が図５（ｂ）よりも約２倍の処理時間が費やされる。
【００４４】
しかしながら、イメージセンサ１から得られる実質的な輝度のサンプリング数は、緑色フィルタ（Ｇ）が搭載されている撮像素子による実画素の画素数と相関が高いので、図５（ａ）に示すように、緑色フィルタ（Ｇ）が搭載されていない画素補間により生成されるＧ’補間画素間をスキャンしても、この画像信号の水平方向および垂直方向の輝度周波数変調度の改善はほとんど期待できない。
【００４５】
ここで、図５（ａ）に示す破線丸印で示されるＧ’、および、破線矢印で示されるようなＧ’補間画素間におけるスキャンを図５（ａ）から除いて、丸印で示されるＧ、および、実線矢印で示されるスキャンについてのみ着目するならば、図５（ａ）および図５（ｂ）は幾何学的に類似性が高いことが分かる。すなわち、本質的な輝度周波数特性について考察するならば、図５（ａ）および図５（ｂ）はほとんど等価と考えて良いことが示されている。
【００４６】
すなわち、本発明の第１の実施の形態における斜方格子画像データ圧縮部４は、同一の被写体による撮像画像において、この撮像画像の水平方向および垂直方向の輝度周波数変調度をほとんど劣化させることなく、圧縮時に発生するタイムラグ（圧縮処理時間）を略半減させる。なお、このタイムラグの減少にて得られる利点については、本発明の第２の実施の形態にて後述する。
【００４７】
斜方格子画像データ圧縮部４は、斜方格子画像信号を整数変換（ただし、固定小数点変換を含む）した後、加減算およびビットシフトにより構成される高速演算回路を用いて斜方格子画像圧縮データを生成する構成とする。これにより、圧縮時に発生するタイムラグの更なる短縮効果を実現することができる。ただし、斜方格子画像データ圧縮部４は、そのような構成に限定されるものではない。
【００４８】
図６（ａ）および図６（ｂ）は、本発明の第１の実施の形態における２×２×２画素を単位ブロック（４つの単位ブロックとして示している）とした場合のジグザグスキャンの一例を示す図である。図６（ａ）および図６（ｂ）に示すように、斜方格子画像は、２×４×４画素を単位ブロックと限定しない。例えば、被写体の動き（撮像画像の変化の速度）等に応じて、任意の２×Ｈ×Ｖ画素（ただし、Ｈ，Ｖはそれぞれ自然数であって、Ｈは水平補助線上の画素数、Ｖは垂直補助線上の画素数）からなる単位ブロックに変化させるようにしてもよい。
【００４９】
このように、２×２×２画素を単位ブロックとしたジグザグスキャンであっても、斜方格子の格子子に沿ったスキャンを格子子に沿わないスキャンよりも多くすることで、画像の水平方向と垂直方向との輝度周波数変調度特性（または、再現性）を改善することができる。また、水平方向および垂直方向の輝度周波数変調度をほとんど劣化させることなく、圧縮時に発生するタイムラグを抑制することができる。
【００５０】
上述したように、本発明の第１の実施の形態における画像圧縮装置、および、画像圧縮装置を備える撮像記録装置によれば、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成する斜方格子リサンプリング演算部２と、斜方格子画素に画像処理を施して、斜方格子画像信号を生成する斜方格子画像処理部３と、斜方格子画像信号に対して、少なくとも輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成する斜方格子画像データ圧縮部４とを備える。これにより、撮像画像を圧縮および記録する際の入力データレートを低下させて、画像圧縮率を低減することができ、画像記録のデータ量を減らすことができる。また、輝度に関する人間の視覚特性を積極的に利用した圧縮技術を併用して用いることで、より圧縮効率の高い圧縮技術を提供することができる。
【００５１】
なお、上述した説明では、画像圧縮装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像圧縮装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像圧縮プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像圧縮プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像圧縮装置と同様の処理を実現させる。
【００５２】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像圧縮プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像圧縮プログラムを実行するようにしても良い。
【００５３】
以下、ＣＰＵが画像圧縮プログラムを実行することにより実現される画像圧縮処理の処理手順について図７を参照して説明する。
【００５４】
まず、図７のステップＳ１において、撮像信号を斜方格子の格子点にリサンプリングして、輝度信号および色信号を有する斜方格子画素を生成する。ステップＳ２では、斜方格子画素に画像処理を施して、斜方格子画像信号を生成する。ステップＳ３では、斜方格子画像信号に対して、少なくとも輝度信号の高周波成分のコントラスト分解能を下げる画像圧縮を施すことにより、斜方格子画像圧縮データを生成して、本処理を終了する。
【００５５】
−第２の実施の形態−
次に、本発明の第２の実施の形態について説明する。第２の実施の形態では、斜方格子の格子点にリサンプリングして得られた斜方格子画像データについて一旦記録した後、その斜方格子画像データを再生し、正方格子の格子点に再リサンプリングして、正方格子画像（例えば、モニタ出力画像）を再生出力する。以下では、説明の重複を避けるため、第１の実施の形態における撮像記録装置の構成要素と同一の構成要素については同一の符号を付して詳しい説明は省略する。
【００５６】
図８は、本発明の第２の実施の形態における撮像記録装置の構成を示すブロック図である。第２の実施の形態における撮像記録装置は、図１に示す第１の実施の形態における撮像記録装置の構成に対して、再生ブロック群の構成を追加した構成となっている。再生ブロック群には、斜方格子画像データ解読器（斜方格子画像データ解読手段）１１と、正方格子リサンプリング演算部（正方格子リサンプリング手段）１２と、正方格子画像処理部（正方格子画像処理手段）１３とが含まれる。斜方格子画像データ解読器１１、正方格子リサンプリング演算部１２、および、正方格子画像処理部１３は、画像圧縮装置の構成要素でもある。
【００５７】
斜方格子画像データ解読器１１は、斜方格子画像データ圧縮部４、または、斜方格子画像記録部５から順次入力される斜方格子画像圧縮データを解読して、斜方格子画像データを生成する。斜方格子画像圧縮データの解読、すなわち、斜方格子画像圧縮データから、圧縮前の斜方格子画像データを生成する処理は、既知の方法を用いて行うことができる。
【００５８】
正方格子リサンプリング演算部１２は、斜方格子画像データを正方格子の格子点にリサンプリングして、正方格子画素を生成する。正方格子画像処理部１３は、正方格子画素に画像処理（正方格子画像処理）を施し、正方格子画像（モニタ出力画像）を生成する。
【００５９】
正方格子リサンプリング演算部１２で生成される正方格子画素の画素数については、イメージセンサ１（撮像素子）の素子数と略等しくすることも可能である。なぜならば、既に図２（ｂ）、図３（ｂ）、図５（ａ）、図５（ｂ）を用いて説明したように、撮像信号をイメージセンサ１の素子数の略半数の格子点にリサンプリングしても、同一の被写体による撮像画像において、この撮像画像の水平解像度および垂直解像度は劣化しないからである。
【００６０】
また、第１の実施の形態で説明したように、斜方格子画像データ圧縮部４は、上述したイメージセンサ１の素子数の略半数の格子点にリサンプリングされるので、圧縮時に発生するタイムラグを略半減させている。このような仕様にすることで、モニタ出力画像が撮像中に出力されるような電子ビューファインダ等のリアルタイム性を向上させることができる。
【００６１】
なお、撮像中に電子ビューファインダから出力されるモニタ出力画像は、図８に示すように、斜方格子画像記録部５を介さないで、斜方格子画像データ圧縮部４から斜方格子画像データ解読器１１に直接結線される経路を経由して生成される。
【００６２】
ここで、斜方格子画像処理部３と正方格子画像処理部１３との違いについて説明する。図３（ｂ）に示すように、輝度信号Ｙは斜方格子の格子点ごとに生成されている。この時、輝度信号Ｙの輝度階調性調整については、斜方格子画像処理部３において、所望される黒調整、高輝度ＫＮＥＥ処理を施したほうがよい。何故ならば、最終的な出力画像（例えば、モニタ出力画像）において、不要な信号成分（黒のオフセット未満の信号成分や、ＫＮＥＥ領域等の高輝度信号の分解能劣化成分）が斜方格子画像信号から予め排除されていた方が、斜方格子画像データ圧縮部４および斜方格子画像記録部５のダイナミックレンジを有効に活用することができるからである。
【００６３】
一方、輝度周波数に対する変調度特性の補正、および／または、輪郭特性の補正は、正方格子画像処理部１３で行われる方が好ましい。何故ならば、変調度特性、および、輪郭特性を斜方格子画像処理部３で補正処理した場合には、その補正信号自体が正方格子の格子点にリサンプリングされることになってしまい、理想的な補正信号にならないからである。理想的な補正信号にならない理由の１つとして、斜方格子の格子点上の１画素からなる補正信号が正方格子の格子点にリサンプリングされると、補正信号の低周波化が発生し、この補正信号は少なくとも２画素以上からなる粗い補正信号になってしまうからである。
【００６４】
図９（ａ）は、本発明の第２の実施の形態における正方格子リサンプリング演算部１２の入力データ（斜方格子画像データ）の一例を部分的に示す図である。また、図９（ｂ）は、本発明の第２の実施の形態における正方格子リサンプリング演算部１２の出力データ（正方格子画素）の一例を部分的に示す図である。
【００６５】
図９（ａ）において、斜方格子画像データ（Ｙ，Ｃ）は、破線Ｌ１で示される水平補助線と、破線Ｌ２で示される垂直補助線との交点からなる正方格子の格子点上に配置される。そして、斜方格子画像データが配置されない正方格子の格子点には、図９（ｂ）に示されるように、斜方格子画像データから補間されて得られる補間画素（Ｙ’，Ｃ’）が生成され、それぞれ配置されることで、正方格子の全ての格子点に画像データ（補間画素を含む）が補われている。
【００６６】
上述したように、本発明の第２の実施の形態における画像圧縮装置、および、画像圧縮装置を備える撮像記録装置によれば、斜方格子画像データ圧縮部４で生成された斜方格子画像圧縮データを解読して、斜方格子画像データを生成する斜方格子画像データ解読器１１と、斜方格子画像データを正方格子の格子点にリサンプリングして、正方格子画素を生成する正方格子リサンプリング演算部１２と、正方格子画素に正方格子画像処理を施して、正方格子画像を生成する正方格子画像処理部１３とをさらに備えるので、第１の実施の形態で説明した効果に加えて、正方格子画像の生成装置をも提供することができる。
【００６７】
−第３の実施の形態−
次に、本発明の第３の実施の形態について説明する。第３の実施の形態における撮像記録装置は、第２の実施の形態における撮像記録装置に対して、撮像記録を行う構成と再生を行う構成との間にフィードバック回路をさらに設けることにより、画像圧縮の圧縮効率をさらに高めたものである。以下では、説明の重複を避けるため、第２の実施の形態における撮像記録装置の構成要素と同一の構成要素については同一の符号を付して詳しい説明は省略する。
【００６８】
図１０は、本発明の第３の実施の形態における撮像記録装置の構成を示すブロック図である。第３の実施の形態における撮像記録装置は、図８に示す第２の実施の形態における撮像記録装置が備える斜方格子画像データ圧縮部４が量子化テーブル４０を備えている。量子化テーブル４０は、斜方格子画像圧縮データを生成する際に用いられるデータ変換テーブルである。ここでは、量子化テーブル４０を備えた斜方格子画像データ圧縮部の符号を４Ａとして表す。
【００６９】
量子化テーブル４０は、斜方格子画像圧縮データの０、すなわち、圧縮後のデータの基準値となるゼロを定義したものである。正方格子画像処理部１３は、正方格子画像のノイズ情報を量子化テーブル４０にフィードバック（帰還）させる。斜方格子画像データ圧縮部４Ａは、このノイズ情報に基づいて、量子化テーブル４０を用いて圧縮処理が行われて生成される斜方格子画像圧縮データの０の定義を変更することが可能である。このフィードバック回路によって、低輝度ノイズによる画像圧縮の圧縮効率の低下を防ぐことができる。
【００７０】
このノイズ情報は、例えば、輝度信号Ｙの低輝度領域において目立つ暗電流のノイズ量等を定量化した情報である。この暗電流の定量化情報は、動画撮像記録装置においては、例えば、フレーム相関を数秒間にわたって測定して得る情報である。また、静止画像記録装置においては、例えば、記録する撮像画像の直前、および／または、直後に全黒画像を撮像して、その全黒画像の１フレーム内の振幅幅を測定して得る情報である。
【００７１】
このように、第３の実施の形態では、輝度信号Ｙの低輝度領域のノイズ量を情報として、量子化テーブル４０にフィードバックして、量子化テーブル４０を用いて生成される斜方格子画像圧縮データの０の定義を最適化することを可能とし、画像圧縮効率をさらに高めることができる。
【００７２】
上述したように、本発明の第３の実施の形態における画像圧縮装置、および、画像圧縮装置を備える撮像記録装置によれば、斜方格子画像データ圧縮部４は、斜方格子画像圧縮データの基準値０を定義する量子化テーブル４０を備え、正方格子画像処理部１３は、正方格子画像のノイズ情報を量子化テーブル４０に帰還させ、斜方格子画像データ圧縮部４は、ノイズ情報に基づいて、量子化テーブル４０の基準値０の定義を変更するので、画像圧縮効率をさらに高めることができる。
【００７３】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施における撮像記録装置の構成を示すブロック図である。
【図２】図２（ａ）は、イメージセンサの一般的なベイヤ配列を部分的に示す図である。図２（ｂ）は、第１の実施の形態における斜方格子の格子点を、図２（ａ）に示すベイヤ配列の緑色フィルタの配列と同配列にした場合の一例を示す図である。
【図３】図３（ａ）は、図２（ｂ）に示す斜方格子の格子点に対して、各色撮像信号をリサンプリングする場合の一例を示す図である。図３（ｂ）は、図２（ｂ）に示す斜方格子の格子点に対して、輝度信号Ｙおよび色信号Ｃがそれぞれ生成される場合の一例を示す図である。
【図４】図４（ａ）は、正方格子画像に対する一般的な画像圧縮のジグザグスキャンの一例を示す図である。図４（ｂ）は、第１の実施の形態における斜方格子画像を画像圧縮する際のジグザグスキャンの一例を示す図である。
【図５】図５（ａ）および図５（ｂ）は、画像圧縮のジグザグスキャンと、緑色フィルタが配置される撮像素子の位置との関係の一例を示す図である。
【図６】図６（ａ）および図６（ｂ）は、第１の実施の形態における２×２×２画素を単位ブロックとしたジグザグスキャンの一例を示す図である。
【図７】画像圧縮プログラムを実行することにより実現される画像圧縮処理の処理手順を示すフローチャート
【図８】本発明の第２の実施における撮像記録装置の構成を示すブロック図である。
【図９】図９（ａ）は、第２の実施の形態における正方格子リサンプリング演算部の入力データの一例を部分的に示す図である。図９（ｂ）は、第２の実施の形態における正方格子リサンプリング演算部の出力データの一例を部分的に示す図である。
【図１０】本発明の第３の実施における撮像記録装置の構成を示すブロック図である。
【符号の説明】
【００７５】
１…イメージセンサ
２…斜方格子リサンプリング演算部
３…斜方格子画像処理部
４…斜方格子画像データ圧縮部
５…斜方格子画像記録部
１１…斜方格子画像データ解読器
１２…正方格子リサンプリング演算部
１３…正方格子画像処理部
４０…量子化テーブル
【図１】
2009260633.tif 000003
【図２】
2009260633.tif 000004
【図３】
2009260633.tif 000005
【図４】
2009260633.tif 000006
【図５】
2009260633.tif 000007
【図６】
2009260633.tif 000008
【図７】
2009260633.tif 000009
【図８】
2009260633.tif 000010
【図９】
2009260633.tif 000011
【図１０】
2009260633.tif 000012