(57)【要約】【課題】感度の異なる受光素子により得られた画素情報が混在する画像情報を、高い圧縮効率で可逆圧縮する。【解決手段】主感光部ＰＤ１と主感光部ＰＤ１よりも感度の低い従感光部ＰＤ２とで構成されるＣＣＤエリアセンサ１８を撮像部１４に備え、撮像部１４で取得された画像情報のＣＣＤ−ＲＡＷデータを構成する複数の画素情報に対し、主・従判別部３６が主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものであるかを判別する。そして、変倍処理部３８が、従感光部ＰＤ２の画素情報を、主感光部ＰＤ１の画素情報の信号範囲を従感光部ＰＤ２の画素情報の信号範囲で除算した値である信号範囲比Ｚで乗算する。そして、圧縮・伸張処理部３０が、従感光部ＰＤ２が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータを、ＤＰＣＭ変換した後にハフマン符号することで可逆圧縮される。【選択図】図５
2008244672.tif 000002
【特許請求の範囲】
【請求項１】
各々感度が異なる複数種類の受光素子を含んで構成された複数の画素が二次元状に配列され、各受光素子により得られた画素情報を配列順に出力することで画像情報を取得する撮像手段と、
前記複数種類の受光素子のうち、最も感度が高い受光素子により得られる第１の画素情報の信号範囲と他の受光素子により得られる第２の画素情報の信号範囲とを合わせるように、前記第１の画素情報及び前記第２の画素情報の少なくとも一方を変換する変換手段と、
前記変換手段による変換後の前記画像情報を、同一画素内の受光素子により得られた前記第１の画素情報と前記第２の画素情報との差分を保存する圧縮形式で可逆圧縮する圧縮手段と、
を有する撮像装置。
【請求項２】
前記変換手段は、前記第１の画素情報の信号範囲を前記第２の画素情報の信号範囲で除算して得られる値である信号範囲比を、前記第２の画素情報に乗算することにより前記変換を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記圧縮手段は、前記変換手段による変換後の画像情報をＤＰＣＭ変換した後にハフマン符号化することで前記可逆圧縮を行うことを特徴とする請求項１又は請求項２記載の撮像装置。
【請求項４】
前記圧縮手段により可逆圧縮された画像情報を、ハフマン復号化した後に逆ＤＰＣＭ変換することで伸張する伸張手段を更に備えたことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記圧縮手段により可逆圧縮された画像情報を伸張する伸張手段と、
前記伸張手段で伸張された画像情報の第２の画素情報を前記信号範囲比で除算することにより前記変換手段による変換前の第２の画素情報を復元する復元手段と、
を更に備えたことを特徴とする請求項１から請求項３の何れか１項記載の撮像装置。
【請求項６】
前記伸張手段は、前記圧縮手段により可逆圧縮された画像情報をハフマン復号化した後に逆ＤＰＣＭ変換することにより前記伸張を行うことを特徴とする請求項５記載の撮像装置。
【請求項７】
各々感度が異なる複数種類の受光素子を含んで構成された複数の画素が二次元状に配列され、各受光素子により得られた画素情報を配列順に出力することで画像情報を取得し、
前記複数種類の受光素子のうち、最も感度が高い受光素子により得られる第１の画素情報の信号範囲と他の受光素子により得られる第２の画素情報の信号範囲とを合わせるように、前記第１の画素情報及び前記第２の画素情報の少なくとも一方を変換し、
前記第１の画素情報及び前記第２の画素情報の少なくとも一方が変換された前記画像情報を、同一画素内の受光素子により得られた前記第１の画素情報と前記第２の画素情報の差分を保存する圧縮形式で可逆圧縮することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法に係り、特に、感度の異なる複数種類の受光素子を有する撮像手段を備えた撮像装置、及び感度の異なる複数種類の受光素子を有する撮像手段で取得された画像情報に対して画像処理を行う画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタル電子スチルカメラ（以下、デジタルカメラという。）などの撮像装置では、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）エリアセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子の多画素化に伴って、撮影により得られる画像情報のデータサイズも増大している。このため、この種の撮像装置では一般に、画像情報は圧縮効率の高いｊｐｅｇ形式等の非可逆圧縮方式により圧縮されて記憶媒体に記憶される。
【０００３】
また、上記画像情報に対して画像処理を全く行わない生のデータである所謂ＣＣＤ−ＲＡＷデータの形式で、画像情報を記憶媒体へ記憶する機能を有する撮像装置もある。ＣＣＤ−ＲＡＷデータは画像処理が行われていないため、ユーザが自由に画像処理を行えるという利点がある。
【０００４】
ところで、ＣＣＤ−ＲＡＷデータは、一般にデータサイズが大きいため、記憶媒体の大容量化が要求される。このため、ＣＣＤ−ＲＡＷデータを圧縮効率の高い非可逆圧縮で圧縮することも考えられるが、この場合、圧縮された画像情報を復号化して元のＣＣＤ−ＲＡＷデータに戻すことができないため、ＣＣＤ−ＲＡＷデータに比べ画質が劣化する。そこで、ＣＣＤ−ＲＡＷデータに対して、非可逆圧縮よりも圧縮効率は低いが画質の劣化を生じさせない可逆圧縮を行い、記憶することが考えられている。
【０００５】
このようなＣＣＤ−ＲＡＷデータを可逆圧縮することに関する技術として、特許文献１には、ＣＣＤ−ＲＡＷデータを既存のｊｐｅｇ用の圧縮伸張回路で圧縮可能とするために、ＣＣＤ−ＲＡＷデータを下位ビットと上位ビットに分割した後に、下位ビットをパック処理し、上位ビットをＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｒａｔｉｏｎ）変換し、ハフマン符号化することで可逆圧縮する技術が開示されている。
【０００６】
その一方で近年、撮像装置には、鮮明な被写体画像を得るために、撮影によって取得される画像情報の広ダイナミックレンジ化も要望されている。
【０００７】
この広ダイナミックレンジ化を実現するために、特許文献２には、各画素に主感光部と従感光部とを備えることにより広ダイナミックレンジの画像情報を得る技術が開示されている。この技術によれば、主感光部は露光量に対する感度が高い受光素子である一方、従感光部は露光量に対する感度が主感光部よりも低い受光素子とされているため、主感光部では出力信号が飽和してしまう露光条件でも、従感光部では被写体のコントラスト等の情報を取得することでき、この結果として広ダイナミックレンジの画像情報を得るようにしている。
【０００８】
そして、前述した特許文献１に開示されている技術に特許文献２に開示されている技術を組み合わせることにより、広ダイナミックレンジ化を実現する、という効果と画像情報を可逆圧縮することにより画像の劣化を防止するという効果を得ることができる。
【特許文献１】特開２００１−６０８７６公報
【特許文献２】特開２００４−３０４２４６公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献２に開示されているような、感度の異なる複数種類の受光素子を有する撮像手段で得られた広ダイナミックレンジの画像情報は、隣接する画素情報の差分が大きいため、特許文献１に記載の技術で可逆圧縮処理をしても、ＤＰＣＭ変換する対象となる画素の画素情報の予測値と実際の値との誤差（予測符号）が大きくなり、可逆圧縮における圧縮効率が低くなってしまう、という問題点があった。
【００１０】
なお、この問題点は、ＤＰＣＭ変換によるものに限らず、感度の異なる隣接する受光素子の画素情報の差分を保存する圧縮形式で生じ得るものである。
【００１１】
本発明は上記問題点を解決するためになされたものであり、感度の異なる受光素子により得られた画素情報が混在する画像情報を、高い圧縮効率で可逆圧縮できる撮像装置、画像処理方法を提供することが目的である。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、請求項１の発明は、各々感度が異なる複数種類の受光素子を含んで構成された複数の画素が二次元状に配列され、各受光素子により得られた画素情報を配列順に出力することで画像情報を取得する撮像手段と、前記複数種類の受光素子のうち、最も感度が高い受光素子により得られる第１の画素情報の信号範囲と他の受光素子により得られる第２の画素情報の信号範囲とを合わせるように、前記第１の画素情報及び前記第２の画素情報の少なくとも一方を変換する変換手段と、前記変換手段による変換後の前記画像情報を、同一画素内の受光素子により得られた前記第１の画素情報と前記第２の画素情報との差分を保存する圧縮形式で可逆圧縮する圧縮手段と、を有する。
【００１３】
請求項１に記載の撮像装置は、各々感度が異なる複数種類の受光素子を含んで構成された複数の画素が二次元状に配列され、各受光素子により得られた画素情報を配列順に出力する撮像手段によって、被写体を撮影した画像情報が取得され、変換手段によって、最も感度が高い受光素子により得られた第１の画素情報の信号範囲と、他の受光素子により得られた第２の画素情報の信号範囲と、を合わせるように、当該第１の画素情報及び当該第２の画素情報の少なくとも一方が変換され、この変換後の画像情報は、圧縮手段によって、同一画素内の受光素子により得られた第１の画素情報と第２の画素情報との差分を保存する圧縮形式で可逆圧縮される。
【００１４】
このように、請求項１に記載の撮像装置によれば、最も感度の高い受光素子から得られた第１の画素情報と他の受光素子から得られた第２の画素情報との信号範囲を合わせる変換を行う。これにより、隣接する第１の画素情報と第２の画素情報との差分は、信号範囲を合わせる前に比べ小さくなる。
【００１５】
この結果、画像情報を可逆圧縮する過程で行われる、例えば予測符号化処理において、予測符号化の対象となる画素の画素情報の予測値と実際の値との誤差を、上記変換を行わない場合に比較して小さくすることができ、この結果として感度の異なる受光素子により得られた画素情報を、高い圧縮効率で可逆圧縮できる。
【００１６】
なお、本発明は、請求項２に記載の発明のように、前記変換手段は、前記第１の画素情報の信号範囲を前記第２の画素情報の信号範囲で除算して得られる値である信号範囲比を、前記第２の画素情報に乗算することにより前記変換を行うものとしてもよい。
【００１７】
請求項２に記載の発明によれば、第２の画素情報の信号範囲が、相対的に信号範囲の広い第１の画素情報の信号範囲を基準として変換される。そのため、簡単な処理で第１の画素情報と第２の画素情報との差分を小さくすることができる。
【００１８】
また、請求項３に記載の発明のように、前記圧縮手段は、前記変換手段による変換後の画像情報をＤＰＣＭ変換した後にハフマン符号化することで前記可逆圧縮を行うことを特徴とする。
【００１９】
請求項３に記載の発明によれば、第２の画素情報が信号範囲比で乗算された画像情報に対して、予測符号化処理であるＤＰＣＭ変換した後に、ＤＰＣＭ変換により与えられた符号の出現頻度に基づいて各画素情報に最適符号（ハフマン符号）を割り当てるハフマン符号化をするので、高い圧縮効率の可逆圧縮を行うことができる。
【００２０】
また、請求項３に記載の発明は、請求項４に記載の発明のように、前記圧縮手段により可逆圧縮された画像情報をハフマン復号化した後に逆ＤＰＣＭ変換することで伸張する伸張手段を更に備えるものとしてもよい。
【００２１】
請求項４に記載の発明によれば、可逆圧縮された変換画像情報をハフマン復号化した後に、伸張手段が逆ＤＰＣＭ変換するので、可逆圧縮された変換画像情報を圧縮前の変換画像情報に簡易且つ確実に戻すことができる。
【００２２】
さらに、請求項５に記載の発明のように、前記圧縮手段により可逆圧縮された画像情報を伸張する伸張手段と、前記伸張手段で伸張された画像情報の第２の画素情報を前記信号範囲比で除算することにより前記変換手段による変換前の第２の画素情報を復元する復元手段と、を更に備えたことを特徴とする
請求項５に記載の発明によれば、圧縮手段によって圧縮された画像情報を伸張することができ、伸張された画像情報の第２の画素情報を信号範囲比で除算するため、上記変換並びに圧縮処理された画像情報を、元の画像情報に簡易に戻すことができる。
【００２３】
また、請求項５に記載の発明は、請求項６に記載の発明のように、前記伸張手段が、前記圧縮手段により可逆圧縮された画像情報をハフマン復号化した後に逆ＤＰＣＭ変換することにより前記伸張を行うものとしてもよい。
【００２４】
請求項６に記載の発明によれば、可逆圧縮された変換画像情報をハフマン復号化した後に、伸張手段が逆ＤＰＣＭ変換するので、可逆圧縮された変換画像情報を圧縮前の変換画像情報に簡易且つ確実に戻すことができる。
【００２５】
一方、上記目的を達成するために、請求項７の発明は、各々感度が異なる複数種類の受光素子を含んで構成された複数の画素が二次元状に配列され、各受光素子により得られた画素情報を配列順に出力することで画像情報を取得し、前記複数種類の受光素子のうち、最も感度が高い受光素子により得られる第１の画素情報の信号範囲と他の受光素子により得られる第２の画素情報の信号範囲とを合わせるように、前記第１の画素情報及び前記第２の画素情報の少なくとも一方を変換し、前記第１の画素情報及び前記第２の画素情報の少なくとも一方が変換された前記画像情報を、同一画素内の受光素子により得られた前記第１の画素情報と前記第２の画素情報の差分を保存する圧縮形式で可逆圧縮することを特徴とする。
【００２６】
従って、請求項７に記載の画像処理方法によれば、請求項１に記載の発明と同様に、感度の異なる受光素子により得られた画素情報を、高い圧縮効率で可逆圧縮できる。
【発明の効果】
【００２７】
以上説明した如く本発明では、感度の異なる受光素子により得られた画素情報が混在する画像情報を高い圧縮効率で可逆圧縮できるという優れた効果を有する。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、ここでは、本発明を静止画像の撮影を行うデジタルカメラに適用した場合の形態例について説明する。
（第１の実施の形態）
図1に、第１の実施の形態に係るデジタルカメラ１０の概略構成を示したブロック図を示す。
【００２９】
デジタルカメラ１０は、デジタルカメラ１０の全体の制御を司るＣＰＵ１２（中央処理装置）を備えており、ＣＰＵ１２は、撮像部１４と接続されている。
【００３０】
撮像部１４は、複数枚のレンズを有し焦点距離の変更（変倍）が可能なズームレンズとして構成されたレンズ１６を備えており、該レンズ１６により、被写体像が結像される。
【００３１】
レンズ１６の光軸後方には、固体撮像素子であるＣＣＤエリアセンサ１８が備えられている。ＣＣＤエリアセンサ１８は、レンズ１６で結像された被写体像を示す光信号を光電変換し、アナログ信号として出力する。
【００３２】
ここで、本実施の形態に係るＣＣＤエリアセンサ１８の構造について説明する。ＣＣＤエリアセンサ１８には、図２に示すようなハニカムＣＣＤを採用することができる。
【００３３】
このＣＣＤエリアセンサ１８は、受光素子として複数の主感光部ＰＤ１を備えている。主感光部ＰＤ１は、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、隣接する主感光部ＰＤ１と垂直方向及び水平方向にずらされて２次元配置される。また、ＣＣＤエリアセンサ１８は、垂直転送電極ＶＥＬと水平転送電極ＨＥＬとを備えている。垂直転送電極ＶＥＬは、主感光部ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ主感光部ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する。水平転送電極ＨＥＬは、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００３４】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００３５】
また、各主感光部ＰＤ１は、隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各主感光部ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００３６】
ＣＣＤエリアセンサ１８は、更に、上述の主感光部ＰＤ１に比して露光量に対して低感度の受光素子である従感光部ＰＤ２を備えている。なお、主感光部ＰＤ１と従感光部ＰＤ２とは、一組の画素を構成する。従感光部ＰＤ２は図２に示される如く、複数の主感光部ＰＤ１間に設けられ、従感光部ＰＤ２は、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。なお、従感光部ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する主感光部ＰＤ１の転送ゲートＴＧが接続される電極とは異ならせて設けられている。また、従感光部ＰＤ２も主感光部ＰＤ１と同様に開口部ＡＰが形成されている。従感光部ＰＤ２の開口部ＡＰは、主感光部ＰＤ１の開口部より面積が小さい。このため、従感光部ＰＤ２は、主感光部ＰＤ１に比して低感度となる。
【００３７】
次に、図３に、露光量に対する主感光部ＰＤ１と従感光部ＰＤ２の感度の状態を表すグラフの一例を示す。
【００３８】
図３の線Ａが露光量に対する主感光部ＰＤ１の感度を示し、図３の線Ｂが露光量に対する従感光部ＰＤ２の感度を示す。主感光部ＰＤ１は、従感光部ＰＤ２に比べ露光量に対する感度が高く、信号範囲ｍも広く露光量が少ない場合でも高い信号レベルを出力する。しかし、この反面、主感光部ＰＤ１は、従感光部ＰＤ２に比べ低い露光量で信号レベルが飽和に達する。一方、従感光部ＰＤ２は、主感光部ＰＤ１に比べ信号範囲ｎが狭く同じ露光量に対する信号レベルは低いが、比較的高い露光量に達するまで信号レベルが飽和することはない。すなわち、主感光部ＰＤ１は、明暗の差が小さい被写体を撮影するのに適し、従感光部ＰＤ２は、明暗の差が大きい被写体を撮影するのに適している。そのため、主感光部ＰＤ１と従感光部ＰＤ２を組み合わせることによりＣＣＤエリアセンサ１８は、主感光部ＰＤ１のみで構成される場合に比べ、広いダイナミックレンジを有する。
【００３９】
なお、主感光部ＰＤ１の信号範囲ｍを従感光部ＰＤ２の信号範囲ｎで除算した値を信号範囲比Ｚ（Ｚ＝ｍ／ｎ）とする。この信号範囲比Ｚの値は、後述する内部メモリ３２（図１も参照）に記憶される。
【００４０】
図１に示されるように、ＣＣＤエリアセンサ１８の出力端はアナログ信号処理部２０と接続されており、ＣＣＤエリアセンサ１８が光電変換により生成した被写体像を示すアナログ信号は、アナログ信号処理部２０へ送信される。
【００４１】
アナログ信号処理部２０は、図示しない相関二重サンプリング回路（以下、「ＣＤＳ」という。）を含んで構成されている。ＣＤＳによる相関二重サンプリング処理は、ＣＣＤエリアセンサ１８の出力信号に含まれるノイズ等を軽減することを目的として、ＣＣＤエリアセンサ１８の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素情報を得る処理である。アナログ信号処理部２０の出力端はアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２２の入力端に接続されている。ＣＤＳにより相関二重サンプリング処理が行われたアナログ信号は、ＡＤＣ２２に送信される。
【００４２】
ＡＤＣ２２は、送信されたアナログ信号をデジタル信号である画像情報に変換するものであり、その出力端はデジタル信号処理部２４の入力端に接続されている。
【００４３】
デジタル信号処理部２４は、所定容量のラインバッファを内蔵し、かつ入力された画像情報を後述する内部メモリ３２の所定領域に直接記憶させる制御を行うと共に、画像情報に対して各種の画像処理を行う。なお、本実施の形態に係るデジタルカメラ１０には、画像処理を全く行わない生のデータである所謂ＣＣＤ−ＲＡＷデータの形式で画像情報を記憶する機能が備えられており、当該機能を実行する場合、デジタル信号処理部２４は、ＡＤＣ２２から入力されてくる画像情報に対してなんら画像処理を行わない。
【００４４】
また、ＣＰＵ１２はシステムバス２６を介して、メモリ制御部２８、圧縮・伸張処理部３０と接続されている。
【００４５】
メモリ制御部２８は、内部メモリ３２や外部メモリ３４に対するアクセスの制御を行う。
【００４６】
ここで、内部メモリ３２は、主として撮像により得られた画像情報を一時的に記憶する。なお、当該画像情報には、ＣＣＤ−ＲＡＷデータや、ＣＣＤ−ＲＡＷデータを可逆圧縮した後の画像情報等が含まれる。また、デジタルカメラ１０の制御に係る種々のデータも記憶される。
【００４７】
一方、外部メモリ３４は、デジタルカメラ１０で撮影した画像情報を記憶する可搬式の不揮発性記憶媒体である。
【００４８】
一方、圧縮・伸張処理部３０は、主・従判別部３６、変倍処理部３８、ＤＰＣＭ変換部４０、ハフマン符号・復号部４２を備えている。
【００４９】
主・従判別部３６は、ＣＣＤ−ＲＡＷデータを構成する各画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものであるかを判別する。具体的には、画素を構成する受光素子である主感光部ＰＤ１と従感光部ＰＤ２とは、図２に示されるように水平方向に対して１つ置きに交互に規則的に配列されているため（各ラインの左端より奇数番目は主感光部ＰＤ１、偶数番目は従感光部ＰＤ２）、この配列順序をＣＣＤ−ＲＡＷデータを構成する各画素情報に当てはめることにより、各画素情報が主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものであるかを判別できる。なお、この場合、主感光部ＰＤ１と従感光部ＰＤ２の配列順序を示す配列順序情報は、内部メモリ３２に予め記憶される。
【００５０】
また、変倍処理部３８は、主・従判別部３６で判別された従感光部ＰＤ２の画素情報に対し、前述した信号範囲比Ｚを乗算する。これにより、主感光部ＰＤ１の画素情報と従感光部ＰＤ２の画素情報との信号範囲を合わせることができる。また、変倍処理部３８は、可逆圧縮された後のＣＣＤ−ＲＡＷデータを伸張する際に、伸張後の従感光部ＰＤ２に対応する画素情報に対し、信号範囲比Ｚで除算することで元の画素情報を復元させる。
【００５１】
また、ＤＰＣＭ変換部４０は、ＣＣＤ−ＲＡＷデータをＤＰＣＭ変換する一方、ＤＰＣＭ変換されたＣＣＤ−ＲＡＷデータを逆ＤＰＣＭ変換し、ＤＰＣＭ変換される前のＣＣＤ−ＲＡＷデータに戻す。
【００５２】
ここで、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータに対するＤＰＣＭ変換について図４（Ａ）、（Ｂ）を用いて説明する。
【００５３】
ＤＰＣＭ変換は、変換対象となる画素情報（一例として図４（Ａ）のＸ）をその隣接する画素の画素情報（一例として図４（Ａ）のａ、ｂ、ｃ）から予測して予測値を得、この予測値と実際の画素情報との誤差を符号とする予測符号化処理である。従って前記誤差が小さいほど符号化後の値は小さくなり、ＤＰＣＭ変換後に当該符号化された誤差に基づいて行われる、画像情報に対するハフマン符号化により高い圧縮効率を得ることが可能となる。
【００５４】
ここで、本実施の形態の場合に係るＣＣＤエリアセンサ１８は、図２に示されるように主感光部ＰＤ１と従感光部ＰＤ２とが交互に配列されている。そのため、ＣＣＤ−ＲＡＷデータは、図４（Ｂ）に示されるように主感光部ＰＤ１に対応する画素情報列Ａ、Ｂ、Ｃ・・・と、従感光部ＰＤ２に対応する画素情報列Ａ２、Ｂ２、Ｃ２・・・とが交互に配列された構造となる。そして、このままＤＰＣＭ変換すると、図３からも明らかなように、主感光部ＰＤ１の画素情報と従感光部ＰＤ２の画素情報との信号レベルの差が全露光量範囲にわたって大きいため、変換対象となる画素情報の予測値と実際の値との誤差が大きくなり、高い圧縮効率を望めない。
【００５５】
そこで、本実施の形態に係るデジタルカメラ１０では、従感光部ＰＤ２により得られた画素情報を信号範囲比Ｚで乗算することにより、主感光部ＰＤ１の画素情報の値と従感光部ＰＤ２の画素情報の値とを近づける。そもそも、隣り合う主感光部ＰＤ１と従感光部ＰＤ２とは、同一受光面積当たりの露光量は略同じであると考えられるため、従感光部ＰＤ２の画素情報は信号範囲比Ｚで乗算されることにより、隣り合う主感光部ＰＤ１の画素情報と略同じ大きさになる可能性が高い。そのため、従感光部ＰＤ２に対応する画素情報を信号範囲比Ｚで乗算することで、変換対象となる画素情報の予測値と実際の値との誤差を小さくすることができ、その結果、その後のハフマン符号化により高い圧縮効率を得ることができる。
【００５６】
なお、ＤＰＣＭ変換部４０は、以上のようなＤＰＣＭ変換の他、逆ＤＰＣＭ変換も行える。逆ＤＰＣＭ変換は、ＤＰＣＭ変換の逆の処理を行うことによって、ＤＰＣＭ変換された画像情報をＤＰＣＭ変換前の画素情報に戻す処理である。
【００５７】
更に、ハフマン符号・復号部４２は、ＤＰＣＭ変換されたＣＣＤ−ＲＡＷデータをハフマン符号化することによりＣＣＤ−ＲＡＷデータを可逆圧縮する。なお、ここでいうハフマン符号化とは、ＤＰＣＭ変換により各画素に与えられた符号の出現頻度に基づいて、各画素情報に最適符号（ハフマン符号）を割り当てる処理である。また、ハフマン符号・復号部４２は、このようなハフマン符号化に加え、ハフマン復号化も行える。なお、ハフマン復号化は、ハフマン符号化された画像情報をハフマン符号化される前の画像情報に戻す処理である。
【００５８】
次に、図５及び図６を用いて本実施の形態に係るデジタルカメラ１０の作用を説明する。
【００５９】
図５は、デジタルカメラ１０が被写体像を撮影することによって得られた画像情報を、ＣＣＤ−ＲＡＷデータとして記憶する際にＣＰＵ１２によって実行されるＣＣＤ−ＲＡＷデータ圧縮処理プログラムの処理の流れを示すフローチャートである。このフローに係るプログラムは、内部メモリ３２の所定の領域に予め記憶されている。
【００６０】
まず、ステップ２００で、撮像部１４を介して取得されたＣＣＤ−ＲＡＷデータを内部メモリ３２に記憶させる。
【００６１】
次に、ステップ２０２で、内部メモリ３２に記憶されたＣＣＤ−ＲＡＷデータを圧縮・伸張処理部３０へ送信する。
【００６２】
次に、ステップ２０４で、圧縮・伸張処理部３０が備える主・従判別部３６に対してＣＣＤ−ＲＡＷデータの判別処理を指示する。この指示を受けて、主・従判別部３６は、ＣＣＤ−ＲＡＷデータを構成する各画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものか判別する処理を実行する。
【００６３】
次に、ステップ２０６で、変倍処理部３８に対して、従感光部ＰＤ２の画素情報に対して乗算処理するよう指示する。この指示を受けて、変倍処理部３８は、主・従判別部３６によって従感光部ＰＤ２で取得されたと判別された画素情報に対して信号範囲比Ｚを乗算する処理を実行する。
【００６４】
次に、ステップ２０８で、ＣＣＤ−ＲＡＷデータを構成する全ての画素情報に対する主・従判別部３６及び変倍処理部３８による、判別並びに乗算処理の終了待ちを行い、次のステップ２１０では、ＤＰＣＭ変換部４０に対してＤＰＣＭ変換処理の実行を指示する。この指示を受けて、ＤＰＣＭ変換部４０は、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータに対してＤＰＣＭ変換を実行する。
【００６５】
次に、ステップ２１２で、ハフマン符号・復号部４２に対して、ハフマン符号化処理の実行を指示する。この指示を受けて、ハフマン符号・復号部４２は、ステップ２１０でＤＰＣＭ変換されたＣＣＤ−ＲＡＷデータに対してハフマン符号化を実行する。これにより、ＣＣＤ−ＲＡＷデータは可逆圧縮される。
【００６６】
次に、ステップ２１４で、内部メモリ３２又は外部メモリ３４に可逆圧縮されたＣＣＤ−ＲＡＷデータを記憶させ、その後に本ＣＣＤ−ＲＡＷデータ圧縮処理プログラムを終了する。
【００６７】
次に、図６のフローチャートを用いて、図５に示されるＣＣＤ−ＲＡＷデータ圧縮処理プログラムで可逆圧縮されたＣＣＤ−ＲＡＷデータを伸張する際にＣＰＵ１２によって実行される可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理プログラムの処理の流れを説明する。このフローに係るプログラムは、内部メモリ３２の所定の領域に予め記憶されている。
【００６８】
まず、ステップ３００で、内部メモリ３２又は外部メモリ３４に記憶されている可逆圧縮されたＣＣＤ−ＲＡＷデータを圧縮・伸張処理部３０へ送信する。
【００６９】
次に、ステップ３０２で、圧縮・伸張処理部３０が備えるハフマン符号・復号部４２に対して、ハフマン復号化処理の実行を指示する。この指示を受けて、ハフマン符号・復号部４２は、送信されてきた可逆圧縮されたＣＣＤ−ＲＡＷデータに対してハフマン復号化を実行する。これにより、ＣＣＤ−ＲＡＷデータは、ＤＰＣＭ変換された状態に戻される。
【００７０】
次に、ステップ３０４で、ＤＰＣＭ変換部４０に対して逆ＤＰＣＭ変換処理の実行を指示する。この指示を受けて、ＤＰＣＭ変換部４０は、ＤＰＣＭ変換された状態のＣＣＤ−ＲＡＷデータに対して逆ＤＰＣＭ変換を実行する。これにより、ＣＣＤ−ＲＡＷデータは、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態に戻される。
【００７１】
次に、ステップ３０６で、主・従判別部３６に対して、画素情報の判別処理を指示する。この指示を受けて、主・従判別部３６は、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態のＣＣＤ−ＲＡＷデータを構成する各画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものかの判別処理を実行する。
【００７２】
次に、ステップ３０８で、変倍処理部３８に対して、従感光部ＰＤ２の画素情報に対して除算処理するよう指示する。この指示を受けて、変倍処理部３８は、ステップ３０６において、従感光部ＰＤ２で取得されたと判別された画素情報に対して信号範囲比Ｚで除算する処理を実行する。この除算処理によって、信号範囲比Ｚで乗算された従感光部ＰＤ２の画素情報を元の値に復元することができる。
【００７３】
次に、ステップ３１０で、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態のＣＣＤ−ＲＡＷデータを構成する全ての画素情報に対する主・従判別部３６及び変倍処理部３８による、判別並びに乗算処理の終了待ちを行い、次のステップ３１２では、内部メモリ３２又は外部メモリ３４に伸張圧縮されたＣＣＤ−ＲＡＷデータを記憶させ、その後に本可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理プログラムを終了する。
【００７４】
以上説明したように、第１の実施の形態によれば、主感光部ＰＤ１と主感光部ＰＤ１よりも感度の低い従感光部ＰＤ２とで構成されるＣＣＤエリアセンサ１８を撮像部１４に備え、撮像部１４で取得された画像情報のＣＣＤ−ＲＡＷデータを構成する複数の画素情報に対し、主・従判別部３６が主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものであるかを判別する。そして、変倍処理部３８が、従感光部ＰＤ２の画素情報を、主感光部ＰＤ１の画素情報の信号範囲を従感光部ＰＤ２の画素情報の信号範囲で除算した値である信号範囲比Ｚで乗算する。そして、圧縮・伸張処理部３０が、ＤＰＣＭ変換した後にハフマン符号することで、従感光部ＰＤ２が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータを可逆圧縮する。
【００７５】
これにより、変倍処理部３８で従感光部ＰＤ２の画素情報を信号範囲比Ｚで乗算しない場合と比較して、ＤＰＣＭ変換において予測符号化の対象となる画素の画素情報の予測値と実際の値との誤差を小さくすることができ、この結果として感度の異なる受光素子により得られた画素情報で構成される画像情報を、高い圧縮効率で可逆圧縮できる。
【００７６】
また、可逆圧縮されたＣＣＤ−ＲＡＷデータをハフマン復号化、ＤＰＣＭ変換した後に従感光部ＰＤ２の画素情報を信号範囲比Ｚで除算し復元することで、可逆圧縮されたＣＣＤ−ＲＡＷデータを元のＣＣＤ−ＲＡＷデータに簡易且つ確実に戻すことができる。
（第２の実施の形態）
第２の実施の形態では、ＣＣＤ−ＲＡＷデータが内部メモリ３２に記憶される前に、従感光部ＰＤ２の画素情報が信号範囲比Ｚを用いて変倍処理される場合の形態例について説明する。
【００７７】
まず、図７を参照して、第２の実施の形態に係るデジタルカメラ１０’の構成を説明する。なお、図７における図１と同一の構成部分については図１と同一の符号を付して、その説明を省略する。
【００７８】
図７に示されるように、本実施の形態に係るメモリ制御部２８’は、主・従判別部３６と変倍処理部３８とを含んで構成されている。そのため、内部メモリ３２又は外部メモリ３４にＣＣＤ−ＲＡＷデータが記憶されるときに、主・従判別部３６が、ＣＣＤ−ＲＡＷデータを構成する画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたかを判別し、変倍処理部３８が、従感光部ＰＤ２に対応する画素情報を信号範囲比Ｚに基づいて変倍する。
【００７９】
次に、第２の実施の形態に係るデジタルカメラ１０’の作用を説明する。
【００８０】
図８は、第２の実施の形態に係るデジタルカメラ１０’が被写体像を撮影することによって得られた画像情報を、ＣＣＤ−ＲＡＷデータとして記憶する際にＣＰＵ１２によって実行されるＣＣＤ−ＲＡＷデータ圧縮処理プログラムの処理の流れを示すフローチャートである。このフローに係るプログラムは、内部メモリ３２の所定の領域に予め記憶されている。なお、第１の実施の形態にかかる図４のフローチャートと同一のステップは、追加されるステップの前後についてのみ説明し、他の同一のステップについては同一の符号を付して説明を省略する。
【００８１】
まず、ステップ４００で、撮像部１４において取得されたＣＣＤ−ＲＡＷデータをメモリ制御部２８に送信する。
【００８２】
次に、ステップ４０２で、メモリ制御部２８’が備える主・従判別部３６に対してＣＣＤ−ＲＡＷデータの判別処理を指示する。この指示を受けて、主・従判別部３６は、ＣＣＤ−ＲＡＷデータを構成する各画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものか判別する処理を実行する。
【００８３】
次に、ステップ４０４で、メモリ制御部２８’が備える変倍処理部３８に対して、従感光部ＰＤ２の画素情報に対して乗算処理するよう指示する。この指示を受けて、変倍処理部３８は、主・従判別部３６によって従感光部ＰＤ２で取得されたと判別された画素情報に対して信号範囲比Ｚを乗算する処理を実行する。
【００８４】
次に、ステップ４０６で、ＣＣＤ−ＲＡＷデータを構成する全ての画素情報に対する主・従判別部３６及び変倍処理部３８による、判別並びに乗算処理の終了待ちを行い、次のステップ４０８では、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータを内部メモリ３２へ記憶させる。
【００８５】
次に、ステップ４１０で、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータを、内部メモリ３２から圧縮・伸張処理部３０’へ送信する。
【００８６】
そして、ステップ２１０並びに２１２において、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算されたＣＣＤ−ＲＡＷデータが、圧縮・伸張処理部３０’でＤＰＣＭ変換並びにハフマン符号化されることで可逆圧縮され、可逆圧縮されたＣＣＤ−ＲＡＷデータを、ステップ２１４において内部メモリ３２又は外部メモリ３４に記憶させ、その後に本ＣＣＤ−ＲＡＷデータ圧縮処理プログラムを終了する。
【００８７】
次に、図９のフローチャートを用いて、図８に示されるＣＣＤ−ＲＡＷデータ圧縮処理プログラムで可逆圧縮されたＣＣＤ−ＲＡＷデータを伸張する際にＣＰＵ１２によって実行される可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理プログラムの処理の流れを説明する。このフローに係るプログラムは、内部メモリ３２の所定の領域に予め記憶されている。なお、第１の実施の形態にかかる図６のフローチャートと同一のステップは、追加されるステップの前後についてのみ説明し、他の同一のステップについては同一の符号を付して説明を省略する。
【００８８】
ステップ３０２、ステップ３０４において、可逆圧縮されたＣＣＤ−ＲＡＷデータは、圧縮・伸張処理部３０’でハフマン復号化並びに逆ＤＰＣＭ変換される。
【００８９】
次に、ステップ５００で、ハフマン復号化、逆ＤＰＣＭ変換後のＣＣＤ−ＲＡＷデータ、すなわち従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態のＣＣＤ−ＲＡＷデータをメモリ制御部２８’へ送信する。
【００９０】
次に、ステップ５０２で、メモリ制御部２８’が備える主・従判別部３６に対して、画素情報の判別処理を指示する。この指示を受けて、主・従判別部３６は、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態のＣＣＤ−ＲＡＷデータを構成する各画素情報に対して、主感光部ＰＤ１又は従感光部ＰＤ２の何れで取得されたものかの判別処理を実行する。
【００９１】
次に、ステップ５０４で、メモリ制御部２８’が備える変倍処理部３８に対して、従感光部ＰＤ２の画素情報に対して除算処理するよう指示する。この指示を受けて、変倍処理部３８は、ステップ５０２において、従感光部ＰＤ２で取得されたと判別された画素情報に対して信号範囲比Ｚで除算する処理を実行する。
【００９２】
次に、ステップ５０６で、従感光部ＰＤ２の画素情報が信号範囲比Ｚで乗算された状態のＣＣＤ−ＲＡＷデータを構成する全ての画素情報に対する主・従判別部３６及び変倍処理部３８による、判別並びに乗算処理の終了待ちを行い、次のステップ３１２では、内部メモリ３２又は外部メモリ３４に伸張圧縮されたＣＣＤ−ＲＡＷデータを記憶し、その後に本可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理プログラムを終了する。
【００９３】
以上説明したように、第２の実施の形態によれば、主・従判別部３６と変倍処理部３８とをメモリ制御部２８’に備えることにより、ＣＣＤ−ＲＡＷデータを内部メモリ３２又は外部メモリ３４に記憶させる前に、ＣＣＤ−ＲＡＷデータに対して従感光部ＰＤ２の画素情報を信号範囲比Ｚで乗算でき、圧縮・伸張処理部３０’を簡易な構成とし、ＣＣＤ−ＲＡＷデータの圧縮、伸張が可能となる。
【００９４】
なお、第１の実施の形態並びに第２の実施の形態では、ＣＣＤエリアセンサ１８として、主感光部ＰＤ１と従感光部ＰＤ２とが交互に配列されているものを適用した場合について説明したが、一例として図１０に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２、と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるＣＣＤエリアセンサ１８を適用する形態としてもよい。なお、各受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【００９５】
また、第１の実施の形態並びに第２の実施の形態では、一つの主感光部ＰＤ１に対して一つの従感光部ＰＤ２が備えられている場合について説明したが、これに限らず、一つの主感光部ＰＤ１に対して複数の従感光部を備えるものとしても良い。このとき、複数の従感光部は、露光量に対して各々異なる感度を有し、信号範囲比は、各従感光部と主感光部ＰＤ１との間で算出され、主感光部ＰＤ１と複数の従感光部との配列順序を示す配列順序情報と共に内部メモリ３２に記憶されることになる。なお、ＣＣＤエリアセンサ１８として、一例として図１０で示されるものを適用したときも同様に複数の低感度受光領域９０を備えるとしても良い。
【００９６】
さらに、第１の実施の形態並びに第２の実施の形態では、固体撮像素子をＣＣＤエリアセンサとして説明しているが、これに限らず、ＣＭＯＳイメージセンサとしてもよい。
【図面の簡単な説明】
【００９７】
【図１】第１の実施の形態に係るデジタルカメラの概略構成を示すブロック図である。
【図２】第１の実施の形態に係るデジタルカメラで適用したＣＣＤエリアセンサの構成を示す概略図である。
【図３】第１の実施の形態に係るＣＣＤエリアセンサの主感光部と従感光部との露光量に対する感度の違いを示すグラフである。
【図４】ＤＰＣＭ変換、並びにＣＣＤ−ＲＡＷデータのデータ構造の説明に供する図である。
【図５】第１の実施の形態に係るＣＣＤ−ＲＡＷデータ可逆圧縮処理に係るプログラムの処理の流れを示すフローチャートである。
【図６】第１の実施の形態に係る可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理に係るプログラムの処理の流れを示すフローチャートである。
【図７】第２の実施の形態に係るデジタルカメラの概略構成を示すブロック図である。
【図８】第２の実施の形態に係るＣＣＤ−ＲＡＷデータ可逆圧縮処理に係るプログラムの処理の流れを示すフローチャートである。
【図９】第２の実施の形態に係る可逆圧縮ＣＣＤ−ＲＡＷデータ伸張処理に係るプログラムの処理の流れを示すフローチャートである。
【図１０】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤエリアセンサの構成例を示す概略図である。
【符号の説明】
【００９８】
１０    デジタルカメラ
１８    ＣＣＤエリアセンサ（撮像手段）
３０    圧縮・伸張処理部（圧縮手段、伸張手段）
３８    変倍処理部（変換手段、復元手段）
【図１】
2008244672.tif 000003
【図２】
2008244672.tif 000004
【図３】
2008244672.tif 000005
【図４】
2008244672.tif 000006
【図５】
2008244672.tif 000007
【図６】
2008244672.tif 000008
【図７】
2008244672.tif 000009
【図８】
2008244672.tif 000010
【図９】
2008244672.tif 000011
【図１０】
2008244672.tif 000012