(57)【要約】【課題】比較的小さい符号化処理負担で高画質を提供できる光線情報の符号化方法を提供する。【解決手段】プロセッシングブロックデータＰＲＢＫを単位として符号化を行う。マイクロレンズブロックＭＬＢは光線情報を含む６×６のピクセルデータで構成される。ＰＲＢＫは、８×８のＭＬＢで構成される。ＰＲＢＫ内の全ＭＬＢの所定のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）がＪＰＥＧ符号化され、それ以外の画素データＬ（ｕ，ｖ，ｓ，ｔ）はＬＺＷ圧縮される。【選択図】図７
2008182692.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む光線情報を符号化する符号化方法であって、
前記光線情報を複数の処理単位ブロックに分割し、
前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行する、
ことを特徴とする符号化方法。
【請求項２】
前記第１の符号化処理および前記第２の符号化処理は並列に実行されることを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記第１の符号化処理は非可逆圧縮処理であり、前記第２の符号化処理は可逆圧縮処理であることを特徴とする請求項１又は２に記載の符号化方法。
【請求項４】
前記第１の符号化処理は空間周波数変換に基づいた符号化処理であり、
前記第２の符号化処理はＬＺ符号化に基づいた符号化方式を用いる符号化処理であることを特徴とする請求項３に記載の符号化方法。
【請求項５】
被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む光線情報を符号化する符号化方法であって、
前記被写体からの光線を撮像素子により受光することにより得られる２次元配列のピクセルデータである前記光線情報を、前記ピクセルデータを複数個含み、前記被写体より異なる方向へ広がる前記光線の角度の情報が含まれる複数の２次元ブロックに分割し、
前記２次元ブロックを複数個毎にまとめたものを処理単位ブロックとして複数の処理単位ブロックを取得し、
前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行する、
ことを特徴とする符号化方法。
【請求項６】
前記第１の符号化処理は、前記処理単位ブロック内の前記複数の２次元ブロックにおける所定のピクセルのピクセルデータを符号化処理の対象とし、
前記第２の符号化処理は、前記所定のピクセル以外のその他のピクセルのピクセルデータを符号化処理の対象とすることを特徴とする請求項５に記載の符号化方法。
【請求項７】
前記第２の符号化処理は、前記２次元ブロック内において、前記所定のピクセルを基点として隣接したピクセルのピクセルデータ間の差分データを順次生成し、前記生成された複数の差分データを１次元配列することにより得られるワードを符号化する処理であることを特徴とする請求項６に記載の符号化方法。
【請求項８】
前記第２の符号化処理は、前記所定のピクセル以外のその他のピクセルのうちの一部のピクセルを符号化の対象外とすることを特徴とする請求項６又は７に記載の符号化方法。
【請求項９】
前記第１の符号化処理および前記第２の符号化処理は並列に実行されることを特徴とする請求項５に記載の符号化方法。
【請求項１０】
前記第１の符号化処理は非可逆圧縮処理であり、前記第２の符号化処理は可逆圧縮処理であることを特徴とする請求項５又は９に記載の符号化方法。
【請求項１１】
前記第１の符号化処理は空間周波数変換に基づいた符号化処理であり、
前記第２の符号化処理はＬＺ符号化に基づいた符号化方式を用いることを特徴とする請求項１０に記載の符号化方法。
【請求項１２】
フォーカスレンズと、
前記フォーカスレンズの焦点位置に配置され複数のマイクロレンズからなるマイクロレンズアレイと、
前記フォーカスレンズと前記複数のマイクロレンズの各々を順に通って形成された被写体像を電気信号に変換する２次元配置された複数のピクセルからなる撮像素子と、
前記複数のピクセルの受光結果に応じた光線情報を符号化する符号化部と、
を具備し、
前記光線情報は、前記フォーカスレンズと前記複数のマイクロレンズの各々を通って前記複数のピクセルに入射した被写体からの光線が前記マイクロレンズアレイの面に入射した際の該面上での位置情報と前記面に入射した角度情報との情報を含み、
前記符号化部は、前記光線情報を複数の処理単位ブロックに分割し、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行することを特徴とする電子カメラ。
【請求項１３】
画像データに基づいて画像を表示する表示部と、
前記光線情報のうち前記第１の画像情報の生成に用いる光線情報に応じた画像データに画像処理を施して得られた画像データをライブビュー画像として前記表示部に表示させる表示処理部と、
をさらに具備することを特徴とする請求項１２に記載の電子カメラ。
【請求項１４】
前記符号化部は、前記光線情報のうち前記第１の画像情報の生成に用いる光線情報に応じた画像データに画像処理を施して得られた画像データを符号化してサムネイル画像データを生成することを特徴とする請求項１２に記載の電子カメラ。
【請求項１５】
前記第１の画像情報、前記第２の画像情報、及び前記サムネイル画像データを記録媒体に記録する記録部をさらに具備することを特徴とする請求項１４に記載の電子カメラ。
【請求項１６】
被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む光線情報を符号化する処理をコンピュータに実行させるための符号化プログラムであって、
前記光線情報を複数の処理単位ブロックに分割する手順と、
前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行する手順と、
を前記コンピュータに実行させるための符号化プログラム。
【請求項１７】
被写体からの光線が所定の面に入射した際の該面上での位置情報と前記面に入射した角度情報とを含む符号化された光線情報を復号する復号方法であって、
所定の処理単位ブロック毎に、前記光線情報を符号化して得られた前記被写体の符号化された第１の画像情報を復号して前記第１の復号画像情報を構成する第１のブロック単位情報を生成する第１の復号処理と、前記所定の処理単位ブロック毎に、前記被写体に関連し前記第１の画像情報とは異なる種類の符号化された第２の画像情報を復号して前記第２の復号画像情報を構成する第２のブロック単位情報を生成する第２の復号処理とを実行することを特徴とする復号方法。
【請求項１８】
前記第２の復号処理は、前記第１の復号画像情報に基づいて前記第２の画像情報を復号することを特徴とする請求項１７に記載の復号方法。
【請求項１９】
前記第１の復号処理は、非可逆圧縮処理に対応した復号処理であり、
前記第２の復号処理は、可逆圧縮処理に対応した復号処理であることを特徴とする請求項１７に記載の復号方法。
【請求項２０】
前記第１の復号処理は、前記第１の復号画像情報として、前記処理単位ブロックを構成する複数の２次元ブロックデータの各々の所定のピクセルデータを生成する処理であり、
前記第２の復号処理は、前記第２の復号画像情報として、前記複数の２次元ブロックデータの各々について、前記生成された所定のピクセルデータに基づいて、前記所定のピクセルデータ以外のその他のピクセルデータを生成する処理であることを特徴とする請求項１７に記載の復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレノプティックカメラ(Plenoptic Camera)で撮像された画像を符号化する符号化方法、そのような符号化方法で画像を符号化する電子カメラ、符号化プログラム、及び符号化された画像を復号する復号方法に関する。
【背景技術】
【０００２】
図２０（Ａ）は、通常のカメラのフォーカス機能を示す図である。フォーカスレンズ１２１及び図示しない他の光学系（例えば、ズーム光学系）により集光された光は、像平面１２１Ｆに配置されている撮像素子１２７に投射される。フォーカスレンズ１２１の像平面１２１Ｆに対する位置は、矢印１２１Ｂで示されるように、光軸１２１Ｈに沿って変更可能となっている。フォーカスレンズ１２１の位置は、例えばオートフォーカス（ＡＦ）等の制御の際にカメラのファームウェア等の処理に使われる。このフォーカスレンズ１２１の位置は、離散的な数値によって管理される。図中１２１Ａは、このような「フォーカス値」を示す。
【０００３】
ここで、通常のカメラの光学系がズーム光学系を含む場合や、複雑な光学系である場合には、フォーカスレンズ１２１は複数のレンズを含むレンズ群により構成される。この場合、フォーカス値１２１Ａはこのようなレンズ群の、変更及び制御可能な総体的な状態を表すものとなる。
【０００４】
カメラのレンズは、平面上の物体を平面上に結像させることを基本にしている。ここで、所定のフォーカス値に配置されたフォーカスレンズ１２１により像平面１２１Ｆにボケなしで結像される平面を「ベストな物体平面」ということにする。被写体がベストな物体平面１２１Ｄにあると、完全にフォーカスが合った状態で撮像素子１２７に結像される。フォーカス値１２１Ａを変えることにより、像平面１２１Ｆからベストな物体平面１２１Ｄまでの距離である被写体距離１２１Ｅを変えることができる。フォーカス値１２１Ａと被写体距離１２１Ｅとは一対一の対応になる。
【０００５】
実際には、ボケの許容範囲に応じた被写界深度１２１Ｇが存在し、物体平面１２１Ｊがベストな物体平面から被写界深度１２１Ｇの分ずれていても、実質的にフォーカスが合った状態で撮像素子１２７に投射される。
【０００６】
図１９（Ａ）は、このような通常のカメラでもって撮影する場合を表している。先ず、オートフォーカスまたはマニュアルフォーカスの操作により、フォーカスを被写体Ｘに合わせる。この動作は、フォーカスレンズ１２１を光軸１２１Ｈの方向に移動させることにより、ベストな物体平面１２１Ｄを被写体Ｘの被写体面に合わせることに対応する。図１９（Ａ）は、フォーカスレンズ１２１が、あるフォーカス値１２１Ａに移動され、ベストな物体平面１２１Ｄが被写体Ｘの被写体面と一致している状態を示している。この状況でレリーズボタンが押されると、被写体Ｘからの光が、フォーカスの合った状態のフォーカスレンズ１２１を介して撮像素子１２７に投射される。
【０００７】
これに対して、プレノプティックカメラでは図１９（Ｂ）、図２０（Ｂ）に示すように、被写体Ｘからの光をマイクロレンズアレイ１２５に投射する。つまり、図１９（Ｂ）における像平面１２１Ｆにはマイクロレンズアレイ１２５が設置されており、撮像素子１２７は、その後ろの面に配置されている。このような構造により、マイクロレンズアレイ１２５に投射された被写体Ｘからの様々な光線Ｋｌ、Ｋ２、Ｋ３は、個々のマイクロレンズ１２５Ａにより分離されて、撮像素子１２７の一部１２７Ａに投射される。したがって、この撮像素子１２７の一部２７Ａにより結像された情報には、光線の方向の情報が含まれる。一方、マイクロレンズアレイ１２５には、被写体Ｘの光が投射されるので、撮像素子１２７の結像結果は、光線が被写体のどの位置からの光かを示す、位置情報が含まれているといえる。
【０００８】
このように、プレノプティックカメラの撮像素子の結像結果である画像情報（ライトフィールド画像）は、空間における光線の情報（光線情報）を含んでいる。プレノプティックカメラでは、上述のように、４次元の光線情報をサンプリングすることができる。
【０００９】
特許文献１には、光線情報（ライトフィールド画像情報）を符号化する手法が開示されている。当該手法では、復号スピードを向上させるために、ベクトル量子化が採用されている。また、当該手法は、例えば、復号データに対してのアクセスが複雑となるＭＰＥＧ（Moving Picture Experts Group）方式等で採用される予測符号化とは異なり、ベクトル符号化データの復号が、コードブック内のインデックスを参照してそれを出力して行われる。
【００１０】
特許文献１の手法において、光線情報は、ベクトル量子化され、ベクトル量子化の際に採用されたコードブックとインデックスとがＬＺ(Lempel-Ziv)符号化されてビットストリーム内に組み込まれる。画像品質を高めるために、適切なコードブックを最初に生成するまでに、例えば、トライ・アンド・エラーによる符号化が行われ、トレイニング集合が生成される。
【００１１】
また、非特許文献１には、機械的及び光学的特徴を備えた携帯型プレノプティックカメラが開示されている。
【００１２】
非特許文献２には、プレノプティックカメラで取得した画像をリフォーカスして様々な焦点深度でフォーカスされた画像を生成する方法であるフーリエ・スライシング(Fourier Slicing)法が開示されている。
【００１３】
また、非特許文献３には、光線情報をブロックに分割し、４次元ＤＣＴ(Discrete Cosine Transform)を施す技術が開示されている。
【特許文献１】米国特許第６，０９７，３９４号明細書
【特許文献２】米国特許第５，０７６，６８７号明細書
【非特許文献１】Ren Ng et. al, “Light Field Photography with a Hand-held Plenoptic Camera ”, Stanford Tech Report CTSR, 2005, p.2005-2002
【非特許文献２】Ren Ng, “Fourier Slice Photography”, Stanford University, 2005
【非特許文献３】高野他，“光線情報に基づく空間符号化” 映像情報メディア学会誌  Vol.52, No.1 ,p.1321-1327
【発明の開示】
【発明が解決しようとする課題】
【００１４】
トライ・アンド・エラーによる符号化は、処理負荷が大きいため、携帯型プレノプティックカメラでリアルタイム撮像を行う場合には適切ではない。そのため、携帯型プレノプティックカメラに組み込む、さらなる適切な符号化方法が望まれている。
【００１５】
ここで、特許文献１には、携帯機器やコンピュータにインデックス表示させるサムネイル画像を、メインの光線情報と共に符号化された画像からどのようにして抽出するかについては記載されていない。
【００１６】
また、非特許文献１には、取得した画像をどのように符号化するかについては開示されていない。さらに、非特許文献１には、取得した画像をリアルタイムに液晶ディスプレイに表示する方法、並びにサムネイル画像を符号化する方法についても開示されていない。
【００１７】
また、非特許文献２は、光線情報を取得するプレノプティックカメラ等の機器が、光線情報をどのようにして符号化すべきか、並びに取得するべき画像をライブビュー表示する方法については開示していない。
【００１８】
また、非特許文献３の手法では、膨大な４次元データに対して４次元ＤＣＴを実行しなければならず、符号化が煩雑になるばかりでなく、直流成分を除く全てのＤＣＴ係数に対して線形量子化を適用するので、光線の伝搬方向の情報が非可逆に符号化され、その情報が失われてしまうという問題がある。
【００１９】
本発明は、上記の事情に鑑みてなされたものであり、比較的小さい符号化処理負担で高画質を提供できる光線情報の符号化方法、そのプログラム、このような符号化方法で符号化を行う電子カメラ、及びこのような符号化に対応した復号方法を提供することを目的とする。
【００２０】
また、本発明は、インデックス表示用のサムネイル画像に用いる適切な画像を光線情報から取得できる符号化方法を提供することを目的とする。
【００２１】
さらに、本発明は、ライブビュー表示用の画像を光線情報から適切に生成できる符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上述した目的を達成するために、本発明の第１の観点の符号化方法は、被写体からの光線が所定の平面に入射した際の該平面上での位置情報と前記平面に入射した角度情報とを含む光線情報を符号化する符号化方法であって、前記光線情報を複数の処理単位ブロックに分割し、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行することを特徴とする。
【００２３】
また、上述した目的を達成するために、本発明の第２の観点の符号化方法は、被写体からの光線が所定の平面に入射した際の該平面上での位置情報と前記平面に入射した角度情報とを含む光線情報を符号化する符号化方法であって、前記被写体からの光線を撮像素子により受光することにより得られる２次元配列のピクセルデータである前記光線情報を、前記ピクセルデータを複数個含み、前記被写体より異なる方向へ広がる前記光線の角度の情報が含まれる複数の２次元ブロックに分割し、前記２次元ブロックを複数個毎にまとめたものを処理単位ブロックとして複数の処理単位ブロックを取得し、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行することを特徴とする。
【００２４】
また、上述した目的を達成するために、本発明の第３の観点の電子カメラは、フォーカスレンズと、前記フォーカスレンズの焦点位置に配置され複数のマイクロレンズからなるマイクロレンズアレイと、前記フォーカスレンズと前記複数のマイクロレンズの各々を順に通って形成された被写体像を電気信号に変換する２次元配置された複数のピクセルからなる撮像素子と、前記複数のピクセルの受光結果に応じた光線情報を符号化する符号化部とを具備し、前記光線情報は、前記フォーカスレンズと前記複数のマイクロレンズの各々を通って前記複数のピクセルに入射した被写体からの光線が前記複数のマイクロレンズアレイの平面に入射した際の該平面上での位置情報と前記平面に入射した角度情報との情報を含み、前記符号化部は、前記光線情報を複数の処理単位ブロックに分割し、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行することを特徴とする。
【００２５】
また、上述した目的を達成するために、本発明の第４の観点の符号化プログラムは、被写体からの光線が所定の平面に入射した際の該平面上での位置情報と前記平面に入射した角度情報とを含む光線情報を符号化する処理をコンピュータに実行させるための符号化プログラムであって、前記光線情報を複数の処理単位ブロックに分割する手順と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記被写体に関連する第１の画像情報を構成する第１のブロック単位情報を取得する第１の符号化処理と、前記複数の処理単位ブロックの各々に対して圧縮符号化を施して前記第１の画像情報とは異なる種類の第２の画像情報を構成する第２のブロック単位情報を取得する第２の符号化処理とを前記処理単位ブロック毎に実行する手順と、を前記コンピュータに実行させる。
【００２６】
また、上述した目的を達成するために、本発明の第５の観点の復号方法は、被写体からの光線が所定の平面に入射した際の該平面上での位置情報と前記平面に入射した角度情報とを含む符号化された光線情報を復号する復号方法であって、所定の処理単位ブロック毎に、前記光線情報を符号化して得られた前記被写体の符号化された第１の画像情報を復号して前記第１の復号画像情報を構成する第１のブロック単位情報を生成する第１の復号処理と、前記所定の処理単位ブロック毎に、前記被写体に関連し前記第１の画像情報とは異なる種類の符号化された第２の画像情報を復号して前記第２の復号画像情報を構成する第２のブロック単位情報を生成する第２の復号処理とを実行することを特徴とする。
【発明の効果】
【００２７】
本発明によれば、比較的小さい符号化処理負担で高画質を提供できる光線情報の符号化方法、そのプログラム、このような符号化方法で符号化を行う電子カメラ、及びこのような符号化に対応した復号方法を提供することができる。
【発明を実施するための最良の形態】
【００２８】
図１は、本発明の実施形態に係わるデジタルカメラ１の全体構成図である。図１に示すように、デジタルカメラ１は、例えば、操作部２２、光学系２３、マイクロレンズアレイ２５、撮像部２７、ＡＦＥ（Analog Front End）２９、作業メモリ３１、処理部３２、メモリＩ／Ｆ３３、内部メモリ３５、メモリＩ／Ｆ３７、着脱可能メモリ３９、ビデオメモリ４１、表示部４３、外部Ｉ／Ｆ４５、フラッシュメモリ４７およびＣＰＵ４８を有している。
【００２９】
ＡＦＥ２９、作業メモリ３１、処理部３２、メモリＩ／Ｆ３３、メモリＩ／Ｆ３７、ビデオメモリ４１、外部Ｉ／Ｆ４５およびＣＰＵ４８は、信号線２１を介して電気的に接続されている。
【００３０】
操作部２２は、ユーザの操作に応じた操作信号をＣＰＵ４８に出力する。操作部２２は、デジタルカメラ１の電源をオンさせるための電源ボタン、静止画撮影を実行するためのレリーズボタンなどの各種操作部材を含む。
【００３１】
光学系２３は、フォーカスレンズ２３ａおよびズームレンズ２３ｂによって構成されており、被写体からの光を集光等してマイクロレンズアレイ２５に向けて出射する。フォーカスレンズ２３ａは、被写体の各点からの光を、マイクロレンズアレイ２５上の一つの収束点に投射する。すなわち、デジタルカメラ１は、図１９（Ｂ）を用いて説明した撮像原理を持つプレノプティックカメラである。
【００３２】
マイクロレンズアレイ２５は、図２および図３に示すように、ｓ×ｔのマトリクス状に配置された複数のマイクロレンズＭＬ（ｓ、ｔ）によって構成されている。マイクロレンズアレイ２５を構成する各マイクロレンズは、当該マイクロレンズに入射した被写体の各点からの光（収束光）を、当該点からの出射方向（角度）に応じて分離して(separate)、後段の撮像部２７の撮像面上の各ピクセルに投射する。
【００３３】
本実施形態において、マイクロレンズアレイ２５を構成する個々のマイクロレンズの２次元形状は、フォーカスレンズ２３ａの２次元形状と同じである。当該２次元形状は、例えば矩形である。このようにマイクロレンズの２次元形状とフォーカスレンズ２３ａの２次元形状とを同じにすることで、以下に示すマイクロレンズブロックＭＬＢ（ｓ、ｔ）を構成する６×６ピクセルのうち有効な光を入射しないピクセル（無駄になるピクセル）の数を少なくできる。
【００３４】
撮像部２７は、ＣＣＤやＣＭＯＳセンサであり、マイクロレンズアレイ２５に対して光学系２３の反対側に位置する。撮像部２７は、単板式あるいは３板式である。撮像部２７は、複数のピクセル（画素）がマトリクス状に配置されて構成されている。個々のピクセルの受光面の形状は例えば矩形である。本実施形態では、フォーカスレンズ２３ａ、個々のマイクロレンズ、並びにピクセルの受光面を同一形状、すなわち矩形にしたことで、フォーカスレンズ２３ａから入射した光のうちピクセルで受光されない光の割合を少なくでき、受光感度を高めることができる。
【００３５】
本実施形態では、例えば、撮像部２７を構成するピクセルを、６×６ピクセルのマイクロレンズブロックＭＬＢを１単位として扱う。マイクロレンズブロックＭＬＢ（ｓ、ｔ）は、例えば、一つのマイクロレンズＭＬ（ｓ、ｔ）に対応付けられている。なお、マイクロレンズブロックＭＬＢ（ｓ、ｔ）は、一つのマイクロレンズＭＬ（ｓ、ｔ）に一対一に対応付けられている必要は無く、ピクセル補間処理等により、生成されてもよい。
【００３６】
各マイクロレンズブロックＭＬＢ（ｓ、ｔ）には、図３に示すように、６×６のピクセルＰＩＣ（ｕ，ｖ）が割り当てられている。
【００３７】
撮像部２７は、各ピクセルが受けた光を光電変換して発生した電荷に応じたアナログのＲＡＷ画像信号を生成する。本実施形態では、後述するように、ＲＡＷ画像信号をデジタル化して得られたデジタルのＲＡＷ画像データを基に、処理部３２が補間処理等を行って、各マイクロレンズブロックＭＬＢ（ｓ、ｔ）のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。
【００３８】
本実施形態では、各マイクロレンズブロックＭＬＢ（ｓ、ｔ）の６×６のピクセルのピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が、光線情報を有している。広義の意味での光線情報とは、光線の情報である。一般的に、光線の情報を得るためには、その光線が自由空間で通る一点（ｘ，ｙ，ｚ）と、その点を通過する際の角度（θ,φ）を得る必要がある。しかし、デジタルカメラ１の撮影等で想定している自由空間においては、放射輝度が光線上のどの点をとっても不変であるため、一般的な光線情報を４次元の光線情報として見なせる。すなわち、光線情報とは、光線が所定の２次元多様体を交差する点の位置とこの多様体に入射した角度との情報を含む情報である。この際、所定の多様体は、仮想的なものであり、任意である。所定の多様体は、例えば、平面または球面であってもよい。また、多様体は、単一のものではなくてもよく、例えば２つの異なる平面から構成されてもよい。さらに、光線情報の用途によっては、４次元の光線情報ではなく、光線が所定の平面を交差する点の位置（２次元）とこの平面に入射した角度（２次元）のうち、平面上の一つの方向ベクトルとこの光線が成す角度（１次元）のみを考慮することによる、３次元の光線情報であってもよい。
【００３９】
さらに、光線情報は、２つの所定の第１の平面と第２の平面とが交差する２つの場所の情報として記述してもよい。このような記述方法は、例えば、米国特許第６，０９７，３９４号明細書に記載されている。
【００４０】
本実施形態におけるデジタルカメラ１においては、マイクロレンズアレイ２５の平面を所定の平面としておくことができる。そしてこの際、この平面上の位置が座標（ｓ、ｔ）でもって記述され、この平面に対する入射角を座標（ｕ，ｖ）でもって記述されていると見なしてよい。
【００４１】
ＡＦＥ２９は、撮像部２７から入力したアナログの画像信号に所定のアナログ・フロントエンド処理を施し、処理後の画像信号をＡ／Ｄ変換して得られるデジタルのＲＡＷ画像データを作業メモリ３１に書き込む。
【００４２】
作業メモリ３１は、処理部３２の処理対象データ、あるいは処理後のデータを一時的に記憶する。作業メモリ３１は、例えば、ＳＤＲＡＭ(Synchronous DRAM)である。
【００４３】
処理部３２は、後述するように撮像で得た画像データの符号化、復号等の処理を行う。処理部３２は、例えば、ＤＳＰ(Digital Signal Processor)である。処理部３２の処理について後に詳細に説明する。なお、処理部３２が本発明における符号化手段の一例である。
【００４４】
内部メモリ３５は、例えば、フラッシュメモリ等の半導体メモリであり、デジタルカメラ１内に固定して組み込まれている。内部メモリ３５は撮像によって得られた画像データを記憶し、メモリＩ／Ｆ３３を介して信号線２１に画像データを入出力する。
【００４５】
着脱可能メモリ３９は、例えば、フラッシュメモリからなるメモリカードであり、デジタルカメラ１に着脱可能に装着されている。着脱可能メモリ３９は、撮像によって得られた画像データを記憶し、メモリＩ／Ｆ３７を介して信号線２１に画像データを入出力する。
【００４６】
ビデオメモリ４１は、処理部３２で生成された表示用の画像データを一時的に記憶する。表示部４３は、ビデオメモリ４１に記憶された画像データに応じた画像を表示する。表示部４３は、例えば、液晶ディスプレイである。
【００４７】
外部Ｉ／Ｆ４５は、デジタルカメラ１の外部の機器との間で、データの入出力を行う。外部Ｉ／Ｆ４５は、例えば、ＵＳＢ(Universal Serial Bus)インタフェースである。
【００４８】
フラッシュメモリ４７は、撮像動作を実行するための各種プログラムと各種処理を実行するためのパラメータを格納している。
【００４９】
ＣＰＵ４８は、フラッシュメモリ４７から読み出したプログラムを実行して、デジタルカメラ１の動作を統括的に制御する。
【００５０】
以下、図１に示す処理部３２について説明する。図４は、図１に示す処理部３２の機能の一部を説明するための機能ブロック図である。
【００５１】
図４に示すように、処理部３２は、例えば、ピクセルデータ生成部５０、間引き処理部５１、ＪＰＥＧ(Joint Photographic Experts Group)符号化部５３、プレノプティック符号化部５５、ヘッダ付加部６１、ヘッダ解釈部６３、ＪＰＥＧ復号部６５、プレノプティック復号部６７を機能ブロックとして有する。
【００５２】
なお、ピクセルデータ生成部５０、間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５、ヘッダ付加部６１、ヘッダ解釈部６３、ＪＰＥＧ復号部６５、プレノプティック復号部６７の一部をＤＳＰではなく、専用のハードウェア回路で構成してもよい。また、これらの機能の一部または全部をＤＳＰ以外のプロセッサで実現してもよい。
【００５３】
処理部３２の処理は、大きく分けて、例えば、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する処理と、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を符号化する処理と、符号化されたピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を復号する処理と、復号したピクセルデータに応じた画像を表示する処理とがある。
【００５４】
以下、各処理について順に説明する。  
先ず、ピクセルデータ生成部５０について説明する。図５は、ピクセルデータ生成部５０の処理を説明するためのフローチャートである。
【００５５】
ステップＳ１１：  
ピクセルデータ生成部５０は、例えば、作業メモリ３１からＲＡＷ画像データを読み出す。
【００５６】
ステップＳ１２：  
ピクセルデータ生成部５０は、上記読み出したＲＡＷ画像データにデモザイク(de-mosaic)処理、ミスアライアンス補正処理、並びに補間処理等を行う。デモザイク処理は、撮影時に各ピクセルに対してその周辺ピクセルから足りない色情報を集め与えることで色情報を補完し、フルカラー画像を作り出す処理である。モザイク処理は、例えば、多くのデジタルカメラが採用する単板式のカラーイメージセンサでは各ピクセルが単色の色情報しか持たないため必要となる。３板式のカラーイメージセンサの場合には、デモザイク処理は不要である。ミスアライアンス補正処理は、例えば、ＲＡＷ画像データが示す画像を回転させて、図３に示すマイクロレンズアレイ２５のマイクロレンズＭＬ（ｓ，ｔ）の配列と、撮像部２７のマイクロレンズブロックＭＬＢの配列との横方向のミスアライアンスを補正する処理である。補間処理は、例えば、各マイクロレンズブロックＭＬＢに所定数のピクセルデータを含ませるために行われる。
【００５７】
ステップＳ１３：  
ピクセルデータ生成部５０は、ステップＳ１２で生成した１フレーム分のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を被符号化画像データＴＥとして作業メモリ３１等に書き込む。なお、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が本発明における光線情報の一例である。
【００５８】
次に、被符号化画像データＴＥを符号化するために用いられる間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５およびヘッダ付加部６１について説明する。
【００５９】
間引き処理部５１は、被符号化画像データＴＥを構成するピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうち、図６に示すように、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（４，４）であるピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を間引いて、画像データＴＥ２を生成する。
【００６０】
上記間引きにより、画像データＴＥ２は、図７等に示すように、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）によって構成されるデータになる。
【００６１】
ＪＰＥＧ符号化部５３は、間引き処理部５１で生成した画像データＴＥ２に、ＪＰＥＧ符号化処理を施してＪＰＥＧハフマンコードＪＦを生成する。具体的には、ＪＰＥＧ符号化部５３は、画像データＴＥ２にＤＣＴ変換処理を施してＤＣＴ変換係数Ｋを生成する。そして、ＪＰＥＧ符号化部５３は、ＤＣＴ変換係数Ｋを量子化する。次に、ＪＰＥＧ符号化部５３は、量子化したＤＣＴ変換係数を、低い周波数成分（直流）から高い周波数成分へとジグザグ状にスキャンする。次に、ＪＰＥＧ符号化部５３は、スキャンしたＤＣＴ変換係数にハフマン符号化等のエントロピー符号化を施してＪＰＥＧハフマンコードＪＦを生成する。
【００６２】
なお、ＪＰＥＧハフマンコードＪＦが本発明における第１の画像情報の一例であり、ＪＰＥＧ符号化部５３による符号化処理が本発明における第１の符号化処理の一例である。また、本実施形態において、本発明における第１の符号化処理の一例として、ＪＰＥＧ符号化処理を例示するが、その他の空間周波数変換を用いてもよい。
【００６３】
プレノプティック符号化部５５は、図４に示すように、パススキャン部５７およびＬＺＷ処理部５９を有する。
【００６４】
上述したように、ＪＰＥＧ符号化部５３は、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）によって構成される画像データＴＥ２を符号化する。これに対して、プレノプティック符号化部５５は、被符号化画像データＴＥ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を可逆符号化してワード列データＷＯＲＤを生成する。
【００６５】
パススキャン部５７は、図８（Ａ）に示すように、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（ｕ０，ｖ０）を基点としてピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）をパスＰＡＴＨ１，ＰＡＴＨ２，ＰＡＴＨ３，ＰＡＴＨ４，ＰＡＴＨ５の５パスでスキャンする。
【００６６】
ここで、パススキャン部５７は、パスＰＡＴＨ１のスキャンにおいて、ピクセルデータＬ（５，４，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（５，４，ｓ，ｔ）、ピクセルデータＬ（５，３，ｓ，ｔ）とピクセルデータＬ（５，４，ｓ，ｔ）との差分データＤ（５，３，ｓ，ｔ）、ピクセルデータＬ（６，３，ｓ，ｔ）とピクセルデータＬ（５，３，ｓ，ｔ）との差分データＤ（６，３，ｓ，ｔ）、並びにピクセルデータＬ（６，４，ｓ，ｔ）とピクセルデータＬ（６，３，ｓ，ｔ）との差分データＤ（６，４，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（５，４，ｓ，ｔ），Ｄ（５，３，ｓ，ｔ），Ｄ（６，３，ｓ，ｔ），Ｄ（６，４，ｓ，ｔ）で構成されるワードＷＯＲＤ１を生成する。
【００６７】
また、パススキャン部５７は、パスＰＡＴＨ２のスキャンにおいて、ピクセルデータＬ（４，３，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（４，３，ｓ，ｔ）、ピクセルデータＬ（４，２，ｓ，ｔ）とピクセルデータＬ（４，３，ｓ，ｔ）との差分データＤ（４，２，ｓ，ｔ）、ピクセルデータＬ（５，２，ｓ，ｔ）とピクセルデータＬ（４，２，ｓ，ｔ）との差分データＤ（５，２，ｓ，ｔ）、ピクセルデータＬ（４，１，ｓ，ｔ）とピクセルデータＬ（５，２，ｓ，ｔ）との差分データＤ（４，１，ｓ，ｔ）、並びにピクセルデータＬ（３，１，ｓ，ｔ）とピクセルデータＬ（４，１，ｓ，ｔ）との差分データＤ（３，１，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（４，３，ｓ，ｔ），Ｄ（４，２，ｓ，ｔ），Ｄ（５，２，ｓ，ｔ），Ｄ（４，１，ｓ，ｔ），Ｄ（３，１，ｓ，ｔ）で構成されるワードＷＯＲＤ２を生成する。
【００６８】
また、パススキャン部５７は、パスＰＡＴＨ３のスキャンにおいて、ピクセルデータＬ（３，３，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（３，３，ｓ，ｔ）、ピクセルデータＬ（３，２，ｓ，ｔ）とピクセルデータＬ（３，３，ｓ，ｔ）との差分データＤ（３，２，ｓ，ｔ）、ピクセルデータＬ（２，２，ｓ，ｔ）とピクセルデータＬ（３，２，ｓ，ｔ）との差分データＤ（２，２，ｓ，ｔ）、ピクセルデータＬ（２，３，ｓ，ｔ）とピクセルデータＬ（２，２，ｓ，ｔ）との差分データＤ（２，３，ｓ，ｔ）、並びにピクセルデータＬ（１，３，ｓ，ｔ）とピクセルデータＬ（２，３，ｓ，ｔ）との差分データＤ（１，３，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（３，３，ｓ，ｔ），Ｄ（３，２，ｓ，ｔ），Ｄ（２，２，ｓ，ｔ），Ｄ（２，３，ｓ，ｔ），Ｄ（１，３，ｓ，ｔ）で構成されるワードＷＯＲＤ３を生成する。
【００６９】
また、パススキャン部５７は、パスＰＡＴＨ４のスキャンにおいて、ピクセルデータＬ（３，４，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（３，４，ｓ，ｔ）、ピクセルデータＬ（２，５，ｓ，ｔ）とピクセルデータＬ（３，４，ｓ，ｔ）との差分データＤ（２，５，ｓ，ｔ）、ピクセルデータＬ（２，４，ｓ，ｔ）とピクセルデータＬ（２，５，ｓ，ｔ）との差分データＤ（２，４，ｓ，ｔ）、並びにピクセルデータＬ（１，４，ｓ，ｔ）とピクセルデータＬ（２，４，ｓ，ｔ）との差分データＤ（１，４，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（３，４，ｓ，ｔ），Ｄ（２，５，ｓ，ｔ），Ｄ（２，４，ｓ，ｔ），Ｄ（１，４，ｓ，ｔ）で構成されるワードＷＯＲＤ４を生成する。
【００７０】
また、パススキャン部５７は、パスＰＡＴＨ５のスキャンにおいて、ピクセルデータＬ（４，５，ｓ，ｔ）とピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）との差分データＤ（４，５，ｓ，ｔ）、ピクセルデータＬ（３，５，ｓ，ｔ）とピクセルデータＬ（４，５，ｓ，ｔ）との差分データＤ（３，５，ｓ，ｔ）、ピクセルデータＬ（３，６，ｓ，ｔ）とピクセルデータＬ（３，５，ｓ，ｔ）との差分データＤ（３，６，ｓ，ｔ）、ピクセルデータＬ（４，６，ｓ，ｔ）とピクセルデータＬ（３，６，ｓ，ｔ）との差分データＤ（４，６，ｓ，ｔ）、並びにピクセルデータＬ（５，５，ｓ，ｔ）とピクセルデータＬ（４，６，ｓ，ｔ）との差分データＤ（５，５，ｓ，ｔ）を生成する。そして、パススキャン部５７は、差分データＤ（４，５，ｓ，ｔ），Ｄ（３，５，ｓ，ｔ），Ｄ（３，６，ｓ，ｔ），Ｄ（４，６，ｓ，ｔ），Ｄ（５，５，ｓ，ｔ）で構成されるワードＷＯＲＤ５を生成する。
【００７１】
なお、図６に示すように、各マイクロレンズブロックＭＬＢ内の４隅のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（１，１，ｓ，ｔ），Ｌ（１，２，ｓ，ｔ），Ｌ（２，１，ｓ，ｔ），Ｌ（５，１，ｓ，ｔ），Ｌ（６，１，ｓ，ｔ），Ｌ（６，２，ｓ，ｔ），Ｌ（１，５，ｓ，ｔ），Ｌ（１，６，ｓ，ｔ），Ｌ（２，６，ｓ，ｔ），Ｌ（５，６，ｓ，ｔ），Ｌ（６，５，ｓ，ｔ），Ｌ（６，６，ｓ，ｔ）は、マイクロレンズブロックＭＬＢと、マイクロレンズＭＬとの位置関係の理由で有効なピクセルデータが得られないため、上述したスキャンを行わない。このように各マイクロレンズブロックＭＬＢ内の４隅のピクセルにおいて有効なピクセルデータが得られないのは、フォーカスレンズ２３ａが丸い形状を有しており、フォーカスレンズ２３ａを介してマイクロレンズブロックＭＬＢに投影される像がぼやけた円形状になるためである。
【００７２】
なお、フォーカスレンズ２３ａおよびズームレンズ２３ｂを矩形にした場合には、例えば、図８（Ｂ）に示すように、マイクロレンズＭＬ内の４隅の各々１つのピクセル以外のピクセルのピクセルデータが有効になる。そのため、パススキャン部５７は、図８（Ｂ）に示すパスＰＡＴＨ１１〜１４でスキャンを行うようにしてもよい。
【００７３】
パススキャン部５７は、例えば、図７に示す被符号化画像データＴＥ内のプロセッシングブロックデータＰＲＢＫを単位として、当該プロセッシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、上述したスキャン処理を行い、ワード列データＷＯＲＤを生成する。
【００７４】
なお、プロセッシングブロックデータＰＲＢＫが本発明における処理単位ブロックの一例である。また、マイクロレンズブロックＭＬＢが本発明における２次元ブロックデータの一例である。
【００７５】
ここで、プロセッシングブロックデータＰＲＢＫには、８×８の合計６４個のマイクロレンズブロックＭＬＢのピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）が含まれている。そのため、パススキャン部５７は、プロセッシングブロックデータＰＲＢＫについて、３２０（＝５×８×８）ワードからなるワード列データＷＯＲＤを生成する。
【００７６】
パススキャン部５７は、例えば、プロセッシングブロックデータＰＲＢＫ内の８×８の合計６４個の各々のマイクロレンズブロックＭＬＢについて生成したワードＷＯＲＤ１〜５を、図９に示すように、ジグザグスキャンにより順に並べてワード列データＷＯＲＤを生成する。
【００７７】
ＬＺＷ処理部５９は、パススキャン部５７から入力したワード列データＷＯＲＤにＬＺＷ圧縮処理を施してＬＺＷ圧縮コードＬＺを生成する。なお、ＬＺＷ処理部５９は、ＬＺＷ以外の辞書ベースのユニバーサル符号化（ＬＺ符号化）を行ってもよい。なお、ＬＺＷ圧縮コードＬＺが本発明における第２の画像情報の一例であり、プレノプティック符号化部５５による符号化処理が本発明における第２の符号化処理の一例である。
【００７８】
ヘッダ付加部６１は、ＪＰＥＧ符号化部５３が生成したＪＰＥＧハフマンコードＪＦと、ＬＺＷ処理部５９が生成したＬＺＷ圧縮コードＬＺとのヘッダデータＨＥＡＤＥＲを生成する。ヘッダデータＨＥＡＤＥＲには、ＬＺＷ圧縮コードＬＺへのポインタ、サムネイル画像データ、ファイルサイズ、画像サイズ、撮影日時、その他のタグ情報が書き込まれる。処理部３２は、ヘッダ付加部６１が生成したヘッダデータＨＥＡＤＥＲと、ＬＺＷ圧縮コードＬＺへのポインタＬＺＰ、ＪＰＥＧサムネイルデータＴＨＭ、ＪＰＥＧハフマンコードＪＦとを、図１０に示すデータ構造のファイル形式で内部メモリ３５や着脱可能メモリ３９に書き込む。
【００７９】
ヘッダ解釈部６３は、作業メモリ３１から読み出したＪＰＥＧハフマンコードＪＦおよびＬＺＷ圧縮コードＬＺのヘッダデータＨＥＡＤＥＲを解釈する。ヘッダ解釈部６３は、ＬＺＷ圧縮コードＬＺへのポインタＬＺＰを読み出して、これを保持する。そして、ヘッダ解釈部６３は、後にＬＺＷ圧縮コードＬＺの読み出しを行う場合に、当該ポインタＬＺＰを基に、読み出し対象のＬＺＷ圧縮コードＬＺにアクセスを行う。
【００８０】
ヘッダ解釈部６３は、作業メモリ３１から読み出したＪＰＥＧハフマンコードＪＦをＪＰＥＧ復号部６５に出力し、ＬＺＷ圧縮コードＬＺをプレノプティック復号部６７に出力する。
【００８１】
ＪＰＥＧ復号部６５は、ヘッダ解釈部６３から出力されたＪＰＥＧハフマンコードＪＦをＪＰＥＧ復号してＪＰＥＧ復号画像データを生成する。ＪＰＥＧ復号画像データは、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）で構成されている。ＪＰＥＧ復号部６５による復号処理は、前述したＪＰＥＧ符号化部５３の符号化処理と対応している。すなわち、ＪＰＥＧハフマンコードＪＦに対して、ハフマン復号処理、逆量子化および逆ＤＣＴ処理を順に施す。プレノプティック復号部６７は、ＪＰＥＧ復号画像データに基づいて、ＬＺＷ圧縮コードＬＺを復号してピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。プレノプティック復号部６７の復号処理は、例えば、前述したプレノプティック符号化部５５の符号化処理と対応している。
【００８２】
以下、デジタルカメラ１の動作例を説明する。  
［画像データ記録処理］  
図１１は、撮像部２７の結像結果に応じた画像データを符号化して作業メモリ３１に書き込む動作を説明するためのフローチャートである。図１２は、図１１に示す動作におけるデータの流れを説明するための図である。
【００８３】
以下、図１２を参照しながら、図１１に示す各ステップを説明する。なお、以下に示す処理のうち一部の実行順序は任意である。また、一部の処理を並列に実行してもよい。
【００８４】
ステップＳ２１：  
撮像部２７は、操作部２２のレリーズスイッチがオンされると、被写体から入射し各ピクセルが受けた光を光電変換して発生した電荷に応じたアナログのＲＡＷ画像信号を生成する。
【００８５】
ステップＳ２２：  
処理部３２は、ステップＳ２１のＲＡＷ画像信号が生成されたときに光学系２３において用いられたレンズパラメータおよびフォーカス値ｆを取得する。なお、フォーカス値ｆは、図１９（Ｂ）における被写体距離１２１Ｅに一対一の対応となっている。したがって、フォーカス値ｆの代わりに、フォーカス値ｆに対応した被写体距離の値を算出して取得してもよい。以下このようにして算出された被写体距離もｆで示す。また、単焦点カメラの場合には、フォーカス値ｆの取得は不要である。ただし、再生処理のために、カメラに固有の過焦点距離の値ｆをフォーカス値として取得するようにしても良い。
【００８６】
ステップＳ２３：  
ＡＦＥ２９は、撮像部２７から入力したアナログの画像信号に所定のアナログ・フロントエンド処理を施し、処理後の画像信号をＡ／Ｄ変換して得られるデジタルのＲＡＷ画像データを作業メモリ３１に書き込む。また、図４に示すピクセルデータ生成部５０は、ＲＡＷ画像データを作業メモリ３１から読み出して、入出力デモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行ってピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。ピクセルデータ生成部５０は、１フレームについて、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）で構成される被符号化画像データＴＥを作業メモリ３１に書き込む。
【００８７】
ステップＳ２４：  
処理部３２は、作業メモリ３１から被符号化画像データＴＥを読み出して符号化を行い、ＪＰＥＧハフマンコードＪＦと、ＬＺＷ圧縮コードＬＺを生成し、これらをステップＳ２２で取得したレンズパラメータおよびフォーカス値ｆと共に、作業メモリ３１に書き込む。当該符号化処理等は、図４に示す間引き処理部５１、ＪＰＥＧ符号化部５３、プレノプティック符号化部５５およびヘッダ付加部６１を用いて行われる。ステップＳ２４の処理については、後に図１３を用いて詳細に説明する。
【００８８】
ステップＳ２５：  
図４に示すヘッダ解釈部６３は、作業メモリ３１からＪＰＥＧハフマンコードＪＦを読み出し、ヘッダデータＨＥＡＤＥＲを解釈して、ＪＰＥＧ復号部６５において復号を行う。これにより、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）が生成される。次に、処理部３２は、復号したピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を基に、サムネイル画像データと、レックビュー表示用画像データとを生成し、サムネイル画像データをＪＰＥＧ符号化して得られたＪＰＥＧサムネイル画像データとレックビュー表示用画像データを作業メモリ３１に書き込む。ここで、処理部３２は、例えば、サムネイル表示指示を受けるとサムネイル画像データを生成してビデオメモリ４１に書き込む。これによりサムネイル画像が表示部４３に表示される。なお、サムネイル画像データは、例えば、インデックス表示指示を受けると表示部４３に複数のサムネイル画像からなるインデックス画像を表示させるためのものである。
【００８９】
ステップＳ２６：  
作業メモリ３１に書き込まれたＪＰＥＧハフマンコードＪＦ、ＪＺＷ圧縮コードＬＺおよびサムネイルＪＰＥＧ画像が作業メモリ３１から読み出されて内部メモリ３５または着脱可能メモリ３９に書き込まれる。
【００９０】
［符号化処理（図１１のステップＳ２４）］  
図１３は、図１１のステップＳ２４の符号化処理を詳細に説明するためのフローチャートである。
【００９１】
本実施形態における図１３に示すステップＳ３５〜Ｓ３７の処理（ＪＰＥＧ符号化処理）と、ステップＳ３８，Ｓ３９の処理（ＬＺＷ符号化処理）とは並列に実行してもよい。
【００９２】
ステップＳ３１：  
図１および図４に示す処理部３２は、ＪＰＥＧハフマンコードＪＦの生成に用いるピクセルＰＩＣ（ｕ０，ｖ０）を特定する情報を入力する。ピクセルＰＩＣ（ｕ０，ｖ０）を特定する情報は、例えば、予め所定のメモリに記憶されている。本実施形態では、ｕ０＝ｖ０＝４としている。これはマイクロレンズブロックＭＬの中央部のピクセルが一番有効な情報を持っていると考えられるためである。
【００９３】
ステップＳ３２：  
処理部３２は、変数ＰＢＣに初期値「０」を代入する。ここで、変数ＰＢＣが示す値は、符号化を行う図７に示すプロセッシングブロックデータＰＲＢＫを特定するための値である。
【００９４】
ステップＳ３３：  
処理部３２は、変数ＰＢＣに設定された値を「１」だけインクリメントする。
【００９５】
ステップＳ３４：  
処理部３２は、変数ＰＢＣが示す値に対応した符号化対象のプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を作業メモリ３１から読み出す。
【００９６】
ステップＳ３５：  
図４に示す間引き処理部５１は、ステップＳ３１で入力した情報に基づいて、ステップＳ３４で読み出されたプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうちピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を抽出して画像データＴＥ２を生成する。そして、ＪＰＥＧ符号化部５３は、画像データＴＥ２にＤＣＴ変換処理を施してＤＣＴ変換係数Ｋ（ｉ，ｊ）を生成する。
【００９７】
ステップＳ３６：  
ＪＰＥＧ符号化部５３は、ステップＳ３５で生成したＤＣＴ変換係数Ｋ（ｉ，ｊ）を量子化する。
【００９８】
ステップＳ３７：  
ＪＰＥＧ符号化部５３は、ステップＳ３６で量子化したＤＣＴ変換係数を、低い周波数成分（直流）から高い周波数成分へとジグザグ状にスキャンする。次に、ＪＰＥＧ符号化部５３は、スキャンしたＤＣＴ変換係数にハフマン符号等のエントロピー符号化を施して、ＪＰＥＧハフマンコードＪＦ１を生成する。
【００９９】
ステップＳ３８：  
プレノプティック符号化部５５のパススキャン部５７は、図８（Ａ）に示すように、符号化対象のプロセシングブロックデータＰＲＢＫ内のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、各マイクロレンズブロックＭＬＢ内のピクセルＰＩＣ（ｕ０，ｖ０）を基点としてピクセルＰＩＣ（ｕ０，ｖ０）以外のピクセルＰＩＣ（ｕ，ｖ）のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）をパスＰＡＴＨ１，ＰＡＴＨ２，ＰＡＴＨ３，ＰＡＴＨ４，ＰＡＴＨ５の５パスでスキャンする。パススキャン部５７は、前述したように、パス上のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）について、その一つ前のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）との差分データＤ（ｕ，ｖ，ｓ，ｔ）を生成する。そして、パススキャン部５７は、当該差分データＤ（ｕ，ｖ，ｓ，ｔ）によって構成されるワードを生成する。また、パススキャン部５７は、例えば、プロセッシングブロックデータＰＲＢＫ内の８×８の合計６４個の各々のマイクロレンズブロックＭＬＢについて生成したワードＷＯＲＤ１〜５を、図９に示すように、ジグザグスキャンにより順に並べてワード列データＷＯＲＤを生成する。
【０１００】
ステップＳ３９  
ＬＺＷ処理部５９は、パススキャン部５７から入力したワード列データＷＯＲＤにＬＺＷ圧縮処理を施してＬＺＷ圧縮コードＬＺ１を生成する。
【０１０１】
ステップＳ４０：  
ヘッダ付加部６１は、ＪＰＥＧ符号化部５３が生成したＪＰＥＧハフマンコードＪＦ１と、ＬＺＷ処理部５９が生成したＬＺＷ圧縮コードＬＺ１とのヘッダデータＨＥＡＤＥＲを生成し、これらを対応付けて作業メモリ３１に書き込む。
【０１０２】
ステップＳ４１：  
処理部３２は、被符号化画像データＴＥ内の全てのプロセシングブロックデータＰＲＢＫについて処理が完了したかを判断し、完了したと判断するとステップＳ２４の処理を終了する。一方、処理部３２は、被符号化画像データＴＥ内の全てのプロセシングブロックデータＰＲＢＫについて処理が完了していないと判断すると、ステップＳ３３に戻る。このように、プロセッシングブロックデータＰＲＢＫ毎に生成されるＪＰＥＧハフマンコードＪＦ（ＪＦ１，ＪＦ２，・・・）とＬＺＷ圧縮コードＬＺ（ＬＺ１，ＬＺ２・・・）とを、図１０に示すデータ構造のＪＰＥＧハフマンコードの記憶領域およびＬＺＷ圧縮コードの記憶領域にそれぞれ書き込んでいく。
【０１０３】
［サムネイル画像の符号化］  
図１４は、図１に示す処理部３２が行うサムネイル画像の符号化処理を説明するためのフローチャートである。
【０１０４】
ステップＳ５１：  
処理部３２は、サムネイル画像データの生成に用いるピクセルＰＩＣ（ｕ０，ｖ０）を特定する情報を入力する。
【０１０５】
ステップＳ５２：  
処理部３２は、ステップＳ５１で入力した情報に基づいて、作業メモリ３１に記憶されている符号化画像データＴＥを構成するピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうち、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を読み出す。
【０１０６】
ステップＳ５３：  
処理部３２は、ステップＳ５２で読み出したピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を間引き処理して符号化対象のサムネイル画像データを生成する。
【０１０７】
ステップＳ５４：  
処理部３２は、ステップＳ５３で生成した符号化対象のサムネイル画像データにＪＰＥＧ符号化処理を施す。
【０１０８】
ステップＳ５５：  
処理部３２は、ステップＳ５４で生成した符号化されたサムネイル画像データを作業メモリ３１に書き込む。
【０１０９】
［再生処理］  
図１５は、再生処理を説明するためのフローチャートである。図１６を参照しながら、図１５に示す各ステップを説明する。
【０１１０】
ステップＳ６１：  
図４に示す処理部３２は、例えば、図１に示す内部メモリ３５あるいは着脱可能メモリ３９から、サムネイル画像データ（ＪＰＥＧ画像データ）を読み出し、これをＪＰＥＧ復号してビデオメモリ４１に書き込む。これにより、サムネイル画像が表示部４３に表示される。なお、ＪＰＥＧ復号されたサムネイル画像データは、符号化時において間引かれた後のピクセルデータＬ（ｕ０、ｖ０、ｓ、ｔ）を要素としている。
【０１１１】
ステップＳ６２：  
処理部３２は、ユーザによる図示しない操作部の操作に応じて、複数表示されているサムネイル画像の一つが選択されたか否かを判断し、選択されたと判断するとステップＳ６３に進む。
【０１１２】
ステップＳ６３：  
処理部３２は、ステップＳ６２で選択されたサムネイル画像に対応した画像のＪＰＥＧハフマンコードＪＦおよびＬＺＷ圧縮コードＬＺを、内部メモリ３５あるいは着脱可能メモリ３９から読み出して、作業メモリ３１に書き込む。そして、処理部３２のＪＰＥＧ復号部６５は、ステップＳ６２で選択されたサムネイル画像に対応するＪＰＥＧハフマンコードＪＦを、作業メモリ３１から読み出し、これをＪＰＥＧ復号して、ＪＰＥＧ復号画像データを生成する。ＪＰＥＧ復号画像データは、ピクセルデータＬ（ｕ０、ｖ０、ｓ、ｔ）を要素としている。処理部３２は、ＪＰＥＧ復号画像データをビデオメモリ４１に書き込んで表示部４３に表示させる。また、処理部３２は、ＪＰＥＧ復号画像データを作業メモリ３１に書き込む。
【０１１３】
ステップＳ６４：  
ＪＰＥＧ復号部６５は、ステップＳ６３で生成したＪＰＥＧ復号画像データと、作業メモリ３１から読み出した上記選択された画像のＬＺＷ圧縮コードＬＺとを基に、上記選択された画像のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成し、これを作業メモリ３１に書き込む。そして、処理部３２は、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に、フォーカス値ｆに対応した画像データを生成し、これをビデオメモリ４１に書き込んで、それに応じた画像を表示部４３に表示する。
【０１１４】
ステップＳ６５：  
ＪＰＥＧ復号部６５は、ステップＳ６３で画像と対応付けて読み出したフォーカス値ｆに離散的に隣接するフォーカス値に対応した画像データを、復号して得たピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を用いて生成し、これを作業メモリ３１に書き込む。当該画像データの生成は、例えば、前述した非特許文献１，２に開示された手法を基に行う。
【０１１５】
ステップＳ６６：  
処理部３２は、ユーザによって新たなフォーカス値が選択されると、そのフォーカス値に対応する画像を表示部４３に表示させると共に、その新たなフォーカス値に隣接したフォーカス値に対応する画像データを、ピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を基に生成して作業メモリ３１に書き込む。このとき、ＪＰＥＧ復号部６５は、新たに選択されたフォーカス値に隣接していないフォーカス値に対応した画像データを作業メモリ３１から消去する。
【０１１６】
［ライブビュー表示処理］  
図１７は、図１に示す表示部４３にライブビュー画像を表示する処理を説明するためのフローチャートである。
【０１１７】
ステップＳ７１：  
撮像部２７は、各ピクセルが受けた光を光電変換して発生した電荷に応じたアナログのＲＡＷ画像信号を生成する。
【０１１８】
ステップＳ７２：  
ＡＦＥ２９は、撮像部２７から入力したアナログの画像信号に所定のアナログ・フロントエンド処理を施し、処理後のデジタルのＲＡＷ画像データを作業メモリ３１に書き込む。また、図４に示すピクセルデータ生成部５０は、ＲＡＷ画像データを作業メモリ３１から読み出して、入出力デモザイク(de-mosaic)処理、ミスアライアンス補正処理、補間処理等を行ってピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を生成する。ピクセルデータ生成部５０は、１フレームについて生成したピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）で構成される被符号化画像データＴＥを作業メモリ３１に書き込む。
【０１１９】
ステップＳ７３：  
処理部３２は、ステップＳ７２で作業メモリ３１に書き込んだピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）のうち、ピクセルデータＬ（ｕ０、ｖ０、ｓ、ｔ）を読み出す。
【０１２０】
ステップＳ７４：  
処理部３２は、ステップＳ７３で読み出したピクセルデータＬ（ｕ０、ｖ０、ｓ、ｔ）を基にライブビュー画像データを生成し、これをビデオメモリ４１に書き込む。これにより、表示部４３にライブビュー画像が表示される。
【０１２１】
以上説明したように、デジタルカメラ１では、４次元の光線情報を含む被符号化画像データを、図７および図１３等を用いて説明したように、プロセッシングブロックデータＰＲＢＫを単位として符号化する。
【０１２２】
そのため、図４に示す処理部３２の符号化処理に伴う負荷を軽減でき、比較的低処理能力のチップを用いることができると共に、作業メモリ３１に要求される記憶容量も小さくできる。
【０１２３】
また、デジタルカメラ１では、図１３等を用いて説明したように、マイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）については、同じプロセッシングブロックデータＰＲＢＫ内の他のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）と一体となってＪＰＥＧ符号化される。また、マイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）についても、同じプロセッシングブロックデータＰＲＢＫ内の他のマイクロレンズブロックＭＬＢ内のピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）と一体となってＬＺＷ符号化される。このとき、ＪＰＥＧ処理における８×８のブロック処理と、プロセッシングブロックＰＲＢＫのＬＺＷ圧縮処理とを並列に実行する。
【０１２４】
そのため、デジタルカメラ１によれば、従来のように全ピクセルデータを対象に空間符号化する場合に比べて符号化処理量を少なくできる。そのため、携帯型のプレノプティックカメラへの採用が容易になる。さらに、それぞれのプロセッシングブロックＰＲＢＫにおいて、ＪＰＥＧ処理における８×８のブロック処理と、プロセッシングブロックＰＲＢＫのＬＺＷ圧縮処理とを並列に実行させることにより、符号化処理のスピードが向上する。また、デジタルカメラ１では、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）以外のピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）はマイクロレンズブロックＭＬＢ内でＬＺＷ符号化（可逆符号化）されるため、情報量は失われず、高画質を維持した光線情報の符号化が可能になる。つまり、光線の伝播方向の情報が可逆に符号化されるため、さまざまなフォーカス値に対してリフォーカスする際に必要な情報が失われずに記録されている。したがって、リフォーカスされた画像は、極めて鮮明である。
【０１２５】
また、デジタルカメラ１では、図１４に示すように、被符号化画像データＴＥを構成するピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を間引いてサムネイル画像データを生成し、これを符号化する。そのため、サムネイル画像データを比較的低処理負荷で生成できる。
【０１２６】
また、デジタルカメラ１では、図１７に示すように、撮像時にピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）を作業メモリ３１に書き込み、ピクセルデータＬ（ｕ０，ｖ０，ｓ，ｔ）を作業メモリ３１から読み出して得られる画像に対してリサイズ処理を施した画像をビデオメモリ４１に書き込むことでライブビュー画像を表示部４３に表示する。
【０１２７】
これにより、マイクロレンズブロックＭＬＢ内のピクセルデータを積算するような画像処理を行う必要がなく、処理負担を軽くできる。
【０１２８】
本発明は上述した実施形態には限定されない。すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【０１２９】
例えば、上述した実施形態では、図８（Ａ）に矢印で示すように、隣接するピクセルデータＬ（ｕ，ｖ，ｓ，ｔ）間の差分データＤ（ｕ，ｖ，ｓ，ｔ）を生成する場合を例示したが、差分データＤ（ｕ，ｖ，ｓ，ｔ）の生成方法は任意であり、例えば、図１８に示すように、一つのピクセルデータと複数のピクセルデータとの間の差分データを生成し、当該差分データを符号化してもよい。
【０１３０】
本実施形態に示したマイクロレンズブロックＭＬＢを構成するピクセルの数、並びにプロセッシングブロックデータＰＲＢＫを構成するマイクロレンズブロックＭＬＢの数は一例であり、これらは任意である。
【０１３１】
また、上述した実施形態では、被写体からの光線を、マイクロレンズアレイ２５を通して撮像部２７のピクセルに結像する場合を例示したが、光線情報を含むようにピクセルに光が入射するものであれば特に限定されず、被写体からの光線をリフレクタで反射させて撮像部２７のピクセルに結像させるものでもよい。
【０１３２】
また、上述した実施形態では、ＤＳＰ等で実現される処理部３２を用いて、光線情報を符号化および復号する場合を例示したが、例えば、これらの機能をマイクロプロセッサでプログラムを実行して実現してもよい。
【産業上の利用可能性】
【０１３３】
本発明は、プレノプティックカメラで撮像された画像を符号化・復号するシステム等に適用可能である。
【図面の簡単な説明】
【０１３４】
【図１】図１は、本発明の実施形態に係わるデジタルカメラの全体構成図である。
【図２】図２は、図１に示すマイクロレンズアレイと撮像部のピクセルとの関係を説明するための図である。
【図３】図３は、マイクロレンズブロックを説明するための図である。
【図４】図４は、図１に示す処理部の機能の一部を説明するための機能ブロック図である。
【図５】図５は、図４に示すピクセルデータ生成部の処理を説明するためのフローチャートである。
【図６】図６は、本発明の実施形態におけるマイクロレンズブロックを説明するための図である。
【図７】図７は、本発明の実施形態におけるプロセッシングブロックを説明するための図である。
【図８】図８（Ａ）は本発明の実施形態におけるマイクロレンズブロックの符号化方法を説明するための図であり、図８（Ｂ）はマイクロレンズブロックのその他の符号化方法を説明するための図である。
【図９】図９は、本発明の実施形態に係わる符号化方法で採用されるジグザグスキャンを説明するための図である。
【図１０】図１０は、本発明の実施形態において符号化された画像データを記録するフォーマットを説明するための図である。
【図１１】図１１は、図１に示す撮像部の結像結果に応じた画像データを符号化して作業メモリに書き込む動作を説明するためのフローチャートである。
【図１２】図１２は、図１１に示す動作におけるデータの流れを説明するための図である。
【図１３】図１３は、図１１に示すステップＳ２４の処理を説明するためのフローチャートである。
【図１４】図１４は、本発明の実施形態におけるサムネイル画像の符号化方法を説明するためのフローチャートである。
【図１５】図１５は、本発明の実施形態における再生処理を説明するためのフローチャートである。
【図１６】図１６は、図１５に示す再生処理におけるデータの流れを説明するための図である。
【図１７】図１７は、本発明の実施形態におけるライブビュー画像の表示処理を説明するための図である。
【図１８】図１８は、本発明の実施形態の符号化処理の変形例を説明するための図である。
【図１９】図１９は、従来のカメラとプレノプティックカメラとの撮像原理を説明するための図である。
【図２０】図２０は、通常のカメラの撮像原理を説明するための図である。
【符号の説明】
【０１３５】
１…デジタルカメラ、２２…操作部、２３…光学系、４７…フラッシュメモリ、４８…ＣＰＵ、２５…マイクロレンズアレイ、２７…撮像部、２９…ＡＦＥ、３１…作業メモリ、３２…処理部、３５…内部メモリ、３９…着脱可能メモリ、４１…ビデオメモリ、４３…表示部、４５…外部Ｉ／Ｆ、５０…ピクセルデータ生成部、５１…間引き処理部、５３…ＪＰＥＧ符号化部、５５…プレノプティック符号化部、５７…パススキャン部、５９…ＬＺＷ処理部、６１…ヘッダ付加部、６３…ヘッダ解釈部、６５…ＪＰＥＧ復号部、６７…プレノプティック復号部
【図１】
2008182692.tif 000003
【図２】
2008182692.tif 000004
【図３】
2008182692.tif 000005
【図４】
2008182692.tif 000006
【図５】
2008182692.tif 000007
【図６】
2008182692.tif 000008
【図７】
2008182692.tif 000009
【図８】
2008182692.tif 000010
【図９】
2008182692.tif 000011
【図１０】
2008182692.tif 000012
【図１１】
2008182692.tif 000013
【図１２】
2008182692.tif 000014
【図１３】
2008182692.tif 000015
【図１４】
2008182692.tif 000016
【図１５】
2008182692.tif 000017
【図１６】
2008182692.tif 000018
【図１７】
2008182692.tif 000019
【図１８】
2008182692.tif 000020
【図１９】
2008182692.tif 000021
【図２０】
2008182692.tif 000022