【手続補正書】
【提出日】平成26年9月16日(2014.9.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
【図１】本開示の一の実施の形態に係る撮像装置の全体構成を表す図である。
【図２】イメージセンサとレンズアレイとの配置関係について表す模式図である。
【図３】各画素へのカラーフィルタ割り当て（色配列）について表す模式図である。
【図４】図１に示したデータ圧縮部と画像処理部との関係を表す機能ブロック図である。
【図５】視点分離について説明するための模式図である。
【図６】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）を表す模式図である。
【図７】（Ａ）〜（Ｉ）は、図６に示した撮像データに基づいて生成される各視点画像を説明するための模式図である。
【図８】（Ａ）〜（Ｉ）は、視点画像の一例を表す模式図である。
【図９】データ圧縮部における圧縮処理動作を表すフローチャートである。
【図１０】イメージセンサにより取得される撮像データ（ＲＡＷ画像データ）における色配列について表す模式図である。
【図１１】（Ａ）〜（Ｉ）は、各視点画像の画素データ群における色配列を表す模式図である。
【図１２】色配列の単位配列のパターンについて表す模式図である。
【図１３】（Ａ）〜（Ｉ）は、各視点画像データにおける色配列に基づく並べ替え処理動作を説明するための模式図である。
【図１４】視点画像データ間の圧縮処理について説明するための模式図である。
【図１５】視点画像データ間の圧縮処理について説明するための模式図である。
【図１６】視点画像データ間の圧縮処理について説明するための模式図である。
【図１７】視点画像データ間の圧縮処理について説明するための模式図である。
【図１８】（Ａ），（Ｂ）は、ブロック領域間の圧縮処理について説明するための模式図である。
【図１９】基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２０】（Ａ），（Ｂ）は、基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２１】行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２２】（Ａ），（Ｂ）は、行基準ブロック領域間の圧縮処理について説明するための模式図である。
【図２３】適用例に係る画像生成システムの概略構成を表す模式図である。
【図２４】適用例に係る他の画像生成システムの概略構成を表す模式図である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
レンズアレイ１２は、撮像レンズ１１の結像面（焦点面）に配置されることにより、入射光線を、互いに異なる視点からの光線として、分離するための視点分離素子である。レンズアレイ１２では、複数のマイクロレンズ１２ａがＸ方向（行方向）およびＹ方向（列方向）に沿って２次元配置されている。このようなレンズアレイ１２では、各マイクロレンズ１２ａに割り当てられた画素数（（イメージセンサ１３の全画素数）／（レンズアレイ１２のレンズ数））分の視点分離が可能である。換言すると、１つのマイクロレンズ１２ａに割り当てられた画素（後述のマトリクス領域Ｍ）の範囲内で画素単位での視点分離が可能である。尚、「視点分離」とは、換言すると、撮像レンズ１１の通過光線が撮像レンズ１１のどの領域を通過してきたものであるかをその方向性を含めて、イメージセンサの画素単位で得ることである。このレンズアレイ１２の結像面には、イメージセンサ１３が配設されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
このような圧縮処理は、可逆性を有し、展開（解凍）時には、最終的に差分値演算の基準値として残った数画素分の画素データに基づいて、上記処理を逆の順序で行う（差分値を順次加算していく）ことにより、圧縮前の撮像データ（撮像データＤ０）と同一の撮像データ（Ｄ２）を復元することができる。図４に示したように、本実施の形態では、撮像装置１内に画像処理部を有さず（画像処理を行わず）、撮像装置１の外部に設けられた画像処理部１１２において画像処理が行われる。例えば、詳細は後述するが、撮像装置１からの出力データＤoutは、有線または無線の通信回線や外部メモリー１１０等を介して、圧縮解凍部１１１および画像処理部１１２を備えた他の電子機器やサーバ等に転送される。データ転送後、圧縮解凍部１１１において出力データＤoutが展開されることにより、ＲＡＷ画像データである撮像データＤ２が画像処理部１１２へ出力され、画像処理部１１２において所定の画像処理が施される。これにより、例えば多視点の画像が、処理画像データＤ３として得られる。尚、「可逆的圧縮」では、圧縮前後のデータが完全同一となる、いわゆる完全可逆圧縮（完全ロスレス圧縮）はもちろん、圧縮前後のデータが完全一致ではない場合も含むものである。即ち、本開示の「可逆的圧縮」は、圧縮前後の撮像データが上記のように「実質的同一」となる圧縮を示し、生成した多視点画像において、人間の眼で目視できない程度の軽微なデータの損失や相違が生じ得る圧縮をも含んでいる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
［作用、効果］
（撮像データの取得）
撮像装置１では、撮像レンズ１１の結像面にレンズアレイ１２が設けられ、このレンズアレイ１２の結像面にイメージセンサ１３が設けられることにより、イメージセンサ１３の各画素には、被写体２からの光線が、その強度分布に加え進行方向（視点）についての情報が保持された光線ベクトルとして得られる。即ち、レンズアレイ１２を通過した光線は、視点毎に分離され、イメージセンサ１３の異なる画素において受光される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
図６は、イメージセンサ１３から得られた撮像データＤ０（ＲＡＷ画像信号）を模式的に表したものである。本実施の形態のように、１つのマイクロレンズ１２ａに３×３のマトリクス領域Ｍが割り当てられている場合、イメージセンサ１３では、上述のようにマトリクス領域Ｍ毎に、計９つの視点の光線がそれぞれ互いに異なる画素（画素センサ）において受光される。このため、撮像データＤ０は、イメージセンサ１３の画素配列に対応した画素データ群よりなり、マトリクス領域Ｍに対応した、３×３の配列の画素データ（図６中のＭａ）が２次元配置されたものである。尚、図６の撮像データＤ０では、説明上、マトリクス領域Ｍａ内の各画素データに「１」〜「９」の数字を付している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
このように、撮像データＤ０に基づいて視点画像データＲ１〜Ｒ９を生成すると、各視点画像データにおける色の単位配列は、図１２（Ａ）〜（Ｄ）に別途示したように、計４種類の単位配列Ｕ１〜Ｕ４のいずれかに基づくものとなる。具体的には、図１１（Ａ）に示したように、視点画像データＲ１は、撮像データＤ０のうち、各マトリクス領域Ｍａの画素データ「１」（左上の画素データ）同士から成り、色配列は単位配列Ｕ１（単位配列Ｕと同じ）に基づくものとなる。同様に、図１１（Ｂ）に示した視点画像データＲ２では、画素データ「２」（中央上の画素データ）同士から成り、色配列は単位配列Ｕ２に基づく。同様に、図１１（Ｃ）に示した視点画像データＲ３では、画素データ「３」（右上の画素データ）同士から成り、色配列は単位配列Ｕ１に基づく。同様に、図１１（Ｄ）に示した視点画像データＲ４では、画素データ「４」（左中央の画素データ）同士から成り、色配列は単位配列Ｕ３に基づく。同様に、図１１（Ｅ）に示した視点画像データＲ５では、画素データ「５」（中央の画素データ）同士から成り、色配列は単位配列Ｕ４に基づく。同様に、図１１（Ｆ）に示した視点画像データＲ６では、画素データ「６」（右中央の画素データ）同士から成り、色配列は単位配列Ｕ３に基づく。同様に、図１１（Ｇ）に示した視点画像データＲ７では、画素データ「７」（左下の画素データ）同士から成り、色配列は単位配列Ｕ１に基づく。同様に、図１１（Ｈ）に示した視点画像データＲ８では、画素データ「８」（中央下の画素データ）同士から成り、色配列は単位配列Ｕ２に基づく。同様に、図１１（Ｉ）に示した視点画像データＲ９では、画素データ「９」（右下の画素データ）同士から成り、色配列は単位配列Ｕ１に基づく。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
データ圧縮部１４は、続いて、上記視点画像データＲ１〜Ｒ９において、各色配列が同一（単位配列が同一）となるように、画素データの並べ替えを行う（図９のステップＳ２）。具体的には、視点画像データＲ１〜Ｒ９のうちの１つの視点画像データを基準視点画像データとして、この基準視点画像データと同一の単位配列に基づく色配列となるように、他の視点画像データの各画素データを並べ替える。例えば、ここでは、図１３（Ａ）〜（Ｉ）に示したように、視点画像データＲ１を基準視点画像データとして、その他の視点画像データＲ２〜Ｒ９の色配列が、視点画像データＲ１と同じ単位配列（Ｕ１）に基づくものとなるように、画素データを並べ替える。この並べ替えは、例えば、単位配列Ｕ２〜Ｕ４に対応する２×２の画素領域毎に、これら４画素間で画素データの配置を入れ替えることにより行う。尚、図１１（Ｃ），（Ｇ），（Ｉ）に示した視点画像データＲ３，Ｒ７，Ｒ９では、もともとも単位配列Ｕ１に基づく色配列を有しているため、並べ替えの必要はない。これにより、全ての視点画像データＲ１〜Ｒ９の色配列が単位配列Ｕ１に基づくものとなる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
この後、データ圧縮部１４は、互いに同一の色配列を有する視点画像データＲ１〜Ｒ９間で差分値を算出し、この差分値を画素データと置き換える演算処理を行う（図９のステップＳ３）。図１４〜図１７に、この差分演算処理について模式的に示す。図１４に示したように、各視点画像データＲ１〜Ｒ９の色配列が同一となっている状態で、視点画像データＲ９から基準視点画像データである視点画像データＲ１に向かって順次処理を行う。尚、ここでは、視点画像データＲ１〜Ｒ９において、各画素データはＸＹ平面内に配置され、各視点画像データＲ１〜Ｒ９が、このＸＹ平面に直交するＺ軸方向に沿って配列するものと仮定して説明する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
具体的には、データ圧縮部１４は、第Ｎ面の視点画像データＲNと第（Ｎ−１）面の視点画像データＲ(N-1)との間で、画素データ同士の差分値（第１の差分値）を算出し、算出した差分値を第Ｎ面の視点画像データＲNにおける各画素データと置き換えていく。例えば、図１５に示したように、まず、視点画像データＲ９，Ｒ８間で、互いに同一座標にある画素データ同士の差分値を算出し、この差分値を視点画像データＲ９における画素データと置き換える。詳細には、例えば視点画像データＲ９の座標（ｘ，ｙ）＝（１，１）に配置された画素データ（Ｇの画素データ）と、視点画像データＲ８における同座標に配置された画素データ（Ｇの画素データ）との差分値ａ(11)を、上記視点画像データＲ９の座標（１，１）の画素データと置き換える。このようにして、視点画像データＲ９の全ての画素データについて差分値ａ(12)，ａ(13)，…を算出し、画素データとの置き換えを行う。同様に、図１６に示したように、視点画像データＲ８についても、視点画像データＲ７（図１６には図示せず）との間で互いに同一座標にある画素データ同士の差分値ｂ(11)，ｂ(12)，ｂ(13)，…を算出し、算出した差分値をその画素データと置き換えていく。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
（第２の圧縮処理（ブロック領域間の差分処理））
続いて、データ圧縮部１４は、上記のような視点画像データＲ２〜Ｒ９の圧縮処理後、基準視点画像データとして残った視点画像データＲ１に対し、以下に説明するような圧縮処理（第２の圧縮処理）を施す。即ち、視点画像データＲ１を構成する画素データ群において、２以上の画素データからなるブロック領域間で、互いに同一位置にある画素データ同士の差分値（第２の差分値）を算出し、この差分値を各画素データと置き換える（図９のステップＳ４）。図１８（Ａ），（Ｂ）に、この差分演算処理について模式的に示す。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
具体的には、図１９に示したように、行方向に沿って左端から順に第ｎ番目（ｎは２以上の整数）まで配列した複数の基準ブロック領域において、第ｎ番目の基準ブロック領域と第（ｎ−１）番目の基準ブロック領域との間で差分値を算出し、算出した差分値を第ｎ番目の基準ブロック領域における各画素データと置き換える。この処理を行毎に行う。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
＜適用例＞
図２３は、上記実施の形態の撮像装置１から出力に基づいて視点画像を生成する画像生成システムの一例を模式的に表したものである。このように、撮像装置１は、例えば、複数のインターフェース（センサーインターフェース１２１，ＵＳＢインターフェース１２０，記憶部１２４とのインターフェース１２２、ネットワークインターフェース（外部インターフェース）１２３）を有している。撮像装置１は、ネットワークインターフェース１２３を介して、ネットワーク上のサーバ１２５あるいは電子機器１２６と通信可能となっている。サーバ１２５は、画像処理部１１２を備えており、所定のソフトウェア等を用いて様々な画像処理（デモザイク処理、視点画像生成処理等）を施すことができる。これにより、撮像装置１からサーバ１２５へ、出力データＤoutを転送する（アップロードする）ことができる。また、サーバ１２５では、取得した出力データＤoutを展開後、その展開後の撮像データＤ２（ＲＡＷ画像データ）に対して画像処理を施すことで、様々な画像を生成可能である。例えば、展開した撮像データＤ２に基づいて、上述したように、各マトリクス領域Ｍ内で互いに同一位置にある画素データを抽出し、これらを合成する処理を行うと共に、デモザイク処理や他の画像処理を行うことにより、複数の視点画像を生成する。このようにして生成した視点画像（処理画像）Ｄ３は、例えばＰＣやネットＴＶ等の電子機器１２６に取り込む（ダウンロードする）ことも可能である。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
このように、撮像装置１に外部ネットワーク接続用のインターフェースを設け、これを用いて外部のサーバ１２５（画像処理部）に撮像データをＲＡＷ画像の状態で転送することで、様々なソフトウェアを使用した画像処理が可能となる。このようなネットワークシステムにより、ユーザの好みに合った画像生成が可能となり、またカメラ内に画像処理部を設ける必要がなくなるため、カメラコストを削減することができる。また、転送用のデータとして、上述したようなデータ圧縮部１４による可逆的圧縮後のデータ（出力データＤout）が用いられることで、効率的なデータ転送が実現できる。尚、転送後、サーバ１２５において出力データＤoutが展開されるが、展開後の撮像データＤ２は、上述したように圧縮前の撮像データＤ０と実質的に同一であるため、処理画像において、データ圧縮に起因する画質劣化を招くことはない。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
尚、上記適用例では、サーバ１２５が画像処理部を備えた場合を例示したが、これに限定されず、電子機器１２６が画像処理部を備えていてもよい。また、サーバ１２５は、出力データＤoutを、上記のように撮像装置１から直接的に取得してもよいし、電子機器１２６を介して間接的に取得するようにしてもよい。逆に、電子機器１２６が画像処理部を備える場合には、出力データＤoutを撮像装置１から直接的に取得してもよいし、サーバ１２５を介して間接的に取得するようにしてもよい。
【手続補正１５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記撮像データは、複数の画素データを含む画素データ群からなり、
前記データ圧縮部は、
前記画素データ群に基づいて、それぞれが視点画像に対応するＮ個（Ｎは２以上の整数）の視点画像データを生成し、
Ｎ個の視点画像データ間で互いに同一座標にある画素データ同士の第１の差分値を算出し、前記第１の差分値を当該画素データと置き換える第１の圧縮処理を行う
請求項１に記載の撮像装置。
【手続補正１６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記データ圧縮部は、前記第１の圧縮処理において、
前記基準視点画像データを第１の視点画像データとして、第Ｎ面の視点画像データと第（Ｎ−１）面の視点画像データとの間で前記第１の差分値を算出し、算出した第１の差分値を前記第Ｎ面の視点画像データにおける各画素データと置き換える処理を、第Ｎ面から第２面の視点画像データについて順次行うことにより、前記基準視点画像データ以外の（Ｎ−１）個の視点画像データの各画素データを前記第１の差分値に置き換える
請求項３に記載の撮像装置。
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2013090059.tif 000001
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2013090059.tif 000002