(57)【要約】【課題】多視点画像の視差マップを符号化する際に、該視差マップの復号により再現された多視点画像の画質を維持しつつ圧縮率を向上させる。【解決手段】視差マップ生成部123において、中央カメラ121で撮影された中央画像I2について、左右のカメラ120,122で撮影された右側および左側の参照画像I1,I3との画素ごとの視差データからなる視差マップを作成する。このとき、中央画像の注目画素について、参照画像における該注目画素に応じた所定の探索範囲内で、該注目画素との差分が許容範囲内となる画素を探索して、その位置情報を視差データ候補とする。そして該視差データ候補から、注目画素の周辺画素の視差データに最も近い1つを選択して、該注目画素に対する視差データを決定する。この許容範囲の値により、視差マップを符号化した際の符号量および再生画像の画質が制御できる。【選択図】図1
2013247653.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を異なる視点から撮影した注目画像と参照画像を入力する入力手段と、
前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索し、該探索された画素の位置情報を視差データ候補とする候補探索手段と、
前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択し、該選択した視差データを前記注目画素に対する視差データとする視差データ決定手段と、
前記視差データ決定手段で決定された視差データからなる視差マップを生成する視差マップ生成手段と、
前記参照画像および前記視差マップを符号化して出力する符号化手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記探索範囲は、前記注目画素と同じ画素位置から、前記注目画像の視点と前記参照画像の視点との位置関係に応じた方向への所定の範囲であることを特徴とする請求項1に記載の画像処理装置。
【請求項３】
前記入力手段は、1つの注目画像に対して複数の参照画像を入力し、
前記候補探索手段は、前記注目画像の画素ごとに、
前記複数の参照画像のそれぞれについて、前記探索範囲内で前記注目画素との画素値差分が前記許容範囲内となる画素を探索して前記視差データ候補を生成する探索手段と、
前記複数の参照画像から、前記探索で算出された前記注目画素との画素値差分が最も小さい参照画像を選択する選択手段と、
該選択された参照画像から探索された視差データ候補に、該選択された参照画像を識別する識別子を付与する付与手段と、
を有することを特徴とする請求項1または2に記載の画像処理装置。
【請求項４】
前記入力手段は、1つの注目画像に対して複数の参照画像を入力し、
前記候補探索手段は、前記注目画像の画素ごとに、
前記複数の参照画像のそれぞれについて、前記探索範囲内で前記注目画素との画素値差分が前記許容範囲内となる画素を探索して前記視差データ候補を生成する探索手段と、
前記複数の参照画像のそれぞれについて前記探索で算出された前記注目画素との画素値差分の最小値の、参照画像間での差分である参照画像間差分が所定の閾値以上である場合に、前記複数の参照画像から、前記探索で算出された前記注目画素との画素値差分が最も小さい参照画像を選択する第1の選択手段と、
前記参照画像間差分が前記閾値未満である場合に、前記注目画素の周辺画素に対して選択されている参照画像と同様の参照画像を選択する第2の選択手段と、
前記第1または第2の選択手段で選択された参照画像から探索された視差データ候補に、該選択された参照画像を識別する識別子を付与する付与手段と、
を有することを特徴とする請求項1または2に記載の画像処理装置。
【請求項５】
前記視差データ決定手段は、前記視差データ候補から、前記注目画素の直前に処理された画素に対して決定された視差データに最も近い1つを選択することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項６】
前記視差データ決定手段は、前記視差データ候補のそれぞれについて、前記注目画素の直前に処理された画素に対して決定された視差データと、前記注目画素の直後に処理される画素に対して決定された視差データ候補から視差データの遷移量を算出し、前記視差データ候補から前記遷移量が最も小さい1つを選択することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
【請求項７】
前記符号化手段は、ライン単位の可逆符号化を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項８】
前記入力手段は、マイクロレンズアレイを用いて撮影された、各マイクロレンズに対応する画像ブロックを前記注目画像および前記参照画像として入力し、
前記視差マップ生成手段は、前記視差マップと、前記参照画像において前記注目画像に存在しない画像データを示す原画像データと、前記参照画像において前記マイクロレンズ外の領域を示す無効データと、を生成し、
前記符号化手段は、前記視差マップと前記原画像データ、および前記無効データのそれぞれに識別子を付して符号化する
ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項９】
さらに、前記符号化手段で符号化された前記参照画像および前記視差マップを復号する手段と、
該復号された前記参照画像および前記視差マップから、前記注目画像を再生する再生手段と、
を有することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
【請求項１０】
さらに、前記候補探索手段における前記許容範囲を、前記符号化手段による圧縮率と、前記再生手段で再生された前記注目画像の画質に応じて制御する制御手段を有することを特徴とする請求項9に記載の画像処理装置。
【請求項１１】
入力手段、候補探索手段、視差データ決定手段、視差マップ生成手段、および符号化手段を有する画像処理装置における画像処理方法であって、
前記入力手段が、同一の被写体を異なる視点から撮影した注目画像と参照画像を入力し、
前記候補探索手段が、前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索して、該探索された画素の位置情報を視差データ候補とし、
前記視差データ決定手段が、前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択して、該選択した視差データを前記注目画素に対する視差データとし、
前記視差マップ生成手段が、前記視差データ決定手段で決定された視差データからなる視差マップを生成し、
前記符号化手段が、前記参照画像および前記視差マップを符号化して出力する
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至10のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を符号化する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来より、複数の視点で被写体を撮影して得られた多視点映像を利用して、ステレオ立体視や自由視点合成といった映像表現を実現する方法が知られている。そのような映像表現を実現するためには、撮影した多視点映像を保存する必要があり、異なる視点での多視点映像を個々に符号化する際には、視点数に比例した膨大なデータ量を保存することになるという問題がある。
【０００３】
多視点画像についての視点間(すなわちカメラ間)の距離が近いほど該視点の画像間の相関が高く、この画像(視点)間差分すなわち視差を符号化することで、個々の画像を符号化した場合に比べて符号化後のデータ量を削減できると考えられる。このような視差の性質を利用した符号化方式としては例えば、ステレオ画像の対応点である視差マップを画素一致判定により作成することで、データ量を抑えながら、指定された視点の画像を高速に作成する方法が開示されている(例えば、特許文献1参照)。
【０００４】
また、ステレオ画像から生成された視差マップを符号化、復号する手段を有し、視差データの変換方式とアフィン変換パラメータを符号化する方法が開示されている(例えば、特許文献2参照)。
【０００５】
また、視差データの圧縮に関し、ステレオ画像において左右の一方を主画像、他方を副画像とする2画像のブロック間の相関が最大になるブロックを特定し、ブロック間の変位量を視差情報として符号化する方法が開示されている(例えば、特許文献3参照)。この方法においてはさらに、視差情報を量子化して可変長符号化している。
【０００６】
また、2眼以上の撮影環境における隠れ領域(オクルージョン)による視差の誤り補正に関し、ステレオ画像から求めたオクルージョン領域における視差の誤りを高精度に補正する方式が開示されている(例えば、特許文献4参照)。この方法ではまず、ステレオ画像として撮影された左右の画像から対応するずれ(視差)を示す視差マップを作成し、視差マップから視差が急変する視差輪郭を求め視差輪郭を挟む一対の探索ウインドウを設定する。そして、勾配の大きい方の画像の対応する探索ウインドウのオクルージョン領域を含む探索ウインドウを判別し、オクルージョン領域を含むと判別された探索ウインドウ内のオクルージョン領域の視差を、他方の探索ウインドウ側の視差に補正する。
【０００７】
また、視差マップのデータ量を削減するための方法として、ブロック毎に視差データを与える方法や、視差マップのノイズ除去を行う方法が知られている。視差マップのノイズ除去方法として、以下のような方法が開示されている。まず、視差を奥行き値に変換した後にノイズの多い視差マップに対して表面フィルタリングを行い、近隣点の候補視差から着目点の候補奥行き値に向かう単位ベクトルの和のノルムのz成分を最小化する方法が開示されている(例えば、特許文献5参照)。また、視差の差が最小になるようなエネルギー関数を設定し、その最小化問題を解く方法が開示されている(例えば、非特許文献2参照)。
【０００８】
また、撮影時の光線空間情報を取得する方式として、マイクロレンズアレイを用いて方向情報を取得する方法およびそのデータ圧縮方式が開示されている(例えば、特許文献6,7、非特許文献1参照)。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開2010-79505号公報
【特許文献２】特表2005-535203号公報
【特許文献３】特開平10-28274号公報
【特許文献４】特開2011-60116号公報
【特許文献５】特表2010-502945号公報
【特許文献６】特開2008-182692号公報
【特許文献７】特表2008-515110号公報
【非特許文献】
【００１０】
【非特許文献１】Marc Levoy,"Light Field Rendering"。In SIGGRAPH 96 Conference Proceeding,Annual Conference Series, page 31-42, August 1996.
【非特許文献２】電子情報通信学会論文誌DVol.J90-D No.7 pp.1721-1725
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来の多視点画像における視差を利用した符号化方式においては、以下のような問題があった。例えば、上記特許文献1のように画素一致判定法によって視差マップを作成する際には、画素値が近くなる複数の視差候補が存在する。したがって、これらの候補の中から視差を任意に選択すると、視差マップは非常にノイズの多い画像となり、圧縮率を上げることができない。
【００１２】
また、上記特許文献2,3に記載された技術では、圧縮率を上げるためにブロック毎に視差を与えるが、ブロック毎の視差であるため再生画像の画素ごとの画質を制御することはできない。
【００１３】
また、3眼カメラの場合、左右の画像のうち誤差を最小にする方向の視差を選択する方法を採用した場合、左右の識別情報が別途必要となり、その分符号量が多くなってしまうという問題がある、上記特許文献4ではこの問題についての解決は視差されていない。
【００１４】
また、上記特許文献5のように視差マップに対してフィルター処理を行うと、視差データが示す画像再生時の参照ポイントの画素値が変わることで再生画像の画質が大きく変わってしまうため、再生画像の画質制御が困難となるという問題がある。
【００１５】
また非特許文献2では、被写体の奥行きが滑らかに変化するという拘束条件のもとで、全視差を対象としてダイナミックプログラミングを解くため、処理時間がかかる。また、上記特許文献5のフィルタ処理を用いる場合と同様に、再生画像に対する誤差保証が困難である。
【００１６】
さらに、上記特許文献6,7、および非特許文献1に示される、マイクロレンズアレイを用いて光線空間情報を獲得するプレノプティックカメラに対し、視差マップを用いた符号化を適用することが考えられる。しかしながらこの場合、マイクロレンズごとに発生する視差の無効領域や、新たに撮影領域に入ってきた画像領域において、符号量が増加するという問題がある。
【００１７】
本発明は上記問題に鑑み、多視点画像の視差マップを符号化する際に、該視差マップの復号により再現された多視点画像の画質を維持しつつ圧縮率を向上させることを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【００１９】
すなわち、同一の被写体を異なる視点から撮影した注目画像と参照画像を入力する入力手段と、前記注目画像における注目画素の位置に応じた、前記参照画像の所定の探索範囲において、前記注目画素との画素値差分が所定の許容範囲内となる画素を探索し、該探索された画素の位置情報を視差データ候補とする候補探索手段と、前記視差データ候補から、前記注目画素の周辺画素に対して決定された視差データに最も近い1つを選択し、該選択した視差データを前記注目画素に対する視差データとする視差データ決定手段と、前記視差データ決定手段で決定された視差データからなる視差マップを生成する視差マップ生成手段と、前記参照画像および前記視差マップを符号化して出力する符号化手段と、を有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、多視点画像の視差マップを符号化する際に、該視差マップの復号により再現された多視点画像の画質を維持しつつ圧縮率を向上させることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】第1実施形態におけるカメラシステムの概要構成例を示すブロック図、
【図２】第1実施形態における画像撮影から再生までの画像処理を示すフローチャート、
【図３】第1実施形態にける視差マップ生成処理を示すフローチャート、
【図４】第1実施形態における左右の視差データ候補探索処理を示すフローチャート
【図５】第1実施形態における視差データ候補算出処理を示すフローチャート、
【図６】第1実施形態における視差データ候補の探索処理を説明する図、
【図７】第1実施形態における許容差分とSN比の関係を示す図、
【図８】第1実施形態における視差データ候補の例を示す図、
【図９】第1実施形態における視差データ決定処理を示すフローチャート、
【図１０】第1実施形態における視差データの選択例を示す図、
【図１１】第1実施形態の変形例1における視差データ決定処理を示すフローチャート、
【図１２】第1実施形態の変形例1における視差データの選択例を示す図、
【図１３】第1実施形態の変形例2におけるカメラシステムに適用可能なコンピュータによるハードウェア構成例を示す図、
【図１４】第2実施形態における左右視差データ候補の選択処理を示すフローチャート、
【図１５】第3実施形態におけるプレノプティックカメラシステムの概要構成を示す図、
【図１６】第3実施形態における符号化データの構成例を示す図、である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００２３】
＜第1実施形態＞
●システム構成
図1に、本実施形態におけるカメラシステムの概要構成例を示す。同図に示すカメラシステムにおいては、複数のカメラで撮影した多視点画像を符号化して圧縮・送信した後に再生・表示する。本システム例では3台のカメラ120,121,122を備え、カメラ120,122から参照画像I1,I3が入力され、カメラ121から中央画像I2が入力される。すなわちカメラ120,121,122の位置関係に応じて、注目画像I2に対し、参照画像I1,I3はそれぞれ右側視点,左側視点からの撮影画像となる。
【００２４】
3つの画像I1,I2,I3は視差マップ生成部123に入力され、中央画像I2に対する参照画像I1,I3の画素毎のずれ(視差)を示す視差マップが生成される。視差マップ生成部123からは、生成された視差マップと、参照画像I1,I3が出力される。この参照画像I1,I3については、参照画像用の圧縮部124,125で画像圧縮が施されるが、この圧縮は可逆(lossless)符号化方式によることが望ましい。また視差マップについては、圧縮部126で圧縮される。視差マップについてもPNGやZIP等の可逆符号化方式を用いることが望ましい。本実施形態における再生画像の画質および符号量の調整は、後述するように視差マップ生成部123で許容差分を調整することによって行われる。本実施形態ではすなわち、望ましい画質および符号量が得られるような許容差分を設定して、視差マップを生成することを特徴とする。
【００２５】
以上のように参照画像I1,I3、および視差マップが圧縮されると、送信部127がこれらの圧縮データを送信する。そして受信部128で該圧縮データを受信し、復号部129,130で参照画像データを復号して再生画像I1',I3'を生成し、復号部131で視差マップを復号する。再生部132では、参照画像の再生画像I1',I3'と視差マップにより、中央画像I2の再生画像I2'を生成する。この再生画像I2'は、参照画像I1,I3の画素データを視差マップのデータ分、横方向に移動したものである。
【００２６】
なお、ここでは参照画像I1,I3および視差マップの符号化データを送信部127から送信し、受信部128で受信する例を示したが、これらをメモリ等に保持する形式であっても良い。
【００２７】
●画像撮影・再生処理
図2は、上記構成からなる本実施形態のカメラシステムにおける、画像撮影から再生までの画像処理概要を示すフローチャートである。まずS201で、カメラ120,121,122が、参照画像I1,I2、および中央画像I2の3画像を撮影する。なお、2台のカメラによる撮影を行って参照画像が1枚となる2眼(ステレオ画像)システムに対しても、本発明は同等に適用可能である。さらに、3眼以上のシステムであっても本発明は容易に拡張可能である。
【００２８】
次にS202で視差マップ生成部123が、本実施形態の特徴である、中央画像I2に対する参照画像I1,I2のずれを示す視差マップの生成処理を行うが、その詳細については図3〜図9を用いて後述する。
【００２９】
その後、参照画像I1,I3についてはS203で圧縮部124,125が、周知の画像圧縮方式であるJPEGやMPEG等の可逆符号化モードによる符号化を行う。またS202で生成された視差マップについてはS204で圧縮部126が、ライン単位でのランレングス符号化やLZ符号化、PNG符号化等の可逆符号化を行う。
【００３０】
以上の符号化が終了すると、次にS205で送信部127および受信部128が、符号化データの記録・伝送を行う。そしてS206で復号部129,130が参照画像I1,I3を復号し、S207で復号部131が視差マップを復号する。これらの復号処理は、上記S203,S204での符号化処理に対応する方式によって行われる。そしてS208で再生部132が、復号された参照画像I1,I3と視差マップから中央画像I2を再生することによって、撮影時と同様の3画像が再生される。
【００３１】
●視差マップ生成処理
以下、上記S202における視差マップの生成処理について、図3のフローチャートを用いて詳細に説明する。
【００３２】
処理対象画像(本実施形態では中央画像I2)の注目画素に対し、まずS210で、視差マップを構成する視差データの候補の探索を行う。この視差データ候補探索処理の詳細については図4および図5を用いて後述する。そしてS211で、S210で探索された視差データ候補から最適な1つを選択して、当該注目画素に対する視差データが決定される。この視差データ決定処理の詳細については図9を用いて後述する。図3に示す処理は処理対象画像の全画素について行われ、すなわち全画素について視差データが設定されることによって、視差マップが完成する。
【００３３】
ここで、本実施形態では処理対象画像が3眼画像であるため、中央画像I2に対し、右側参照画像I1との視差データである右側視差データと、左側参照画像I3との視差データである左側視差データが存在する。したがって、上記S210に示す視差データ候補探索処理は、詳細には図4のフローチャートに示すように細分化される。すなわち、まずS220で、中央画像I2の注目画素に対する左側視差データ候補を算出する。この詳細については後述するが、この左側視差データ候補の算出の際に、中央画像I2と左側参照画像I3の画像間における画素値差分の最小値(最小差分)Difminが決定される。そしてS221で、該算出された左側視差データ候補の中から1つを選択し、これを暫定的な左側視差データとしておく。この暫定的な視差データの決定方法については特に限定されないが、例えばS220で最初または最後に視差データ候補として検出された視差データを選択すれば良い。
【００３４】
そして右側についても左側と同様に、S222で右側視差データ候補およびその最小差分Difminを算出し、S223で右側視差を暫定的に決定する。
【００３５】
そしてS224で、S220,S222で算出された左側、右側それぞれの最小差分Difminのうち、より小さい方を選択し、該選択された左右いずれかを識別する信号を生成する。
【００３６】
この図4に示す視差データ候補探索処理により、中央画像I2の注目画素に対する左右いずれかの視差データ候補が、左右の識別子とともに出力される。
【００３７】
●視差データ候補算出処理
図5に、上記S220,S222における、視差データ候補算出処理のフローチャートを示す。すなわち図5に示す処理は、右側参照画像I1と左側参照画像I3のいずれかを用いて右側、左側いずれかの視差データ候補を算出する処理であるから、以下ではこれら左右の参照画像をまとめて「参照画像」と称する。
【００３８】
まずS230で、中央画像I2上の注目画素に対し、参照画像(I1またはI3)において、中央画像I2上での注目画素と同じ画素位置にある画素を参照画素として検出し、該注目画素と参照画素との画素値の差分の2乗値を算出する。以下、ここで算出された注目画素と参照画素との画素値差分の2乗値を、差分Difと称する。この演算は、絶対値差分等、一般的な距離算出を行う方法であれば良い。なお、ここでは画素単位での視差を算出する例を示しているため、注目画素と参照画素の差分の2乗値を差分Difとしたが、例えば画素ブロック単位での視差を考える場合、各画素についての差分の2乗和を差分Difとすれば良い。
【００３９】
ここで図6を用いて、本実施形態における視差データ候補の探索処理について説明する。同図において、300が符号化対象(すなわち視差マップの生成対象)である中央画像I2であり、301が左側参照画像I3、302が右側参照画像I1である。中央画像I2における注目画素303に対し、まず、左側参照画像I3における304が注目画素と同位置にある参照画素(左側参照画素)として設定される。同様に注目画素303に対し、右側参照画像I1における306が参照画素(右側参照画素)として設定される。この注目画素303と最初の参照画素304,306は、それぞれの画像において同じ画素位置にある。
【００４０】
ここで、2台で組をなすカメラが同じカメラパラメータで、かつ互いの光軸が平行でカメラ中心が同一平行線上にある、いわゆる平行ステレオを構成する場合を考える。このような平行ステレオによるステレオ画像の場合、2枚の画像において同一被写体に対応する対応点が、各画像の同一走査線上での探索により検出できることが分かっている。これは、ステレオマッチングにおけるエピポーラ線上の探索として知られている簡略化法である。例えば左側参照画像I3においては、中央画像I2における注目画素303と同等の画素位置である参照画素304から右側へ、例えば探索範囲x(図中矢印305)を探索することで、対応点(図中○印)が検出される。同様に右側参照画像I1においては、中央画像I2において参照画素306から左側へ、例えば探索範囲y(図中矢印307)を探索することで対応点が検出される。なお、探索範囲x,yは多眼をなすそれぞれのカメラ位置、すなわち中央のカメラ121に対するカメラ120,122の距離により決定される。
【００４１】
ところが、カメラの個体差、設置のずれ、センサーのノイズ等の影響や、元々の画素値が一様である場合等、対応点の画素値は必ずしも注目画素と同値となるとは限らない。また、本来対応点ではない他の画素が、注目画素と同じ値であるために対応点として検出される場合もある。
【００４２】
そこで本実施形態では、S232で規定される所定の視差探索範囲内で参照画素を順次移動させながら、図5のS231において、S230で算出された差分Difの最小値である最小差分Difminを探索する。なお、S232で規定される視差探索範囲は図6のx,yに対応し、注目画素に対する対応画素の位置ずれの最大値である最大許容視差を示す。すなわち視差探索範囲は、注目画素と同位置にある最初の参照画素から所定方向(右または左)への探索を開始して、対応点の検出が許容される最大位置までの範囲を示す。
【００４３】
以上説明したS230〜S232によって、視差探索範囲内における最小差分Difminが検出される。ここで最小差分Difminは、特に視差方向成分を有さず、差分の大きさのみを示す値(絶対値)とする。
【００４４】
次にS233で、視差探索範囲内において、注目画素に対する差分Difが最小差分Difminと同じ値となる画素を全て探索し、該探索された画素の位置情報を、対応点の候補を示す視差データ候補として選出する。具体的には、視差探索範囲内における当該画素の座標値(視差座標)を、視差データ候補として抽出すれば良い。
【００４５】
このとき、最小差分Difminが0である場合には、抽出された視差データ候補に基づいて作成された視差マップは可逆符号化が可能となる。また最小差分Difminが0以外である場合にも、視差データではない前画素との差分値をハフマン符号化する方式を併用することで、視差マップを可逆符号化することが可能である。また、差分Difが最小差分Difminに等しくなるような視差データからなる視差マップを非可逆符号化することも可能であり、この場合に生じる符号化の誤差は0ではないものの非常に小さくなることが期待できるため、再生画質のSN比も比較的高くなる。
【００４６】
またS233では、差分Difに対する許容範囲を設けても良い。すなわち、差分Difが最小差分Difminと全く同値でなくても、DifとDifminの差分が例えば所定の許容差分として示される許容範囲内であれば、当該参照画素位置を視差データ候補とする。例えば「最小差分Difmin＋許容差分」内の差分Difを持つ参照画素の位置を視差データ候補とすれば良い。その他にも、「最小差分Difmin＋差分Dif」が許容差分内に入る参照画素位置を視差データ候補とする等、様々な許容差分の設定方式が考えられる。
【００４７】
ここで図7に、許容差分を設定して抽出された視差データ候補により生成された視差マップにおける、符号量と、再生画像の画質(信号−ノイズ比(SN比))の関係を示す。同図によれば、設定された許容差分の値が大きくなるほどSN比は低下するものの、符号量が抑制されることを示している。したがって、許容差分の初期値を0として視差マップの作成・符号化を行い、得られた圧縮率が目標値に達するまで徐々に許容差分を大きくしていくという符号量制御が考えられる。また、視差マップの作成・符号化の複数回の試行によって図7に示す曲線の近似式を求め、目標圧縮率を実現するような許容差分を算出する方法も本発明の範囲内である。
【００４８】
ここで図8に、視差データ候補の例を示す。同図において、横軸は参照画像における視差探索方向の座標(視差座標)xであり、縦軸は視差座標xの位置における差分Difである。図8(a)に示す例では、7点において差分Difが最小差分Difmin(この場合0)に一致し、該7点が視差データ候補として検出されている。同様に図8(b)に示す例では、4点が視差データ候補として検出されている。このように検出された視差データ候補のうち、いずれの候補が視差データとして選択された場合であっても、作成される視差マップの符号化後の再生画像は、許容される誤差の範囲内で生成される。
【００４９】
●視差データ決定処理
図9は、上記図3のS211における視差データの決定処理を示すフローチャートである。ここでは、S210によって抽出された複数の視差データ候補から、視差マップを構成する視差データとして1つを選択する。本実施形態では上述したように、S210において抽出される視差データ候補は、右側または左側のいずれかの視差データ候補である。S211の処理は右側と左側で同様であるため、以下では右側または左側を特に考慮せずに説明を行う。また、視差マップのある走査線上における座標位置iの画素についての視差データを、D(i)として記述する。
【００５０】
まずS301で、上記S221またはS223で暫定的に決定された視差データD(i)が、視差マップにおいて直前に処理された画素(前画素)に対し既に決定されている視差データD(i-1)と同値であるか否かを判断する。違う場合はS302に進み、上記S220またはS222で抽出された視差データ候補の中から、前画素の視差データD(i-1)に最も近いものを選択し、S303で視差データD(i)に置き換える。なお、S301で視差データD(i)がD(i-1)と同値であった場合には、そのまま視差データD(i)が決定される。
【００５１】
ここで図10を用いて、上記S302における視差データの選択処理を説明する。図10において、下段が視差マップにおける現在処理中の注目画素P(i)に対する参照画像の視差座標xを示し、上段が視差マップにおける注目画素P(i)の前画素P(i-1)に対する参照画像の視差座標xである。前画素P(i-1)に対しては視差データ400が既に決定されており、注目画素P(i)については視差データ候補401,402,403が算出されているとする。この場合、前画素P(i-1)の視差データ400に対し、注目画素P(i)の視差データ候補401,402,403の示す画素位置の差分(すなわち画素間距離)がそれぞれ16,1,4である。したがって、視差データ400に最も近い視差データ候補402が、注目画素P(i)の視差データとして選択される。
【００５２】
なおここでは、視差マップにおける注目画素の視差データD(i)を、その前画素の視差データD(i-1)と比較する例を示したが、比較対象は前画素に限定されない。例えば注目画素に対して隣接している等、その周辺に位置する画素(周辺画素)に対して決定された視差データを比較対象としても良い。また、処理の開始時等、比較対象となる画素についての視差データが未だ決定されていない場合には、注目画素の視差データ候補から視差データの初期値を決定する。この初期値としては例えば、無限遠を示す0に設定しておいても良いし、前ラインの視差データを保存してそれを用いて良い。また、一番近い物体が画面の端に入っている場合は最大視差を設定しても良いし、視差データ候補内での最小視差データであっても良い。
【００５３】
また、例えば上記図4のS224に示したように、処理対象である視差データ候補が左右いずれかの方向属性を有するものであれば、該方向属性を示す識別ビット(フラグ)等を該選択された視差データに付与して、視差マップを作成する。
【００５４】
本実施形態ではこのように、複数の視差データ候補から前画素の視差データに最も近い1つを選択して視差データを決定することで、視差マップにおける画素方向の変動が抑制される。したがって、視差マップに対する圧縮を視差データの行単位に行っていく、ランレングス符号、LZ符号、PNG等の周知の符号化による符号化効率を向上させることができる。
【００５５】
以上説明したように本実施形態によれば、多視点画像に対する視差マップの符号化を行う際に、許容差分を制御することで、該視差マップの復号により再現された再生画像のSN比の低下を抑制しつつ、圧縮率を向上させることができる。すなわち、再生画像の画質を確保しつつ符号量制御を行うことができる。
【００５６】
＜第1実施形態の変形例1＞
以下、上述した第1実施形態の変形例として、上記図3のS211における視差データ決定処理の他の例を示す。
【００５７】
図11は、本変形例における視差データ決定処理を示すフローチャートである。ここでは、視差マップにおけるある画素の視差データD(i)を決定するために、その前画素についての視差データD(i-1)および後画素における視差データD(i+1)の候補を参照する。なお、前画素とは、現在処理中の注目画素の直前に処理された画素を示し、また後画素とは、注目目画素の直後に処理される画素を示す。
【００５８】
まずS304で、上記S221または223で暫定的に決定された視差データD(i)が、視差マップにおいて既に決定されている前画素の視差データD(i-1)と同値であるか否かを判断する。違う場合はS305に進み、上記S220またはS222で抽出された視差データ候補の中から、前画素および後画素に対する視差データの遷移量(遷移コスト)が最小となるものを選択し、S306で視差データD(i)に置き換える。
【００５９】
ここで図12を用いて、上記S305における視差データの選択処理を説明する。図12において、中段が視差マップにおける現在処理中の注目画素P(i)に対する視差座標xを示す。また、上段が注目画素P(i)の前画素P(i-1)に対する視差座標x、下段が注目画素P(i)の後画素P(i+1)に対する視差座標xである。前画素P(i-1)に対しては視差データ410が既に決定されており、注目画素P(i)については視差データ候補411,412,413が算出されているとする。この場合、前画素P(i-1)の視差データ410に対する注目画素P(i-1)の視差データ候補401,402,403の距離がそれぞれ16,1,4である。さらに、後画素P(i+1)についての視差データ候補414,415が算出されていた場合、この視差データ候補414,415のそれぞれについて、注目画素P(i)の各視差データ候補からの遷移コストが、その距離に応じて以下のように算出される。すなわち、視差データ候補414については、注目画素P(i)の視差データ候補411,412,413のそれぞれからコスト1,コスト4,コスト25で遷移する。同様に視差データ候補415については、注目画素P(i)の視差データ候補411,412,413のそれぞれからコスト36,コスト9,コスト0で遷移する。すると、前画素→注目画素→後画素への遷移コストとして、視差データ410→413→415への遷移コストが最小であるため、注目画素P(i)における視差データとして、視差データ候補413が選択される。
【００６０】
本変形例ではこのように、複数の視差データ候補から、前後の画素への遷移コストが最小となる1つを選択して視差データを決定することで、視差マップにおける画素方向の変動をさらに抑制することができる。
【００６１】
＜第1実施形態の変形例2＞
上述した第1実施形態において、図2に示した各処理を、それぞれを実行するハードウェアによって構成しても良いが、ソフトウェア(コンピュータプログラム)として実装することも可能である。この場合、このソフトウェアは、PC(パーソナルコンピュータ)等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのCPUがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能(図2に示した各処理)を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。以下、第1実施形態に係る多視点画像符号化装置に適用可能なコンピュータのハードウェア構成例について、図13のブロック図を用いて説明する。
【００６２】
CPU1501は、RAM1502やROM1503に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理(図2)を実行する。
【００６３】
RAM1502は、コンピュータ読み取り可能な記憶媒体の一例である。RAM1502は、外部記憶装置1507や記憶媒体ドライブ1508からロードされたコンピュータプログラムやデータ、I/F(インターフェース)1509を介して外部装置から受信したデータなどを一時的に記憶するためのエリアを有する。更にRAM1502は、CPU1501が各種の処理を実行する際に用いるワークエリアを有する。即ちRAM1502は、各種のエリアを適宜提供することができる。ROM1503は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。
【００６４】
キーボード1504、マウス1505は、コンピュータの操作者が操作することで、各種の指示をCPU1501に対して入力することができる。表示装置1506は、CRTや液晶画面などにより構成されており、CPU1501による処理結果を画像や文字などでもって表示することができる。例えば、上記入力画像の表示や、多視点画像符号化装置で変換した結果の表示ができる。
【００６５】
外部記憶装置1507は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置1507には、OS(オペレーティングシステム)や、図2に示した各処理をCPU1501に実現させるためのコンピュータプログラムやデータ、上記入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置1507に保存されているコンピュータプログラムやデータは、CPU1501による制御に従って適宜RAM1502にロードされ、CPU1501による処理対象となる。
【００６６】
記憶媒体ドライブ1508は、CD-ROMやDVD-ROMなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置1507やRAM1502に出力する。なお、外部記憶装置1507に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ1508に読み取らせても良い。
【００６７】
I/F1509は、外部装置をコンピュータに接続する為のものである。例えば、図1で説明した多眼方式による撮像装置など、上記入力画像を取得するための装置を、このI/F1509に接続し、この外部装置から入力画像をI/F1509を介してRAM1502や外部記憶装置1507に取得するようにしても良い。1510は、上述の各部を繋ぐバスである。
【００６８】
上述構成において、本コンピュータの電源がONになると、CPU1501はROM1503に格納されている上記ブートプログラムに従って、外部記憶装置1507からOSをRAM1502にロードする。この結果、キーボード1504、マウス1505を介した情報入力操作が可能となり、表示装置1506にGUIを表示することが可能となる。ユーザが、キーボード1504やマウス1505を操作し、外部記憶装置1507に格納された画像処理用アプリケーションプログラムの起動指示を入力すると、CPU1501はこのプログラムをRAM1502にロードし、実行する。これにより、本コンピュータが本実施形態におけるの画像処理装置として機能することになる。
【００６９】
CPU1501が実行する画像処理用のアプリケーションプログラムは、基本的に図2に示す各処理に相当する関数を備えることになる。ここで、符号化データは外部記憶装置1507に保存することになる。なお、このコンピュータは、本発明における他の実施形態に係る画像処理装置にも同様に適用可能である。
【００７０】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態におけるカメラシステムの構成は上述した第1実施形態と同様であるため、詳細な説明を省略する。
【００７１】
第1実施形態ででは、画素ごとに、図4のS220〜S223で左右の視差データ候補を算出した後、S224で最小差分Difminを比較することで左右いずれの候補を採用するかを選択し、方向属性を示す識別ビットを付与する例を示した。しかしながら、このような方法で作成された視差マップにおいては、左右の方向属性の切り替えが多発すると、識別ビットの切り替えにより全体の圧縮率が低下してしまう。そこで第2実施形態では、上記S224における左右視差データ候補の選択処理において、方向属性の切り替えの発生を抑制する例を示す。
【００７２】
図14は、第2実施形態における上記S224の左右視差データ候補の選択処理を示すフローチャートである。注目画素に対し、まずS410で左側と右側それぞれの最小差分Difminが等しいか否かを判定する。等しい場合にはS411に進み、視差マップの前画素において既に選択されている視差方向(右または左)と同じ方向の視差データ候補を選択する。一方、S410で左右の最小差分Difminが異なると判定された場合はS412に進み、左の最小差分Difminと右の最小差分Difminとの差分(参照画像間差分)を、所定の閾値と比較する。この参照画像間差分が閾値未満である場合はS411に進み、前画素(または周辺画素)と同じ方向の視差データ候補を選択する。一方、S412で参照画像間差分が閾値以上である場合にはS413に進み、第1実施形態と同様に左右の最小差分Difmin同士を比較する。該比較の結果、右側の方が小さければS414で右側の視差データ候補を選択し、左側の方が小さければS415で左側の視差データ候補を選択する。
【００７３】
以上説明したように第2実施形態によれば、左右の最小差分Difminの差(参照画像間差分)が大きい場合には、第1実施形態と同様にDifminが小さい方の参照画像を選択する(第1の選択)。一方、参照画像間差分が小さい場合には、前画素(または周辺画素)に対して選択されている参照画像と同じ参照画像を選択する(第2の選択)。そして該選択された参照画像に応じた方向属性を示す識別ビットを画素毎に付与した視差マップが作成される。この視差マップにおいては、参照画像間差分が閾値以上である場合に左右の切り替えが発生し、閾値未満である場合は、直前に処理された画素における視差の方向を保持するように制御される。したがって、左右方向の切り替えの発生が抑制され、圧縮率の向上が望める。
【００７４】
なお、左右の最小差分値Difminが同値である場合には、所定方向の差分値を優先するように制御することで、左右の発生頻度を偏らせて圧縮率を向上させることもできる。さらに、左右の識別結果の頻度に応じて左右の発生を予測し、予測の一致/不一致を示す1ビット信号を付与して符号化する方法も有用である。
【００７５】
＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。第3実施形態では、上述した第1実施形態のカメラシステムを、光線情報を取得可能なプレノプティックカメラに応用した例を示す。
【００７６】
図15を用いて、一般的なプレノプティックカメラの概要構成について説明する。プレノプティックカメラは、センサ前にマイクロレンズアレイを配置し、複数の光線情報を同時に取得することが可能である。そのため、プレノプティックカメラで撮影した画像に基づく演算により、任意の視点、開口径、フォーカス距離等による画像を生成することができる。
【００７７】
図15(a)は、プレノプティックカメラにおけるレンズ光学系の例を示し、600はメインレンズ、601はマイクロレンズアレイ、602はフォトセンサ群である。また図15(b)は、上記マイクロレンズアレイ601による集光を受けるフォトセンサ群602の一部を切り出したものであり、603の各格子が、各マイクロレンズに対応する画像ブロック(以下、単にブロックと称する)を示す。また同図において、604,605,606は任意の隣接する3ブロックであり、604は中央ブロック、605は左側ブロック、606は右側ブロックである。
【００７８】
第1実施形態で示したように、左右のブロック605,606のそれぞれにおいて、中央ブロック604内の注目画素607と同値もしくは非常に近い値である対応画素609,608が、該注目画素位置からブロック間の視差の分だけ離れた箇所に存在する。第3実施形態では、中央ブロック604をそのまま圧縮送信することに代えて、第1実施形態で説明したように中央ブロック604に対する左右ブロック605,606の視差データから視差マップを生成し、これを光線情報の一部として圧縮・送信する。
【００７９】
マイクロレンズを用いたプレノプティックカメラにおいて視差マップを用いた符号化を行う場合、特定の領域において符号量が増加する場合がある。例えば、撮影画面に新たに入ってきた領域や、ブロック内でマイクロレンズ外に相当する無効領域においては、マイクロレンズ間で大きな視差が検出され、符号量が増加してしまう。そこで第3実施形態では、符号化データを以下のように構成することで、視差が大きくなりがちな領域を含めた効率的な圧縮を実現する。
【００８０】
図16に、左側ブロック605および右側ブロック606に関する符号化データの構成例を示す。同図において、上部が右側ブロック606に関する符号化データ例、下部が左側ブロック605に関する符号化データ例を示す。符号化データにおいて識別子Dは、その後に視差マップを構成する通常の視差データ領域が続くことを示す。また識別子Rは、その後に中央ブロック604に存在しない新たな画像データをそのまま保存した原画像データ領域が続くことを示す。また識別子Iは、その後にマイクロレンズ外の無効領域に対応する画素数を示す無効データ領域が続くことを示す。図15(b)に示されるように右側ブロック606についての符号化データは、図中左から右方向への画素順に符号化が行われるとすると、まず識別子Iでマイクロレンズ外相当である無効データ領域が示される。続いて識別子Dで中央ブロック604との視差データ領域が示され、続いて識別子Rで原画像データ領域(図中横線で表示)が示され、最後にまた識別子Iで無効データ領域が示されている。同様に左側ブロック605についての符号化データは、まず識別子Iで無効データ領域が示され、続いて識別子Rで原画像データ領域が示され、続いて識別子Dで中央ブロック604との視差データ領域が示され、最後に識別子Iで無効データ領域が示されている。
【００８１】
以上説明したように第3実施形態によれば、上述した第1実施形態に示した視差マップの符号化処理をプレノプティックカメラに適用し、撮影画像の圧縮率を向上させることが可能となる。
【００８２】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【図１】
2013247653.tif 000003
【図２】
2013247653.tif 000004
【図３】
2013247653.tif 000005
【図４】
2013247653.tif 000006
【図５】
2013247653.tif 000007
【図６】
2013247653.tif 000008
【図７】
2013247653.tif 000009
【図８】
2013247653.tif 000010
【図９】
2013247653.tif 000011
【図１０】
2013247653.tif 000012
【図１１】
2013247653.tif 000013
【図１２】
2013247653.tif 000014
【図１３】
2013247653.tif 000015
【図１４】
2013247653.tif 000016
【図１５】
2013247653.tif 000017
【図１６】
2013247653.tif 000018