(57)【要約】【課題】オクルージョン領域の推定や情報を保持することなく、ステレオ画像における前景と背景の視差量を調整する。【解決手段】立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前景物体が写っている画像領域と前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前景物体と背景物体の奥行量の差が異なる疑似画像を作成する手段を備える。【選択図】図１２
2011166498.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項２】
複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得し、背景画像において画像勾配の小さい領域を連結したパスを複数本取得し、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成することを特徴とする立体映像調整方法。
【請求項３】
請求項１の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項４】
請求項１の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、前記拡大処理手段と前記縮小処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が大きくなる疑似画像を作成する手段とを備えることを特徴とする立体映像調整装置。
【請求項５】
請求項１の立体映像調整装置において、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの各座標情報と、前記背景画像において画像勾配の小さい領域を連結したパスの各座標情報を、ステレオ画像と共にメディアに保存する手段とを備えることを特徴とする立体映像調整装置。
【請求項６】
請求項５の立体映像調整装置において保存された前記パス情報と前記ステレオ画像を読み込む手段と、視聴するユーザからの入力情報を受け取る手段と、前記前景物体が写っている画像領域とその物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスの近傍については横方向の縮小処理を実行する縮小処理手段と、背景画像において画像勾配の小さい領域を連結したパスの近傍については横方向の拡大処理を実行する拡大処理手段と、前記縮小処理手段と前記拡大処理手段とによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が小さくなる疑似画像を再生する手段とを備えることを特徴とする立体映像調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像調整装置及び調整方法に係り、特にステレオ立体映像で提示される画像の編集処理と表示調整に関する。
【背景技術】
【０００２】
三次元ディスプレイに表示するステレオ画像では、複数の画像の間の対応関係（視差量）によって、奥行き方向の長さが決定される。このため、ステレオ画像を編集・改変する場合には、二次元画像の編集・改変作業よりもペア画像の整合性を満たす制約条件が加わる分だけ作業が困難になる。これらの視差は、具体的な画像データ上においては、左右のステレオ画像間で対応の取れないピクセルの領域として表現される。このような領域は前景オブジェクトが背景を隠す部分に多く現れ、オクルージョン領域と呼ばれる。この領域によって視差が生まれることで立体感と臨場感を感じる一方で、その提示手段であるディスプレイ性能や、視聴の環境条件と一致しないほどの過剰な視差がある場合には、視聴者が疲労しやすいなどの事例も指摘されており、視差の量は、環境ごと、個人ごとの制約に合わせた適切な値になっていることが望ましい。
【０００３】
このため、撮影環境のステレオカメラの視差量を、提示環境の条件に一致させて映像を取得するなどの配慮が多くの場合に必要とされてきた。しかし、立体コンテンツが一般的になるにつれ、異なる立体映像環境に画像を提示する場合や、ポストプロダクションレベルでの調整など、視差の量の調整が望まれるケースも生まれ始めてきた。このため、立体映像素材を用いて、画像中間画像や自由視点画像と呼ばれる、視差量を調整した映像を人為的に作成する発明がある（特許文献１）。
【０００４】
中間画像を作成する場合には、元画像では別の物体の陰になって見えなかったオクルージョン領域の映像部分を復元する必要が生まれる。非特許文献１では、そのようなオクルージョンの情報を推定し、類似画像領域から復元する手法（ホールコンプリーション）についての手法が開示されている。
【０００５】
また、特許文献２では、視差の量を奥行きやオブジェクトの条件に合わせて変化させることによって、人間の視聴の興味のある部分に重点を置いて立体性を強調する手法が語られている。このような部分的な視差の強調処理を行うことによって、ディスプレイの飛び出し量の限界性能などを制御することが可能になる。
【０００６】
一方、二次元画像コンテンツの改変技術として、人間による観察時に画像内で重要となる部分を考慮した映像処理（Context-aware image processing）の研究が進められてきた。その種の技術の中で、重要なオブジェクトの形状を維持したままで縦横比率の変更を行うImage Retargetingと呼ばれる処理技術があり、このImage retargetingの処理技法の一つにSeam-carvingと呼ばれる技術が提唱されている（非特許文献２）。図１は、同技法を適用する概念図である。この技法では、元画像100に写っている主被写体や背景の物体など、目に付きやすい画像領域を避けながら、画像の上下をつなぐ 110〜115のような継ぎ目(seam：以下シームと記載)と呼ばれる一連の連結パスを探索し、このシームに沿って、ピクセルの削除、複製を行うことで、異なるサイズの画像101を作成する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2007-294270号公報
【特許文献２】特開2004-374113号公報
【非特許文献】
【０００８】
【非特許文献１】Hole Filling Through Photomontage, Marta Wilczkowiak, Gabriel J. Brostow, Ben Tordoff and Roberto Cipolla, pp. 492-501, In Proc. of BMVC 2005
【非特許文献２】Seam carving for content-aware image resizing, Shai Avidan and Ariel Shamir, ACM Trans. Graph., Vol 26, No. 3, 2007, 10.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の技術では、画一的な視差量調整しかできなかった。また、利用者によっては映像に違和感が発生するおそれもあり、これに対応することは困難であった。そのため、オクルージョン領域の映像情報が不明であるステレオ画像において、映像としての違和感を与えることなく前景と背景の視差量を調整することが望まれている。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するため、以下の構成を備える。即ち、立体映像調整装置は、複数のカメラで前景物体と背景物体が撮影され、ステレオマッチングの対応点が取られた画像に対して、前記前景物体が写っている画像領域と前記前景物体との重畳によって別の視点位置からは隠ぺいされる背景の領域を合わせた領域を通過する画像勾配の小さい領域を連結したパスを複数本取得する手段と、背景画像において画像勾配の小さい領域を連結したパスを複数本取得する手段と、それらのパス上のピクセルを削除または複製することによって、ステレオ視を行った際に前記前景物体と前記背景物体の奥行量の差が異なる疑似画像を作成する手段とを備える。
【発明の効果】
【００１１】
本発明によれば、ステレオ画像における映像の違和感を低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】シームカービング処理の適用効果を説明する図である。
【図２】実施例の適用対象となるステレオ画像の図である。
【図３】図２の各物体の三次元内の位置を説明する図である。
【図４】実施例１を実現する情報処理装置である。
【図５】各画素の対応するステレオ画像位置への移動量の配列データである。
【図６】各画素の対応するオブジェクトＩＤを示すラベルの配列データである。
【図７】実施例１の動作順序を示すフロー図である。
【図８】前景画像に対応する背面領域のデータである。
【図９】シーム作成処理工程である。
【図１０】視差領域調整用シームを示す図である。
【図１１】背景領域調整用シームを示す図である。
【図１２】視差の削減による効果を示す図である。
【図１３】実施例２を実現する情報処理装置である。
【図１４】実施例３でのシーム作成順序を示すフロー図である。
【図１５】実施例３での画像再生順序を示すフロー図である。
【図１６】画像から一本のシームを抽出する方法を示すフロー図である。
【発明を実施するための形態】
【００１３】
本発明の実施形態をいくつかの実施例によって説明する。
【実施例１】
【００１４】
実施例１は、図２の201、202としてステレオ画像が与えられたとき、画像の主要なオブジェクトの見た目に改変を少なく抑えたままで、ペア画像との視差を改変するための継ぎ目領域を複数セット抽出し、その継ぎ目領域のピクセルを削減または複製することで継ぎ目領域の左右の領域の視差を変更したステレオ画像を生成する画像情報処理を実行する。
【００１５】
図３は、この画像201,202に写っている各物体の三次元的な位置情報を示す模式図である。前面（手前）にある物体306,307は、本ステレオ画像で注視されることを想定されて撮影された前景物体であり、画像201上の物体206,207に対応する。領域305は画像201上の物体205に対応する背景物体である。311は右目位置302から見て前景物体307に背景物体305が隠蔽される領域、312は左目位置301から見て前景物体307に背景物体305が隠蔽される領域、321は左目画像として見える視差領域の背景画像、322は右目画像として見える視差領域の背景画像領域をそれぞれ表す。以下では、左目301から見て物体307の背面となる背景領域と、右目302から見て同物体307の背面となる領域を合わせた(論理和をとった)領域310を、物体307の背面領域と呼ぶ。左目301から見た画像において、背面領域310の画像上での大きさと、物体307の大きさの差は、背景画像に対する前景画像とのオクルージョンの大きさであり、ステレオ視における相対的な奥行き量を生む。右目画像の背面領域も、同様に左右を入れ替えて定義される。
【００１６】
前景物体に注視している場合、背景画像のうち背面領域に含まれる領域においてはステレオマッチングの対象が与えられない、または逆視の状態になり、奥行き情報を認識することができない。本実施例では、この領域で奥行きマッチングが行われないことに着目して、シームカービングや拡大縮小によるサイズ変更を行うことによって背景と前景との奥行き距離を調整する。
【００１７】
図４は、このような情報処理を実行するための情報処理装置400の例を示す模式図である。中央演算装置405、主記憶装置406、外部記憶装置407と、外部に接続するモニタディスプレイ402にステレオ立体映像を提示する立体映像出力装置408、表示するステレオ画像を408に送る立体映像入出力インタフェース409、ネットワークインタフェース410の要素から構成される。
【００１８】
この情報処理装置400は汎用の計算機である。情報処理装置400は、必要に応じて、外部入出力インタフェースとしてＵＳＢなど汎用の外部機器制御インタフェースを用いる。情報処理装置400は、他の情報処理装置とネットワークＩＦ410を介してメッセージを交換するが、このネットワークの実装には、ＴＣＰ／ＩＰなどの既存のメッセージ交換用プロトコルを利用する。情報処理装置400は、画像データを入出力する画像データ入出力機器411が接続される。この画像データ入出力機器411としては、ＳＤカードなど既存の磁気・光学データの読み取り装置などである。
【００１９】
画像データ入出力機器411には、画像情報および補佐情報が含まれるデータ媒体415が接続される。このデータ媒体415には、図２のステレオ画像201,202が保存されており、最終的な調整後のステレオ画像が保存される。また、データ媒体415には別装置によって計測されたステレオ画像の視差情報も、視差マップの構造体（配列データ）501、502としてあらかじめ保存されている。
【００２０】
図５は各画素の対応するステレオ画像位置への移動量の配列データを示す図であり、501は画像201から画像202への移動量を示す配列データ、502は画像202から画像201への移動量を示す配列データ、510はある画素の移動量を示すベクトル構造体である。この視差情報については、レーザ計測を用いたレンジファインダや、ステレオ画像の対応点探索処理を実行して既に取得されているものとする。また、データ媒体415にはアプリケーションで注視の対象となる前景オブジェクトと、背景オブジェクトを分離したラベル情報も保存されている。
【００２１】
図６は各画素の対応するオブジェクトＩＤを示すラベルの配列データを示す図である。601は画像201の各画素に対するラベルデータの配列、602は画像202の各画素に対するラベルデータの配列、610はある画素がどのオブジェクトに含まれるかを表現するＩＤのデータをそれぞれ示す。このラベル情報についても、本実施例では、人間の手作業による入力、物体の画像認識、奥行き情報に基づく切り出しなどをもとに、あらかじめ作成されているものとする。
【００２２】
本実施例を実現するための一連の情報処理の流れを示すフロー図を図７に示す。本実施例の処理工程は、各種情報の読み込み処理（701）、背面領域の作成（702）、シームの作成（703）、画素の移動（704）、画像の保存（705）の順で、それぞれ情報処理装置400によって処理される。以下、それぞれの処理内容を説明する。
【００２３】
工程701では、データ媒体415に保存されている各種情報を、主記憶装置406上に読み込む。ラベルデータ601と602は、左右視点の画像の解像度と同一サイズの配列情報であり、前景のオブジェクト毎に固有のＩＤ（１〜Ｎ）を付したデータが保存されている。このとき背景画像に相当する画像ピクセルのＩＤは０とする。また、視差情報500と501を、主記憶上装置406に読み込む。この視差情報は、左右視点の画像の解像度と同一サイズの配列であり、左画像のｐＬ位置にあるピクセルに対応する右画像内の位置ｐＲへの差分情報ｐＲ−ｐＬというベクトルが保存されている。
【００２４】
工程702では、ラベルデータのＩＤで特定される左右画像の各前景オブジェクトに対して、背面領域310を推定したラベル情報を作成する。
【００２５】
図８は前景画像に対応する背面領域のラベルデータの完成状態を示す模式図である。801は画像201に対応する背面領域のラベルデータ配列、806は物体206に対応する背面領域のラベル領域、807は物体207に対応する背面領域のラベル領域をそれぞれ示したものである。
【００２６】
右画像(右目画像)の解像度と同一サイズの配列801を用意し、配列801の全ての要素を−１でクリアする。左画像(左目画像)の各ピクセルについて、視差情報501から相対位置を読み込んで右画像内の位置を探し、配列801のその対応する位置に、前景オブジェクトに含まれている場合にはそのＩＤを、背景の場合には０を書き込む。左画像の全てのピクセルについて同様の処理を行う。この結果、-1として残っていた要素については、右画像内で同一位置にあるオブジェクトのＩＤを書き込む。出来上がった配列の各ＩＤを背面領域データ801として、主記憶装置406上に保存する。続いて右画像と左画像を入れ替えて、同様の検出作業を行う。
【００２７】
工程703では、背景画像を分割し、拡張または縮小するためのシームの検出を行う。図９のフロー図に、このシームの検出手順を示す。
【００２８】
工程901では、シーム検出用のエネルギー補正項を計算する。各オブジェクト（オブジェクトのＩＤを示すサフィックスをｋとする）について、左画像についてオブジェクトの背面領域を通過するシームを作成する。背面領域データ801のラベル値がｋであるピクセルには、定数値−Ｃを、それ以外は０を割り当てた配列を作成し、これを補正エネルギーマップＥ１とする。定数値−Ｃは、シームが該当するラベル部分を通過するように誘導するための補正エネルギー値である。また、画素位置（Ｘ，Ｙ）について、背面領域データ801のラベル値がｋであるピクセル数をＹについて合計した一次元のヒストグラムＰ１（Ｘ）を作成し、Ｐ１にガウシアンフィルタを適用して平滑化して定数倍（−Ｃ２）したヒストグラムＰ２（Ｘ）を作成する。定数値Ｃ２は、シームがラベル部分の上部を通過しやすいように誘導するための補正エネルギー値である。820はこのヒストグラムＰ２を表したヒストグラムのグラフの概念図である。
エネルギー補正項ＥsをEs(X,Y)＝E1(X,Y)＋P2(X)として算出する。
【００２９】
工程902では、Ｅsを勾配エネルギーに追加して、各前景物体（以下、このＩＤをkとする）視差領域調整用シームを取得する。
【００３０】
映像からシームを取得する方法は、非特許文献２に記載されている。図１６は、同手法に基づいてシームの作成方法を示したものである。シームはdynamic programingの計算手法を用い、上から下に向けて一ラインずつエネルギーE(X,Y)の最小値をたどるパスを計算していくことで得られる。上から順に横方向のラインを選び(1601)、そのラインの各ピクセル(X,Y)について(1602)、一つ上のラインで近接するピクセル（距離k）のエネルギーE(X+k,Y-1)の中から最も小さいものを選びE_0(X,Y)とする(1603)。さらに、(X,Y)位置での画像の勾配値ΔI(X,Y)をE_g(X,R)とする。さらに、工程901で計算されたEs(X,Y)を合わせて、E(X,Y)=E_0(X,Y)+E_g(X,Y)+E_s(X,Y)として、このピクセルでのエネルギー量を代入する。すべてのラインについてエネルギーの計算を終えた後、最終ラインY=heightの位置で最も小さいエネルギーのピクセルを選び(1608)、工程1603でこのピクセルが選択したラインを順にたどっていくことで、すべてのYについてシームが選択される。この処理により１本のシームが選択できる。次のシームを選ぶ場合には、このシームのピクセルを削除してX方向に１ピクセル縮小した画像を作成して、繰り返し処理を行っていく。以上の一連の処理をは「シームの取得」と表現する。
【００３１】
まず左画像について、Ｓ本の視差領域調整用シームを取得する。以下では、これらをＳ１Ｌ(k,s)とする。但しｓは０＜ｓ＜Ｓとなるサフィックスとする。（なお、このシームの取得の際に、別のオブジェクトｋ’のシームとして選ばれたピクセルに距離Ｓよりも近づいた場合には、エネルギー補正項Ｐ２が足りなかった場合である。この場合、Ｃ２を二倍にして工程901から再び処理を行う。）取得されたＳ本のシームのピクセルのうちで、左画像のオブジェクト領域（すなわち画像601がｋとなっている領域）と重複しているものを、背面領域で左画像のオブジェクトと重複していない領域（すなわち視差となる背景画像の領域）の中で、もっとも勾配の小さい領域に移動させる。この処理により、シームが背面領域に交差したときにはオクルージョン部分が調整されるようになる。
【００３２】
左画像内で得られたシームの各ピクセルについて、テーブル502の移動量を用いて右画像の対応位置を算出して右画像のＳ本のシームＳ１Ｒ(k,s)を作成する。但しｓは０＜ｓ＜Ｓとなるサフィックスとする。この右画像のシームについても、取得されたシームの各ピクセルのうち、右画像のオブジェクト領域と重複しているものを、背面領域で右画像のオブジェクトと重複していない領域（すなわち視差となる背景画像の領域）の中で、もっとも勾配の小さい領域に移動させる。以上を繰り返すことにより、各前景オブジェクトに対して、背面領域操作用のシームＳ１Ｌ(k,s)とＳ１Ｒ(k,s)の対が作成される。
【００３３】
工程903では、背景領域調整用シームＳ２を作成する。
まず左画像について、Ｓ本の背景領域調整用シームを取得する。左画像で、背面領域操作用のシームＳ１によって分割された背景領域について、ラベリング処理を行い、異なるオブジェクトＩＤによってはさまれている領域を取り出す。この各領域を中間背景領域と呼び、各領域のIDをmで表現する。
【００３４】
各中間背景領域mについてＳ本のシームを取得する。これらを左画像のシームＳ２Ｌ(m,s)とする。但しｓは０＜ｓ＜Ｓとなるサフィックスとする。また、テーブル502の移動量を用いてＳ２Ｌの各ピクセルの右画像上の対応位置を算出して右画像のＳ本のシームを作成し、右画像のシームＳ２Ｒ(m,s)とする。
以上でシームが作成される。
【００３５】
工程704では、工程703で作成されたシームを用いて視差量の変更処理を行う。
視差を縮小する場合には、非特許文献２の手法にもとづき、シームＳ１の領域のピクセルを削除して、シームＳ２の領域を複製する。（このとき、シームＳ１の領域を複製し、シームＳ２の領域を削除することで視差を拡大することが出来る。）図１２はこの処理によって改変される処理の内容を示したものである。右目画像の背景領域1201、1202は相対的に左に動き、左目画像の背景領域1203〜1205は相対的に右に動く。この処理の結果として、シームカービングによって背景の画像領域が拡大して、オクルージョン領域が削減されるため、前景と背景の間の視差が小さくなる。
【００３６】
図１０はこの手法によって作成される視差領域を調整するためのシームである。このシーム1001〜1004上のピクセルを削除することで前景と背景の視差が減少し、逆にピクセルを複製することで前景と背景の視差は増大する。また図１１のシームは図１０のシーム部分の改変で行われる領域の調整に合わせ、1001〜1004のピクセルを削減した時には1101〜1104のピクセルを複製することで、画像全体のサイズを維持する。
【００３７】
工程705では、工程704で改変された画像を、立体映像入出力インタフェース409を通して、立体映像出力装置408に提示する。また、同画像を、外部出力415に保存する。
以上の一連の処理により、背景視差の量を制御したステレオ画像が作成される。
【実施例２】
【００３８】
実施例２は、実施例１のシステムに、ステレオカメラとレンジファインダを追加して、その場で撮影された映像の奥行きを加工して表示する装置である。図13は、この実施例を実現するための装置を示した図である。1300〜1310までは、それぞれ400〜410までの機器と同一であり、ステレオの調整がされたカメラ1311,1312とレンジファインダ1313を備えている。
【００３９】
この装置では、実施例１での工程701において、データ媒体415からステレオ画像を読み込む代わりに、ステレオカメラ1311,1312で撮影し、撮影した画像201と202を読み込む。また、データ媒体415から視差情報を読み取る代わりに、奥行き情報をレンジファインダ1313で取得し、得られた情報を視差情報に変換して、その奥行き量のデータを対応距離に変換したものをデータ501,502として用いる。また、各Ｙ座標についてスキャンを行って奥行き量がそのラインでの最頻値よりも一定以上近い部分を前景オブジェクトとみなして、その判別結果にラベリング処理を施したものをしたデータを作成し、ラベル情報601,602として用いる。
それ以外の各工程処理については実施例１と同様の処理を行う。
【実施例３】
【００４０】
実施例３は、実施例１のシステムで変換した画像を表示、保存する代わりに、シーム自体を保存して、表示時にインタラクティブに奥行き情報を変換できるようにしたものである。
【００４１】
図１４は、実施例１においての動作フロー図７に対応する動作フローの図である。工程1401〜1403は、工程701〜703と同様である。実施例１において、工程704で画素の移動が行われ工程705で改変後の画像が保存されるのに対し、本実施例では、工程1404でシームの情報自体をデータ媒体415に保存する。この情報は再生時に読み込まれ、表示時のユーザ入力に併せてピクセルを削除・複製量が決められる。
【００４２】
図１５は、再生時の工程を示した動作フロー図である。この処理は情報処理機器400で実行される。工程1500でステレオ画像を読み込む。またシーム情報を工程1501で読み込む。工程1502では、視差の制御数を入力として受付け、工程1503でその値をメモリ領域Ｓ０に保存する。工程1504では、Ｓ０本のシームについて画素の移動改変を行い、その結果を工程1505で表示する。
これにより、最終的に出力される画像は、工程1502で入力された値に応じて視差の調整が反映されたものとなる。
【実施例４】
【００４３】
実施例４は、実施例１のシステムでのシーム取得に対して、ステレオマッチング対応点の信頼精度に合わせた重み付けを行うものである。
【００４４】
画像201を移動量のテーブル502で移動して作成された画像R’(0)を作成する。この画像R’(0)と画像202の差の絶対値を計算し、D(0)とする。また、R’を左右にpピクセル移動した画像R’(p)と画像202の差の絶対値を計算し、それぞれD(p)とする。（本実施例では、pの値として、-2,-1,1,2の四種類を用いることにする）。各ピクセルについて、D(p)-D(0)の平均値を取り、この値をステレオマッチングの信頼精度Wとする。実施例１の工程902で行われるシームの抽出処理において、視差領域調整用シームが背面領域に交差したときに、シーム上の各ピクセルp(y)を移動する位置について、式（１）を用いて定める。
Min ( E_data(p(y)) + Ｅ_smooth(p(y)))            （１）
”Computing Visual Correspondence with Occlusions via Graph Cuts”, Vladimir Kolmogorov and Ramin Zabih, In International Conference on Computer Vision, 2001に示されるように、式（１）は、平滑項とデータ項としてグラフ上にエネルギーを定義してグラフカットの手法を用いて最小化するための一般的な定式条件である。ただしここで、E_data(p(y))には、グラフカット処理のデータ項であり、背景領域として分割された部分領域についてはＷの値を、前景領域としてラベルされた領域については定数値Ｃ３を代入する。また、E_smooth(p(y))には、シームの削除によって改変される勾配の変動量を用いる。具体的手法は、Improved seam carving for video retargeting, Michael Rubinstein, Arial Shamir, Shai Avidan, 2009に記載されている。
【００４５】
この値を最小化することにより、シームの削除を行うことによって視差にズレの出る可能性のある画像領域を避けながら、連続性の高いシームを選択することが出来る。
【符号の説明】
【００４６】
100：シームカービング適用前の元画像、101：シームカービング適用後の縮小画像、110〜115：シーム、201：右目位置から視たステレオ画像、202：左目位置から視たステレオ画像、205：画像201上の背景物体映像、206,207：画像201上の前景物体映像、215：画像202上の背景物体映像、216,217：画像202上の前景物体映像、301：左目観察点の位置、302：右目観察点の位置、305：画像上の物体205に対応する背景物体、306,307：画像上の物体206,207に対応する前景物体、310：物体307の背面領域、311：右左目位置から見て前景物体307に背景物体305が隠蔽される領域、321：左目画像から見える視差領域の背景画像、322：右目画像から見える視差領域の背景画像、400：情報処理装置、402：モニタディスプレイ、405：中央演算装置（ＣＰＵ）、406：主記憶装置（メモリ）、407：外部記憶装置（ＨＤＤ）、408：立体映像出力装置、409：立体映像入出力インタフェース、410：ネットワークインタフェース、411：画像データ入出力機器、415：データ媒体、501：画像201から画像202への移動量を示す配列データ、502：画像202から画像201への移動量を示す配列データ、510：ある画素の移動量を示すベクトル構造体、601：画像201の各画素に対するラベルデータの配列、602：画像202の各画素に対するラベルデータの配列、610：ある画素がどのオブジェクトに含まれるかを表現するＩＤのデータ、801：201に対応する背面領域のラベルデータ配列、806：206に対応する背面領域のラベル領域、807：207に対応する背面領域のラベル領域、820：ラベル806に対してＹ方向に加算カウントしたヒストグラム、1001〜1004：視差領域調整用シーム、1101〜1104：視差領域調整用シーム、1201,1202：相対的に左に動く背景領域、1203,1204：相対的に右に動く背景領域、1311,1312：ステレオカメラ、1313：レンジファインダ。
【図１】
2011166498.tif 000003
【図２】
2011166498.tif 000004
【図３】
2011166498.tif 000005
【図４】
2011166498.tif 000006
【図５】
2011166498.tif 000007
【図６】
2011166498.tif 000008
【図７】
2011166498.tif 000009
【図８】
2011166498.tif 000010
【図９】
2011166498.tif 000011
【図１０】
2011166498.tif 000012
【図１１】
2011166498.tif 000013
【図１２】
2011166498.tif 000014
【図１３】
2011166498.tif 000015
【図１４】
2011166498.tif 000016
【図１５】
2011166498.tif 000017
【図１６】
2011166498.tif 000018