(57)【要約】【課題】多視点映像の奥行情報である奥行マップの品質の劣化を低減する。【解決手段】第１の再標本化装置１０にて奥行マップから画素を間引いて作成し、蓄積・伝送路３０を介して入力された、画素の間引かれた奥行マップが、第２の再標本化装置２０に入力される。第２の再標本化装置２０は、入力された奥行マップにおいて隣接画素の奥行値の差が第１閾値より小さいか否かを判定する奥行値判定手段２１と、第１閾値より小さい場合、当該奥行値を低域通過フィルタに通して得られる値を、補間した奥行値とする奥行補間手段２２と、第１閾値以上の場合、大きい方の奥行値を複写して得られる値を奥行値とする奥行複写手段２３と、補間または複写された奥行値と、入力された奥行マップの奥行値と、を合わせた奥行マップにおいて、所定の大きさの窓を各画素に適用し、各画素の奥行値を窓内の全奥行値の中央の値で置換えるメディアンフィルタ２４とを備える。【選択図】図１
2014013988.tif 000002
【特許請求の範囲】
【請求項１】
被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元する奥行マップの再標本化装置であって、
入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する奥行値判定手段と、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする奥行補間手段と、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする奥行複写手段と、
前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換えるメディアンフィルタと、を備えることを特徴とする奥行マップの再標本化装置。
【請求項２】
前記奥行値判定手段による処理の前段に、被写体のエッジの有無を判定するエッジ判定手段と、前記エッジが無い場合に新たな奥行値を生成する低域通過フィルタ手段と、をさらに備え、
前記エッジ判定手段は、入力された前記第２奥行マップにおいて、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差が、所定の第２閾値以上か否かを判別し、前記第２閾値以上の場合、前記近隣の２つの画素の間に前記被写体のエッジが存在すると判定し、
前記低域通過フィルタ手段は、前記第２奥行マップにおいて、前記近隣の２つの画素の奥行値の差が前記第２閾値より小さい場合、前記近隣の予め定められた画素数の画素の奥行値を所定の第２の低域通過フィルタに通して得られる値を、前記近隣の予め定められた画素数の画素の中の中央の画素についての新たな奥行値とすることを特徴とする請求項１に記載の奥行マップの再標本化装置。
【請求項３】
被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップを入力して画素の間引かれた奥行マップを作成する第１の再標本化装置と、前記第１の再標本化装置から所定の蓄積および伝送路を介して入力された、画素の間引かれた第２奥行マップから、前記間引かれた画素の奥行値を補間または複写により復元する第２の再標本化装置とを備える奥行マップの再標本化システムであって、
前記第１の再標本化装置は、
前記第１奥行マップから低域通過フィルタに通すことなく画素間引きを行う処理により前記画素の間引かれた奥行マップを作成し、
前記第２の再標本化装置は、
入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する奥行値判定手段と、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする奥行補間手段と、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする奥行複写手段と、
前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換えるメディアンフィルタと、を備えることを特徴とする奥行マップの再標本化システム。
【請求項４】
被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元する奥行マップの再標本化装置による再標本化方法であって、
前記再標本化装置は、少なくとも所定の第１閾値と、所定の第１低域通過フィルタと、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓とを記憶する記憶手段と、処理手段とを備え、
前記処理手段は、
入力された前記画素の間引かれた第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さいか否かを判定する奥行値判定処理ステップと、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、当該隣接する２つの画素の奥行値を前記第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする奥行補間処理ステップと、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする奥行複写処理ステップと、
前記奥行補間処理ステップによって補間された奥行値または前記奥行複写処理ステップによって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、前記所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換えるメディアンフィルタ処理ステップと、を実行することを特徴とする奥行マップの再標本化方法。
【請求項５】
前記再標本化装置の記憶手段は、所定の第２閾値と、所定の第２低域通過フィルタとをさらに記憶し、
前記処理手段は、
前記奥行値判定処理ステップの前に、
入力された前記第２奥行マップにおいて、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差が、前記第２閾値以上か否かを判別し、前記第２閾値以上の場合、前記近隣の２つの画素の間に前記被写体のエッジが存在すると判定するエッジ判定処理ステップを実行し、
前記エッジ判定処理ステップにて、奥行値の差が前記第２閾値よりも小さいために前記被写体のエッジが存在しないと判定した場合、前記近隣の予め定められた画素数の画素の奥行値を所定の第２の低域通過フィルタに通して得られる値を、前記近隣の予め定められた画素数の画素の中の中央の画素についての新たな奥行値とする低域通過フィルタ処理ステップをさらに実行し、
前記エッジ判定処理ステップにて、前記被写体のエッジが存在すると判定した場合、前記低域通過フィルタ処理ステップをスキップして前記奥行値判定処理ステップを実行することを特徴とする請求項４に記載の奥行マップの再標本化方法。
【請求項６】
被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元するために、コンピュータを、
入力された前記画素の間引かれた第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する奥行値判定手段、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする奥行補間手段、
前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする奥行複写手段、
前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換えるメディアンフィルタ、として機能させるための奥行マップの再標本化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像の生成に利用する奥行マップの再標本化装置およびその方法、プログラム、並びに奥行マップの再標本化システムに関する。
【背景技術】
【０００２】
現在、２眼式立体テレビや２眼式立体映画が普及しつつある。しかしながら、一部の立体視要因を実現するのみであるため、運動視差がなく不自然であったり、眼鏡をかけることに起因する眼性疲労等があったりする。そのため、立体映像の観察のために特別な眼鏡を必要としない、より自然な裸眼立体映像の実用化が望まれている。
【０００３】
裸眼立体映像は、多数の視点映像で構成される。そのため、裸眼立体映像を表示しようとすると、それら多数の視点映像を蓄積および伝送する必要があり、データ量が多く、実用化が困難であった。そこで、従来、視点映像の奥行情報である奥行マップを利用した立体映像の復元法が知られている（例えば、特許文献１参照）。
【０００４】
ここで、奥行マップの一例を図８（ａ）に示す。図８（ａ）は、例えば床を写したときに得られる奥行マップであって、矩形の底辺は、被写体の手前近くを示して白っぽく明るい。また、矩形の上辺は、被写体の奥を示し、黒っぽく暗い。この例では、床が１つの被写体であり、奥行きが連続的に変化し、滑らかになっている。また、被写体が例えば階段である場合、図８（ｂ）のように階段状に奥行きが変化した奥行マップが得られる。なお、図示を省略するが、奥行きの異なる被写体が複数ある場合、近くの被写体については白っぽく、遠くの被写体については黒っぽく表示される。
【０００５】
従来の奥行マップを利用する方法では、多視点映像に、奥行マップを付加することにより、多視点映像から視点数を間引いた視点映像を蓄積および伝送する。このように視点数が間引かれた多視点映像のことを、少数の視点映像ともいう。そして、伝送先にて、この少数の視点映像を奥行マップを用いて射影することにより、伝送元にて、間引かれた視点映像を合成して立体映像を復元することができる。
【０００６】
図９（ａ）は、特許文献１に記載された画像符号化装置の模式的なブロック図である。図９に示す画像符号化装置は、多視点映像（画像信号）を符号化する画像信号符号化部１０７と、その多視点映像の奥行マップ（デプス信号）を符号化するデプス信号符号化部１０８とを備えている。また、この画像符号化装置は、符号化に関する情報を示す符号化管理情報を符号化する符号化管理部１０１と、その符号化された情報と、カメラパラメータ情報とを符号化するパラメータ情報符号化部１１０とを備えている。そして、この画像符号化装置は、ユニット化部１０９を備え、画像信号符号化部１０７、デプス信号符号化部１０８およびパラメータ情報符号化部１１０の出力から符号化ビット列を生成する。この符号化ビット列は、蓄積および伝送され、伝送先で復号化される。
【０００７】
図９（ａ）に示す画像信号符号化部１０７は、各視点映像（画像信号）のうち、基準とすべき視点からの画像をフレーム内予測符号化し、それ以外の画像を複数の画像間でフレーム間予測符号化する。また、１つ以上の視点の奥行マップ（デプス信号）は、デプス信号符号化部１０８で、同様にフレーム内予測符号化、またはフレーム間予測符号化される。このため、デプス信号符号化部１０８も、図９（ｂ）に示すように、フレーム内予測符号化１０８ａと、フレーム間予測符号化１０８ｂとを備えている。デプス信号符号化部１０８は、すべての画素を例えばＭＰＥＧで圧縮する。このとき、符号化により奥行マップの画素数が変わることはない。要するに、全ての符号化された視点映像と奥行マップは、元と同じ画素数を持っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１５７８２１号公報
【特許文献２】特開２００１−８６３４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
奥行マップは、例えば図８（ａ）に示すように、被写体のテキスチャには関係せず、カメラから被写体までの距離のみに依存して、同一の被写体上では滑らかに連続する性質を持っている。つまり、１つの被写体（例えば床）の中で（被写体内部で）、奥行値は滑らかに変化する。よって、多数の視点映像で構成される裸眼立体映像を、蓄積および伝送する際のデータ量の削減のためには、奥行マップの解像度は、視点映像の解像度と同じである必要はなく、奥行マップの解像度を下げても構わない。しかしながら、特許文献１に記載の符号化方法は、全ての符号化された視点映像と奥行マップが元と同じ画素数を持っている。そのため、奥行マップを元の画素数のまま符号化伝送することは、符号化効率が悪いという問題があった。
【００１０】
そこで、奥行マップを少ない画素数に再標本化して、蓄積および伝送すべきデータ量を減らすことが考えられる。従来の一般的な再標本化を行う画像処理装置が例えば特許文献２に記載されている。図１０（ａ）は、画像処理装置２００において画像の再標本化部２２０の構成を模式的に示すブロック図であり、図１０（ｂ）は、その処理の流れを示すフローチャートである。画像の再標本化部２２０において、ＬＰＦ２２３は、原画像を入力し、低域通過フィルタに通し、折り返し歪を生じる高域成分を除去する（ステップＳ２０１）。高域成分が除去された画像はサブサンプリング部２２４に入力される。そして、サブサンプリング部２２４は、画素を間引き、画像サイズを縮小する（ステップＳ２０２）。これにより、生成された縮小画像が出力される。このように再標本化の際には、折返し歪を防ぐために、画素に低域通過フィルタを掛けて再標本化を行うことが、これまで一般的であった。
【００１１】
しかしながら、多視点映像に付加する奥行マップを再標本化しようとすると、この低域通過フィルタ（ＬＰＦ２２３）によって、元の奥行マップに無かった中間の奥行値が生じてしまい、奥行マップの品質が劣化すると共に、これを用いて合成される多視点映像に歪が生じるという問題があった。
【００１２】
そこで、本発明では、多視点映像の奥行情報である奥行マップの品質の劣化を低減できる奥行マップの再標本化装置およびその方法、プログラム、並びに奥行マップの再標本化システムを提供することを課題とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の請求項１に係る奥行マップの再標本化装置は、被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元する奥行マップの再標本化装置であって、奥行値判定手段と、奥行補間手段と、奥行複写手段と、メディアンフィルタと、を備えることを特徴とする。
【００１４】
かかる構成によれば、再標本化装置は、奥行値判定手段によって、入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する。ここで、第１閾値は、奥行値の差が第１閾値より小さければ被写体の内部の奥行値を表し、そうでなければ被写体の境界の奥行値を表すように予め定められている。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、再標本化装置は、奥行補間手段によって、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする。これにより、被写体の内部の奥行値を滑らかに連続させることができる。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、再標本化装置は、奥行複写手段によって、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする。これにより、被写体の境界において間引かれた奥行値を、値の大きな前景の奥行値で補間することで、違和感の少ない多視点映像を復元することができる。そして、前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、再標本化装置は、メディアンフィルタによって、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換える。これにより、被写体の境界において粗く復元された奥行値を、精密に復元することができる。
【００１５】
また、本発明の請求項２に係る奥行マップの再標本化装置は、請求項１に係る再標本化装置において、前記奥行値判定手段による処理の前段に、被写体のエッジの有無を判定するエッジ判定手段と、前記エッジが無い場合に新たな奥行値を生成する低域通過フィルタ手段と、をさらに備えることとした。
【００１６】
かかる構成によれば、再標本化装置は、エッジ判定手段によって、入力された前記第２奥行マップにおいて、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差が、所定の第２閾値以上か否かを判別し、前記第２閾値以上の場合、前記近隣の２つの画素の間に前記被写体のエッジが存在すると判定し、一方、奥行値の差が第２閾値より小さい場合、エッジが存在しないと判定する。このうち、エッジが存在しない場合、すなわち、前記近隣の２つの画素の奥行値の差が前記第２閾値より小さい場合、再標本化装置は、低域通過フィルタ手段によって、前記第２奥行マップにおいて、前記近隣の予め定められた画素数の画素の奥行値を所定の第２の低域通過フィルタに通して得られる値を、前記近隣の予め定められた画素数の画素の中の中央の画素についての新たな奥行値とする。したがって、画素の間引かれた奥行マップの伝送および蓄積時に符号化歪みが付加されたとしても、符号化歪みの影響を除去して、奥行値が連続的に変化する奥行マップを復元することができる。一方、奥行値の差が第２閾値以上の場合、再標本化装置は、近隣の２つの画素の間に被写体の境界が存在すると判定し、前記した第２の低域通過フィルタによる処理を行わない。したがって、再標本化装置が符号化歪みの影響を除去して、奥行値が連続的に変化する奥行マップを復元する際に、元の奥行マップに元々備わっていた被写体の境界付近の奥行値については元の値を維持することができる。
【００１７】
また、前記課題を解決するために、本発明の請求項３に係る奥行マップの再標本化システムは、被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップを入力して画素の間引かれた奥行マップを作成する第１の再標本化装置と、前記第１の再標本化装置から所定の蓄積および伝送路を介して入力された、画素の間引かれた第２奥行マップから、前記間引かれた画素の奥行値を補間または複写により復元する第２の再標本化装置とを備える奥行マップの再標本化システムであって、前記第１の再標本化装置は、前記第１奥行マップから低域通過フィルタに通すことなく画素間引きを行う処理により前記第２奥行マップを作成し、前記第２の再標本化装置は、奥行値判定手段と、奥行補間手段と、奥行複写手段と、メディアンフィルタと、を備えることを特徴とする。
【００１８】
かかる構成によれば、奥行マップの再標本化システムにおいて、前記第１の再標本化装置が、低域通過フィルタに通すことなく画素間引きを行う処理により画素の間引かれた奥行マップを作成するので、この画素の間引かれた奥行マップには第１奥行マップに元々無かった奥行値が含まれることはない。よって、前景や背景の被写体の一部が重なったり、前景と背景の画素が繰り返し配置されたりするような問題の発生を防止することができる。そして、奥行マップの再標本化システムにおいて、前記第２の再標本化装置は、奥行値判定手段によって、入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、第２の再標本化装置は、奥行補間手段によって、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、第２の再標本化装置は、奥行複写手段によって、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする。そして、前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、第２の再標本化装置は、メディアンフィルタによって、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換える。
【００１９】
また、前記課題を解決するために、本発明の請求項４に係る再標本化方法は、被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元する奥行マップの再標本化装置による再標本化方法であって、前記再標本化装置が、少なくとも所定の第１閾値と、所定の第１低域通過フィルタと、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓とを記憶する記憶手段と、処理手段とを備え、前記処理手段が、奥行値判定処理ステップと、奥行補間処理ステップと、奥行複写処理ステップと、メディアンフィルタ処理ステップと、を実行することを特徴とする。
【００２０】
かかる手順によれば、再標本化装置の前記処理手段は、奥行値判定処理ステップにて、入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さいか否かを判定する。そして、再標本化装置の前記処理手段は、奥行補間処理ステップにて、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、当該隣接する２つの画素の奥行値を前記第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする。そして、再標本化装置の前記処理手段は、奥行複写処理ステップにて、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする。そして、再標本化装置の前記処理手段は、メディアンフィルタ処理ステップにて、前記奥行補間処理ステップによって補間された奥行値または前記奥行複写処理ステップによって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、前記所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換える。
【００２１】
また、本発明の請求項５に係る奥行マップの再標本化方法は、請求項４に係る再標本化方法において、前記再標本化装置の記憶手段が、所定の第２閾値と、所定の第２低域通過フィルタとをさらに記憶し、前記処理手段が、前記奥行値判定処理ステップの前に、入力された前記第２奥行マップにおいて、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差が、前記第２閾値以上か否かを判別し、前記第２閾値以上の場合、前記被写体のエッジが存在すると判定するエッジ判定処理ステップを実行し、前記エッジ判定処理ステップにて、奥行値の差が前記第２閾値よりも小さいために前記被写体のエッジが存在しないと判定した場合、前記近隣の予め定められた画素数の画素の奥行値を所定の第２の低域通過フィルタに通して得られる値を、前記近隣の予め定められた画素数の画素の中の中央の画素についての新たな奥行値とする低域通過フィルタ処理ステップをさらに実行し、前記エッジ判定処理ステップにて、前記被写体のエッジが存在すると判定した場合、前記低域通過フィルタ処理ステップをスキップして前記奥行値判定処理ステップを実行することとした。
【００２２】
かかる手順によれば、再標本化装置の前記処理手段は、エッジ判定処理ステップにて、奥行値の差が前記第２閾値よりも小さいと判定した場合、低域通過フィルタ処理ステップにて、近隣の予め定められた画素数の画素の奥行値を所定の第２の低域通過フィルタに通して新たな奥行値を生成する。したがって、画素の間引かれた奥行マップの伝送および蓄積時に符号化歪みが付加されたとしても、符号化歪みの影響を除去して、奥行値が連続的に変化する奥行マップを復元することができる。また、エッジ判定処理ステップにて、奥行値の差が前記第２閾値以上であると判定した場合、低域通過フィルタ処理ステップをスキップするので、元の奥行マップに元々備わっていた被写体の境界付近の奥行値については元の値を維持することができる。
【００２３】
また、本発明の請求項６に係る奥行マップの再標本化プログラムは、被写体を多視点から撮影して得られる多視点映像の奥行情報である第１奥行マップから画素間引きを行う処理により作成され所定の蓄積および伝送路を介して、画素の間引かれた奥行マップを入力し、前記間引かれた画素の奥行値を補間または複写により復元するために、コンピュータを、奥行値判定手段、奥行補間手段、奥行複写手段、メディアンフィルタ、として機能させるためのプログラムである。
【００２４】
かかる構成によれば、再標本化プログラムは、奥行値判定手段によって、入力された前記画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定する。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値より小さい場合、再標本化プログラムは、奥行補間手段によって、当該隣接する２つの画素の奥行値を所定の第１低域通過フィルタに通して得られる値を、前記隣接する２つの画素の間で間引かれた画素について補間した奥行値とする。そして、前記第２奥行マップにおいて隣接する２つの画素の奥行値の差が前記第１閾値以上の場合、再標本化プログラムは、奥行複写手段によって、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、前記隣接する２つの画素の間で間引かれた画素の奥行値とする。そして、前記奥行補間手段によって補間された奥行値または前記奥行複写手段によって複写された奥行値と、前記第２奥行マップの奥行値と、を合わせた第３奥行マップにおいて、再標本化プログラムは、メディアンフィルタによって、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を前記窓内の全奥行値の中央の値で置換える。
【発明の効果】
【００２５】
本発明によれば、画素の間引かれた奥行マップから、画素を間引く前の元の奥行マップにおける被写体の境界位置と同様の奥行マップを復元することができる。したがって、多視点映像と共に蓄積および伝送するデータ量が低減された奥行マップの再標本化に際して奥行マップの品質の劣化を低減することができる。そのため、復元された奥行マップを用いて合成される多視点映像における歪を低減することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態に係る奥行マップの再標本化装置を備える再標本化システムの構成を示すブロック図である。
【図２】本発明の実施形態に係る奥行マップの再標本化システムを用いた立体映像の送受信システムの全体構成を示すブロック図である。
【図３】元の画素数の奥行マップを復元する処理の説明図（その１）である。
【図４】元の画素数の奥行マップを復元する処理の説明図（その２）である。
【図５】本発明の実施形態に係る再標本化装置の処理による奥行マップの状態遷移を模式的に示す説明図である。
【図６】本発明の実施形態に係る再標本化システムによる再標本化処理の全体の流れを示すフローチャートである。
【図７】本発明の第２実施形態に係る奥行マップの再標本化装置を備える再標本化システムの構成を示すブロック図である。
【図８】図７に示す再標本化システムにおける符号化歪の説明図であって、（ａ）〜（ｃ）は奥行マップの符号化歪およびその除去による状態遷移、（ｄ）は符号化歪除去フィルタのタップ係数の一例を示している。
【図９】従来の多視点映像の符号化装置の構成を模式的に示すブロック図である。
【図１０】従来の画像データを圧縮符号化する画像処理装置の構成および動作を模式的に示す図である。
【発明を実施するための形態】
【００２７】
図面を参照して本発明の奥行マップの再標本化装置およびその方法、プログラム、並びに奥行マップの再標本化システムを実施するための形態について詳細に説明する。
【００２８】
（第１実施形態）
［奥行マップの再標本化システムの概要］
第１実施形態に係る奥行マップの再標本化システムは、被写体を多視点から撮影して得られる多視点映像の奥行情報である奥行マップを再標本化するシステムである。図１に示す奥行マップの再標本化システム１は、奥行マップの再標本化装置として、第１の再標本化装置１０と、第２の再標本化装置２０とを備えている。第１の再標本化装置１０と第２の再標本化装置２０との間は、所定の蓄積・伝送路３０で結ばれる。第１実施形態では、蓄積・伝送路３０での符号化歪は十分小さく無視できるものとする。すなわち、蓄積・伝送路３０は、等価的に１本の電線とみなせる。この再標本化システム１を用いた立体映像の送受信システムの全体の説明は後記する。なお、図１および図２において奥行マップの伝送を太い実線の矢印で示している。
【００２９】
第１の再標本化装置１０および第２の再標本化装置２０は、ＣＰＵ等の演算装置と、メモリ、ハードディスク等の記憶装置と、入力または出力される各種情報の送受信を行うインタフェース装置とを備えている。以下では、第１の再標本化装置１０に入力される奥行マップのことを形式的に第１奥行マップとも呼び、第２の再標本化装置２０に入力される奥行マップのことを形式的に第２奥行マップとも呼ぶこととする。
【００３０】
第１の再標本化装置１０は、第１奥行マップを入力して画素の間引かれた奥行マップを作成するものである。この第１の再標本化装置１０は、第１奥行マップから低域通過フィルタに通すことなく画素間引きを行う処理により、画素の間引かれた奥行マップを作成する。
【００３１】
第２の再標本化装置（奥行マップの再標本化装置）２０は、第１の再標本化装置１０から蓄積・伝送路３０を介して入力された、画素の間引かれた第２奥行マップから、間引かれた画素の奥行値を補間または複写により復元するものである。この第２の再標本化装置２０は、復元された奥行マップを出力する。なお、詳細な内部構成については後記する。
【００３２】
［立体映像の送受信システム］
ここで、本発明の実施形態に係る奥行マップの再標本化システムを用いた、立体映像の送受信システムの全体構成を図２に示す。立体映像の送受信システム２は、奥行マップの再標本化システム１（第１の再標本化装置１０および第２の再標本化装置２０）と、蓄積・伝送路３０と、多視点映像合成装置４０とを備えている。
【００３３】
蓄積・伝送路３０は、符号化部３１と、復号化部３２と、符号化部３３と、復号化部３４とを備えている。符号化部３１は、第１の再標本化装置１０にて画素間引きされた奥行マップを符号化するものである。符号化部３１による画像の符号化方式は、例えばMPEG-4 AVC（H.264）等である。なお、MPEG-4 AVCは、公知の動画像圧縮方式なので説明を省略する。
【００３４】
復号化部３２は、符号化され、蓄積および伝送された奥行マップを復号化するものである。復号化部３２は、符号化された奥行マップを、符号化部３１による符号化方式に対応した復号化方式で復号化する。復号化された奥行マップは第２の再標本化装置２０に入力される。第２の再標本化装置２０に入力された奥行マップが、画素の間引かれた第２奥行マップである。なお、第１実施形態では、蓄積・伝送路３０での符号化歪を無視しているので、第２の再標本化装置２０に入力される第２奥行マップを、第１の再標本化装置１０にて画素間引きされた奥行マップと同じものと見なしている。
【００３５】
符号化部３３は、元の奥行マップ（第１の奥行マップ）に付随する少数の視点映像（視点数が間引かれた多視点映像）を符号化するものである。符号化部３３による画像の符号化は、符号化部３１と同様である。
復号化部３４は、符号化され、蓄積および伝送された少数の視点映像を復号化するものである。復号化部３４による映像の復号化は、復号化部３２と同様である。復号化された少数の視点映像は多視点映像合成装置４０に入力される。
【００３６】
多視点映像合成装置４０は、第２の再標本化装置２０からの出力である、復元された奥行マップを用いて、入力された少数の視点映像から、多視点映像を合成するものである。ここで合成された多視点映像は、図示しない立体ディスプレイで、立体映像として表示される。
【００３７】
［第２の再標本化装置の構成］
ここでは、第２の再標本化装置２０の構成の詳細を説明する。
第２の再標本化装置２０は、ハードウエア装置とソフトウエアとが協働することによって、前記したハードウエア資源がプログラムによって制御されることにより実現され、図１に示すように、処理手段として、奥行値判定器２１と、奥行補間器２２と、奥行複写器２３と、メディアンフィルタ２４と、を備えている。また、第２の再標本化装置２０は、図示しない記憶手段に、少なくとも所定の第１閾値と、所定の第１低域通過フィルタと、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓とを記憶する。
【００３８】
奥行値判定器（奥行値判定手段）２１は、入力された画素の間引かれた奥行マップである第２奥行マップにおいて隣接する２つの画素の奥行値の差が所定の第１閾値より小さいか否かを判定するものである。ここで、画素の奥行値は、被写体の手前近くの画素で色が白いほど大きな値を有し、被写体の奥側の画素で色が黒いほど小さな値を有する。奥行値を例えば８ビットで表す場合、“０”〜“２５５”の値となる。また、第１閾値は、間引かれた第２奥行マップにおいて隣接する当該２つの画素が同一被写体内に存在するか否かを規定するために予め定められている。つまり、奥行値の差が第１閾値より小さい場合、当該２つの画素が同一被写体内にあり、奥行値の差が第１閾値以上の場合、当該２つの画素の間に異なる被写体の境界があるものとする。奥行値判定器２１は、奥行値の差が第１閾値より小さいと判定した場合、処理を奥行補間器２２に渡し、奥行値の差が第１閾値以上であると判定した場合、処理を奥行複写器２３に渡す。
【００３９】
奥行補間器（奥行補間手段）２２は、第２奥行マップにおいて隣接する２つの画素の奥行値の差が第１閾値より小さい場合、当該隣接する２つの画素の奥行値を低域通過フィルタに通して得られる値を、隣接する２つの画素の間で間引かれた画素について補間した奥行値とするものである。奥行補間器２２における低域通過フィルタ（第１低域通過フィルタ）は、例えばタップ係数が（１／２、１／２）の２タップ低域通過フィルタである。奥行補間器２２は、差が第１閾値より小さい場合、すなわち同一被写体内である場合、低域通過フィルタを掛けて得られる値を、間引かれた画素の奥行値として補間し、奥行値を滑らかに連続させることにより、元の画素数の奥行マップを復元する。なお、処理例については後記する。奥行補間器２２は、奥行値を補間した後、処理をメディアンフィルタ２４に渡す。
【００４０】
奥行複写器（奥行複写手段）２３は、第２奥行マップにおいて隣接する２つの画素の奥行値の差が第１閾値以上の場合、当該隣接する２つの画素について他より大きい方の奥行値を複写して得られる値を、隣接する２つの画素の間で間引かれた画素の奥行値とするものである。奥行複写器２３は、差が第１閾値以上の場合、すなわち異なる被写体の境界である場合、隣接画素のいずれか大きい方の奥行値を、間引かれた画素の奥行値として複写することにより、元の画素数の奥行マップを復元する。なお、処理例については後記する。奥行複写器２３は、奥行値を複写した後、処理をメディアンフィルタ２４に渡す。
【００４１】
メディアンフィルタ２４は、復元された元の画素数の奥行マップに中央値選択フィルタを掛けるものである。メディアンフィルタ２４は、奥行補間器２２によって補間された奥行値または奥行複写器２３によって複写された奥行値と、第２奥行マップの奥行値と、を合わせた奥行マップ（以下、第３奥行マップという）において、処理対象の画素およびその周囲の画素群を特定する所定の大きさの窓を各画素に適用し、各画素の奥行値を窓内の全奥行値の中央の値で置換える。このメディアンフィルタ２４が、第３奥行マップに中央値選択フィルタを掛けることにより、元の奥行マップ（第１奥行マップ）に無かった奥行値を生じさせずに被写体の境界部分を滑らかにすることができる。なお、処理例については後記する。
【００４２】
［元の画素数の奥行マップを復元する処理の例］
図３および図４は、第２の再標本化装置２０の奥行補間器２２および奥行複写器２３によって元の画素数の奥行マップを復元する処理の説明図である。図３（ａ）に示すグラフは、通常の立体映像の奥行マップ（例えば図８（ａ）参照）の画素の奥行値の一部を、水平方向（Ｘ軸方向）に切出したものを示している。図３（ａ）に示すグラフの横軸は、Ｘ軸方向の画素の位置を示し、縦軸はその画素の奥行値の大きさを示す。
【００４３】
図３（ａ）において、奥行値は、元の奥行値を示し、ここでは、画素の位置と、元の奥行値のセットを、（Ｘ11，ａ）、（Ｘ12，ｂ）、（Ｘ13，ｃ）、（Ｘ14，ｄ）、（Ｘ15，ｅ）、（Ｘ16，ｆ）とした。なお、実際には、位置Ｘ11の左側や、位置Ｘ16の右側にも同様に画素の奥行値が並べられている。奥行値ａ、ｂ、ｃは、前景の被写体の奥行値であって大きな値を持っており、奥行値ｄ、ｅ、ｆは、背景の被写体の奥行値であって小さな奥行値を持っている。そのため、奥行値ｃと奥行値ｄとの間には大きなギャップがある。
【００４４】
奥行マップの再標本化システム１では、第１の再標本化装置１０において、図３（ａ）に示す元の奥行値を、低域通過フィルタに通すことなく、直接、画素間引きすることで、図３（ｂ）の実線で示す奥行値を得る。なお、図３（ｂ）に示す例では、奇数の画素位置（Ｘ11、Ｘ13、Ｘ15）で画素間引きを行ったことを破線で示している。これにより、間引かれた奥行マップとして、（Ｘ12，ｂ）、（Ｘ14，ｄ）、（Ｘ16，ｆ）が蓄積および伝送される。
【００４５】
本発明との比較手法（従来の低域通過フィルタに通す手法）では、下記の課題があった。図３（ａ）のグラフに示すように、奥行値ｃと奥行値ｄとの間に大きなギャップがあって急激に奥行値が変化する部分は、高い周波数成分を多く含んでいる。これをそのまま画素間引きし、その後、間引かれた画素を周辺の画素で補間すると、元とは異なる周波数成分が生じて、いわゆる折返し歪が発生する。この折返し歪を防ぐために、比較手法では、通常の映像で行われているように、先ず、符号側にて、各画素を低域通過フィルタに通して、高周波成分を除去し、その後に、画素間引きを行う。その後、復号側にて、残っている画素を低域通過フィルタに通すことにより、間引かれた画素を補間することが行われる。（例えば特許文献２参照）
【００４６】
図３（ｃ）は、比較手法によって、図３（ａ）の元の奥行値を符号側にて低域通過フィルタに通した後の奥行値を表している。ここで、低域通過フィルタには、例えば、タップ係数が（１／４、２／４、１／４）の３タップフィルタ等が使われる。その結果、画素位置Ｘ13では、前景の被写体の元の奥行値ｂと、背景の被写体の元の奥行値ｄとが混じるため、元の奥行値ｃとは異なる値αになる。同様に、画素位置Ｘ14でも、前景の被写体の元の奥行値ｃと、背景の被写体の元の奥行値ｅとが混じるため、元の奥行値ｄとは異なる値βになる。その後、図３（ｃ）において、例えば奇数の画素位置（Ｘ11、Ｘ13、Ｘ15）で画素間引きを行い、これにより、間引かれた奥行マップとして、（Ｘ12，ｂ）、（Ｘ14，β）、（Ｘ16，ｆ）が蓄積および伝送される。その後、復号側にて、蓄積・伝送された奥行値を、例えばタップ係数が（１／２、１／２）の２タップ低域通過フィルタに通して、間引かれた奥行値を補間すると、図３（ｃ）に示すように、例えば画素位置Ｘ13では、値αに近い値が復元され、例えば画素位置Ｘ14では、値βに近い値が復元される。
【００４７】
比較手法で復元された奥行マップには、このように、元の奥行マップには無かった中間レベルの奥行値α、βが復元されてしまう。そして、比較手法で復元された奥行マップを用いて、元の視点位置とは異なる位置の視点映像を合成すると、次のような不具合が生じる。すなわち、異なる位置で合成した視点映像において、奥行マップの奥行値は各画素の横方向の移動距離を表すので、位置Ｘ13の画素は、同一被写体（前景の被写体）の他の画素（位置Ｘ11の画素、位置Ｘ12の画素）とは奥行値が異なるため、同一被写体の他の画素とは横方向の移動距離が異なる。同様に、位置Ｘ14の画素は、同一被写体（背景の被写体）の他の画素（位置Ｘ15の画素、位置Ｘ16の画素）とは奥行値が異なるため、同一被写体の他の画素とは横方向の移動距離が異なる。その結果、前景や背景の被写体の一部が重なったり、ちぎれてリンギング状に、前景と背景の画素が繰り返し配置されたりする問題が発生する。
【００４８】
一方、本発明の奥行マップの再標本化システム１は、図１に示す第１の再標本化装置１０において、図３（ａ）に示す元の奥行値を、符号側にて低域通過フィルタに通すことなく、直接、画素間引きし、図３（ｂ）の実線で示す奥行値を得る。これらの奥行値は、元の奥行値のみを含む。そのため、比較手法の生じる問題を解決することができる。
【００４９】
次に、本発明の奥行マップの再標本化システム１において、第２の再標本化装置２０が、復号側にて、間引かれた画素を復元する手順を説明する。第２の再標本化装置２０において、先ず、奥行値判定器２１は、図３（ｂ）の実線で示す、間引かれた隣合う画素の奥行値の差分を調べる。このうち、例えば、背景の被写体においてｄ，ｅ，ｆのように元の同じ奥行値が連続していた部分に対応した、位置Ｘ14の画素と位置Ｘ16の画素とについての奥行値の差分は、第１閾値（例えば５）より小さい（隣り合う画素が同一の被写体のものである）。この場合、奥行補間器２２にて、これら隣接する画素を、例えばタップ係数（１／２、１／２）の２タップ低域通過フィルタに通して得られる値を、間引かれた位置Ｘ15の画素の奥行値とする。この例の場合、結果として、位置Ｘ15の画素に対して元の奥行値ｅが復元される。また、前景の被写体においてａ，ｂのように同じ奥行値が連続していた部分である位置Ｘ11の画素に対しては、図示を省略した位置Ｘ10の画素の奥行値も２タップ低域通過フィルタに通すことで元の奥行値ａが復元される。
【００５０】
一方、奥行値判定器２１にて、例えば、図３（ｂ）の実線で示す位置Ｘ12の画素と位置Ｘ14の画素とについての奥行値の差分は、第１閾値（例えば５）以上であると判定される（隣合う画素は異なる被写体のものであると判定される）。この場合、奥行複写器２３が、隣接画素の大きい方の奥行値を間引かれた画素の奥行値とする。この例では、位置Ｘ12の画素の奥行値の方が大きいので、結果として、位置Ｘ13の画素に対して元の奥行値ｃが復元される。よって、図３（ｂ）の間引かれた奥行マップ（第２マップ）から、図４（ａ）に示す奥行マップが復元される。復元された奥行マップは、図３（ａ）の元の奥行マップ（第１マップ）と同じである。
【００５１】
図３（ａ）の例では、位置Ｘ13と位置Ｘ14との間に奥行値の大きなギャップがあるものとしたが、ギャップの位置が１つだけずれていた場合に同様な画素位置で間引いたときには最終結果が僅かに異なる。このときの結果は、ギャップの位置が同じ位置であって偶数の画素位置（Ｘ12、Ｘ14、Ｘ16）で画素間引きを行ったときの結果と等価なので、その場合の例について説明する。図４（ｂ）に示す例は、第１の再標本化装置１０が、図３（ａ）の元の奥行マップ（第１マップ）から偶数の画素位置（Ｘ12、Ｘ14、Ｘ16）で画素間引きを行ったことを破線で示している。よって、間引かれた奥行マップとして、（Ｘ11，ａ）、（Ｘ13，ｃ）、（Ｘ15，ｅ）が蓄積および伝送される。この場合、例えば、背景側の被写体の画素位置Ｘ14の奥行値ｄが間引かれる。
【００５２】
そして、第２の再標本化装置２０の判定により、背景側の被写体の画素位置Ｘ14の奥行値に対して、前景側の被写体の奥行値ｃが与えられる（図４（ｃ）参照）。この場合、復元された奥行マップ上では、前景の被写体の画素位置（Ｘ11、Ｘ12、Ｘ13）の奥行値（ａ，ｂ，ｃ）は全て復元されており、さらに、前景の被写体が１画素だけ太った状態になっている。その結果、復元された奥行マップを使って合成された多視点映像において、前景の被写体は、歪無くその形状を保っており、その境界に１画素分、間違った画素が存在することになる。通常、被写体境界の画素は、両方の被写体の画素の奥行値が混じり合っていることが多く、また、異なる被写体（テキスチャ）の境界のマスキング効果により、境界の背景側の間違った画素は目立たない。
【００５３】
なお、人の心理として、通常、人は、立体映像の手前ほど集中してしっかり見る傾向にある。つまり、人は、立体映像の手前（前景の被写体）ほど、歪んでいないか気にするので、手前のゆがみは目立つ。一方、立体映像の後ろ側（背景の被写体、壁など）については、奥行値が少しずれていても気にならない傾向にある。
【００５４】
［メディアンフィルタによる処理の例］
図５は、第２の再標本化装置２０のメディアンフィルタ２４による処理の説明図であって、奥行マップの状態遷移を模式的に示している。図５（ａ）は、通常の立体映像の奥行マップ（例えば図８参照）の一部を２次元的に表したものであり、点線で囲まれた正方形の部分が１画素を表し、階段状の太い実線が、被写体の境界を表し、境界の上側と下側とで異なる奥行値を有している。ここでは、境界より上の画素は全て背景被写体の奥行値ａを持ち、境界より下の画素は全て前景被写体の奥行値ｂ（ｂ＞ａ）を持つものとする。
【００５５】
図５（ａ）において、奥行マップの例えば１行目の画素の位置を座標（１１，１１）〜（１１，１６）で示した。１行目の各画素の奥行値は、すべてａである。また、奥行マップの例えば６行目の画素の位置を座標（１６，１１）〜（１６，１６）で示した。６行目の各画素の奥行値は、すべてｂである。なお、６×６の３６画素だけ示したが、実際には、座標（１１，１１）の位置の画素の左側・上側や、座標（１６，１６）の位置の画素の右側・下側にも同様に画素および奥行値が並べられている。
【００５６】
奥行マップの再標本化システム１では、第１の再標本化装置１０において、図５（ａ）に示す元の奥行マップの画素を左上の画素から順に、１画素残して、隣接する縦・横各１画素を間引く。これにより、図５（ａ）に示す６×６の３６画素部分は、図５（ｂ）に示す３×３の９画素部分となる。間引かれた奥行マップの例えば１行目には、元の座標（１１，１１），（１１，１３），（１１，１５）の位置にあった画素が並ぶこととなる。また、２行目には、元の座標（１３，１１），（１３，１３），（１３，１５）の位置にあった画素が並び、３行目には、元の座標（１５，１１），（１５，１３），（１５，１５）の位置にあった画素が並ぶこととなる。つまり、図５（ａ）に示す奥行マップで、元は２×２の４画素であった部分において左上の画素の奥行値だけが、図５（ｂ）に示す奥行マップにおいて残った奥行値である。この間引かれた奥行マップを蓄積・伝送する。
【００５７】
そして、奥行マップの再標本化システム１では、蓄積・伝送された奥行マップが第２の再標本化装置２０に入力される。第２の再標本化装置２０は、奥行値判定器２１によって、入力した奥行マップ（図５（ｂ）の間引かれた第２奥行マップ）において、まず例えば上下に隣り合う奥行値の差分を調べる。差が第１閾値（例えば５）より小さい場合、隣り合う画素の奥行値に、例えばタップ係数（１／２、１／２）の２タップ低域通過フィルタを通した値で、間引かれた画素を補間し、差が第１閾値（例えば５）以上の場合、隣接画素の何れか大きい方の奥行値を間引かれた奥行値として複写する。次いで例えば左右に隣り合う奥行値の差分を調べ、同様の判定処理を行う。その結果、図５（ｃ）の奥行マップ（第3奥行マップ）が得られる。なお、例えば左右に隣り合う奥行値の差分を調べてから上下に隣り合う奥行値の差分を調べるようにしてもよい。
【００５８】
具体的には、上下に隣り合う場合、例えば、元の座標（１３，１１）の位置にあった画素の奥行値ａと、元の座標（１５，１１）の位置にあった画素の奥行値ｂと、の差分から、図５（ｃ）において符号５０１で示す位置の画素には、大きい方の奥行値であるｂが付与される。また、左右に隣り合う場合、例えば、元の座標（１１，１３）の位置にあった画素の奥行値ａと、元の座標（１１，１５）の位置にあった画素の奥行値ａと、の差分から、図５（ｃ）において符号５０２で示す位置の画素には、平均化された奥行値であるａが付与される。同様にして、図５（ｃ）において符号５０３で示す位置の画素には、その左右の画素についての、大きい方の奥行値であるｂが付与される。なお、図５（ｃ）において符号５０４で示す位置の画素については、その左右に隣り合う画素がそれぞれ先に求められた上で、その左右の画素についての、大きい方の奥行値であるｂが付与される。他の位置の画素も同様にして復元される。
【００５９】
図５（ｃ）の奥行マップ（第３奥行マップ）を元の奥行マップ（図５（ａ））と比べると、斜めの被写体境界線の解像度が低下し、大きく階段状になっている。つまり、元の奥行マップにおける奥行値の境界を示す３段の階段が、第３奥行マップでは１段の階段になり、しかも１段の高さが２倍になっている。
【００６０】
本実施形態では、メディアンフィルタ２４は、例えば、（３×３）画素の窓を持ち、この窓の中央の奥行値を、窓内の９個の奥行値を小さい方から順に並べた時の中央（５番目）の奥行値で置換えることとした。具体的には、（３×３）画素の窓が、図５（ｃ）において例えば符号５０４で示す位置の画素を中心のターゲット画素として、その周囲の８個の画素群と合わせた９個の画素群を囲む場合、これら９個の画素の奥行値は、大きい方の奥行値ｂが４個、小さい方の奥行値ａが５個なので、選択される中央値はａとなる。
【００６１】
また、（３×３）画素の窓が、図５（ｃ）において例えば元の座標（１３，１３）の位置にあった画素を中心のターゲット画素として、その周囲の８個の画素群と合わせた９個の画素群を囲む場合、これら９個の画素の奥行値は、大きい方の奥行値ｂが５個、小さい方の奥行値ａが４個なので、選択される中央値はｂとなる。
【００６２】
その結果、図５（ｄ）に示すように、最終的な奥行マップにおいて太い破線の境界線が、実線のように変わる。図５（ｃ）において例えば符号５０４で示す位置の画素は、図５（ｄ）において符号５０４ａで示すように奥行値はａに変わっている。また、図５（ｃ）において元の座標（１３，１３）の位置にあった画素は、図５（ｄ）において符号５０５で示すように奥行値はｂに変わっている。つまり、図５（ｃ）のように大きく階段状になって１段の高さが２倍になっていた奥行マップが、メディアンフィルタ２４の処理によって、奥行マップの境界線において、１段の高さが元に戻って、境界線を細かく平滑化し、図５（ａ）の元の境界線の形状に近くなっている。したがって、再標本化して復元された奥行マップの歪が、メディアンフィルタ２４の処理によって軽減される。
【００６３】
図５（ｄ）の実線で示す被写体の境界位置は、図５（ａ）に示す元の境界位置よりも１画素分だけ、前景の被写体が太った状態になっている部分（符号５０１，５０５，５０６）がある。しかしながら、視覚的に重要な前景被写体の奥行値は全て復元されているので、この奥行マップで合成された多視点映像中の前景の被写体に歪はない。また、背景の被写体の間違った奥行値によって合成された多視点映像の画素は、前記した理由で目立たず、合成映像の品質は改善される。
【００６４】
［奥行マップの再標本化方法］
本発明の第１実施形態に係る奥行マップの再標本化方法について図６を参照（適宜図１参照）して説明する。図６は、本発明の第１実施形態に係る再標本化システムによる再標本化処理の全体の流れを示すフローチャートである。
【００６５】
図６に示すように、再標本化方法は、大別して２つの工程に分けられる。１つは、第１の再標本化装置１０による処理（ステップＳ１：第１の再標本化処理）であり、もう１つは、第２の再標本化装置２０による処理（ステップＳ２：第２の再標本化処理）である。
ステップＳ２は、内部処理として、ステップＳ２３（奥行値判定処理）、ステップＳ２４（奥行補間処理）、ステップＳ２５（奥行複写処理）、およびステップＳ２６（メディアンフィルタ処理）を含んでいる。なお、ステップＳ２の内部処理であるＳ２１，Ｓ２２の処理については第２実施形態にて説明する。
【００６６】
ステップＳ１（第１の再標本化処理）では、第１の再標本化装置１０は、奥行マップ（第１奥行マップ）を入力し、低域通過フィルタを通すことなく、画素を間引いて、蓄積・伝送路３０に送る。そして、ステップＳ１１にて蓄積・伝送された奥行マップは、第２の再標本化装置２０に入力される。第２の再標本化装置２０は、ステップＳ２３に進む。
【００６７】
ステップＳ２３（奥行値判定処理）にて、第２の再標本化装置２０は、奥行値判定器２１によって、入力された奥行マップ（第２奥行マップ）において隣接画素の奥行値の差が閾値（第１閾値）より小さいか否かを判定する。奥行値判定器２１の判定の結果、隣接画素の奥行値の差が閾値（第１閾値）より小さい場合、第２の再標本化装置２０は、奥行補間処理Ｓ２４に進む。一方、その他の場合、第２の再標本化装置２０は、奥行複写処理Ｓ２５に進む。
【００６８】
ステップＳ２４（奥行補間処理）にて、第２の再標本化装置２０は、奥行補間器２２によって、第２奥行マップの隣接画素を低域通過フィルタに通して得られる値を、間引かれた画素の奥行値とする。このステップＳ２４に続いて、第２の再標本化装置２０は、ステップＳ２６に進む。
【００６９】
ステップＳ２５（奥行複写処理）にて、第２の再標本化装置２０は、奥行複写器２３によって、第２奥行マップの隣接画素の大きい方の奥行値を間引かれた画素の奥行値とする。このステップＳ２５に続いて、第２の再標本化装置２０は、ステップＳ２６に進む。
【００７０】
ステップＳ２６（メディアンフィルタ処理）にて、第２の再標本化装置２０は、メディアンフィルタ２４によって、第３奥行マップの各画素の奥行値を、周辺の所定の窓内の全奥行値の中央の値に取り替えて、出力する。
【００７１】
なお、本発明は、専用のハードウエアを構築することなく、一般的なコンピュータを、前記した奥行値判定器２１と、奥行補間器２２と、奥行複写器２３と、メディアンフィルタ２４として機能させるプログラム（奥行マップの再標本化プログラム）を使用することで、図１に示した第２の再標本化装置２０を実現することができる。このプログラム（奥行マップの再標本化プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００７２】
第１実施形態に係る奥行マップの再標本化装置およびその方法、プログラム、並びに奥行マップの再標本化システムよれば、奥行マップの歪を抑えながらデータ量が削減され、奥行マップと少数の視点映像とから成る立体映像の蓄積および伝送効率を改善することができる。また、復元された奥行マップを用いて、少数の視点映像から合成される多視点映像から成る立体映像において歪を軽減し、高能率かつ高品質に提供することができる。その結果、奥行マップの再標本化システムを用いた立体映像の蓄積・伝送装置やサービスは、容易に奥行マップを蓄積・伝送可能であると共に、高品質な立体映像を提供することができる。
【００７３】
以上、本発明の好ましい実施形態について説明したが、本発明は、前記実施形態に限定されるものではない。例えば、前記実施形態では、蓄積・伝送路３０での符号化歪は無視できるものとしたが、これを考慮することもできる。図２に示した蓄積・伝送路３０では、符号化効率を上げるために、図２に示した符号化部３１により、複数の隣接する画素をまとめてブロックとし、ブロック単位に符号化することが一般的である。よって、図２に示す符号化部３１および復号化部３２により符号化歪を受けた場合を想定した実施形態を第２実施形態として説明する。
【００７４】
（第２実施形態）
［奥行マップの再標本化システムの概要］
図７は、本発明の第２実施形態に係る奥行マップの再標本化装置を備える再標本化システムの構成を示すブロック図である。図７に示す奥行マップの再標本化システム１Ａは、第１の再標本化装置１０と、第２の再標本化装置２０Ａとを備える。第１の再標本化装置１０と第２の再標本化装置２０Ａとを結ぶ蓄積・伝送路を、蓄積・伝送路３０Ａと表記して第１実施形態と区別した。第２実施形態では、蓄積・伝送路３０Ａにおいて、等価的に、間引かれた奥行マップに符号化歪が付加されることとする。
【００７５】
第２の再標本化装置２０Ａは、奥行値判定器２１による処理の前段に、被写体のエッジの有無を判定するエッジ判定器２５と、エッジが無い場合に新たな奥行値を生成する低域通過フィルタ２６と、をさらに備える。第２の再標本化装置２０Ａにおいて、第１実施形態に係る第２の再標本化装置２０と同じ構成には同じ符号を付して説明を省略する。
また、第２の再標本化装置２０Ａは、図示しない記憶手段に、前記第１閾値、前記第１低域通過フィルタ、前記所定の大きさの窓を記憶すると共に、さらに、所定の第２閾値と、所定の第２低域通過フィルタとを記憶する。
【００７６】
エッジ判定器（エッジ判定手段）２５は、第２の再標本化装置２０Ａに入力された奥行マップ（間引かれた第２奥行マップ）において、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差が、所定の第２閾値以上か否かを判別するものである。ここで、第２閾値は、第２奥行マップにおいて近隣の２つの画素の間に被写体のエッジが存在するか否かを規定するために予め定められている。つまり、奥行値の差が第２閾値以上の場合、当該２つの画素の間に被写体のエッジが存在し、奥行値の差が第２閾値より小さい場合、当該２つの画素の間に被写体のエッジが存在しないものとする。第２閾値と第１閾値との大小関係は特に限定されない。以下では、一例として、第１閾値を５、第２閾値を１０であるものとして説明する。
【００７７】
また、エッジ判定器２５が被写体のエッジの有無を判定するのは、奥行値判定器２１による処理の前段において、低域通過フィルタ２６により符号化歪除去フィルタを掛けるか否かを判定するためである。よって、予め定められた画素数だけ離間した近隣の２つの画素の奥行値の差とは、例えば、次の（Ａ１），（Ａ２）または（Ａ３）のいずれであってもよい。
（Ａ１）隣接する画素
（Ａ２）３以上の自然数をＮとしたときにＮタップフィルタのＮ画素の中で、最小の奥行値と、最大の奥行値との差
（Ａ３）３以上の自然数をＮとしたときにＮタップフィルタのＮ画素の中で、両端の画素の奥行値の差
【００７８】
以下では、一例として、７タップフィルタの７画素の中で、最も左の画素の奥行値と、最も右の画素の奥行値との差であるものとして説明する。
【００７９】
エッジ判定器２５は、奥行値の差が第２閾値以上であると判定した場合（被写体のエッジが存在すると判定した場合）、処理を奥行値判定器２１に渡し、奥行値の差が第２閾値より小さいと判定した場合（被写体のエッジが存在しないと判定した場合）、処理を低域通過フィルタ２６に渡す。
【００８０】
低域通過フィルタ（低域通過フィルタ手段）２６は、第２奥行マップにおいて、近隣の２つの画素の奥行値の差が第２閾値より小さい場合、近隣の予め定められた画素数の画素の奥行値を所定の低域通過フィルタ（第２の低域通過フィルタ）に通して得られる値を、近隣の予め定められた画素数の画素の中の中央の画素についての新たな奥行値とする。低域通過フィルタ（低域通過フィルタ手段）２６は、新たな奥行値を生成した後、処理を奥行値判定器２１に渡す。低域通過フィルタ（低域通過フィルタ手段）２６は、第２奥行マップにおいて、近隣の２つの画素の奥行値の差が第２閾値以上の場合、処理を行わない。
【００８１】
低域通過フィルタ２６は、例えば、図８（ｄ）に示すようなタップ係数値を持つ、タップ数ｋ＝７のフィルタである。
【００８２】
このフィルタは、奥行マップの中で連続する７画素に対して、第１画素と第7画素の奥行値にそれぞれ係数１／６４を掛け、第２画素と第６画素の奥行値にそれぞれ係数６／６４を掛け、第３画素と第５画素の奥行値にそれぞれ係数１５／６４を掛け、第４画素の奥行値に係数２０／６４を掛けて、すべてを加えたものを、中央の第４画素の奥行値とするものである。
【００８３】
［符号化歪の除去処理の例］
ここでは、図８を参照（適宜図２および図７参照）して符号化歪の除去処理の例について説明する。図８（ａ）〜（ｃ）は奥行マップの符号化歪およびその除去による状態遷移の一例を示している。図８（ａ）は、第１の再標本化装置１０で間引かれた奥行マップであって、符号化歪の無い元の奥行マップの一例を示している。この例では、例えば床が１つの被写体であり、奥行値が下から上に向かって滑らかに変化している。
【００８４】
ここで、蓄積・伝送路３０Ａ内において、図２に示した符号化部３１により、例えばMPEG-4 AVC方式で、２×２画素や８×８画素といった複数の画素をまとめてブロック単位に符号化して１つの平均値に圧縮し、復号化部３２にてアップサンプリングする場合を想定する。このように蓄積・伝送路３０Ａ内において、奥行マップに符号化歪が付加されると、図８（ｂ）に示すように、奥行値が僅かに階段状に変化する奥行マップが、第２奥行マップとして第２の再標本化装置２０Ａに与えられることになる。元の奥行値と階段状の奥行値との差が、符号化歪である。
【００８５】
仮に、このような符号化歪を受けた奥行値（図８（ｂ）の奥行マップ）を用いて合成された多視点映像で立体映像を構成すると、立体映像の奥行位置が正しくないので、空間的に歪んで見えるという課題が生じる。この奥行値の歪は僅かであるが、本来、滑らかに手前から奥に連続しているべき床などの奥行感が、階段状に変化しているように感じられ、違和感が大きくなる。
【００８６】
一方、第２の再標本化装置２０Ａは、低域通過フィルタ２６を備えることとしたので、符号化歪を除去することができる。図８（ｄ）に示すフィルタを、ブロック歪を受けた奥行マップ（図８（ｂ）参照）に掛けることにより、ブロック歪が除去された滑らかな奥行マップが得られる。
【００８７】
ここで、仮に、第２の再標本化装置２０Ａがエッジ判定器２５を備えていない場合を想定する。この場合、低域通過フィルタ２６が、被写体境界部分に元々あった、奥行値の変化部分をもなまらせて、新たな歪を発生する事態が考えられる。しかしながら、第２の再標本化装置２０Ａは、エッジ判定器２５を備えているので、このような事態を未然に防ぐことができる。つまり、エッジ判定器２５は、近隣の画素の奥行値の変化量を検出し、第２閾値（例えば１０）より大きく奥行値が変化する部分については、元々あった被写体の境界部分と判定し、低域通過フィルタ２６をバイパスさせることができる。
【００８８】
本実施形態では、被写体の境界部分の画素が、低域通過フィルタ２６の影響を受けないようにするために、近隣の奥行値の差として、第１の画素位置と第７の画素位置の奥行値の差で、エッジの有無を判定することとした。このようにすることで、被写体の境界部分では奥行値を保持して、被写体の境界部分以外の奥行値を、滑らかな奥行値に変えることができる。したがって、図８（ｃ）に示すように、符号化歪のみを除去した、元の間引かれた奥行マップが得られる。
【００８９】
［奥行マップの再標本化方法］
本発明の第２実施形態に係る奥行マップの再標本化方法について図６を参照（適宜図７参照）して説明する。第２実施形態に係る奥行マップの再標本化方法は、ステップＳ２の内部処理において、ステップＳ２３（奥行値判定処理）の前に、ステップＳ２１（エッジ判定処理）と、ステップＳ２２（低域通過フィルタ処理）とが付加された点が第１実施形態と相違している。第１実施形態と同じ処理には同じ符号を付して説明を適宜省略する。
【００９０】
ステップＳ１（第１の再標本化処理）にて作成された奥行マップ（第１奥行マップ）は、ステップＳ１２にて蓄積・伝送され、第２の再標本化装置２０Ａに入力される。第２の再標本化装置２０Ａは、ステップＳ２１に進む。
【００９１】
ステップＳ２１（エッジ判定処理）にて、第２の再標本化装置２０Ａは、エッジ判定器２５によって、間引かれた第２奥行マップにおいて、近隣画素の奥行値の差が閾値（第２閾値）以上か否かを判別する。近隣画素の奥行値の差が第２閾値より小さい場合、第２の再標本化装置２０Ａは、ステップＳ２２に進み、他の場合、ステップＳ２２をスキップしてステップＳ２３に進む。
【００９２】
ステップＳ２２（低域通過フィルタ処理）にて、第２の再標本化装置２０Ａは、低域通過フィルタ２６によって、第２奥行マップを低域通過フィルタに通して得られる値を、新たな奥行値とする。続いて、第２の再標本化装置２０Ａは、ステップＳ２３に進む。
【００９３】
第２実施形態によれば、第１実施形態と同様な効果を奏すると共に、画素の間引かれた奥行マップの伝送および蓄積時に符号化歪みが付加されたとしても、符号化歪みの影響を除去して、奥行値が連続的に変化する奥行マップを復元することができる。また、その際に、元の奥行マップに元々備わっていた被写体の境界付近の奥行値については元の値を維持することができる。
【産業上の利用可能性】
【００９４】
本発明に係る奥行マップの再標本化装置は、立体テレビ放送や、立体映像レコーダ、立体映画、立体映像を用いた教育機器や、展示機器、インターネットサービスなどに利用することができる。さらに、本発明に係る奥行マップの再標本化装置は、視聴者が自由に視点位置を変えられる自由視点テレビや自由視点映画などにも利用することができる。
【符号の説明】
【００９５】
１，１Ａ  奥行マップの再標本化システム
２      立体映像の送受信システム
１０    第１の再標本化装置（奥行マップの再標本化装置）
２０，２０Ａ  第２の再標本化装置（奥行マップの再標本化装置）
２１    奥行値判定器（奥行値判定手段）
２２    奥行補間器（奥行補間手段）
２３    奥行複写器（奥行複写手段）
２４    メディアンフィルタ
２５    エッジ判定器（エッジ判定手段）
２６    低域通過フィルタ（低域通過フィルタ手段）
３０，３０Ａ  蓄積・伝送路
３１，３３  符号化部
３２，３４  復号化部
４０    多視点映像合成装置
【図１】
2014013988.tif 000003
【図２】
2014013988.tif 000004
【図３】
2014013988.tif 000005
【図４】
2014013988.tif 000006
【図５】
2014013988.tif 000007
【図６】
2014013988.tif 000008
【図７】
2014013988.tif 000009
【図９】
2014013988.tif 000010
【図１０】
2014013988.tif 000011
【図８】
2014013988.tif 000012