(57)【特許請求の範囲】
【請求項１】
リファレンスイメージに表示された客体をデプス（ｄｅｐｔｈ）情報に応じてシフトさせるステップと、
前記シフトされた客体の背景領域のエネルギー値（ｅｎｅｒｇｙ  ｖａｌｕｅ）を用いて、可変的な大きさのストレッチング領域を決定するステップと、
前記客体のシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するステップと、
を含むイメージ処理方法であって、
前記ストレッチング領域を決定するステップは、
前記ホール領域の大きさを算出するステップと、
前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出するステップと、
前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に算出するステップと
を含み、
前記ストレッチング領域は、
前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であり、
前記エネルギー値は、前記リファレンスイメージのＲＧＢ成分の線形組み合わせのグレーディエント（ｇｒａｄｉｅｎｔ）の大きさとして定義される、
イメージ処理方法。
【請求項２】
前記閾値は、以下の数式によって算出される平均エネルギー値であることを特徴とする請求項１に記載のイメージ処理方法。
【数１５】
0006025740.tif 000016
前記数式において、ξは前記平均エネルギー値、λは前記ホール領域の幅、Ｅｉはｉピクセルのエネルギー値。
【請求項３】
前記エネルギー値を算出するステップは、
以下の数式のいずれか一つを用いて、前記エネルギー値を算出することを特徴とする請求項２に記載のイメージ処理方法。
【数１６】
0006025740.tif 000017
前記数式において、Ｅ（ｘ、ｙ）は、（ｘ、ｙ）座標に位置したピクセルのエネルギー値、Ｉ（ｘ、ｙ）は、前記イメージのＲＧＢ成分の線形組み合わせ。
【請求項４】
前記Ｉ（ｘ、ｙ）は、以下の数式によって算出されることを特徴とする請求項３に記載のイメージ処理方法。
【数１７】
0006025740.tif 000018
前記数式において、Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）は、（ｘ、ｙ）座標に位置したピクセルのＲ、Ｇ、Ｂ値、ωＲ、ωＧ、ωＢは、Ｒ、Ｇ、Ｂ値の各々に対する加重値。
【請求項５】
前記ターゲットイメージ上で元の位置に存在する客体および前記背景領域間の境界をスムージング（ｓｍｏｏｔｈｉｎｇ）処理するステップを更に含むことを特徴とする請求項１ないし４のいずれか一項に記載のイメージ処理方法。
【請求項６】
リファレンスイメージおよびデプス（ｄｅｐｔｈ）情報を受信するステップと、
前記デプス情報に応じて、前記リファレンスイメージに表示された客体をシフトさせるステップと、
前記シフトされた客体の背景領域のエネルギー値（ｅｎｅｒｇｙ  ｖａｌｕｅ）を用いて、前記背景領域の中で可変的な大きさのストレッチング領域を決定するステップと、
前記客体のシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するステップと、
前記リファレンスイメージおよび前記ターゲットイメージを組み合わせて３Ｄイメージをディスプレイするステップと、
を含む３Ｄイメージディスプレイ方法であって、
前記ストレッチング領域を決定するステップは、
前記ホール領域の大きさを算出するステップと、
前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出するステップと、
前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に算出するステップと
を含み、
前記ストレッチング領域は、
前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であり、
前記エネルギー値は、前記リファレンスイメージのＲＧＢ成分の線形組み合わせのグレーディエント（ｇｒａｄｉｅｎｔ）の大きさとして定義される、
３Ｄイメージディスプレイ方法。
【請求項７】
リファレンスイメージおよびデプス情報を受信する受信部と、
前記リファレンスイメージに表示された客体の背景領域のエネルギー値を用いて、可変的な大きさのストレッチング領域を決定する制御部と、
前記デプス情報に応じて、前記リファレンスイメージに表示された客体をシフトさせ、前記客体にシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するイメージ処理部と、
を含むイメージ処理装置であって、
前記制御部は、
前記ホール領域の大きさを算出し、前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出し、前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に決定し、
前記ストレッチング領域は、
前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であり、
前記エネルギー値は、前記リファレンスイメージのＲＧＢ成分の線形組み合わせのグレーディエント（ｇｒａｄｉｅｎｔ）の大きさとして定義される、
イメージ処理装置。
【請求項８】
前記閾値は、以下の数式によって算出される平均エネルギー値であることを特徴とする請求項７に記載のイメージ処理装置。
【数１８】
0006025740.tif 000019
前記数式において、ξは前記平均エネルギー値、λは前記ホール領域の幅、Ｅｉはｉピクセルのエネルギー値。
【請求項９】
前記イメージ処理部は、上記ターゲットイメージ上で元の位置に存在する客体および前記背景領域間の境界をスムージング（ｓｍｏｏｔｈｉｎｇ）処理することを特徴とする請求項７または８のいずれか一項に記載のイメージ処理装置。
【請求項１０】
前記リファレンスイメージおよび前記ターゲットイメージを組み合わせて、３Ｄイメージをディスプレイするディスプレイ部を更に含むことを特徴とする請求項７ないし９のいずれか一項に記載のイメージ処理装置。
【請求項１１】
前記リファレンスイメージおよび前記ターゲットイメージをディスプレイ装置に伝送するインターフェース部を更に含むことを特徴とする請求項７ないし９のいずれか一項に記載のイメージ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法に関し、より詳細には、エネルギー値を用いて可変的な大きさのストレッチング領域を決定してターゲットイメージを生成するイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法に関します。
【背景技術】
【０００２】
電子技術の発達により、多様な電子機器が開発および普及されている。その中で代表的なものとして、テレビのようなディスプレイ装置がある。最近は、３Ｄディスプレイ技術が開発され、一般家庭でもテレビ等を通じて３Ｄコンテンツを視聴することができるようになった。
【０００３】
３Ｄディスプレイ装置には、非メガネ式、メガネ式等のように、多様な類型の装置がある。これら３Ｄディスプレイ装置で、３Ｄコンテンツを視聴するためには、相互間でディスパリティを有する複数の映像が必要となる。具体的には、左眼映像および右眼映像が要求される。
【０００４】
３Ｄディスプレイ装置においては、このような左眼映像および右眼映像を交互に配置して順次にディスプレイしたり、左眼映像および右眼映像をそれぞれ奇数ラインおよび偶数ラインに分離して互いに組み合わせて、一つのフレームでディスプレイするようになる。
【０００５】
このように、３Ｄコンテンツを視聴するためには、３Ｄディスプレイ装置では左眼映像および右眼映像のような複数の映像を必要とする。複数の映像は、コンテンツ製作者から提供されてよい。しかし、同じフレームに対して２つ上の映像を提供しなければならないため、周波数使用帯域幅が不足するという問題点があった。
【０００６】
それにより、左眼映像および右眼映像のいずれか一方の映像のみを受信装置に提供し、受信装置で提供された映像を用いてもう一方の映像を生成し、両映像を組み合わせて３Ｄイメージをディスプレイする方式が登場している。しかし、提供された映像を用いて別の映像を生成する過程で、映像の一部領域でストライプ（Ｓｔｒｉｐｅｓ）パターンやブラ（ｂｌｕｒ）現象が発生するおそれがあるという問題点があった。
【０００７】
よって、このような画質の劣化現象を防止しつつ、効果的に３Ｄイメージを生成する技術に対する必要が生じてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、エネルギー値を用いて可変的な大きさのストレッチング領域を決定し、決定された領域を用いてターゲットイメージを生成することにより、画質の劣化を防止することができるイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係るイメージ処理方法は、リファレンスイメージに表示された客体をデプス（ｄｅｐｔｈ）情報に応じてシフトさせるステップと、前記シフトされた客体の背景領域のエネルギー値（ｅｎｅｒｇｙ  ｖａｌｕｅ）を用いて、可変的な大きさのストレッチング領域を決定するステップと、前記客体のシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するステップとを含む。
【００１０】
ここで、前記ストレッチング領域を決定するステップは、前記ホール領域の大きさを算出するステップと、前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出するステップと、前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に算出するステップとを含む。
【００１１】
そして、前記ストレッチング領域は、前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であってよい。
【００１２】
一方、前記閾値は、以下の数式によって算出される平均エネルギー値であってよい。
【００１３】
【数１】
0006025740.tif 000002
前記数式において、ξは前記平均エネルギー値、λは前記ホール領域の幅、Ｅｉはｉピクセルのエネルギー値を示す。
【００１４】
なお、前記エネルギー値を算出するステップは、
以下の数式のいずれか一つを用いて、前記エネルギー値を算出してよい。
【００１５】
【数２】
0006025740.tif 000003
前記数式において、Ｅ（ｘ、ｙ）は、（ｘ、ｙ）座標に位置したピクセルのエネルギー値、Ｉ（ｘ、ｙ）は、前記イメージのＲＧＢ成分の線形組み合わせを示す。
【００１６】
そして、前記Ｉ（ｘ、ｙ）は、以下の数式によって算出されてよい。
【００１７】
【数３】
0006025740.tif 000004
前記数式において、Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）は、（ｘ、ｙ）座標に位置したピクセルのＲ、Ｇ、Ｂ値、ωＲ、ωＧ、ωＢは、Ｒ、Ｇ、Ｂ値の各々に対する加重値を示す。
【００１８】
なお、以上のような実施形態において、前記ターゲットイメージ上で元の位置に存在する客体および前記背景領域間の境界をスムージング（ｓｍｏｏｔｈｉｎｇ）処理するステップが更に含まれてよい。
【００１９】
一方、本発明の一実施形態に係る３Ｄイメージディスプレイ方法は、リファレンスイメージおよびデプス（ｄｅｐｔｈ）情報を受信ステップと、前記デプス情報に応じて、前記リファレンスイメージに表示された客体をシフトさせるステップと、前記シフトされた客体の背景領域のエネルギー値（ｅｎｅｒｇｙ  ｖａｌｕｅ）を用いて、前記背景領域の中で可変的な大きさのストレッチング領域を決定するステップと、前記客体のシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するステップと、前記リファレンスイメージおよび前記ターゲットイメージを組み合わせて３Ｄイメージをディスプレイするステップとを含む。
【００２０】
ここで、前記ストレッチング領域を決定するステップは、前記ホール領域の大きさを算出するステップと、前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出するステップと、前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に算出するステップとを含む。
【００２１】
そして、前記ストレッチング領域は、前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であってよい。
【００２２】
一方、本発明の一実施形態に係るイメージ処理装置は、リファレンスイメージおよびデプス情報を受信する受信部と、前記リファレンスイメージに表示された客体の背景領域のエネルギー値を用いて、可変的な大きさのストレッチング領域を決定する制御部と、前記デプス情報に応じて、前記リファレンスイメージに表示された客体をシフトさせ、前記客体にシフトにより生成されたホール（ｈｏｌｅ）領域に、前記ストレッチング領域のピクセルを挿入してターゲットイメージを生成するイメージ処理部とを含む。
【００２３】
そして、前記制御部は、前記ホール領域の大きさを算出し、前記ホール領域の境界から前記算出された大きさだけの背景領域のエネルギー値を算出し、前記背景領域の中で閾値以下のエネルギー値を有する領域を前記ストレッチング領域に決定し、前記ストレッチング領域は、前記ホール領域の境界から前記閾値を超過するピクセルの以前までのピクセルを含む領域であってよい。
【００２４】
そして、前記閾値は、以下の数式によって算出される平均エネルギー値であってよい。
【００２５】
【数４】
0006025740.tif 000005
前記数式において、ξは前記平均エネルギー値、λは前記ホール領域の幅、Ｅｉはｉピクセルのエネルギー値である。
【００２６】
そして、前記イメージ処理部は、上記ターゲットイメージ上で元の位置に存在する客体および前記背景領域間の境界をスムージング（ｓｍｏｏｔｈｉｎｇ）処理してよい。
【００２７】
一方、上述のイメージ処理装置は、前記リファレンスイメージおよび前記ターゲットイメージを組み合わせて、３Ｄイメージをディスプレイするディスプレイ部を更に含んでよい。
【００２８】
または、前記リファレンスイメージおよび前記ターゲットイメージをディスプレイ装置に伝送するインターフェース部を更に含んでよい。
【発明の効果】
【００２９】
以上説明したように、本発明によれば、リファレンスイメージから画質が劣化していないターゲットイメージを生成し、３Ｄイメージをディスプレイすることができるようになる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係るイメージ処理装置の構成を示すブロック図である。
【図２】リファレンスイメージで客体をシフトさせる過程を説明するための図である。
【図３】ストレッチング領域を決定する過程を説明するための図である。
【図４】リファレンスイメージおよびデプス情報を用いてターゲットイメージを生成する過程を説明するための図である。
【図５】イメージ処理装置の多様な細部構成を示すブロック図である。
【図６】イメージ処理装置の多様な細部構成を示すブロック図である。
【図７】本発明の一実施形態に係る３Ｄイメージ処理方法を説明するためのフローチャートである。
【図８】ストレッチング領域を決定する方法を説明するフローチャートである。
【図９】本発明の一実施形態に係る３Ｄイメージディスプレイ方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００３１】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００３２】
図１は、本発明の一実施形態に係るイメージ処理装置の構成を示すブロック図である。同図によると、イメージ処理装置１００は、受信部１１０と、制御部１２０およびイメージ処理部１３０を含む。
【００３３】
受信部１１０は、リファレンスイメージおよびデプス情報を受信する。リファレンスイメージは、左眼映像および右眼映像のいずれか一方である２Ｄイメージを意味する。
【００３４】
デプス（ｄｅｐｔｈ）情報とは、リファレンスイメージ内に存在する客体の３次元距離情報を示す情報である。デプス情報は、デプス映像またはデプスマップと読んでよい。デプス映像で明るく表示された部分は立体感の大きい部分であり、暗く表示された部分は立体感の小さい部分を意味する。デプス情報の各画素値は、リファレンスイメージの当該画素のデプスを示す。
【００３５】
制御部１２０は、リファレンスイメージに表示された客体の背景領域のエネルギー値を用いてストレッチング領域を決定する。ストレッチング領域とは、客体のシフトにより生成されるホール領域に埋められるピクセル値を決定する基準となる領域を意味する。エネルギー値とは、背景領域に位置する各ピクセルと周辺ピクセルの間の特徴を示す値である。ストレッチング領域決定方法については、詳細に後述する。
【００３６】
イメージ処理部１３０は、デプス情報を用いてリファレンスイメージに表示された客体をシフトさせるデプス映像基板レンダリング（Ｄｅｐｔｈ  ｉｍａｇｅ  Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ）を行う。具体的には、デプス情報を用いてリファレンスイメージ内の客体の時差（ｐａｒａｌｌａｘ）値の差を計算する。そして、計算された時差値の差分だけ客体を左または右向に移動させ、新たな時点のイメージを生成する。
【００３７】
時差計算は、次のような数式を用いて行われてよい。
【００３８】
【数５】
0006025740.tif 000006
数式（１）において、Ｐ（ｘ、ｙ）は（ｘ、ｙ）位置のピクセルの時差値、ｄ（ｘ、ｙ）は（ｘ、ｙ）位置のピクセルのデプス値、Ｍは最大の時差値を示す。
【００３９】
本明細書では、リファレンスイメージから生成されたイメージをターゲットイメージという。ターゲットイメージとは、リファレンスイメージとともに組み合わせられて３Ｄイメージを構成するためのイメージである。すなわち、リファレンスイメージと異なる時点で被写体を表現したイメージを意味する。例えば、リファレンスイメージが左眼映像であれば、ターゲットイメージは右眼映像に該当し、リファレンスイメージが右眼映像であれば、ターゲットイメージは左眼映像に該当する。
【００４０】
一方、ターゲットイメージ上には、客体のシフトによりホール領域が生じる。イメージ処理部１３０は、制御部１２０で決定されたストレッチング領域のピクセルを用いてホール領域を埋め、ターゲットイメージを生成する。
【００４１】
場合によって、イメージ処理部１３０は、ターゲットイメージが生成した後に、ターゲットイメージ上で元の位置に存在する客体および前記背景領域間の境界をスムージング処理することもできる。
【００４２】
図２は、ＤＩＢＲ方式によって、ターゲットイメージを生成したとき、形成されるホール領域を説明するための図である。同図によると、少なくとも一つの客体１１を表示するリファレンスイメージ１０とデプス情報２０とが提供されると、デプス情報２０を用いて、リファレンスイメージ１０の客体１１の位置をシフトさせて、ターゲットイメージ３０を生成する。ターゲットイメージ上で、客体１１の元の位置と新たな位置とが重複していない部分には、ホール領域１２が形成される。
【００４３】
制御部１２０は、ホール領域１２の大きさを用いて背景領域の中で、ホール領域１２を埋めるのに使用されるストレッチング領域を決定する。図３は、ストレッチング領域決定方法を説明するための図である。
【００４４】
同図によると、ターゲットイメージ３０上に形成されたホール領域は、横方向の幅を有する。制御部１２０は、まず、ホール領域の境界に該当するデプス情報を確認し、客体の背景領域１４がホール領域の左側に存在するか、右側に存在するかを把握する。制御部１２０は、背景領域の位置が把握されると、背景領域でホール領域の境界付近のピクセルのエネルギー値を算出する。制御部１２０は、ホール領域の幅λを先に算出し、背景領域の中で幅λ分だけの距離以内のピクセルを選択する。ただ、必ずしも同じ距離だけのピクセルのみが選択されるわけではなく、場合によっては、λより更に大きい距離範囲内のピクセルを選択することもできる。
【００４５】
制御部１２０は、選択されたピクセルのエネルギー値を算出する。エネルギー値とは、各ピクセルと周辺ピクセル間の比較によって得られる特定値を意味する。エネルギー値は、カラーイメージのグレーディエント（ｇｒａｄｉｅｎｔ）で定義されてよい。
【００４６】
具体的には、エネルギー値は次の数式のように表現されてよい。
【００４７】
【数６】
0006025740.tif 000007
ここで、Ｅ（ｘ、ｙ）は（ｘ、ｙ）座標に位置したピクセルのエネルギー値、Ｉ（ｘ、ｙ）は前記リファレンスイメージのＲＧＢ成分の線形組み合わせを意味する。
【００４８】
より具体的には、制御部１２０は、以下の数式（３）ないし（５）のいずれか一つの数式を用いてエネルギー値を算出することができる。
【００４９】
【数７】
0006025740.tif 000008
【００５０】
【数８】
0006025740.tif 000009
【００５１】
【数９】
0006025740.tif 000010
なお、制御部１２０は、次のような数式を用いてＩ（ｘ、ｙ）を算出してよい。
【００５２】
【数１０】
0006025740.tif 000011
数式（６）において、Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）は（ｘ、ｙ）座標に位置したピクセルのＲ、Ｇ、Ｂ値、ωＲ、ωＧ、ωＢは、Ｒ、Ｇ、Ｂ値の各々に対する加重値を示す。
【００５３】
制御部１２０は、このような数式を用いて背景領域の各ピクセルのエネルギー値を算出することができる。そのうえ、制御部１２０は、各ピクセルのエネルギー値を順次に確認し、閾値以下のエネルギー値を有するピクセルを検出する。そして、検出されたピクセルを組み合わせてストレッチング領域１５を決定する。
【００５４】
制御部１２０は、ホール領域１２の境界から背景領域方向に順次にピクセルのエネルギー値を閾値と比較することができる。それにより、閾値を超過するピクセルが探索されると、その前のピクセルからホール領域１２の境界の間の領域をストレッチング領域１５に決定する。
【００５５】
一方、制御部１２０は、３つの色成分の差を考慮し、演算を行うこともできる。すなわち、各イメージ成分の偏微分を次のように行うこともできる。
【００５６】
【数１１】
0006025740.tif 000012
各イメージ成分の偏導関数（ｐａｒｔｉａｌ  ｄｅｒｉｖａｔｉｖｅｓ）は、ＳｏｂｅｌまたはＳｃｈａｒｒオペレータ（ｏｐｅｒａｔｏｒ）によって近似化することができる。
【００５７】
一方、閾値は、平均エネルギー値に決定されてよい。
【００５８】
すなわち、制御部１２０は、背景領域の中でホール領域の境界からホール幅λ分だけの距離以内に位置したピクセルのエネルギー値の平均値を閾値に設定することができる。すなわち、閾値は、以下の数式によって算出されてよい。
【００５９】
【数１２】
0006025740.tif 000013
数式（８）において、ξは閾値、Ｅｉはiピクセルのエネルギー値を意味する。
【００６０】
結果的に、ストレッチング領域の大きさは、１≦λ’≦λのように可変的に決定される。
【００６１】
制御部１２０によってストレッチング領域が決定されると、イメージ処理部１３０は、ストレッチング領域のピクセルを用いてホール領域を埋めてターゲットイメージを完成する。
【００６２】
図４は、リファレンスイメージおよびデプス情報を用いてターゲットイメージを生成する全過程を示す図である。
【００６３】
同図によると、リファレンスイメージ１０およびデプス情報２０が入力されると、イメージ処理装置１００は、プロジェクション（ｐｒｏｊｅｃｔｉｏｎ）処理を行って、ホール領域を含むターゲットイメージ３０およびターゲットデプスマップ４０を生成する。
【００６４】
なお、イメージ処理装置１００は、リファレンスイメージ１０の各ピクセルに対するエネルギーマップ５０を生成する。
【００６５】
そのうえ、エネルギーマップ５０を用いてストレッチング領域を決定した後、決定されたストレッチング領域のピクセルを用いてホール領域を埋めて、最終のターゲットイメージ６０を生成する。
【００６６】
上述のようなイメージ処理方法は、画質の劣化現象を軽減させることができる。より良い画質を確保するためには、デプス情報の正確度が良い必要がある。よって、以下の数式のように、局部マキシマムフィルタを適用してデプス情報をフリープロセッシングして使用することができる。
【００６７】
【数１３】
0006025740.tif 000014
数式（９）において、ｓはウィンドウサイズを意味し、Ｄ（ｘ、ｙ）はｘ、ｙ座標のピクセルのデプス、
【００６８】
【数１４】
0006025740.tif 000015
は、フリープロセッシングされたデプスを意味する。このように、特定の大きさのウィンドウ内で最大のデプスをフィルタリングして使用するようになるため、デプス情報のシャープネス（ｓｈａｒｐｎｅｓｓ）が良くなる。ｓの値は、繰り返し実験を通じて得られた最適値を使用することができる。一例として、３または５が使用されてよい。
【００６９】
一方、図１のイメージ処理装置は、多様な装置で実現されてよい。すなわち、イメージ処理装置そのものとして、テレビや携帯電話、ＰＤＡ、パソコン、ノートパソコン、タブレットパソコン、デジタルフォトフレーム、電子書籍等のようなディスプレイ装置で実現されてよい。または、このようなディスプレイ装置に３Ｄイメージを提供するセットトップボックスやその他のイメージ変換装置、データ再生装置等で実現されてよい。
【００７０】
図５は、ディスプレイ装置で実現された場合の構成を示すブロック図である。同図によると、イメージ処理装置１００は、受信部１１０と、制御部１２０およびイメージ１３０とともにディスプレイ部１４０を含む。
【００７１】
ディスプレイ部１４０は、リファレンスイメージおよびターゲットイメージを組み合わせて３Ｄイメージをディスプレイする。ディスプレイ部１４０は、実施形態に応じて多様な方式で３Ｄイメージをディスプレイすることができる。
【００７２】
一例として、シャッタグラスメガネ方式の場合、ディスプレイ部１４０は、リファレンスイメージおよびターゲットイメージを交互に配置して順次にディスプレイする。この場合、各イメージはコピーされ、少なくとも２フレーム以上連続的にディスプレイされてよく、他イメージが表示されて以前にブラックフレームが挿入されてディスプレイされてよい。イメージ処理装置１００は、毎フレームがディスプレイされる度に、メガネ装置を同期化させるための同期信号をメガネ装置に伝送することができる。
【００７３】
別の例として、偏光メガネ方式の場合、ディスプレイ部１４０は、リファレンスイメージおよびターゲットイメージをそれぞれ横または縦方向に複数個のラインで区分し、各イメージの奇数ラインおよび偶数ラインを互いに組み合わせて、少なくとも一つのフレームを生成してからディスプレイする。
【００７４】
図６は、ディスプレイ装置と接続されたイメージ処理装置の構成を示すブロック図である。同図によると、イメージ処理装置１００は、受信部１１０と、制御部１２０およびイメージ処理部１３０の他に、インターフェース部１５０を更に含む。
【００７５】
インターフェース部１５０は、リファレンスイメージおよびターゲットイメージをディスプレイ装置２００に伝送する。
【００７６】
同図においては、ディスプレイ装置２００とは別の装置であるとして示しているが、イメージ処理装置１００はディスプレイ装置２００に搭載されるチップまたはモジュールで実現されてよい。
【００７７】
図５および図６で、ディスプレイ部１４０およびインターフェース部１５０を除く残りの構成は、図１と同様であるため、繰り返し説明は省略する。
【００７８】
図７は、本発明の一実施形態に係るイメージ処理方法を説明するためのフローチャートである。同図によると、まず、リファレンスイメージに含まれた客体をデプス情報を用いてシフトさせてターゲットイメージを生成する（Ｓ７１０）。このステップで生成されたターゲットイメージにはホール領域が含まれる。
【００７９】
シフトされる距離は、デプス情報に応じて異なる。すなわち、デプス値が大きい客体はディスパリティが大きいため、客体のシフト距離が大きくなる一方、デプス値が小さい客体はディスパリティが小さいため、シフト距離も小さくなる。
【００８０】
客体のシフトと別に、リファレンスイメージに対するエネルギー値を算出する。そして、算出されたエネルギー値を用いて、ホール領域周辺の背景領域の中でストレッチング領域を決定する（Ｓ７２０）。
【００８１】
ストレッチング領域が決定されると、決定されたストレッチング領域に含まれたピクセルを用いてホール領域を埋めるホールフィリング作業を行って、ターゲットイメージを完成する（Ｓ７３０）。
【００８２】
図８は、ストレッチング領域を決定する方法の一例を説明するためのフローチャートである。同図によると、まず、客体のシフトによって発生するホール領域の大きさを算出する（Ｓ８１０）。ユーザの左眼および右眼は、地表面を基準に横方向に並んで配置されるため、３Ｄイメージを構成するための左眼映像および右眼映像は横方向のディスパリティを有するようになる。よって、ホール領域の横方向の幅を算出して使用する。
【００８３】
ホール領域の幅が算出されると、そのホール領域周辺の背景領域のエネルギー値を算出する（Ｓ８２０）。それから、算出されたエネルギー値の平均値を求めて閾値を設定する（Ｓ８３０）。この場合、全背景領域を全て使用せずに、ホール領域の幅と対応する大きさの背景領域内のピクセルのエネルギー値のみを使用することができる。
【００８４】
このような状態で、ホール領域の境界から背景領域の各ピクセルのエネルギー値と閾値とを比較する（Ｓ８４０）。比較の結果、エネルギー値が閾値以下であれば、次のピクセルのエネルギー値を確認し、閾値と比較する（Ｓ８５０）。このような動作をホール領域の幅と同様の大きさの背景領域内のピクセル全てに対して順次に行う。
【００８５】
一方、比較の結果、エネルギー値が閾値を超過するピクセルが発見されると、以前のピクセルからホール領域の境界までをストレッチング領域に決定する（Ｓ８６０）。
【００８６】
それにより、ストレッチング領域のピクセル値をそのままホール領域に挿入し、ホール領域を埋めるようになる。
【００８７】
エネルギー値を用いるため、背景領域にある模様があったり、隣接客体の境界部分がある場合、その模様や境界以前までのピクセルを用いてホール領域を埋めることができるようになる。よって、画質の劣化現象を防止することができる。
【００８８】
一方、ターゲットイメージのホール領域を埋めた後には、スムージングフィルタを用いてホール領域の境界部分に対してスムージング処理を行うこともできる。
【００８９】
図９は、本発明の一実施形態に係る３Ｄイメージディスプレイ方法を説明するためのフローチャートである。同図によると、ディスプレイ装置は、リファレンスイメージおよびデプス情報を受信する（Ｓ９１０）。リファレンスイメージおよびデプス情報はコンテンツ提供者から受信することができる。具体的には、放送局やウェブサーバ等から伝送ストリーム形態で伝送されてよい。
【００９０】
ディスプレイ装置は、受信された伝送ストリームに対して復調、等化、デコード、デマルチプレキシング等の処理を行ってリファレンスイメージおよびデプス情報を検出することができる。このような具体的な処理動作に対しては、既に公知となっているため、図示および説明を省略する。
【００９１】
ディスプレイ装置は、デプス情報を用いてリファレンスイメージの客体をシフトさせる（Ｓ９２０）。そして、エネルギー値を算出した後、その値と閾値とを比較してストレッチング領域を決定する（Ｓ９３０）。そして、客体のシフトによって生じたホール領域にストレッチング領域のピクセルを挿入し（Ｓ９４０）、ターゲットイメージを構成する。
【００９２】
その後、ディスプレイ装置は、リファレンスイメージとターゲットイメージとを組み合わせて３Ｄイメージをディスプレイする（Ｓ９５０）。
【００９３】
図９の方法は、図５と同様の構成を有するイメージ処理方法またはディスプレイ装置によって行われてよい。図９の各ステップに対する細部説明は、上述の実施形態に対する説明と同様であるため、繰り返し説明は省略する。
【００９４】
上述の本発明の多様な実施形態に係る方法を実行するためのプログラムは、多様な記録媒体に保存して使用されてよい。
【００９５】
具体的には、上述の方法を実行するためのコードは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭ等のように、端末機で読取可能な多様な記録媒体に保存されていてよい。
【００９６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１】
0006025740.tif 000020
【図２】
0006025740.tif 000021
【図３】
0006025740.tif 000022
【図４】
0006025740.tif 000023
【図５】
0006025740.tif 000024
【図６】
0006025740.tif 000025
【図７】
0006025740.tif 000026
【図８】
0006025740.tif 000027
【図９】
0006025740.tif 000028