(57)【要約】【課題】ダイナミックレンジ内での表示を維持しつつ、観察者に奥行き情報を容易に把握させる。【解決手段】画像変換装置は、部分画像毎に奥行き情報が示されるデプスマップに基づいて、奥行き情報を色の度合いで表した着色情報を導出する着色情報導出部１２６と、奥行き情報に、着色情報を相殺するための補正係数を乗じる補正係数乗算部１３４と、部分画像毎に、補正係数を乗じた奥行き情報に着色情報を加算する着色情報加算部１２８とを備える。【選択図】図１０
2014207591.tif 000002
【特許請求の範囲】
【請求項１】
部分画像毎に奥行き情報が示されるデプスマップに基づいて、該奥行き情報を色の度合いで表した着色情報を導出する着色情報導出部と、
前記奥行き情報に、前記着色情報を相殺するための補正係数を乗じる補正係数乗算部と、
前記部分画像毎に、前記補正係数を乗じた奥行き情報に前記着色情報を加算する着色情報加算部と、
を備えることを特徴とする画像変換装置。
【請求項２】
前記補正係数を乗じた奥行き情報に前記着色情報を加算した結果が前記デプスマップのダイナミックレンジ以下となるように、
前記奥行き情報のダイナミックレンジを縮小する第１ダイナミックレンジ補正部と、
前記着色情報のダイナミックレンジを縮小する第２ダイナミックレンジ補正部と、
をさらに備えることを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記着色情報導出部は、着色が開始される奥行き情報、着色が開始されたときの着色情報、および、奥行き情報に対する着色情報の増加比の群から選択された１または複数のパラメータを設定できることを特徴とする請求項１または２に記載の画像変換装置。
【請求項４】
前記着色情報導出部は、前記奥行き情報に対して前記着色情報を段階的に増加させることを特徴とする請求項１から３のいずれか１項に記載の画像変換装置。
【請求項５】
前記着色情報導出部は、前記奥行き情報が予め定められた所定値に達すると前記着色情報を上限値に固定し、
前記着色情報が前記上限値となる部分画像は、特定のパターンで表されることを特徴とする請求項４に記載の画像変換装置。
【請求項６】
部分画像毎に奥行き情報が示されるデプスマップに基づいて、該奥行き情報を色の度合いで表した着色情報を導出し、
前記奥行き情報に、前記着色情報を相殺するための補正係数を乗じ、
前記部分画像毎に、前記補正係数を乗じた奥行き情報に前記着色情報を加算することを特徴とする画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２Ｄ画像を３Ｄ画像に変換する際に用いられるデプスマップを視認し易いように変換する画像変換装置および画像変換方法に関する。
【背景技術】
【０００２】
近年、平面のディスプレイ上に、両眼視差（水平視差）を有する２つの画像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる３Ｄ画像の技術が脚光を浴びている。かかる技術で用いられる２つの画像には、異なる光軸（視点）それぞれにおいて実際に撮像された画像、または、異なる光軸で撮像したものに相当するＣＧ（Computer Graphics）の画像等が含まれる。
【０００３】
ただし、最初から３Ｄ画像を生成することを目的とした撮像では２つの画像間に光軸方向の距離に関する情報が含まれるが、元々２Ｄ画像として撮像された画像には距離に関する情報が含まれていない。したがって、２Ｄ画像を立体的に表す場合、例えば、２Ｄ画像に、奥行き方向の距離を示す奥行き情報が定義された奥行きモデルを与え、擬似的な３Ｄ画像である擬似３Ｄ画像を生成するといった技術が用いられる（例えば、特許文献１）。
【０００４】
また、２Ｄ画像に奥行き情報を付与したデプスマップを生成し、そのデプスマップに基づいて両眼視差を有する２つの画像を生成することもできる。具体的には、元となる２Ｄ画像とデプスマップとを比較して、２Ｄ画像の各部分画像をそれぞれ左右に奥行き情報に応じた量だけシフトし、シフトによって生じた欠落画像を補完することで３Ｄ画像が得られる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−４４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したデプスマップは、奥行き情報が、例えば輝度値で示され、グレースケールの画像データで表される。したがって、デプスマップを画像表示部に表示することで、観察者は、元となる２Ｄ画像の各部分画像の奥行き情報を視覚的に把握することができる。こうして、観察者は、３Ｄ画像の立体感を調整したり、３Ｄ画像の視差が想定された範囲に入っているか確認したりすることが可能となる。
【０００７】
しかし、奥行き情報の変化が乏しい場合、デプスマップ上における輝度値の変化も乏しくなり、結果的に、観察者が奥行き情報を正確に把握できない場合があった。
【０００８】
ここで、デプスマップの各輝度値に任意のゲインを乗じて変化量を増やし、目視による輝度値の変化を把握し易いようにすることも可能である。しかし、この場合、奥行き情報の微小な変化を把握し易くなる代わりに、奥行き情報が大きいところは、輝度値のダイナミックレンジを超えてクリッピングされてしまい、最早奥行き情報として意味をなさなくなることもあった。
【０００９】
そこで本発明は、このような課題に鑑み、ダイナミックレンジ内での表示を維持しつつ、観察者に奥行き情報を容易に把握させることが可能な画像変換装置および画像変換方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像変換装置は、部分画像毎に奥行き情報が示されるデプスマップに基づいて、奥行き情報を色の度合いで表した着色情報を導出する着色情報導出部と、奥行き情報に、着色情報を相殺するための補正係数を乗じる補正係数乗算部と、部分画像毎に、補正係数を乗じた奥行き情報に着色情報を加算する着色情報加算部と、を備えることを特徴とする。
【００１１】
また、上記課題を解決するために、本発明の画像変換方法は、部分画像毎に奥行き情報が示されるデプスマップに基づいて、奥行き情報を色の度合いで表した着色情報を導出し、奥行き情報に、着色情報を相殺するための補正係数を乗じ、部分画像毎に、補正係数を乗じた奥行き情報に着色情報を加算することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ダイナミックレンジ内での表示を維持しつつ、観察者に奥行き情報を容易に把握させることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態における、画像変換装置の概略的な構成を示した機能ブロック図である。
【図２】画像変換装置の画像変換の流れを説明するための説明図である。
【図３】奥行き情報と着色情報の変換曲線を示した説明図である。
【図４】奥行き情報と着色情報の他の変換曲線を示した説明図である。
【図５】着色情報加算部の動作を示す説明図である。
【図６】第２の実施形態における、特に、デプスマップに基づいて着色デプスマップを生成する概略的な構成を示した機能ブロック図である。
【図７】第１ダイナミックレンジ補正部および第２ダイナミックレンジ補正部の動作を説明するための説明図である。
【図８】第１ダイナミックレンジ補正部および第２ダイナミックレンジ補正部の動作を説明するための説明図である。
【図９】着色デプスマップの信号レベルを表した説明図である。
【図１０】第３の実施形態における、特にデプスマップに基づいて着色デプスマップを生成する概略的な構成を示した機能ブロック図である。
【図１１】補正係数乗算部の動作を説明するための説明図である。
【図１２】補正係数乗算部の動作を説明するための説明図である。
【図１３】補正係数乗算部の動作を説明するための説明図である。
【図１４】第４の実施形態における、特に、デプスマップに基づいて着色デプスマップを生成する概略的な構成を示した機能ブロック図である。
【図１５】奥行き情報と着色情報の他の変換曲線を示した説明図である。
【図１６】着色デプスマップを示した説明図である。
【図１７】奥行き情報と着色情報の他の変換曲線を示した説明図である。
【図１８】着色デプスマップを示した説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
（第１の実施形態：画像変換装置１００）
図１は、画像変換装置１００の概略的な構成を示した機能ブロック図であり、図２は、画像変換装置１００の画像変換の流れを説明するための説明図である。図１に示すように、画像変換装置１００は、画像データ入力部１１０と、画像データ出力部１１２と、画像表示部１１４と、中央制御部１１６とを含んで構成され、２Ｄ画像を、両眼視差を有する２つの画像からなる３Ｄ画像に変換する。
【００１６】
画像データ入力部１１０は、他の装置と通信可能に構成され２Ｄ画像を示す画像データ（静止画または動画）を受け入れる。画像データ出力部１１２は、他の装置と通信可能に構成され、当該画像変換装置１００で生成された３Ｄ画像を示す画像データを出力する。画像表示部１１４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば、デプスマップに基づく画像を表示する。
【００１７】
中央制御部１１６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、画像変換装置１００全体を制御する。また、中央制御部１１６は、上記プログラムを動作させて、奥行き情報生成部１２０、画像シフト部１２２、画像補完部１２４、着色情報導出部１２６、着色情報加算部１２８として機能する。
【００１８】
奥行き情報生成部１２０は、画像データ入力部１１０が受信した２Ｄ画像１５０（図２参照）に基づき、２Ｄ画像１５０を格子状に分割した複数の部分画像（１または複数の画素や方形ブロック）毎に、部分画像に対応する被写体の画像空間内における奥行き方向の視点からの距離を示す奥行き情報を生成する。そして、奥行き情報生成部１２０は、生成した奥行き情報を数値化し（−１２８〜＋１２７）、ここでは、その数値を輝度値に変換して表したデプスマップ１５２（図２参照）を生成する。例えば、輝度値の範囲を０〜２５５とすると、奥行き情報生成部１２０は、被写体が輻輳点（視差０（ゼロ）の点）に位置する場合（奥行き情報＝０）に輝度値を１２８とし、その手前に位置する場合、１２８より高い値を、奥に位置する場合、１２８より低い値を部分画像に付与する。したがって、輻輳点より奥行き情報として＋５前に存在する場合、輝度値は１２８＋５＝１３２となる。こうして、デプスマップ１５２はグレースケールの画像データとなり、比較的近くにある被写体が明るく、比較的遠くにある被写体が暗く表される。
【００１９】
画像シフト部１２２は、画像データ入力部１１０が受信した２Ｄ画像１５０と、奥行き情報生成部１２０が生成したデプスマップ１５２とに基づいて、両眼視差を有する２つの画像（３Ｄ画像）１５４ａ、１５４ｂを生成する（図２参照）。具体的に、例えば、右眼に視認させる画像１５４ａでは、デプスマップの輝度値が高い２Ｄ画像１５０の部分画像を相対的に左にシフトし、デプスマップ１５２の輝度値が低い２Ｄ画像１５０の部分画像を相対的に右にシフトする。
【００２０】
画像補完部１２４は、画像シフト部１２２によって部分画像がシフトされ、その部分画像が元々あった位置に欠落画像が生じた場合に、その欠落画像を他の画像で補完する。例えば、画像シフト部１２２が、図２に示す、右眼に視認させる画像１５４ａの中央に位置する人物の画像を左にシフトした場合、元々人物が存在していた部分には、画像が存在しないので、欠落画像１５６となる。画像補完部１２４は、そのシフトによって生じた欠落画像１５６を、例えば、人物の境界に位置する部分画像を利用して補完する。かかる欠落画像の補完処理としては、既存の様々な処理が提案されているので、ここでは、その詳細な説明を省略する。
【００２１】
着色情報導出部１２６は、デプスマップ１５２における部分画像毎の輝度値に基づいて、奥行き情報を色の度合いで表した着色情報を部分画像毎に導出する。
【００２２】
図３は、奥行き情報と着色情報の変換曲線を示した説明図である。図３では、変更曲線が一次曲線（直線）として示されている。デプスマップ１５２において部分画像の輝度値が高い、すなわち、奥行き情報が０を超えている場合（部分画像に対応する被写体が輻輳点より手前に位置する場合）、図３に実線で示したように、赤色の着色情報を導出する。また、輝度値が低い、すなわち、奥行き情報が０未満である場合（部分画像に対応する被写体が輻輳点より奥に位置する場合）、図３に破線で示したように、青色の着色情報を導出する。また、着色情報は、大きさを有し、図３に示すように、奥行き情報が大きいほど、濃い赤で、また、奥行き情報が小さいほど、濃い青で表される。また、着色情報については、ＲＧＢデータ、色差、色相、彩度等、様々な態様で表すことができる。
【００２３】
図２に戻って説明すると、着色情報加算部１２８は、デプスマップ１５２の部分画像毎に、既存の輝度値（奥行き情報）に着色情報を加算する。上述したように、デプスマップ１５２は、奥行き情報を輝度値に変換したグレースケールの画像データである。そして、着色情報加算部１２８は、そのような輝度値のみで示されるグレースケールの画像データに対し、奥行き情報に応じた着色を行う。こうして、図２に示すように、奥行き情報が、輝度値と共に赤や青の着色情報も表された着色デプスマップ１５８が生成される。そして、生成された着色デプスマップ１５８は画像表示部１１４に表示される。
【００２４】
具体的に、着色情報導出部１２６および着色情報加算部１２８は、以下のような信号変換を通じて、着色情報を輝度値に加算する。デプスマップ１５２がＲＧＢデータで示される場合、着色情報導出部１２６は、まず、輝度色差信号（Ｙ／Ｐｂ／Ｐｒ）で表されるデプスマップ１５２をＲＧＢ信号に変換する（ＲＧＢデータ）。デプスマップ１５２は、色に関する情報を有さないグレースケールの画像データなので、輝度色差信号で表すと、輝度信号のみに値を有し、色差信号の色成分は０となる。また、ＲＧＢ信号で表すと、Ｒ、Ｇ、Ｂの各信号は同じ値を有することとなる。
【００２５】
そして、着色情報導出部１２６は、部分画像の輝度値が高い場合、すなわち、奥行き情報が大きい場合、Ｒ信号にデプスマップ１５２の奥行き情報に基づく信号レベルを適用し、Ｇ信号とＢ信号を０とすることで、赤色の着色情報を表す。また、着色情報導出部１２６は、部分画像の輝度値が低い場合、すなわち、奥行き情報が小さい場合、Ｒ信号とＧ信号を０とし、Ｂ信号にデプスマップ１５２の奥行き情報に基づく信号レベルを適用することで、青色の着色情報を表す。このようにして、奥行き情報に着色情報が付加された着色デプスマップ１５８を生成することができる。
【００２６】
こうして、奥行き情報が輝度値と共に着色情報として画像表示部１１４に表示されるので、観察者は、表示された着色デプスマップ１５８の奥行き情報の大まかな変化を従来通り把握可能な状態で、さらに、着色デプスマップ１５８の奥行き情報の微小な変化も把握することができる。
【００２７】
また、デプスマップ１５２の着色を、さらに適応的に行うことで、奥行き情報の視認性を高めることができる。例えば、図３に示した変換曲線では、奥行き情報に対して単純に着色情報を増減させているが、変換曲線の態様や開始点を変更することで様々な変換態様を実現することができる。
【００２８】
図４は、奥行き情報と着色情報の他の変換曲線を示した説明図である。ここでは、例えば、赤色に関する変換曲線を、奥行き情報をｘとし、０（ただし０≦ｘ<ｃ）およびａ（ｘ―ｃ）＋ｂ（ただしｃ≦ｘ）で表し、その変換曲線の開始点を＋ｃとした。かかる数式により、（１）赤色の着色が開始される奥行き情報（＋ｃ）、（２）赤色の着色が開始されたときの赤色の濃さ（ｂ）、（３）輝度値に対する赤色の着色の増加比（ａ）の群から選択された１または複数のパラメータを設定することができる。
【００２９】
（１）、（２）を設定することにより、輝度値が閾値ｃを超えてはじめて着色されることになるので、着色デプスマップ１５８において、部分画像が着色されていることをもって、ある程度、輻輳点より離れていることを容易に把握することができる。また、（３）を設定することにより、奥行きに対する着色の濃さの変化率を自由に設定することが可能となる。
【００３０】
ここでは、例えば、定数ａを固定し、ｂ＝ａｃとすることで、閾値ｃの設定を変更した場合であっても、任意の輝度値に対する着色の度合いを一定にすることができる。こうして、観察者は、着色の濃さによって奥行きを一律に把握することが可能となる。
【００３１】
また、ｂを固定することで、着色が開始されたときの着色の濃さを一定（１２８ａ）にすることができる。こうして、設定した閾値ｃを超えた瞬間の着色の濃さを常に一定にすることが可能となる。
【００３２】
さらに、（ｂ）を小さく、例えば、０とすることで、着色情報自体のダイナミックレンジを小さくして、その分ａを大きくとることができる。こうして、着色デプスマップ１５８のダイナミックレンジを大きくすることができ、着色の濃さを容易に観察させることが可能となる。
【００３３】
（第２の実施形態）
第１の実施形態では、着色情報加算部１２８が着色情報導出部１２６で導出された着色情報を、デプスマップ１５２の奥行き情報に単純に加算する例を挙げて説明した。ただし、単純に加算すると、以下のように着色デプスマップ１５８のダイナミックレンジを超えてしまう場合が生じ得る。
【００３４】
図５は、着色情報加算部１２８の動作を示す説明図である。例えば、デプスマップ１５２および着色デプスマップ１５８をＲ、Ｇ、Ｂ信号それぞれに対して最大２５５となる信号レベルで表し、輻輳点（視差０）での奥行き情報を０、奥行き情報の範囲を−１２８（最も手前）から＋１２７（最も奥）とする。ここでは、デプスマップ１５２および着色デプスマップ１５８についてＲＧＢデータに分解して説明している。
【００３５】
元となるデプスマップ１５２では、図５（ａ）に示すように、奥行き情報に対してＲＧＢデータ全ての推移がリニアに増加している。そこに、図５（ｂ）に示した着色情報を表す変換曲線を加算すると（Ｒ信号とＢ信号のみ）、着色デプスマップ１５８のＲＧＢデータは、図５（ｃ）のような軌跡となる。ここで、図５（ｃ）のＲ信号に着目すると、図５（ｃ）に破線で示す、奥行き情報が大きい領域で、信号レベルが最大値（２５５）を超えているのが理解できる。したがって、デプスマップ１５２の信号レベルに着色情報を加算した後の値が最大値以下であれば、正しく着色が実行されるが、最大値を超えると正しく表示されなくなってしまう。
【００３６】
具体的に、着色デプスマップ１５８の信号レベルが最大値を超える場合には、その信号レベルが最大値に固定されるため、着色の濃さが本来の値より小さく表されてしまう。また、奥行き情報が大きくなるに連れて、着色の濃さは大きくなるはずであるが、着色デプスマップ１５８の信号レベルが最大値を超えた後は、加算される着色情報が徐々に小さくなり、奥行き情報が１２７となると、着色情報が０と等しくなってしまう。したがって、着色情報が正しく反映されないこととなる。そこで、本実施形態では、着色情報を加算した後も、信号レベルが最大値を超えないように、ダイナミックレンジを調整する。
【００３７】
図６は、第２の実施形態における、特に、デプスマップ１５２に基づいて着色デプスマップ１５８を生成する概略的な構成を示した機能ブロック図である。ここでは、着色情報導出部１２６と、着色情報加算部１２８と、第１ダイナミックレンジ補正部１３０と、第２ダイナミックレンジ補正部１３２とが示されている。ただし、第１の実施形態で説明した着色情報導出部１２６と、着色情報加算部１２８とは実質的に機能が等しいので、ここでは、その詳細な説明を省略し、機能の異なる第１ダイナミックレンジ補正部１３０および第２ダイナミックレンジ補正部１３２のみ説明する。
【００３８】
第１ダイナミックレンジ補正部１３０は、デプスマップ１５２の部分画像毎の輝度値のダイナミックレンジを縮小する。第２ダイナミックレンジ補正部１３２は、着色情報導出部１２６で導出された着色情報のダイナミックレンジを縮小する。こうして、奥行き情報に着色情報を加算した結果がデプスマップ１５２のダイナミックレンジ以下となるようにする。ここでは、奥行き情報に着色情報を加算した結果がデプスマップのダイナミックレンジと等しくなる例を挙げて説明するが、ダイナミックレンジより小さくとも問題ない。
【００３９】
図７および図８は、第１ダイナミックレンジ補正部１３０および第２ダイナミックレンジ補正部１３２の動作を説明するための説明図である。例えば、信号レベルの最大値２５５に対して、着色情報のダイナミックレンジの幅をｐとする。第１ダイナミックレンジ補正部１３０は、ＲＧＢデータ全てに対し、中間階調１２８を中心に図７（ａ）に示すように、デプスマップ１５２の部分画像毎の信号レベルのダイナミックレンジを２５５から（２５５−２×ｐ）まで縮小する。そして、第２ダイナミックレンジ補正部１３２は、Ｒ信号とＢ信号に対し、図７（ｂ）および図７（ｃ）に示すように、着色情報を上限値までに制限し、さらに、着色情報のダイナミックレンジをその上限値からｐまで縮小する。
【００４０】
そして、着色情報加算部１２８は、部分画像毎に、図８（ａ）に示した、第１ダイナミックレンジ補正部１３０が補正したデプスマップ１５２の信号レベルと、図８（ｂ）に示した、第２ダイナミックレンジ補正部１３２が補正した着色情報に基づく信号レベルとを加算して、図８（ｃ）に示すように、着色デプスマップ１５８を生成することが可能となる。
【００４１】
このように生成された着色デプスマップ１５８は、図５のように、信号レベルが最大値の２５５を超えることがなくなり、デプスマップ１５２の奥行き情報に従って、正しく着色情報を表示することが可能となる。
【００４２】
（第３の実施形態）
図９は、着色デプスマップ１５８の信号レベルを表した説明図である。第２の実施形態によって、着色情報を加算した後に輝度値がダイナミックレンジを超えてしまう事象を回避することができるようになった。しかし、加算された色データには輝度信号成分が含まれるため、図９（ａ）に示すＲＧＢ信号を輝度色差信号（Ｙ／Ｐｂ／Ｐｒ）に変換し輝度値を観測すると、着色デプスマップ１５８のＹ信号の輝度値（信号レベル）は、図９（ｂ）のように、線形にならず、奥行き情報が小さい領域と大きい領域で、輝度値が高い方に突出することとなる。そこで、本実施形態では、デプスマップ１５２のＲＧＢ信号の信号レベルを補正し加算後の輝度値の線形性を確保する。
【００４３】
図１０は、第３の実施形態における、特にデプスマップ１５２に基づいて着色デプスマップ１５８を生成する概略的な構成を示した機能ブロック図である。ここでは、着色情報導出部１２６と、着色情報加算部１２８と、補正係数乗算部１３４とが示されている。ただし、第１の実施形態で説明した着色情報導出部１２６と、着色情報加算部１２８とは実質的に機能が等しいので、ここでは、その詳細な説明を省略し、機能の異なる補正係数乗算部１３４のみ説明する。
【００４４】
補正係数乗算部１３４は、奥行き情報に、着色情報を相殺するための補正係数を乗じる。
【００４５】
一般に、輝度色差信号（Ｙ／Ｐｂ／Ｐｒ）の輝度信号ＹとＲＧＢ信号のＲ信号Ｒ、Ｇ信号Ｇ、Ｂ信号Ｂとの関係は、信号規格ＩＴＵ−ＲのＢＴ．７０９においては、以下の数式１で表される。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ…（数式１）
【００４６】
ここで、輝度信号Ｙに、着色情報としてＲ信号の信号レベルｄを加算した場合の輝度信号をＹｒとすると、輝度信号Ｙｒは以下の数式２で表される。
Ｙｒ＝０．２９９×（Ｒ＋ｄ）＋０．５８７×Ｇ＋０．１１４×Ｂ＝Ｙ＋０．２９９×ｄ…（数式２）
同様に、輝度信号Ｙに、着色情報としてＢ信号の信号レベルｅを加算した場合の輝度信号をＹｂとすると、輝度信号Ｙｂは以下の数式３で表される。
Ｙｂ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×（Ｂ＋ｅ）＝Ｙ＋０．１１４×ｅ
…（数式３）
【００４７】
また、着色情報としてＲ信号の信号レベルｄとＢ信号の信号レベルとを同時に反映した場合の輝度信号をＹｒｂとすると、輝度信号Ｙｒｂは以下の数式４で表される。
Ｙｒｂ＝０．２９９×（Ｒ＋ｄ）＋０．５８７×Ｇ＋０．１１４×（Ｂ＋ｅ）＝Ｙ＋０．２９９×ｄ＋０．１１４×ｅ…（数式４）
【００４８】
ここで、仮に、デプスマップ１５２に任意の補正係数ｋを乗じ、輝度Ｙｒｂを、本来のデプスマップ１５２の輝度Ｙと等しくすることを考える。すると、以下の数式５のように補正係数ｋが得られる。
Ｙ＝ｋＹ＋０．２９９×ｄ＋０．１１４×ｅ
ｋ＝１−（０．２９９×ｄ＋０．１１４×ｅ）／Ｙ…（数式５）
【００４９】
図１１〜図１３は、補正係数乗算部１３４の動作を説明するための説明図である。補正係数乗算部１３４は、着色情報導出部１２６で導出された着色情報ｄ、ｅを参照し、上記数式５から補正係数ｋを導出する。そして、補正係数乗算部１３４は、図１１（ａ）に示した、デプスマップ１５２の輝度値に補正係数ｋを乗算して、デプスマップ１５２を図１１（ｂ）のように変換する。
【００５０】
そして、着色情報加算部１２８は、部分画像毎に、図１２（ａ）に示した、補正係数ｋが乗じられたデプスマップ１５２の信号レベルと、図１２（ｂ）に示した、着色情報の信号レベルとを加算して、図１２（ｃ）に示すように、着色デプスマップ１５８を生成することが可能となる。
【００５１】
このようにして生成された着色デプスマップ１５８のＲＧＢデータは、図１３（ａ）に示すように、それぞれ段階的になっているが、ＲＧＢ信号を輝度色差信号（Ｙ／Ｐｂ／Ｐｒ）に変換した後の着色デプスマップ１５８のＹ信号の輝度値は、図１３（ｂ）のように、線形になり、輝度値の推移が、着色前のデプスマップ１５２と等しくなる。こうして、着色デプスマップ１５８においても奥行き度合いを維持しているので、奥行き度合いを正しく観察することが可能となる。
【００５２】
ただし、図１１を参照して理解できるように、補正係数乗算部１３４において補正係数ｋを乗じた際、その乗算した結果として負の信号レベルが生成される。また、図１２を参照して理解できるように、Ｒ信号のみ最大値を超える場合が生じる。これは、着色デプスマップ１５８の輝度値の範囲を予め小さく設定しておくことで解決できる。また、以下の第４の実施形態のように、第３の実施形態に第２の実施形態の技術を加えることでも解決できる。
【００５３】
（第４の実施形態）
図１４は、第４の実施形態における、特に、デプスマップ１５２に基づいて着色デプスマップ１５８を生成する概略的な構成を示した機能ブロック図である。ここでは、着色情報導出部１２６と、着色情報加算部１２８と、第１ダイナミックレンジ補正部１３０と、第２ダイナミックレンジ補正部１３２と、補正係数乗算部１３４とが示されている。かかる機能部は、第１の実施形態〜第３の実施形態で説明した着色情報導出部１２６と、着色情報加算部１２８と、第１ダイナミックレンジ補正部１３０と、第２ダイナミックレンジ補正部１３２と、補正係数乗算部１３４と実質的に機能が等しいので、ここでは、その詳細な説明を省略する。
【００５４】
第２ダイナミックレンジ補正部１３２では、着色情報にｐ／２５５が乗じられるので、着色情報としてＲ信号ＲとＲ信号Ｂとを同時に反映した場合の輝度信号をＹｒｂとすると、輝度信号Ｙｒｂは以下の数式６で表される。
Ｙｒｂ＝Ｙ＋（０．２９９×ｄ＋０．１１４×ｅ）×ｐ／２５５…（数式６）
ただし、ｄは、着色情報としてＲ信号Ｒの信号レベルであり、ｅは、着色情報としてＲ信号Ｂの信号レベルである。
【００５５】
また、第１ダイナミックレンジ補正部１３０では、輝度値に（２５５−２×Ｐ）／２５５が乗じられる。したがって、任意の補正係数ｋを乗じた後の輝度Ｙｒｂを、本来のデプスマップ１５２の輝度Ｙと等しくすることを考えると、以下の数式７のように補正係数ｋが得られる。
Ｙ＝ｋＹ×（２５５−２×ｐ）／２５５＋（０．２９９×ｄ＋０．１１４×ｅ）×ｐ／２５５
ｋ＝（２５５×Ｙ−（０．２９９×ｄ＋０．１１４×ｅ）×ｐ）／Ｙ／（２５５−２×ｐ）  …（数式７）
【００５６】
こうして、第２の実施形態同様、最大値の２５５を超えることなく、線形性を確保することができ、デプスマップ１５２の輝度値（奥行き情報）に従って、正しく着色情報を表示することが可能となる。
【００５７】
（第５の実施形態）
また、第１〜第４の実施形態では、奥行きが線形的に変化するように着色した。こうすることで、細かい奥行き度合いの推移を観察できる。しかし、細かい奥行き度合いの推移が不要で、大まかな奥行き度合いの推移を観察したい場合もある。そこで、本実施形態では、着色情報導出部１２６が奥行き度合いを段階的な着色で示す。
【００５８】
本実施形態において、着色情報導出部１２６は、奥行き情報に対して着色情報を段階的に増加させる。
【００５９】
図１５は、奥行き情報と着色情報の他の変換曲線を示した説明図であり、図１６は、着色デプスマップを示した説明図である。図１５（ａ）は、第１〜第４の実施形態における変換曲線を、図１５（ｂ）は、第５の実施形態における変換曲線を示している。図１５（ｂ）を参照すると、赤色の着色が開始される奥行き情報の値をｄｐｓ、赤色の着色が開始されたときのＲ信号の信号レベルをｐｏ、赤色の着色が変化する奥行き情報の間隔をｄｗ、着色情報のダイナミックレンジをｐとする。すると、間隔ｄｗ毎に上昇するＲ信号の信号レベルｐｈは、数式８のように表すことができる。
ｐｈ＝（ｐ−ｐｏ）／ＩＮＴ((１２７−ｄｐｓ)／ｄｗ)…（数式８）
ただし、ＩＮＴは、小数を切り捨てる関数である。
【００６０】
また、間隔ｄｗ毎に上昇するＲ信号の信号レベルｐｈを設定したときの着色情報のダイナミックレンジｐは、数式９で表すことができる。
ｐ＝ＩＮＴ((１２７−ｄｐｓ)／ｄｗ)×ｐｈ…（数式９）
【００６１】
このように着色情報を段階的に示すことで、図１６（ａ）の着色デプスマップ１５８が図１６（ｂ）のように表され、着色された部分画像のステップ数を目視でカウントし、奥行きを絶対値として把握することができる。
【００６２】
（第６の実施形態）
第５の実施形態では、奥行き度合いを段階的に表すことができた。しかし、信号レベルの最大値が制限される中、例えば、無限遠といった奥行きまでも把握しようとすると、段階毎の着色の濃さの差が小さくなり（段階が多くなり）、結局、線形に近くなり、段階の変化を把握しにくくなってしまう。また、段階毎の着色の濃さの差を維持しようとすると、無用にダイナミックレンジが大きくなる。
【００６３】
そこで、本実施形態では、着色情報導出部１２６が、奥行き情報が予め定められた所定値に達すると着色情報を上限値に固定する。また、着色情報加算部１２８では、着色情報が上限値となる部分画像を、特定のパターンで表すこととする。ここで、特定のパターンは、市松模様等の模様、三角や四角の形状を繰り返す模様等であったり、点滅等の時系列に変化するパターンであってもよい。
【００６４】
図１７は、奥行き情報と着色情報の他の変換曲線を示した説明図であり、図１８は、着色デプスマップを示した説明図である。例えば、図１７（ａ）において、赤色の着色が開始される奥行き情報の値ｄｐｓを６４、赤色の着色が開始されたときのＲ信号の信号レベルｐｏを１０、赤色の着色が変化する奥行き情報の間隔ｄｗを２、間隔ｄｗ毎に上昇するＲ信号の信号レベルｐｈを２とした場合、Ｒ信号のダイナミックレンジｐは、ＩＮＴ((１２７−６４)／２)×２＋１０＝７２となる。この場合の、デプスマップ１５２の奥行き情報のダイナミックレンジは、２５５−７２×２＝１１１となり、デプスマップ１５２の奥行き情報の変化を把握しにくいのがわかる。
【００６５】
ここで、観察者のことを考えると、観察者が着色の度合い（奥行き度合い）を知りたいのは、着色が開始される輝度値ｄｐｓの境界付近の領域であり、奥行き情報の値ｄｐｓを超え、さらに所定の奥行き以上の領域については、着色の度合いはさほど重要でない場合もある。
【００６６】
このような場合には、着色情報導出部１２６は、図１７（ｂ）のように、間隔ｄｗ毎に上昇する赤色の濃さｐｈとしてある程度の大きさを維持するとともに、デプスマップ１５２の奥行き情報の値が所定値以上となると、着色の度合いをダイナミックレンジｐに固定することとする。こうして、着色が開始される奥行き情報の値ｄｐｓの境界付近の領域であり、奥行き情報の値ｄｐｓを超え、さらに所定の奥行き以上の領域について付近の奥行き度合いを容易に把握させるとともに、着色情報のダイナミックレンジｐを小さくすることができる。
【００６７】
例えば、必要なステップ数を４、赤色の着色が開始されたときのＲ信号の信号レベルｐｏを１０、間隔ｄｗ毎に上昇するＲ信号の信号レベルｐｈを５とすると、Ｒ信号のダイナミックレンジｐは１０＋５×４＝３０となる。すると、デプスマップ１５２の奥行き情報の値のダイナミックレンジは、２５５−３０×２＝１９５となり、デプスマップ１５２の奥行き情報の変化が把握し易いのがわかる。
【００６８】
また、着色の度合いが上限値ｄｐｈに達している領域は、所定の着色パターン、例えば、市松模様等で表す。こうして、図１８（ａ）の着色デプスマップ１５８が図１８（ｂ）のように表され、観察者は、その領域が、奥行きの深いところにあることを把握することが可能となる。
【００６９】
以上、説明した画像変換装置１００や画像変換方法によれば、ダイナミックレンジ内での表示を維持しつつ、観察者に奥行き情報を容易に把握させることが可能となる。
【００７０】
さらに、コンピュータを画像変換装置１００として機能させる画像変換プログラムや、その画像変換プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００７２】
本発明は、２Ｄ画像を３Ｄ画像に変換する際に用いられるデプスマップを視認し易いように変換する画像変換装置および画像変換方法に利用することができる。
【符号の説明】
【００７３】
１００  …画像変換装置
１２６  …着色情報導出部
１２８  …着色情報加算部
１３０  …第１ダイナミックレンジ補正部
１３２  …第２ダイナミックレンジ補正部
１３４  …補正係数乗算部
１５２  …デプスマップ
１５８  …着色デプスマップ
【図１】
2014207591.tif 000003
【図３】
2014207591.tif 000004
【図４】
2014207591.tif 000005
【図５】
2014207591.tif 000006
【図６】
2014207591.tif 000007
【図７】
2014207591.tif 000008
【図８】
2014207591.tif 000009
【図９】
2014207591.tif 000010
【図１０】
2014207591.tif 000011
【図１１】
2014207591.tif 000012
【図１２】
2014207591.tif 000013
【図１３】
2014207591.tif 000014
【図１４】
2014207591.tif 000015
【図１５】
2014207591.tif 000016
【図１７】
2014207591.tif 000017
【図２】
2014207591.tif 000018
【図１６】
2014207591.tif 000019
【図１８】
2014207591.tif 000020