(57)【要約】【課題】人工物に対応する画像のみ奥行き方向の曲率を弱めることで、自然則を用いた奥行き推定のエラーを最小限に抑え、変換された３Ｄ画像に違和感や破綻が生じるのを回避する。【解決手段】２Ｄ画像を擬似３Ｄ画像に変換する本発明の画像変換装置１００は、２Ｄ画像から水平方向に延伸する水平直線を抽出する水平直線抽出部１２０と、水平直線が複数抽出され、かつ、複数の水平直線のうちいずれか２つの水平直線において水平方向の位置が等しい部分がある場合、複数の水平直線の外枠に相当する領域を人工物領域として特定する領域特定部１２２と、人工物領域における、奥行きモデルの曲率の度合いを示す曲率係数を、他の領域より低く設定する曲率係数設定部１２４と、人工物領域に曲率係数を反映した奥行きモデルを２Ｄ画像に与えて擬似３Ｄ画像を生成する３Ｄ画像生成部１２６とを備える。【選択図】図４
2013197847.tif 000002
【特許請求の範囲】
【請求項１】
２Ｄ画像を擬似３Ｄ画像に変換する画像変換装置であって、
前記２Ｄ画像から水平方向に延伸する水平直線を抽出する水平直線抽出部と、
前記水平直線が複数抽出され、かつ、複数の前記水平直線のうちいずれか２つの水平直線において水平方向の位置が等しい部分がある場合、前記複数の水平直線の外枠に相当する領域を人工物領域として特定する領域特定部と、
前記人工物領域における、奥行きモデルの曲率の度合いを示す曲率係数を、他の領域より低く設定する曲率係数設定部と、
前記人工物領域に前記曲率係数を反映した奥行きモデルを前記２Ｄ画像に与えて前記擬似３Ｄ画像を生成する３Ｄ画像生成部と、
を備えることを特徴とする画像変換装置。
【請求項２】
前記領域特定部は、任意の水平直線の端部と、前記任意の水平直線を除く他の水平直線のうち、最も水平方向外方にある端部とを結線で結び、最外にある水平直線および結線によって囲まれる領域を前記人工物領域として特定することを特徴とする請求項１に記載の画像変換装置。
【請求項３】
２Ｄ画像から水平方向に延伸する水平直線を抽出し、
前記水平直線を複数抽出し、かつ、複数の前記水平直線のうちいずれか２つの水平直線において水平方向の位置が等しい部分がある場合、前記複数の水平直線の外枠に相当する領域を人工物領域として特定し、
前記人工物領域における、奥行きモデルの曲率の係数である曲率係数を、他の領域より低く設定し、
前記人工物領域に前記曲率係数を反映した奥行きモデルを前記２Ｄ画像に与えて擬似３Ｄ画像を生成することを特徴とする画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２Ｄ画像に奥行きモデルを与え、２Ｄ画像を擬似３Ｄ画像に変換する画像変換装置および画像変換方法に関する。
【背景技術】
【０００２】
近年、平面のディスプレイ上に、両眼視差（水平視差）を有する２つの画像を提示し、観察者に対してあたかも被写体像が立体的に存在するように知覚させる３Ｄ画像の技術が脚光を浴びている。かかる技術で用いられる２つの画像には、異なる光軸（視点）それぞれにおいて実際に撮像された画像、または、異なる光軸で撮像したものに相当するＣＧ（Computer Graphics）の画像等が含まれる。
【０００３】
ただし、最初から３Ｄ画像を生成することを目的とした撮像では２つの画像間に光軸方向の距離に関する情報が含まれるが、元々２Ｄ画像として撮像された画像には距離に関する情報が含まれていない。したがって、２Ｄ画像を立体的に表す場合、例えば、２Ｄ画像に、奥行き情報が定義された奥行きモデルを与え、擬似的な３Ｄ画像である擬似３Ｄ画像を生成するといった技術が用いられる。具体的に、２Ｄ画像を擬似３Ｄ画像に変換するアルゴリズムでは、２Ｄ画像に捉えられたシーンの奥行き構造を、物理法則的な一般論、経験知、視覚心理的知見を用いて推定し、その結果から擬似３Ｄ画像を導き出している。
【０００４】
このような擬似３Ｄ画像の生成において、奥行き推定の精度が低い、もしくは、奥行きを知覚できない領域（コントラストの低い領域）における奥行き値を、周辺の奥行き値で補間する技術が公開されている（例えば、特許文献１）。かかる技術により、擬似３Ｄ画像において不連続な領域が形成されるのを回避できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−３５９１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述した擬似３Ｄ画像の生成において、人工的に作られた物（人工物）の画像や、画像に挿入されたバナーなどは、シーンの奥行き構造の推定に当てはまらない場合がある。
【０００７】
例えば、２Ｄ画像に人工物が含まれる場合において、２Ｄ画像に単純に奥行きモデルを与え、２Ｄ画像を擬似３Ｄ画像に変換すると、本来、平面であるはずの人工物が奥行き方向に湾曲して見え、奥行き方向の違和感が生じて、破綻の多い画像となってしまう。しかし、このような画像の違和感や破綻を抑えるには、奥行きモデル自体の奥行き方向の曲率を弱めざるを得ず、擬似３Ｄ画像の３Ｄ効果が劣化し、立体感に乏しい画像となってしまう。
【０００８】
そこで本発明は、このような課題に鑑み、擬似３Ｄ画像の生成において、人工物に対応する画像のみ奥行き方向の曲率を弱めることで、自然則を用いた奥行き推定のエラーを最小限に抑え、変換された擬似３Ｄ画像に違和感や破綻が生じるのを回避することが可能な画像変換装置および画像変換方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、２Ｄ画像を擬似３Ｄ画像に変換する本発明の画像変換装置は、２Ｄ画像から水平方向に延伸する水平直線を抽出する水平直線抽出部と、水平直線が複数抽出され、かつ、複数の水平直線のうちいずれか２つの水平直線において水平方向の位置が等しい部分がある場合、複数の水平直線の外枠に相当する領域を人工物領域として特定する領域特定部と、人工物領域における、奥行きモデルの曲率の度合いを示す曲率係数を、他の領域より低く設定する曲率係数設定部と、人工物領域に曲率係数を反映した奥行きモデルを２Ｄ画像に与えて擬似３Ｄ画像を生成する３Ｄ画像生成部と、を備えることを特徴とする。
【００１０】
領域特定部は、任意の水平直線の端部と、任意の水平直線を除く他の水平直線のうち、最も水平方向外方にある端部とを結線で結び、最外にある水平直線および結線によって囲まれる領域を人工物領域として特定してもよい。
【００１１】
上記課題を解決するために、本発明の画像変換方法は、２Ｄ画像から水平方向に延伸する水平直線を抽出し、水平直線を複数抽出し、かつ、複数の水平直線のうちいずれか２つの水平直線において水平方向の位置が等しい部分がある場合、複数の水平直線の外枠に相当する領域を人工物領域として特定し、人工物領域における、奥行きモデルの曲率の係数である曲率係数を、他の領域より低く設定し、人工物領域に曲率係数を反映した奥行きモデルを２Ｄ画像に与えて擬似３Ｄ画像を生成することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、擬似３Ｄ画像の生成において、人工物に対応する画像のみ奥行き方向の曲率を弱めることで、自然則を用いた奥行き推定のエラーを最小限に抑え、変換された擬似３Ｄ画像に違和感や破綻が生じるのを回避することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】２Ｄ画像と水平直線との関係を説明するための説明図である。
【図２】２Ｄ画像と水平直線との関係を説明するための説明図である。
【図３】２Ｄ画像に与える奥行きモデルを説明するための説明図である。
【図４】画像変換装置の概略的な関係を示した機能ブロック図である。
【図５】水平直線抽出部の処理を説明するための説明図である。
【図６】領域特定部の処理を説明するための説明図である。
【図７】３Ｄ画像生成部の処理を説明するためフローチャートである。
【図８】奥行きモデルの概念図である。
【図９】曲率係数を説明するための説明図である。
【図１０】画像変換方法の具体的な処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
図１および図２は、２Ｄ画像と水平直線との関係を説明するための説明図である。２Ｄ画像は、図１（ａ）および図２（ａ）を参照して理解できるように、元々３Ｄ画像として生成されていない画像（非ステレオ画像）であり、かつ、擬似的に３Ｄ画像として知覚させるための処理が施されていない画像である。図１（ａ）のような自然界における２Ｄ画像では、図１（ｂ）に示すように、水平方向に延伸する直線（水平直線１５０）は文字通り水平線か地平線しかなく、２Ｄ画像内に水平直線１５０が複数存在するのは稀である。
【００１６】
ただし、建物をはじめとする生活環境の周囲に存在し得る人工物は、水平な面や水平な境界等を有しており、正面から撮像すると、その水平な境界等が水平直線１５０として認識される。本実施形態における画像変換装置が、２Ｄ画像に奥行きモデルを与えて擬似３Ｄ画像を生成する際、図２（ａ）に示すように、２Ｄ画像内に人工物１５２が含まれていると、図２（ｂ）に示すように、人工物１５２のエッジが画像中に複数の水平直線１５０として現れる。ここで、人工物１５２は、人によって形成された建物等の立体物であり、ここでは、特に、光軸方向に正対している（正面が光軸方向と垂直である）物をいう。
【００１７】
図３は、２Ｄ画像に与える奥行きモデルを説明するための説明図である。図３（ａ）のような人工物１５２が含まれる２Ｄ画像に、図３（ｂ）のような球面の奥行きモデルを与えると、平面であるはずの人工物まで湾曲した奥行き感で描かれてしまい、奥行き方向の違和感が生じたり、擬似３Ｄ画像が破綻したりしていた。また、２Ｄ画像に帯状の広告画像であるバナーやテロップが含まれる場合にも、同様な現象が生じ得る。ただし、ここでは、説明の便宜のため、人工物１５２やバナーを合わせて人工物１５２として説明する。
【００１８】
本実施形態の画像変換装置は、擬似３Ｄ画像に変換する際の全体の曲率を維持したまま、人工物１５２に相当する領域に対応する曲面の奥行き方向の曲率のみを弱めることで、自然則を用いた奥行き推定のエラーを最小限に抑え、変換された擬似３Ｄ画像に違和感や破綻が生じるのを回避する。以下、かかる目的を実現するための具体的な構成を述べる。
【００１９】
（画像変換装置１００）
図４は、画像変換装置１００の概略的な構成を示した機能ブロック図である。図４に示すように、画像変換装置１００は、画像データ入力部１１０と、画像データ出力部１１２と、中央制御部１１４とを含んで構成され、２Ｄ画像に奥行きモデルを与えて擬似３Ｄ画像に変換する。
【００２０】
画像データ入力部１１０は、他の装置と通信可能に構成され、例えば、１／６０秒（６０ｆｐｓ）毎にフレーム単位で２Ｄ画像を示す画像データ（静止画または動画）を受け入れる。画像データ出力部１１２は、他の装置と通信可能に構成され、擬似３Ｄ画像を示す画像データを出力する。
【００２１】
中央制御部１１４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、画像変換装置１００全体を制御する。また、中央制御部１１４は、水平直線抽出部１２０、領域特定部１２２、曲率係数設定部１２４、３Ｄ画像生成部１２６として機能する。
【００２２】
水平直線抽出部１２０は、画像データ入力部１１０によって入力された画像データに基づく２Ｄ画像から水平方向に延伸する水平直線１５０を抽出する。
【００２３】
図５は、水平直線抽出部１２０の処理を説明するための説明図である。図５に示すように、水平直線抽出部１２０は、低域通過フィルタ（ＬＰＦ）１２０ａと、遅延回路１２０ｂと、減算器１２０ｃと、比較器１２０ｄと、カウンタ１２０ｅとを含んで構成される。
【００２４】
低域通過フィルタ１２０ａは、画像データをライン毎に入力し、水平方向に隣接する画素同士を平滑化する。かかる低域通過フィルタ１２０ａが平滑化する範囲は、任意に決めることができ、例えば、ＦＩＲ（Finite Impulse Response）フィルタ等により対象となる画素の前後３画素を平滑化する。こうして、画素毎の信号値にノイズ成分が含まれる場合であっても、その影響を抑制することができる。遅延回路１２０ｂは、低域通過フィルタ１２０ａを通過した画像データを１ライン分遅延させる。したがって、遅延回路１２０ｂから出力される画像データは、低域通過フィルタ１２０ａから出力された画像データより１ライン分遅れることとなる。
【００２５】
減算器１２０ｃは、低域通過フィルタ１２０ａから出力された画像データから、遅延回路１２０ｂから出力された画像データを減算する。したがって、現在入力中のラインと１つ前のラインとの差分が導き出される。かかる減算によって垂直方向に隣接する画素の信号値間の差分が導出される。換言すれば、水平方向のエッジを検出していることとなる。比較器１２０ｄは、減算器１２０ｃよって減算された減算値を予め定められた閾値と比較し、減算値が閾値以上となる場合のみ、その旨を示す信号を出力する。
【００２６】
カウンタ１２０ｅは、比較器１２０ｄからの信号を受け、減算値が閾値以上となる信号が何画素分連続するか計数する。したがって、減算値が閾値以上となる信号が入力されている間は計数を継続し、１画素分でもその信号が途絶えたら計数値をリセットする。こうして計数された値が、例えば、ラインに相当する画素の１／２０に相当する画素分（例えば、水平方向が１９２０画素の画像データに対して９６画素）を越えていたら、水平直線抽出部１２０は、水平方向に連続するエッジがある、即ち、水平直線１５０があると判定する。
【００２７】
ここでは、低域通過フィルタ１２０ａを、遅延回路１２０ｂの前段に設けているが、減算器１２０ｃと比較器１２０ｄとの間に設けてもよい。
【００２８】
こうして人工物１５２に含まれる水平直線１５０やバナー等による水平直線１５０を高い信頼性で抽出することができる。
【００２９】
領域特定部１２２は、水平直線抽出部１２０により水平直線１５０が複数抽出されると、その複数の水平直線１５０のうちいずれか２つの水平直線１５０において水平方向の位置が等しい部分があるか否か判定し、位置が等しい部分があれば、複数の水平直線１５０の外枠に相当する領域を人工物１５２が存在する領域（人工物領域）として特定する。
【００３０】
図６は、領域特定部１２２の処理を説明するための説明図である。ここでは、水平直線抽出部１２０によって水平直線１５０が１０本（１５０ａ〜１５０ｊ）抽出されたとする。領域特定部１２２は、まず、図６（ａ）に示す任意の水平直線１５０ａと他の任意の水平直線１５０ｂとを比較する。ここでは、水平直線１５０ａと水平直線１５０ｂとがいずれも部分１６０において水平方向の位置が等しい（垂直方向で位置が重なっている）。したがって、領域特定部１２２は、人工物領域が存在すると判定する。
【００３１】
また、水平直線１５０ａと水平直線１５０ｂ同様、水平直線１５０ｂと水平直線１５０ｄ、水平直線１５０ｂと水平直線１５０ｆ、水平直線１５０ｂと水平直線１５０ｅ、水平直線１５０ｂと水平直線１５０ｇ、水平直線１５０ａと水平直線１５０ｈ、水平直線１５０ａと水平直線１５０ｉ、および、水平直線１５０ｉと水平直線１５０ｃも水平方向の位置が等しい部分があるので、領域特定部１２２は、水平直線１５０ａ〜１５０ｉまでの水平直線１５０を同一の人工物領域の対象と判断する。なお、水平線に相当する水平直線１５０ｊは他のいずれの水平直線１５０とも水平方向の位置が等しい部分が存在しないので人工物領域の対象とはならない。
【００３２】
続いて、領域特定部１２２は、水平直線抽出部１２０が人工物領域の対象と判断した全ての水平直線１５０の外枠を導出する。具体的に、領域特定部１２２は、任意の水平直線１５０の両端部と、任意の水平直線を除く他の水平直線１５０のうち、最も水平方向外方にある端部とを結線で結び、最外にある水平直線１５０および結線によって囲まれる領域を人工物領域とする。ただし、結線の開始端となる任意の水平直線１５０は、水平直線抽出部１２０が人工物領域の対象と判断した全ての水平直線１５０のうち、垂直方向の最上または最下にある水平直線１５０とするのが望ましい。
【００３３】
例えば、図６（ｂ）のように、垂直方向の最上にある水平直線１５０ａの２つの端部から、下方にある１または複数の水平直線１５０の端部を経由して、垂直方向の最下にある水平直線１５０ｉの２つの端部と結線１６２を結ぶ。具体的に、水平直線１５０ａの端部のうち、図中左側に位置する端部に着目すると、水平直線１５０ａの左側端部を基準にして、下方に位置する１または複数の水平直線１５０のうち左側端部が水平方向左側の最外にあるのは、水平直線１５０ｂなので、領域特定部１２２は、水平直線１５０ａの左側端部と水平直線１５０ｂの左側端部とを結線１６２ａで結ぶ。
【００３４】
そして、水平直線１５０ｂの左側端部を基準にして、下方に位置する１または複数の水平直線１５０のうち左側端部が水平方向左側の最外にあるのは、水平直線１５０ｆなので、領域特定部１２２は、水平直線１５０ｂの左側端部と水平直線１５０ｆの左側端部とを結線１６２ｂで結ぶ。続いて、水平直線１５０ｆの左側端部を基準にして、下方に位置する１または複数の水平直線１５０のうち左側端部が水平方向左側の最外にあるのは、水平直線１５０ｉなので、領域特定部１２２は、水平直線１５０ｆの左側端部と水平直線１５０ｉの左側端部とを結線１６２ｃで結ぶ。ここでは、水平直線１５０ｉが垂直方向の最下になるので、水平直線１５０ａの左側端部に基づく結線１６２は水平直線１５０ｉの左側端部までとなる。
【００３５】
同様に、水平直線１５０ａの右側端部に着目すると、領域特定部１２２は、まず、水平直線１５０ａの右側端部と水平直線１５０ｃの右側端部とを結線１６２ｄで結び、続いて、水平直線１５０ｃの右側端部と水平直線１５０ｉの右側端部とを結線１６２ｅで結ぶ。水平直線１５０ｉが垂直方向の最下になるので、水平直線１５０ａの右側端部に基づく結線１６２は水平直線１５０ｉの右側端部までとなる。水平直線１５０の数や位置は、人工物１５２の表示態様によって様々な値をとるため、上記のように水平直線１５０ａの左側端部と右側端部とで結線１６２の数が異なる場合もある。
【００３６】
そして、領域特定部１２２は、最外にある水平直線１５０および結線１６２、ここでは、図６（ｃ）に示すように、水平直線１５０ａ、水平直線１５０ｉ、結線１６２ａ〜１６２ｅによって囲まれる領域を人工物領域１６４として特定する。このとき、特定された人工物領域１６４が画像の大半にあたる所定の大きさを超えた場合、処理負荷軽減のため、人工物領域１６４と他の領域とを区別することなく、画像データに基づく２Ｄ画像全体を人工物領域１６４とする。
【００３７】
ところで、本実施形態の画像変換装置１００は、入力された２Ｄ画像に、各部位毎に所定の曲率を有する奥行きモデルを与える。しかし、上述したように、人工物１５２に水平直線１５０が含まれる場合において、単純に２Ｄ画像から擬似３Ｄ画像を生成してしまうと、水平直線１５０に相当する部位が奥行き方向に湾曲して見え、奥行き方向の違和感が生じる。
【００３８】
そこで、曲率係数設定部１２４は、２Ｄ画像のうち、領域特定部１２２によって特定された人工物領域１６４において、奥行きモデルの曲率の度合いを示す曲率係数（ゲイン）を、予め定められた規則性に基づき、他の領域より低く設定する。かかる規則性は、例えば、基準となる奥行きモデルの曲率係数を１とした場合に、曲率係数を固定的に０．５や０としたり、人工物領域１６４の２Ｄ画像における位置や他のパラメータを変数とする１または複数次の関数を用いて曲率係数を導出することが考えられる。
【００３９】
３Ｄ画像生成部１２６は、曲率係数に基づいて２Ｄ画像に奥行きモデルを与え、擬似３Ｄ画像を生成する。
【００４０】
図７は、３Ｄ画像生成部１２６の処理を説明するためフローチャートであり、図８は、奥行きモデル１６６の概念図であり、図９は、曲率係数を説明するための説明図である。まず、３Ｄ画像生成部１２６は、中央制御部１１４のＲＯＭから図８に示す奥行きモデル１６６を読み出す（Ｓ２００）。
【００４１】
図８に示したメッシュ画像は、複数ある奥行きモデルの一例であり、ここで、奥行きモデル１６６は、遠近法における消失点を画面中央に位置させた球状の凹面で表されている。したがって、当該奥行きモデルにおいて奥まる方向への距離を示す奥行き情報ｚは、画像中央からの水平方向の距離をｘ、垂直方向の距離をｙ、球の半径をｒ、球の中心を−ｚｏｆｆとすると、球を表す式ｘ２＋ｙ２＋ｚ２＝ｒ２から以下の数式１で表すことができる。
ｚ＝√（ｒ２−ｘ２−ｙ２）−ｚｏｆｆ  …（数式１）
【００４２】
かかる奥行きモデル１６６では、画像中央において奥行きが最大に深くなり、画像外側に推移するに連れ奥行きが浅くなる。このような奥行きモデルは、例えば、画面中央付近に立体物が存在しないシーンに対して用いられることが多い。
【００４３】
ここでは奥行きモデルとしてその形状が球状の凹面で表される例を挙げたが、かかる場合に限らず、円筒、平面、逆球面等、連続した曲線または平面で示される様々な形状で表すことができる。また、そのような複数の奥行きモデルから、２Ｄ画像における立体物の構成や背景、消失点の位置等に応じ、適切な奥行きモデルが選択される。
【００４４】
次に、３Ｄ画像生成部１２６は、曲率係数設定部１２４が人工物領域１６４に１未満の曲率係数を設定したか判定する（Ｓ２０２）。曲率係数設定部１２４が人工物領域１６４に１未満の曲率係数を設定していれば（Ｓ２０２におけるＹＥＳ）、奥行きモデル１６６における人工物領域１６４の曲率に、その曲率係数を乗じて（曲率係数を反映して）曲率を弱める（Ｓ２０４）。曲率係数設定部１２４が人工物領域１６４に１未満の曲率係数を設定していなければ（Ｓ２０２におけるＮＯ）、ＲＯＭから読み出した奥行きモデル１６６の曲率を維持する。
【００４５】
例えば、図９（ａ）に示すように、奥行きモデル１６６の水平断面では、奥行き情報が弧１７０に沿って定義される。ここで、曲率係数がデフォルト値の１であれば、弧１７０の曲率は変化しない。一方、人工物領域１６４に１未満の曲率係数（例えば０．５）が設定されていれば、その人工物領域１６４に対応する弧１７０の部分の曲率に曲率係数が乗じられ、図９（ｂ）のように曲率が小さくなり、奥行き方向の湾曲の度合いが弱くなる。こうして、人工物１５２の本来水平直線１５０であるべき部分の極端な奥行き方向の湾曲を避け、人工物１５２が歪んで見える奥行き方向の違和感を回避することが可能となる。
【００４６】
図７に戻って、３Ｄ画像生成部１２６は、このように曲率係数に基づいて変更された奥行きモデルに従って、２Ｄ画像に奥行き情報ｚを設定し、奥行き推定データを生成する（Ｓ２０６）。
【００４７】
次に、３Ｄ画像生成部１２６は、奥行き推定データに基づいて水平方向の別視点の画像（画像データ）を生成する（Ｓ２０８）。具体的に、３Ｄ画像生成部１２６は、２Ｄ画像に含まれるテクスチャのうち奥行き情報ｚが大きい、即ち、奥に位置するテクスチャから順に、奥行き情報ｚに対応する位置に水平移動して別視点の画像を生成する。
【００４８】
ここで、視点を左側にずらす画像を生成する場合、奥まっている立体物は比較的左側に、手前に位置する立体物は比較的右側に視認されるべきなので、３Ｄ画像生成部１２６は、奥行き情報ｚが大きいテクスチャほど、奥行き情報ｚが小さいテクスチャより左側に水平移動することとなる。かかる別視点の画像は、視点を左側にずらす画像と右側にずらす画像の２つの画像を生成して擬似３Ｄ画像としてもよいし、いずれか一方のみを生成し、入力された２Ｄ画像と組み合わせることで擬似３Ｄ画像としてもよい。
【００４９】
また、上記のテクスチャの移動によりテクスチャの存在しない部分（オクル−ジョン）が生じるので、３Ｄ画像生成部１２６は、このようなテクスチャの存在しない部分を周囲の画素で補償する（Ｓ２１０）。
【００５０】
本実施形態で特徴的な曲率係数を乗じる構成以外の２Ｄ画像から擬似３Ｄ画像への変換技術については、例えば、同出願人による特願２００４−２７３０４０号等に示されるように、既存の技術を利用できるので、ここではその詳細な説明を省略する。
【００５１】
以下、上述した画像変換装置１００を用いた画像変換方法の具体的な処理の流れを図１０のフローチャートを用いて説明する。
【００５２】
（画像変換方法）
図１０によれば、画像変換装置１００の画像データ入力部１１０が２Ｄ画像を示す画像データを受信すると（Ｓ３００におけるＹＥＳ）、水平直線抽出部１２０は、２Ｄ画像から水平直線１５０を抽出する（Ｓ３０２）。
【００５３】
そして、領域特定部１２２は、水平直線抽出部１２０が水平直線１５０を複数抽出し、かつ、複数の水平直線１５０のうちいずれか２つの水平直線１５０において水平方向の位置が等しい部分があるか否か判定し（Ｓ３０４）、条件を満たせば（Ｓ３０４におけるＹＥＳ）、複数の水平直線１５０の外枠に相当する領域を人工物領域１６４として特定する（Ｓ３０６）。そして、曲率係数設定部１２４は、領域特定部１２２によって特定された人工物領域１６４における、奥行きモデルの曲率の係数である曲率係数を、他の領域より低く設定する（Ｓ３０８）。水平直線１５０が複数抽出されなかった、または、水平方向の位置が等しい部分がない場合（Ｓ３０４におけるＮＯ）、ステップＳ３１０に移行する。
【００５４】
３Ｄ画像生成部１２６は、人工物領域１６４に曲率係数を反映した奥行きモデル１６６を２Ｄ画像に与えて擬似３Ｄ画像を生成し（Ｓ３１０）、画像データ出力部１１２は、その擬似３Ｄ画像を示す画像データを出力する（Ｓ３１２）。
【００５５】
以上、説明した画像変換装置１００や画像変換方法によれば、擬似３Ｄ画像の生成において、奥行きモデルの人工物１５２に対応する領域のみ奥行き方向の曲率を弱めることで、自然則を用いた奥行き推定のエラーを最小限に抑え、人工物１５２の本来水平直線であるべき部分の極端な奥行き方向の湾曲を避け、変換された擬似３Ｄ画像に対し、人工物１５２が歪んで見える奥行き方向の違和感や、破綻が生じるのを回避することが可能となる。
【００５６】
このように、違和感が少なく破綻の目立たない擬似３Ｄ画像を提供することで、視聴者は、そのような擬似３Ｄ画像によるコンテンツへの意識を集中でき、没入感や臨場感も高まって、よりコンテンツを楽しめるようになる。
【００５７】
さらに、コンピュータを画像変換装置１００として機能させる画像変換プログラムや、その画像変換プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００５８】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００５９】
なお、本明細書の画像変換方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００６０】
本発明は、２Ｄ画像に奥行きモデルを与え、２Ｄ画像を擬似３Ｄ画像に変換する画像変換装置および画像変換方法に利用することができる。
【符号の説明】
【００６１】
１００  …画像変換装置
１２０  …水平直線抽出部
１２２  …領域特定部
１２４  …曲率係数設定部
１２６  …３Ｄ画像生成部
１５０  …水平直線
１５２  …人工物
１６４  …人工物領域
１６６  …奥行きモデル
【図３】
2013197847.tif 000003
【図４】
2013197847.tif 000004
【図５】
2013197847.tif 000005
【図７】
2013197847.tif 000006
【図９】
2013197847.tif 000007
【図１０】
2013197847.tif 000008
【図１】
2013197847.tif 000009
【図２】
2013197847.tif 000010
【図６】
2013197847.tif 000011
【図８】
2013197847.tif 000012