(57)【要約】【課題】立体画像を生成する際の演算量を抑えた立体画像生成装置を提供すること。【解決手段】２次元画像の画像データを取得する画像取得部と、２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部と、２次元画像の画像データと、奥行情報とに基づき、該一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部とを具備することを特徴とする。【選択図】図１
2013042414.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像の画像データを取得する画像取得部と、
前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部と、
前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部と
を具備することを特徴とする立体画像生成装置。
【請求項２】
立体形状を表すデータを記憶する形状記憶部を具備し、
前記奥行情報取得部は、前記領域と立体形状とを指定する領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成すること
を特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
ユーザー操作により指定された領域および立体形状を示す前記領域情報を生成する領域情報取得部を具備し、
前記奥行情報取得部は、前記領域情報取得部が取得した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成すること
を特徴とする請求項２に記載の立体画像生成装置。
【請求項４】
複数の前記領域情報を予め記憶する領域情報記憶部と、
前記領域情報記憶部が記憶する領域情報の中から領域情報を選択する領域情報選択部と
を具備し、
前記奥行情報取得部は、前記領域情報選択部が選択した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成すること
を特徴とする請求項２に記載の立体画像生成装置。
【請求項５】
前記２次元画像のデータと前記領域情報とを受信する受信部を具備し、
前記奥行情報取得部は、前記受信した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成すること
を特徴とする請求項２に記載の立体画像生成装置。
【請求項６】
前記画像合成部は、
前記２次元画像から前記一部の領域以外を抽出した２次元領域画像のデータと、前記２次元画像から前記一部の領域を抽出した３次元領域画像のデータとを生成する画像領域分割部と、
前記２次元領域画像のデータから、前記一部の領域を補間した背景画像のデータを生成する２次元領域処理部と、
前記３次元領域画像のデータと前記奥行情報とに基づき、前記一部の領域に関する３次元画像データを生成する３次元領域処理部と、
前記背景画像のデータと、前記一部の領域に関する３次元画像データとに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像のデータを生成する部分立体画像生成部と
を具備すること特徴とする請求項１に記載の立体画像生成装置。
【請求項７】
２次元画像のデータを取得する画像取得部と、
前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部と、
前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部と、
前記３次元画像の画像データを用いて、立体画像を表示する表示部と
を具備することを特徴とする立体画像表示装置。
【請求項８】
２次元画像の画像データを取得する第１の過程と、
前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する第２の過程と、
前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する第３の過程と
を有することを特徴とする立体画像生成方法。
【請求項９】
コンピュータを、
２次元画像の画像データを取得する画像取得部、
前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部、
前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラムに関する。
【背景技術】
【０００２】
立体画像を表示するには、複数（２視点以上）の視点画像を必要とする。例えば、３ＤＣＧ（３次元コンピュータグラフィックス）のコンテンツにおいて立体画像を制作する場合、視点の位置を変更することで、比較的容易に複数視点の映像を作成することができる。一方、実写の立体画像を制作する場合、２つ以上のカメラを用いて撮影をすることになる。この場合、各カメラのピントの同期やカメラ方向、位置の設定が非常に困難である。また、装置が大規模になり、撮影が困難である。
【０００３】
そこで、実際に多視点の映像を撮影するのではなく、１視点の映像（２次元の映像）から画像処理によって多視点の映像（３次元の映像）をつくる２Ｄ→３Ｄ変換技術が注目を浴びている。当技術は、画像中における領域毎の奥行情報を基に、実際に撮影した視点とは別の視点画像を合成する技術である。現在、３Ｄ映画のいくつかは、この２Ｄ→３Ｄ変換技術を用いて制作されており、奥行情報は、製作者によって手動で作成されている。全ての奥行情報を手動で作成するのは、煩雑であるため、奥行情報を自動で作成するものもある。例えば、画像中の特徴量（輝度、空間周波数、コントラスト、動き）から、領域の奥行きを推定する方法がある。
【０００４】
しかしながら、この自動２Ｄ→３Ｄ変換技術は、必ずしも製作者の意図に沿った立体感をもつ映像を作成することができるとは限らない。これは、（輝度、空間周波数、コントラスト、動き）による奥行き推定に問題がある為である。この推定方法では、一般的な画像の構図として、ピントがあっている領域は主要被写体であり、前の方に位置すること、画像の上の方は背景で画像の下の方は地面であることなどを仮定している。この為、被写体の動きなどでフォーカスがあっていない場合、特殊な視点位置での撮影をした場合などには、不自然な立体感をもつ画像を合成してしまう。例えば、実際に奥にあるべきものが飛び出して見える、手前にあるべきものが奥にあるように見える、平面部分に不自然な凹凸感があるなどの、違和感のある立体画像を合成してしまう。
【０００５】
特許文献１では、以上の事情に鑑み、人の意図に応じて、撮影映像内にある人物や物体のうち特定の感覚の立体感を強調できる意図適応型の２Ｄ３Ｄ変換装置を提案している。具体的には、入力した感性ワードに応じて、画像内の人物や物体のうちの特定の感覚の立体感を強調することで、製作者や編集者の意図に応じた立体画像を得ることを可能にしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−１９１３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の変換装置においては、立体感を強調する領域以外についても、特徴量の抽出を行うため、立体画像を生成する際の演算量が多くなってしまうという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、その目的は、立体画像を生成する際の演算量を抑えた立体画像生成装置、立体画像表示装置、立体画像生成方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、２次元画像の画像データを取得する画像取得部と、前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部と、前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部とを具備することを特徴とする立体画像生成装置である。
【００１０】
（２）また、本発明の他の態様は、上述の立体画像生成装置であって、立体形状を表すデータを記憶する形状記憶部を具備し、前記奥行情報取得部は、前記領域と立体形状とを指定する領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成することを特徴とする。
【００１１】
（３）また、本発明の他の態様は、上述の立体画像生成装置であって、ユーザー操作により指定された領域および立体形状を示す前記領域情報を生成する領域情報取得部を具備し、前記奥行情報取得部は、前記領域情報取得部が取得した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成することを特徴とする。
【００１２】
（４）また、本発明の他の態様は、上述の立体画像生成装置であって、複数の前記領域情報を予め記憶する領域情報記憶部と、前記領域情報記憶部が記憶する領域情報の中から領域情報を選択する領域情報選択部とを具備し、前記奥行情報取得部は、前記領域情報選択部が選択した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成することを特徴とする。
【００１３】
（５）また、本発明の他の態様は、上述の立体画像生成装置であって、前記２次元画像のデータと前記領域情報とを受信する受信部を具備し、前記奥行情報取得部は、前記受信した領域情報と、前記形状記憶部が記憶するデータとに基づき、前記奥行情報を生成することを特徴とする。
【００１４】
（６）また、本発明の他の態様は、上述の立体画像生成装置であって、前記画像合成部は、前記２次元画像から前記一部の領域以外を抽出した２次元領域画像のデータと、前記２次元画像から前記一部の領域を抽出した３次元領域画像のデータとを生成する画像領域分割部と、前記２次元領域画像のデータから、前記一部の領域を補間した背景画像のデータを生成する２次元領域処理部と、前記３次元領域画像のデータと前記奥行情報とに基づき、前記一部の領域に関する３次元画像データを生成する３次元領域処理部と、前記背景画像のデータと、前記一部の領域に関する３次元画像データとに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像のデータを生成する部分立体画像生成部とを具備すること特徴とする。
【００１５】
（７）また、本発明の他の態様は、２次元画像のデータを取得する画像取得部と、前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部と、前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部と、前記３次元画像の画像データを用いて、立体画像を表示する表示部とを具備することを特徴とする立体画像表示装置である。
【００１６】
（８）また、本発明の他の態様は、２次元画像の画像データを取得する第１の過程と、前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する第２の過程と、前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する第３の過程とを有することを特徴とする。
【００１７】
（９）また、本発明の他の態様は、コンピュータを、２次元画像の画像データを取得する画像取得部、前記２次元画像の一部の領域について、画素毎の奥行き値を示す奥行情報を生成する奥行情報生成部、前記２次元画像の画像データと、前記奥行情報とに基づき、前記一部の領域についてのみ立体的に知覚される３次元画像の画像データを生成する画像合成部として機能させるためのプログラムである。
【発明の効果】
【００１８】
この発明によれば、立体画像を生成する際の演算量を抑えることができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の第一の実施形態における部分立体画像生成装置１００の構成を示す概略ブロック図である。
【図２】同実施形態における画像入力部１０１で入力される２Ｄ画像Ｉの表現方法を説明する図である。
【図３】同実施形態における領域情報Ｒを構成する領域データの例を示す図である。
【図４】同実施形態における領域情報(円)の指定方法を説明する図である。
【図５】同実施形態における奥行き情報の例の概略を示す投影図である。
【図６】同実施形態における奥行き情報の別の例の概略を示す投影図である。
【図７】同実施形態における２Ｄ領域と３Ｄ領域を説明する図である。
【図８】同実施形態における奥行値と画素移動量との関係式を説明するグラフである。
【図９】アクティブシャッタ方式による立体表示方法を説明する概念図である。
【図１０】同実施形態における部分立体画像の知覚のされ方を説明する概念図である。
【図１１】パララックスバリア方式による立体表示方法を説明する概念図である。
【図１２】同実施形態における部分立体画像生成装置１００の動作を説明するフローチャートである。
【図１３】この発明の第二の実施形態における部分立体画像生成表示装置１３００の構成を示す概略ブロック図である。
【図１４】同実施形態における部分立体画像生成表示装置１３００の表示例を示す図である。
【図１５】この発明の第三の実施形態における実施形態におけるテレビジョン放送システム１５００の構成を示す概略ブロック図である。
【図１６】同実施形態における部分立体画像受信装置１５０３の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００２０】
（第一の実施形態）
以下、図面を参照して、本発明の第一の実施形態について説明する。図１は、本実施形態における立体画像生成装置である部分立体画像生成装置１００のブロック図である。部分立体画像生成装置１００は、入力された２次元（２−Ｄｉｍｅｎｓｉｏｎ；２Ｄ）画像のうち、ユーザーが指定した特定の領域のみに立体感を付与することで、２次元部分と３次元（３−Ｄｉｍｅｎｓｉｏｎ；３Ｄ）部分が混在した部分立体画像を生成する。
【００２１】
部分立体画像生成装置１００は、画像入力部１０１、領域情報入力部１０２、背景奥行入力部１０３、奥行情報生成部１０４、形状記憶部１０９、画像合成部１１０を含んで構成される。なお、画像合成部１１０は、画像領域分割部１０５、２Ｄ領域処理部１０６、３Ｄ領域処理部１０７、部分立体画像生成部１０８を含んで構成される。
【００２２】
画像入力部１０１（画像取得部）は、入力として２次元画像の画像データである２Ｄ画像Ｉを読み込み、画像領域分割部１０５へ送る。画像入力部１０１は、例えば、メモリカードを挿入するカードスロットを備え、該カードスロットに挿入されたメモリカードから２Ｄ画像Ｉを読み込み、画像領域分割部１０５へ送るようにしてもよい。また、赤外線信号やブルートゥース（Bluetooth（登録商標））などの無線信号を受信する受信部や、ＵＳＢ（Universal Serial Bus）など有線通信用の通信インターフェースを備え、該受信部あるいは該通信インターフェースが受信した２Ｄ画像Ｉを画像領域分割部１０５へ送るようにしてもよい。また、撮像装置を備え、該撮像装置が撮影した画像の画像データを、２Ｄ画像Ｉとして画像領域分割部１０５へ送るようにしてもよい
【００２３】
領域情報入力部１０２（領域情報取得部）は、ユーザー操作による画像内の一部の領域と該領域の立体形状との指定を受けて、該一部の領域および立体形状を表す領域情報Ｒを生成し、奥行情報生成部１０４へ送る。領域情報入力部１０２は、例えば、部分立体画像生成装置１００が備えるマウスなどのポインティングデバイス（不図示）により領域の指定を受ける。領域情報の詳細は後述する。背景奥行入力部１０３は、ユーザーによる背景の奥行き方向の位置の指定を受けて、該位置を示す背景奥行値Ｄ１を生成し、奥行情報生成部１０４へ送る。
【００２４】
奥行情報生成部１０４は、領域情報入力部１０２から送られてきた領域情報Ｒと、形状記憶１０９が記憶する形状情報ｍとを基に、２Ｄ画像Ｉが示す画像のうち、領域情報Ｒが示す領域について画素毎の奥行き値を示す奥行情報Ｄｐを生成する。なお、本実施形態では、奥行情報生成部１０４は、奥行情報Ｄｐのうち、領域Ｒが示す領域外の画素には、背景奥行入力部１０３から送られてきた背景奥行値Ｄ１を、画素値として設定する。奥行情報生成部１０４は、生成した奥行情報Ｄｐを、画像領域分割部１０５と、３Ｄ領域処理部１０７とへ送る。形状記憶部１０９は、半球や半円柱などの立体形状毎にその立体形状を表す形状情報を記憶する。例えば、形状情報は、大きさや向きなどを表すパラメータを変数として、各画素の奥行き値を算出するための演算式を表す情報である。画像領域分割部１０５は、画像入力部１０１から送られてきた画像データ（２Ｄ画像Ｉ）を、奥行情報生成部１０４から送られてきた奥行情報Ｄｐを基に、２Ｄ領域データと３Ｄ領域データに分割する。
【００２５】
ここで、画像領域分割部１０５は、奥行情報Ｄｐによって画素毎の奥行き値が示されている領域以外、すなわち領域情報Ｒが示す領域以外の領域の画素値を、２Ｄ画像Ｉから抽出することで、２Ｄ領域データ（２次元領域画像のデータ）を生成する。また、画像領域分割部１０５は、奥行情報Ｄｐによって画素毎の奥行き値が示されている領域、すなわち領域情報Ｒが示す領域の画素値を、２Ｄ画像Ｉから抽出することで、３Ｄ領域データ（３次元領域画像のデータ）を生成する。画像領域分割部１０５によって分割された２Ｄ領域データは、２Ｄ領域処理部１０６に送られる。同じく、３Ｄ領域データは、３Ｄ領域処理部１０７に送られる。
【００２６】
２Ｄ領域処理部１０６は、画像領域分割部１０５から送られてきた２Ｄ領域データから背景画像データを生成する。２Ｄ領域処理部１０６は、２Ｄ領域データで画素値が示されていない領域、すなわち奥行情報Ｄｐによって画素毎の奥行き値が示されていた領域の画素値を、２Ｄ領域データを用いて補間することで算出し、背景画像データを生成する。３Ｄ領域処理部１０７は、画像領域分割部１０５から送られてきた３Ｄ領域データと、奥行情報生成部１０４から送られてきた奥行情報Ｄｐとに基づき、左眼用３Ｄ領域データと、右眼用３Ｄ領域データとを生成する。３Ｄ領域処理部１０７によって生成された、左眼用３Ｄ領域データと右眼用３Ｄ領域データは部分立体画像生成部１０８へ送られる。なお、左眼用３Ｄ領域データと、右眼用３Ｄ領域データとで、奥行情報Ｄｐによって画素毎の奥行き値が示されている領域に関する３次元画像データを構成する。
【００２７】
部分立体画像生成部１０８は、２Ｄ領域処理部１０６から送られてきた背景画像データと、３Ｄ領域処理部１０７から送られてきた左眼用３Ｄ領域データと右眼用３Ｄ領域データを基に、左眼用画像データと、右眼用画像データとを生成し、これらを部分立体画像Ｏとして出力する。左眼用画像データと、右眼用画像データとからなる３次元画像データは、領域情報Ｒにて指定された領域において、奥行情報Ｄｐに基づく視差を有している。すなわち、この３次元画像データは、領域情報Ｒにて指定された領域についてのみ立体的に知覚されるものである。
以上に説明した処理により、部分立体画像生成装置１００は、２Ｄ部分と３Ｄ部分が混在した部分立体画像を生成することが可能となる。
【００２８】
図２は、画像入力部１０１で入力される２Ｄ画像Ｉの表現方法を説明する図である。図２に示すように、２Ｄ画像Ｉは、画素毎にＲ（赤），Ｇ（緑），Ｂ（青）３色の値（値の範囲は０から２５５の２５６段階）を持つデータである。２Ｄ画像Ｉが表す画像の横幅はＷ、高さはＨである。各画素の座標は、横方向をＸ座標、縦方向をＹ座標とし、左上端を原点する。すなわち原点は、左から０番目、かつ、上から０番目の画素２０１である。また、例えば、図２のおける画素２００は、左からｘ番目、上からｙ番目の画素であるので、その座標は（ｘ、ｙ）である。また、最も右下の画素２０２の座標は（Ｗ−１、Ｈ−１）である。
【００２９】
次に、領域情報入力部１０２について説明する。領域情報入力部１０２は、ユーザーからの領域情報の入力を受け付ける。図３は、領域情報Ｒを構成する領域データの例を示す図である。例えば、ユーザーによって入力された領域が半球である場合、領域データは、半球を示すＩＤ：１と、そのパラメータである中心座標（ｘ、ｙ）、半径r及びベース奥行値ｄの４つの値とから構成される。また、ユーザーによって入力された領域が半円柱である場合、パラメータは、半円柱を示すＩＤ：２と、そのパラメータである左上の頂点（ｘ、ｙ）、右下の頂点座標（ｘ、ｙ）、回転角θ、及びベース奥行値ｄの６つの値とから構成される。
【００３０】
同様に、領域が円である場合、領域データは、円を示すＩＤ：３と、そのパラメータである中心座標（ｘ、ｙ）、半径r及びベース奥行値ｄの４つの値とから構成される。領域が長方形のである場合、領域データは、長方形を示すＩＤ：４と、そのパラメータである左上の頂点（ｘ、ｙ）、右下の頂点座標（ｘ、ｙ）、回転角θ、及びベース奥行値ｄの６つの値とから構成される。
【００３１】
ここで、各領域データにおけるベース奥行値ｄは、領域情報Ｒを基に奥行情報生成部１０４において、奥行情報Ｄｐを生成する際に図形の飛び出し感を設定する為に用いられる。回転角θは、左上の頂点（ｘ、ｙ）、右下の頂点座標（ｘ、ｙ）によって表される図形をｘｙ平面と直交する軸周りに回転させる回転角である。領域情報の入力には、例えば、部分立体画像生成装置１００がＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）とプログラムとから構成される場合、ＰＣが備えるマウス、タッチパネル等のポインティングデバイスを用いる。本実施形態では、領域情報入力部１０２において領域情報の入力を行う。
【００３２】
例として、図４を用いて、領域情報(円)の指定方法を説明する。領域情報入力部１０２は、まず、画像入力部１０１から送られてくる入力画像４００を画面上に表示する。次に、ユーザーがマウスなどを操作し、指定したい領域の中心を選択すると、領域情報入力部１０２がこれを取得する（Ｓ４−１）。次に、円の外周のいずれかを選択すると、領域情報入力部１０２がこれを取得し、中心からの距離を算出し、半径ｒとする（Ｓ４−２）。次に、領域情報入力部１０２は、ベース奥行指定目盛を画面上に表示する。ユーザがマウスなどで目盛を指定することで、円の奥行感を設定すると、領域情報入力部１０２がこれを取得し、ベース奥行き値ｄとする（Ｓ４−３）。
【００３３】
以上の方法を用いて、領域を指定する。領域情報入力部１０２は、ＩＤ、円の中心座標(ｘ、ｙ)、半径ｒ及びベース奥行値ｄのデータを奥行情報生成部１０４へ送る。なお、領域情報は、１つの画像に対し１つのみに限らず、複数の領域情報を入力することが可能である。
【００３４】
背景奥行入力部１０３は、ユーザーによって指定されなかった領域(背景領域)の奥行き感を入力として読み込み、奥行情報生成部１０４に送る。奥行き感の入力方法には、ベース奥行値の入力方法と同様の方法を用いるとよい。
また、背景奥行値がユーザーによって、指定されなかった場合は、領域情報入力部１０２によって指定された領域情報から自動的に、背景奥行値を設定する方法を用いてもよい。すなわち、画面上に背景奥行調整目盛を表示し、マウスを用いて目盛を指定する。指定された背景奥行値Ｄ１は、奥行情報生成部１０４へ送られる。
【００３５】
奥行情報生成部１０４は、領域情報入力部１０２から送られてきた領域情報Ｒと、形状記憶部１０９が記憶する形状情報ｍと、背景奥行入力部１０３から送られてきた背景奥行値Ｄ１とを基に、奥行情報Ｄｐを生成する。奥行情報生成部１０４は、この奥行情報Ｄｐを画像領域分割部１０５と３Ｄ領域処理部１０７に送る。
【００３６】
図５、図６は奥行情報の概略を示した投影図である。図５の５００で示す矩形内は、奥行情報を画像で表した奥行画像である。奥行情報を画像で表すとはすなわち、奥行値を輝度値で表した輝度画像である。本実施形態では、奥行情報を０〜２５５の２５６段階に分割し、その間で、入力画像の各画素における奥行値を設定する。奥行画像５００は、半球５０１と半円柱５０２の領域情報Ｒが領域情報入力部１０２から送られ、背景奥行入力部１０３からは、背景奥行値Ｄ１が送られてきた場合に、奥行情報生成部１０４が生成する奥行画像である。
【００３７】
半球５０１の領域情報は、（ＩＤ、中心のｘ座標、中心のｙ座標、半径ｒ、ベース奥行値ｄ）＝（１、５０、４０、２０、−５）という５つの要素をもつベクトルデータとして領域情報入力部１０２から送られてくる。よって、半球５０１は、図のように中心の座標が（５０，４０）の位置に配置される。ここで、図５下の投影図においては、奥行は矢印の方向に行く程、表示面より奥であることを表している。
【００３８】
この例では、背景奥行値Ｄ１＝０の為、背景は表示面ということになる。ベース奥行値ｄは、背景奥行入力部１０３から送られてきた背景奥行値Ｄ１からどの程度離れているかを表し、値は負の数とする。よって、この例では、半球５０１、ｄ＝−５の為、背景に対し、５だけ手前に配置することになる。
【００３９】
半円柱５０２の領域情報は、（ＩＤ、左上頂点のｘ座標、左上頂点のｙ座標、右下頂点のｘ座標、右下頂点のｙ座標、回転角θ、ベース奥行値ｄ）＝（２、１２０、８０、１５０、１２０、０°、０）という７つの要素をもつベクトルデータとして領域情報入力部１０２から送られてくる。領域情報入力部１０２から送られてきたデータの要素数は、ＩＤで判断すればよい。半円柱５０２は、図５に表すように配置する。ベース奥行値ｄ＝０の為、半円柱の平面部が背景奥行と同じになるような位置に配置されることになる。
【００４０】
図６は、領域情報として、円５１１、長方形５１２が送られてきた場合の奥行き画像である。複数の領域情報を配置する場合、２つ以上の図形が同じ座標に重なって存在することが考えられるが、その際は、重なった図形の中で奥行が最も手前になるものを選択すればよい。なお、図形毎に優先度を付けて、重なった図形の中で最も優先度が高いものを選択するようにしてもよい。
【００４１】
円５１１の領域情報は、（ＩＤ、中心のｘ座標、中心のｙ座標、半径ｒ、ベース奥行値ｄ）＝（３、５０、４０、２０、−５）という５つの要素をもつベクトルデータとして領域情報入力部１０２から送られてくる。よって、円５１１は、図のように中心の座標が（５０，４０）の位置に配置される。ここで、図６下の投影図においては、奥行は矢印の方向に行く程、表示面より奥であることを表している。
【００４２】
この例では、背景奥行値Ｄ１＝０の為、背景は表示面ということになる。ベース奥行値ｄは、背景奥行入力部１０３から送られてきた背景奥行値Ｄ１からどの程度離れているかを表し、値は負の数とする。よって、この例では、円５１１は、ｄ＝−５の為、背景に対し、５だけ手前に配置することになる。
【００４３】
長方形５１２の領域情報は、（ＩＤ、左上頂点のｘ座標、左上頂点のｙ座標、右下頂点のｘ座標、右下頂点のｙ座標、回転角θ、ベース奥行値ｄ）＝（４、１２０、８０、１５０、１２０、０°、０）という７つの要素をもつベクトルデータとして領域情報入力部１０２から送られてくる。領域情報入力部１０２から送られてきたデータの要素数は、ＩＤで判断すればよい。長方形５１２は、図６に表すように配置する。ベース奥行値ｄ＝−１０の為、背景に対し、１０だけ手前に配置することになる。
【００４４】
画像領域分割部１０５は、画像入力部１０１から送られてきた、２Ｄの入力画像と、奥行情報生成部１０４から送られてきた奥行情報を基に、画像領域を２Ｄ領域と３Ｄ領域に分割する。その後、２Ｄ部分は２Ｄ領域処理部１０６に、３Ｄ領域は３Ｄ領域処理部１０７に送る。
【００４５】
２Ｄ領域と３Ｄ領域の詳細について図７を用いて説明する。まず、奥行情報７１０からマスク画像７２０を生成する。マスク画像７２０は、奥行情報７１０の３Ｄ部分の画素値を「０」、２Ｄ部分の画素値を「１」とした２値画像である。３Ｄ部分とは、画素毎に奥行き値が設定されている領域であり、２Ｄ部分は、画素値が背景奥行き値となっている領域である。なお、奥行き画像の２Ｄ部分の画素値を、背景奥行き値とせずに、２Ｄ部分であることを示す値とし、奥行き画像と、背景奥行き値とで、奥行情報を構成するようにしてもよい。
【００４６】
画像領域分割部１０５は、入力画像７００と、マスク画像７２０を基に、２Ｄ領域７４０と３Ｄ領域７３０を生成する。画像領域分割部１０５は、入力画像７００の画素のうち、マスク画像７２０において画素値が「１」の画素の色情報（画素値）だけを残し、マスク画像７２０において画素値が「０」である画素の画素値を特殊な値（例えば負の数）として、２Ｄ領域７４０を生成する。２Ｄ領域７４０では、ハッチングされた領域７４１の画素値が上述の特殊な値となっている。また、画像領域分割部１０５は、入力画像７００の画素のうち、マスクが０の画素の色情報（画素値）だけを残し、マスクが１である画素の画素値を特殊な値（例えば負の数）として、３Ｄ領域７３０を生成する。３Ｄ領域７３０では、領域７３１以外の領域、すなわちハッチングされた領域の画素値が上述の特殊な値となっている。
【００４７】
２Ｄ領域処理部１０６は、画像領域分割部１０５から送られてきた２Ｄ領域データ７４０のうち、３Ｄ領域にあたる画素７４１（値が負の画素）に対して、穴埋め処理を行い、背景画像７７０を生成する。その後、２Ｄ領域処理部１０６は、背景画像７７０を、部分立体画像生成部１０８へ送る。穴埋め処理には、例えば３Ｄ領域にあたる画素に対して、メディアンフィルタなどの平滑化フィルタを適用する方法を用いる。メディアンフィルタとは、注目画素の周辺画素の画素値を値の大きい（または小さい）順に並べ、その中央値（メディアン）を注目画素の画素値とする方法である。
【００４８】
本実施形態では、２Ｄ領域処理部１０６は、以下のようにして穴埋め処理を行う。１）はじめに２Ｄ領域と３Ｄ領域の境界部にあたる３Ｄ領域画素に対しメディアンフィルタをかける。この時、中央値の計算に用いるのは、２Ｄ部分の画素のみ（正の数の画素）である。２）次に、フィルタ処理を行った画像に対し、同じように境界部分にメディアンフィルタをかける。３）その後は、このフィルタ処理を３Ｄ部分の画素（値が負の画素）が無くなるまで繰り返す。なお、上記穴埋め処理に加えて、２Ｄ領域処理部１０６は、３Ｄ領域の誘目性を高める為、２Ｄ領域に対し、ガウシアンフィルタ等の平滑化フィルタをかけてもよい。
【００４９】
３Ｄ領域処理部１０７は、画像領域分割部１０５から送られてきた３Ｄ領域データ７３０と奥行情報生成部１０４から送られてきた奥行情報７１０を基に、左眼用３Ｄ領域７５０と右眼用３Ｄ領域７６０を生成し、この２つのデータを部分立体画像生成部１０８へ送る。３Ｄ領域処理部１０７は、左眼用、右眼用の３Ｄ領域を生成する方法に、水平方向の画素移動を用いる。
【００５０】
具体的には、図８に示すような関係式を用いて、画素毎の奥行値ｚから画素移動量ｓを計算する。図８に示す関係式は、基本的には、奥行値が小さい(すなわち手前にある)ほど、移動量が大きくなるように設定する。また、領域を表示装置の実際の表示面より、手前に表示させる場合と、表示面より奥側に表示させる場合では、移動の方向が変わってくる。すなわち、表示面より手前に表示させる領域は、左眼用の場合には右側へ移動させ、右眼用の場合には左側へ移動させる。逆に、表示面より手前に表示させる領域は、左眼用の場合には左側へ移動させ、右眼用の場合には右側へ移動させる。関係式の係数は、表示装置と鑑賞者の距離、表示装置の解像度などから求める。
【００５１】
３Ｄ領域処理部１０７は、この関係式を用いて、各画素の奥行情報を各画素の移動量に変換した画像（視差マップ）を求める。その後、３Ｄ領域処理部１０７は、３Ｄ領域７３０を、視差マップに従い移動させ、左眼用３Ｄ領域７５０と右眼用３Ｄ領域７６０を生成する。画素の移動を行う際、複数の画素が同じ画素に移動してくる場合があるが、この場合、より手前にある画素(遠くから移動してきた画素)を採用する。３Ｄ領域の指定方法が、半球、半円柱の場合、領域内において画素移動量に違いがでる（例えば、半球では、中心に近いほど移動量が大きくなる）。この為、移動量が変化する境界に穴が発生する場合がある。この穴は、３Ｄ領域周辺に対し、メディアンフィルタやガウシアンフィルタ等の平滑化フィルタを適用することで補間する。
【００５２】
部分立体画像生成部１０８は、２Ｄ領域処理部１０６から送られてきた背景画像と、３Ｄ領域処理部１０７から送られてきた左眼用３Ｄ領域、右眼用３Ｄ領域を基に、左眼用部分立体画像、右眼用部分立体画像の２つを生成し、部分立体画像Ｏとして出力する。左眼用部分立体画像は、背景画像に対し、左眼用３Ｄ領域を重ね合わせることで生成し、右眼用部分立体画像は、背景画像に対し、右眼用３Ｄ領域を重ね合わせることで生成する。背景画像と３Ｄ領域を重ね合わせるとは、すなわち、３Ｄ領域処理部１０７から送られてきた３Ｄ領域情報のうち、値が正の部分のみを背景画像に上書きする。
【００５３】
出力された部分立体画像を表示する方法は、既存の立体表示装置を用いればよい。例えば、図９のようなアクティブシャッタ方式による立体表示方法を用いる。アクティブシャッタ方式では、液晶シャッターメガネを用い、表示部によって表示される画像と同期して、メガネの液晶シャッタを開閉することにより、左眼には左眼用部分立体画像９００のみを、右眼には右眼用部分立体画像９０１のみを見せる。この方法により、右眼と左眼の見え方の差（視差）を表現することが可能となり、観賞者は立体感を得ることができる。
【００５４】
図１０は、アクティブシャッタ方式の立体表示装置において、部分立体画像を見た時、どのように見えるかを示した図である。２Ｄ部分を観賞者が注視する場合、背景画像１０００を注視する左右の目線の交点が表示面と一致し、背景画像１０００は表示面上にあるように見える。一方、観賞者が人物画像１００１を注視する場合、左右の目線の交点が表示面よりも手前側となり、人物画像１００１が実際の位置よりも手前にあるように錯覚する。以上の原理により、３Ｄ領域のみが２Ｄ領域よりも飛び出して見えることになる。  
【００５５】
また、図１１に示すような、パララックスバリア方式の立体表示装置を用いて、部分立体画像を表示してもよい。パララックスバリア方式は、ディスプレイ１１００前面に視差バリア１１０１を配置し、左の眼には左目に対応する画像Ｌのみが見えるようにし、右の眼には右目に対応する画像Ｒのみが見えるようにすることで立体視を可能とする。
【００５６】
なお、本実施形態では、部分立体画像として、左眼用、右眼用の２視点の画像のみを生成したが、部分立体画像を表示させる表示装置が３視点以上の多視点画像表示装置である場合は、表示装置に必要な視点数の画像を生成するようにしてもよい。具体的には、図８の奥行値と移動量の関係式を、視点毎に変更する。関係式は、視点が左右にずれる程、移動量が大きくなるように設定しておく。
また、部分立体画像生成装置１００が、立体画像表示装置を備えており、部分立体画像生成部１０８が生成した部分立体画像を、該立体画像表示装置が表示するようにしてもよい。
【００５７】
次に、第一の実施形態である部分立体画像生成装置１００の処理手順を、図１２のフロー図を用いて説明する。まず、画像入力部１０１は、入力画像を読み込む(Ｓ１)。領域情報入力部１０２は、領域情報を読み込む(Ｓ２)。
背景奥行入力部１０３は、背景奥行を読み込む(Ｓ３)。奥行情報生成部１０４は、読み込んだ領域情報と背景奥行を基に、奥行情報を生成する(Ｓ４)。画像領域分割部１０５は、生成した奥行情報を基に、入力画像を２Ｄ領域と３Ｄ領域に分割する(Ｓ５)。２Ｄ領域処理部１０６は、２Ｄ領域の穴埋め処理を行い、背景画像を生成する(Ｓ６)。３Ｄ領域処理部１０７は、３Ｄ領域の画素シフトを行い、左眼用３Ｄ領域を生成し(Ｓ７)、同様に、３Ｄ領域の画素シフトを行い、右眼用３Ｄ領域を生成する（Ｓ８）。部分立体画像生成部１０８は、左眼用３Ｄ領域を背景画像に上書きし、左眼用部分立体画像を生成する(Ｓ９)。同様に、右眼用３Ｄ領域を背景画像に上書きし、右眼用部分立体画像を生成する(Ｓ１０)。その後、左眼用部分立体画像と右眼用部分立体画像を、部分立体画像として出力する(Ｓ１１)。
【００５８】
以上の説明のように、本実施形態によれば、ユーザーが指定した特定の領域のみに立体感があり、それ以外の部分は一様な平面であるような部分立体画像を生成することにより、３Ｄ画像を生成する際の処理時間とメモリ量を削減することができるという効果を奏する。
【００５９】
（第二の実施形態）
第二の実施形態は、第一の実施形態の手法を、電子辞書や携帯電話、スマートフォン等のうち、表示部がタッチパネルを備えるものに応用する。すなわち、少ない処理量とメモリ量で、画像の２Ｄ化、３Ｄ化等を容易に行い、３Ｄ表示を行う部分立体画像生成表示装置である。第二の実施形態である部分立体画像生成表示装置について、図１３に示すブロック図を用いて説明する。部分立体画像生成表示装置１３００は、例えば、スマートフォンである。
【００６０】
部分立体画像生成表示装置１３００は、表示部１３０１、操作検出部１３０２、２Ｄ画像生成部１３０３、領域情報選択部１３０４、領域情報記憶部１３０５、背景奥行値記憶部１３０６、奥行情報生成部１０４、形状記憶部１０９、画像合成部１１０を含んで構成される。奥行情報生成部１０４、形状記憶部１０９、画像合成部１１０は、図１に示す第一の実施形態の部分立体画像生成装置１００と同じ構成の為、ここでは説明を省略する。
【００６１】
表示部１３０１は、画像合成部１１０が生成した部分立体画像を表示する。表示方法は、第一の実施形態の説明で示したような表示方法を用いればよい。例えば、スマートフォン等の携帯端末で実現する場合には、図１１に示すようなパララックスバリア方式の立体表示方式を用いるのが望ましい。
操作検出部１３０２は、例えば、表示部１３０１に表面に貼付されたタッチパネルであり、ユーザーによる操作を検出する。２Ｄ画像生成部１３０３（画像取得部）は、操作検出部１３０２が検出したユーザーによる操作に応じて、表示部１３０１に表示するための画像を生成する。なお、２Ｄ画像生成部１３０３が生成するのは、２次元画像である。領域情報選択部１３０４は、操作検出部１３０２が検出したユーザーによる操作に応じて、領域情報記憶部１３０５が記憶する複数の領域情報の中から一つを読出し、奥行情報生成部１０４に出力する。領域情報記憶部１３０５は、２Ｄ画像生成部１３０３が生成する画像に応じた領域情報を、予め複数記憶する。なお、領域情報記憶部１３０５が記憶する領域情報は、第一の実施形態において説明した領域情報と同様であり、半球や長方形などの図形を示すＩＤとそのパラメータ（中心座標、半径など）とからなり、複数の図形の領域データを含んでいてもよい。背景奥行値記憶部１３０６は、背景奥行値を予め記憶する。
【００６２】
図１４は、本実施形態における部分立体画像生成表示装置１３００の表示例を示す図である。部分立体画像生成表示装置１３００の表示部１３０１上にボタン１４０２やボタン１４０４が表示する場合、生成される奥行情報が奥行情報１４１０となる領域情報を、領域情報選択部１３０４が選択していると、奥行情報１４１０における３Ｄ領域１４１２に対応する、一部のボタン部分(ここでは、１、２、４、９、＊)のみが飛び出すような効果を得ることができる。
【００６３】
また、図１４の下図の方も同様に、領域情報選択部１３０４が選択した領域情報に基づき生成される奥行情報が奥行情報１４３０であると、奥行情報１４３０中の矩形領域１４３２で指定された部分(すなわち、「１位  かつ丼」のパネル部分１４０５)が最も飛び出す効果を得ることができる。
【００６４】
奥行情報１４１０、１４３０のような奥行情報は、第一の実施形態の説明でも述べたように、領域情報と背景奥行値から奥行情報生成部１０４が生成する。第一の実施形態では、２Ｄ画像と領域情報、背景奥行値をユーザーが入力する形をとっていたが、本実施形態では、画像の制作者などがあらかじめ作成した領域情報や背景奥行をスマートフォン内のメモリ（領域情報記憶部１３０５、背景奥行値１３０６）に保存しておき、必要に応じて読み出すことで、飛び出し感を変化させる。
【００６５】
なお、スマートフォンのタッチパネルを通した、ユーザーの入力に応じて、表示する画像の奥行き感や飛び出し感を変化させてもよい。この場合は、ユーザーの入力に対してどのように領域情報と背景奥行値を変化させるかなどのルールをあらかじめ設定しておき、ユーザーの入力があった時点で、このルールに従い、装置に入力する領域情報と背景奥行値を決定すればよい。
また、領域情報と背景奥行値を別のものに変更することで、同じ画像の立体感を容易に変更することができる。例えば、ダウンロードによって情報を取得する方法や、第一の実施形態のようにユーザーが直接入力する方法が可能である。
【００６６】
以上のように、本実施形態によれば、少ないデータ量で、ボタン等の３Ｄ表示が可能となる。その他の効果としては、同じ画像の立体感を変化させたい場合、領域情報、背景奥行値などの少ないデータを変更するのみで実現可能である。
【００６７】
（第三の実施形態）
第三の実施形態は、テレビジョン放送等に応用したものである。図１５は、本実施形態におけるテレビジョン放送システム１５００の構成を示す概略ブロック図である。テレビジョン放送システム１５００は、部分立体画像送信装置１５０１と、該部分立体画像送信装置１５０１と放送ネットワーク１５０２を介して接続された部分立体画像受信装置１５０３とを含んで構成される。
【００６８】
放送ネットワーク１５０２は、電波を用いた放送ネットワークであってもよいし、インターネットなどを用いた放送ネットワークであってもよい。部分立体画像送信装置１５０１は、放送局に設置され、放送番組を構成する２Ｄ画像と、領域情報と、背景奥行値とを送信する。領域情報および背景奥行値は、第一および第二の実施形態における領域情報および背景奥行値と同様である。部分立体画像受信装置１５０３は、本実施形態における部分立体画像生成装置あるいは部分立体画像表示装置であり、部分立体画像送信装置１５０１が送信した２Ｄ画像と、領域情報と、背景奥行値とに基づき、部分立体画像を生成し、表示する。
【００６９】
図１６は、部分立体画像受信装置１５０３の構成を示す概略ブロック図である。部分立体画像受信装置１５０３は、受信部１５３１、情報分離部１５３２、デコーダ１５３３、音声情報処理部１５３４、スピーカ１５３５、奥行情報生成部１０４、形状記憶部１０９、画像合成部１１０、表示部１３０１を含んで構成される。奥行情報生成部１０４、形状記憶部１０９、画像合成部１１０、表示部１３０１は、図１３における各部と同様であるので、説明を省略する。
【００７０】
受信部１５３１は、部分立体画像送信装置１５０１から送られてきた入力信号を受信する。その後、情報分離部１５３２において、受信部１５３１が受信した入力信号を、映像音声データとその他メタデータに分離する。映像音声データはデコーダ１５３３に送られ、その他メタデータは奥行情報生成部１０４に送られる。デコーダ１５３３は、映像音声データを復号し、音声データは音声情報処理部１５３４に出力し、映像データ（２Ｄ画像）は画像合成部１１０に出力する。
【００７１】
音声情報処理部１５３４は、音声データを加工して音声信号を生成し、スピーカ１５３５に出力する。スピーカ１５３５は、該音声信号に従い、音声を出力する。
本ブロック図の部分立体画像受信装置１５０３は、部分立体画像を生成し、表示することができれば、必ずしも図に示す構成でなくてもよい。例えば、情報分離部１５３２によって分離されるメタデータには、領域情報と背景奥行値以外のものも存在する可能性があるが、これらに何らかの処理を行う処理部を備えていてもよい。
【００７２】
以上のように、本実施形態によれば、少ないデータ量で、立体感のある映像を放送することが可能となる。従来は、立体映像をテレビジョン放送する際、左眼用の映像と右眼用の映像が必要であった。しかし、本実施形態を用いれば、画像は１つの視点だけでよく、これに少ないデータ量の領域情報と背景奥行値のみを加えて送るだけで、立体感のある映像をテレビジョン放送が実現可能である。
なお、本発明は、少ないデータ量において立体感のある映像を生成表示することが可能な為、ＤＶＤ、ブルーレイディスク等の記憶媒体に映像情報を保存する際にも有用であるし、インターネットなどにおける映像のストリーミングやダウンロード配信にも有用である。
【００７３】
また、図１における部分立体画像生成装置１００、図１３における部分立体画像生成表示装置１３００、図１６における部分立体画像受信装置１５０３の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００７６】
１００…部分立体画像生成装置
１０１…画像入力部１０１
１０２…領域情報入力部
１０３…背景奥行入力部
１０４…奥行情報生成部
１０５…画像領域分割部
１０６…２Ｄ領域処理部
１０７…３Ｄ領域処理部
１０８…部分立体画像生成部
１０９…形状記憶部
１１０…画像合成部
１３００…部分立体画像生成表示装置
１３０１…表示部
１３０２…操作検出部
１３０３…２Ｄ画像生成部
１３０４…領域情報選択部
１３０５…領域情報記憶部
１３０６…背景奥行値記憶部
１５００…テレビジョン放送システム
１５０１…部分立体画像送信装置
１５０２…放送ネットワーク
１５０３…部分立体画像受信装置
１５３１…受信部
１５３２…情報分離部
１５３３…デコーダ
１５３４…音声情報処理部
１５３５…スピーカ
【図１】
2013042414.tif 000003
【図２】
2013042414.tif 000004
【図４】
2013042414.tif 000005
【図８】
2013042414.tif 000006
【図９】
2013042414.tif 000007
【図１０】
2013042414.tif 000008
【図１１】
2013042414.tif 000009
【図１２】
2013042414.tif 000010
【図１３】
2013042414.tif 000011
【図１５】
2013042414.tif 000012
【図１６】
2013042414.tif 000013
【図３】
2013042414.tif 000014
【図５】
2013042414.tif 000015
【図６】
2013042414.tif 000016
【図７】
2013042414.tif 000017
【図１４】
2013042414.tif 000018