(57)【要約】【課題】視差情報を合成して視差値を変換し、それを用いて立体用画像を生成することで、２次元画像として表示させる場合には文字情報などを表示させず、立体視時のみに視差値を変換した領域の奥行き感が変化したような画像を生成することができる画像処理装置を提供する。【解決手段】立体画像生成において基準となる画像と該画像に対応する視差情報とを入力する画像入力部と、視差情報を変換するための変換用情報を入力する変換情報入力部と、視差変換用情報に基づき視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換部と、変換視差情報を参照して、画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成部とを備える。【選択図】図１
2012124713.tif 000002
【特許請求の範囲】
【請求項１】
立体画像生成において基準となる画像と該画像に対応する視差情報とを入力する画像入力部と、
前記視差情報を変換するための変換用情報を入力する変換情報入力部と、
前記視差変換用情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換部と、
前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部と、
前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成部と、
前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換部と、
前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成部と
を備えることを特徴とする画像処理装置。
【請求項３】
前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、
前記画像合成部は、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、
前記視差情報変換部は、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記視差情報変換部は、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
表示すべき画像と該画像に対応する視差情報とを入力する画像入力部と、前記視差情報を変換するための視差変換用情報を入力する視差変換情報入力部とを備える画像処理装置における画像処理方法であって、
前記視差変換情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換ステップと、
前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップと
を有することを特徴とする画像処理方法。
【請求項６】
２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部を備える画像処理装置における画像処理方法であって、
前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成ステップと、
前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換ステップと、
前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップと
を有することを特徴とする画像処理方法。
【請求項７】
前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、
前記画像合成ステップは、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、
前記視差情報変換ステップは、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記視差情報変換ステップは、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする請求項６または７に記載の画像処理方法。
【請求項９】
表示すべき画像と該画像に対応する視差情報とを入力する画像入力部と、前記視差情報を変換するための視差変換用情報を入力する視差変換情報入力部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
前記視差変換情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換ステップと、
前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１０】
２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部を備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、
前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成ステップと、
前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換ステップと、
前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップと
を前記コンピュータに行わせることを特徴とする画像処理プログラム。
【請求項１１】
前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、
前記画像合成ステップは、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、
前記視差情報変換ステップは、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする請求項１０に記載の画像処理プログラム。
【請求項１２】
前記視差情報変換ステップは、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする請求項１０または１１に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視差情報を用いて、立体視用の視差画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、立体的に視覚できる画像に、立体的に視覚できる任意の文字等を書き込む技術が知られている（例えば、特許文献１参照）。これは、メインエリアに表示されている立体視画像に重畳して、テキスト入力エリアが表示され、ユーザがテキスト入力エリアに任意の文字等を入力すると、入力された文字等が所定の遠近感で立体的に視認されるように、立体視画像に文字等が重畳される。そして、「近く」ボタンが押下されると、入力された文字等の遠近感がより近くで立体的に視認されるように、立体視画像に文字等が重畳され、「遠く」ボタンが押下されると、入力された文字等の遠近感がより遠くで立体的に視認されるように、立体視画像等に文字等が重畳されるものである。
【０００３】
また、立体画像データ内に立体画像であることを示す識別情報を持つと共に、立体表示した場合にも観察の妨げにならないようにするために、立体画像であるか判別可能なように立体画像に可視可能な文字情報などを付加する技術も知られている（例えば、特許文献２参照）。これは、文字が立体視時には疲労の原因とならないように融合するような配置とするものである。
【０００４】
また、３Ｄ画像に画像を合成する際、３Ｄ画像の視差を考慮して合成する事で違和感のない合成画像を実現すると共に、ブロック符号化時の画質の劣化を抑える画像処理装置が知られている（例えば、特許文献３参照）。これは、左眼に対応する視点から得られた左眼用画像および右眼からの右眼用画像を入力とし、視差情報と位置情報を元に、左眼用画像および右眼用画像に合成するオブジェクトの透明度を決定して、左眼用画像および右眼用画像とオブジェクトの合成を行うものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０４３３１号公報
【特許文献２】特開２００７−３６５２８号公報
【特許文献３】国際公開第０７／１１６５４９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来の技術では画像に対して文字情報などを直接挿入する構成であったため、画像を２次元で再生する際に、挿入した文字情報が不要な場合であっても挿入した文字情報が表示されてしまうという問題がある。また、従来の技術では、立体視で再生する場合のみに立体的に文字情報等を表示することができないという問題もある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、視差情報を合成して視差値を変換し、それを用いて立体用画像を生成することで、２次元画像として表示させる場合には文字情報などを表示させず、立体視時のみに視差値を変換した領域の奥行き感が変化したような画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、立体画像生成において基準となる画像と該画像に対応する視差情報とを入力する画像入力部と、前記視差情報を変換するための変換用情報を入力する変換情報入力部と、前記視差変換用情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換部と、前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成部とを備えることを特徴とする。
【０００９】
本発明は、２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部と、前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成部と、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換部と、前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成部とを備えることを特徴とする。
【００１０】
本発明は、前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、前記画像合成部は、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、前記視差情報変換部は、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする。
【００１１】
本発明は、前記視差情報変換部は、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする。
【００１２】
本発明は、表示すべき画像と該画像に対応する視差情報とを入力する画像入力部と、前記視差情報を変換するための視差変換用情報を入力する視差変換情報入力部とを備える画像処理装置における画像処理方法であって、前記視差変換情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換ステップと、前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップとを有することを特徴とする。
【００１３】
本発明は、２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部を備える画像処理装置における画像処理方法であって、前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成ステップと、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換ステップと、前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップとを有することを特徴とする。
【００１４】
本発明は、前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、前記画像合成ステップは、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、前記視差情報変換ステップは、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする。
【００１５】
本発明は、前記視差情報変換ステップは、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする。
【００１６】
本発明は、表示すべき画像と該画像に対応する視差情報とを入力する画像入力部と、前記視差情報を変換するための視差変換用情報を入力する視差変換情報入力部とを備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、前記視差変換情報に基づき前記視差情報に対して変換処理を行い、変換視差情報を出力する視差情報変換ステップと、前記変換視差情報を参照して、前記画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【００１７】
本発明は、２つの異なる画像と、該２つの画像それぞれに対応する視差情報とを入力する画像入力部を備える画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムであって、前記２つの画像の一方に対して、所定の条件に基づき他方の画像を合成して、合成画像を出力する画像合成ステップと、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行い、変換視差情報を出力する視差情報変換ステップと、前記変換視差情報を参照して、前記合成画像から左眼用画像と右眼用画像とを生成して出力する立体画像生成ステップとを前記コンピュータに行わせることを特徴とする。
【００１８】
本発明は、前記２つの画像それぞれの合成する割合を示す合成パラメータを入力するパラメータ入力部をさらに備え、前記画像合成ステップは、前記合成パラメータに基づき、前記２つの画像の一方に対して、他方の画像を合成し、前記視差情報変換ステップは、前記合成パラメータに基づき、前記２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行うことを特徴とする。
【００１９】
本発明は、前記視差情報変換ステップは、２つの視差情報の一方に対して、他方の視差情報に基づき変換処理を行う際に、前記２つの視差情報の視差範囲が同じになるように補正を行うことを特徴とする。
【発明の効果】
【００２０】
本発明によれば、入力画像とそれに対応する視差情報を用いて立体画像を生成する際に、視差情報に対して異なる視差情報を合成することにより視差値を変換した合成視差情報を生成し、この合成視差情報を用いて入力画像を基に立体視用の視差画像を生成するようにしたため、視差変換が行なわれた画像上の領域のみを奥行き方向に変化させた立体画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図２に示す装置の動作を示すフローチャートである。
【図５】本発明における立体画像生成の原理を示す説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。始めに、図５を参照して、本発明における立体画像生成の原理について説明する。図５は、本発明における立体画像生成の原理を示す説明図である。図５において、符号１０１は、立体画像生成において基準となる画像データであり、画像を構成する各画素の画素値によって定義されるデータである。符号１０２は、画像データ１０１を基準とした視差情報であり、画像データ１０１の各画素における視差情報を有するものであり、各データが両眼の視差を表す視差値で定義されるデータである。例えば、視差情報１０２は画像データ１０１と画像データ１０１とは異なる視点である画像から得ることができる。この時、視差値が大きければ近くの物体であることを表し、視差値が小さければ遠くの物体であることを表している。
【００２３】
すなわち、視差情報は、画像データの各画素について、物体までの距離を表すデータに相当する。視差情報は必ずしも対応する画像と同じ画素数で構成されることは必須ではなく、例えば視差情報が入力画像の１／４サイズである場合は、視差情報を入力画像サイズに拡大して用いたり、入力画像の４画素を視差情報の１画素に対応付けて用いるようにしてもよい。立体画像生成処理１０３では、画像データ１０１と視差情報１０２を入力し、視差情報１０２に基づき、画像データ１０１に対して画像変換を施して左眼用画像データ２０１と、右眼用画像データ２０２をそれぞれ生成して出力する。この左眼用画像データ２０１と右眼用画像データ２０２を用いることにより立体視画像を得ることができる。この時、左眼用画像データ２０１と、右眼用画像データ２０２は視差のある画像であればよく、両画像共に画像データ１０１を変換したものでも構わないし、片側の画像だけを画像データ１０１を変換したものを、もう一方を画像１０１そのままとするのでもよい。
【００２４】
本発明は、視差情報１０２に対して、変換用視差情報１０７を合成処理１０８によって合成することにより、視差情報１０２から変換視差情報１０９を生成する。そして、立体画像生成処理１０３では、画像データ１０１と変換視差情報１０９を入力し、変換視差情報１０９に基づき、画像データ１０１に対して画像変換を施して左眼用画像データ１０４と、右眼用画像データ１０５をそれぞれ生成して出力する。この左眼用画像データ１０４と右眼用画像データ１０５を用いることにより立体視画像１０６を得る。この立体視画像１０６を見ると、変換用視差情報１０７で定義された形状（文字やロゴマーク等であり、図５においては、「Ｓａｍｐｌｅ」という文字の形状）の部分のみの奥行き情報が変化しているため、変換用視差情報１０７で定義された形状部分のみが飛び出したり、引っ込んだりして見えることになり、３Ｄ視認時にのみ付加した情報を表示したり、見て面白い画像を得ることが可能となる。図５の例では、変換用視差マップ１０７において「Ｓａｍｐｌｅ」という文字の部分のみが引っ込むように視差情報を定義しておけば、立体視画像１０６を見た際に、「Ｓａｍｐｌｅ」という文字の部分のみが引っ込んで見えることになる。
【００２５】
＜第１の実施形態＞
次に、図１を参照して、本発明の第１の実施形態による画像処理装置の構成を説明する。図１は同実施形態による画像処理装置の構成を示すブロック図である。この図において、符号１は、表示すべき画像の元になる画像データと、この画像データに対応する視差情報を入力する画像入力部である。画像入力部１から入力する画像データと視差情報の例として、立体画像撮像装置１１から出力される画像データと視差情報、立体画像を再生可能な再生装置１２内に記憶されている画像データと視差情報、通信・ネットワーク１３を介して取得した画像データと視差情報等を用いることができる。符号２は、視差情報に新たな情報を加えるための元となる情報を入力する変換情報入力部である。変換情報入力部２から入力する情報の例として、キーボード２１から入力した文字情報、撮像装置２２により撮像したロゴマークなど形状に関する情報、通信・ネットワーク２３を介して入力した情報、視差情報取得装置２４を介して入力した情報等を用いることができる。
【００２６】
符号３は、例えばコンピュータ装置から構成する画像処理部であり、視差情報変換部３１と立体画像生成部３から構成される。符号３１は、画像入力部１により入力された視差情報と、変換情報入力部２により入力された変換情報（文字情報、形状情報、視差情報）と、ユーザが入力した調整パラメータ及び挿入位置情報とから入力画像に対応した視差情報を変換して、変換視差情報を出力する視差値変換部である。調整パラメータは入力した変換情報がどの程度飛び出すかまたは引っ込むかなど立体視における奥行き方向の位置を決めるパラメータである。また、挿入位置情報は入力された画像のどの領域に変換情報を挿入するかを決めるための情報である。符号３２は、入力画像と変換視差情報によって視点位置の異なる画像を生成して、左眼用画像（出力画像Ｌ）と右眼用画像（出力画像Ｒ）をそれぞれ出力する立体画像生成部である。符号４は、出力画像Ｌと出力画像Ｒを入力して立体画像を出力する画像出力装置である。画像出力装置４は、例えば、２つの出力画像Ｌ、Ｒを入力して立体画像を再生する立体画像表示装置４１、２つの出力画像Ｌ、Ｒを入力して記録媒体に記録する記録装置４２、入力した２つの出力画像Ｌ、Ｒを他の機器へ送信する通信・ネットワーク４３である。図１に示す画像入力部１と、変換情報入力部２と、画像処理部３とにより第１の実施形態による画像処理装置１０を構成する。
【００２７】
次に、図２を参照して、図１に示す画像処理部３の動作を説明する。図２は、図１に示す画像処理部３の動作を示すフローチャートである。まず、立体画像生成部３２は、画像入力部１から入力画像を取得する（ステップＳ１）。この入力画像は、表示すべき画像の元になる画像である。一方、視差値変換部３１は、画像入力部から入力画像に対応する視差情報を取得する（ステップＳ２）。また、視差値変換部３１は、変換情報入力部２から文字の形状情報やロゴマーク等の形状情報（視差変換情報）を取得する（ステップＳ３）。さらに、視差値変換部３１は、文字やロゴマーク等を挿入する挿入位置情報をキーボード等の入力装置から入力し、この挿入位置情報と、挿入する文字やロゴマーク等の形状情報とに基づき、２次元画像上の挿入領域を決定する（ステップＳ４）。挿入領域とは、入力画像上の視差情報を変化させる領域のことであり、その領域内に位置する画素の集合である。
【００２８】
次に、視差値変換部３１は、決定した挿入領域内の画素の視差値を取得する（ステップＳ５）。続いて、視差値変換部３１は、調整パラメータをキーボード等の入力装置から入力し、この調整パラメータに基づき、視差値の変位量を設定する（ステップＳ６）。調整パラメータは、視差値を現在の値より大きくする（距離を近くする）か、視差値を現在の値より小さくする（距離を遠くする）かを表すパラメータであり、正負の値を持つ。例えば、文字の領域を飛び出させる場合の調整パラメータはΔｄ（Δｄは任意の値）となり、文字の領域を引っ込ませる場合の調整パラメータは、−Δｄ（Δｄは任意の値）となる。したがって、変位量は、Δｄまたは−Δｄとなる。挿入領域において視差値のばらつきがある場合には、例えば全体の平均値を挿入領域の視差値の基準とするなど行う。ここでは、挿入領域の視差値に対しての変位量としたが、視差の絶対値での入力としても問題ない。この場合は、挿入領域の視差値に関係なく、対応する領域をディスプレイ面に対してどの程度の飛び出し(引っ込み)とするかを直接指定することができる。
【００２９】
次に、視差値変換部３１は、取得した挿入領域内の画素の視差値に対して、設定した変位量を加算することにより、対象の領域の視差値変換処理（視差情報変換処理）を行う（ステップＳ７）。そして、視差値変換部３１は、変換後の視差情報を立体画像生成部３２へ出力する。これを受けて、立体画像生成部３２は、入力画像と、変換視差情報とに基づき、立体画像の生成処理を行う（ステップＳ８）。このとき、立体画像生成部３２は、変換視差情報を参照して、入力画像からそれぞれ出力画像Ｌ（左眼用画像）と出力画像Ｒ（右眼用画像）を生成する。立体視用の左眼用画像と右眼用を生成する場合に、左眼用画像を入力された基準画像とし、右眼用画像を左眼用画像の視点位置から水平方向に視点位置を変えた画像となるようにする。視点位置を変えた画像生成には左眼用画像と変換視差情報を基に各画素ごとに射影変換処理を行い、水平方向に移動した場合の各画素の値を算出する。このようにして各画素値を算出した画像を右眼用画像とする。
【００３０】
上記例では右眼用画像のみ基準画像の視点位置を変更した画像としたが、左眼用画像、右眼用画像共に基準画像の視点位置を変更した画像としてもよい。その場合、基準画像に対してそれぞれ逆方向に視点値を変更した画像とすることが望ましい。そして、立体画像生成部３２は、出力画像Ｌと出力画像Ｒとを画像出力装置４に対して出力する（ステップＳ９）。これにより、視差値が変換された領域（文字やロゴマークの領域）は周辺に比べて  視差が大きくなったり、小さくなったりするため、画像を立体視するとその領域の奥行きが変化するため、挿入された文字やロゴマーク等が飛び出したり、引っ込んだりした状態の画像を再生することが可能となる。
【００３１】
＜第２の実施形態＞
次に、図３を参照して、本発明の第２の実施形態による画像処理装置の構成を説明する。図３は同実施形態による画像処理装置の構成を示すブロック図である。この図において、符号５は、表示すべき画像の元になる画像データと、この画像データに対応する視差情報を入力する画像入力部である。画像入力部５から入力する画像データ（入力画像Ａ）と視差情報Ａの例として、立体画像撮像装置５１から出力される画像データと視差情報、立体画像を再生可能な再生装置５２内に記憶されている画像データと視差情報、通信・ネットワーク５３を介して取得した画像データと視差情報等を用いることができる。符号６は、視差情報に新たな情報を加えるための元となる情報を入力する変換情報入力部である。変換情報入力部６から入力する情報は、画像入力部５が入力した入力画像Ａと視差情報Ａとは異なる入力画像Ｂとこの入力画像に対応する視差情報Ｂである。
【００３２】
符号７は、コンピュータ装置から構成する画像処理部である。符号７１は、画像入力部５により入力された視差情報Ａと、変換情報入力部６により入力された視差情報Ｂとから変換視差情報を出力する視差値変換部である。符号７２は、画像入力部５により入力した入力画像Ａと、変換情報入力部６により入力した入力画像Ｂとを入力された合成パラメータに基づき合成して、合成画像を出力する画像合成部である。符号７３は、視差値変換部７１から出力される変換視差情報と、画像合成部７２から出力される合成画像とから視点位置の異なる画像を生成して、左眼用画像（出力画像Ｌ）と右眼用画像（出力画像Ｒ）をそれぞれ出力する立体画像生成部である。符号８は、出力画像Ｌと出力画像Ｒを入力して立体画像を出力する画像出力装置である。画像出力装置８は、例えば、２つの出力画像Ｌ、Ｒを入力して立体画像を再生する立体画像表示装置８１、２つの出力画像Ｌ、Ｒを入力して記録媒体に記録する記録装置８２、入力した２つの出力画像Ｌ、Ｒを他の機器へ送信する通信・ネットワーク８３である。符号９は、ユーザがキーボード等から合成パラメータを入力する合成パラメータ入力部である。図３に示す画像入力部５と、変換情報入力部６と、画像処理部７と、合成パラメータ入力部９により第２の実施形態による画像処理装置１０を構成する。
【００３３】
次に、図４を参照して、図３に示す画像処理部７の動作を説明する。図４は、図３に示す画像処理部７の動作を示すフローチャートである。まず、画像合成部７２は、画像入力部５により入力した入力画像Ａと、変換情報入力部６により入力した入力画像Ｂとを取得する（ステップＳ２１）。そして、画像合成部７２は、ユーザが合成パラメータ入力部９から入力した合成パラメータ（どのように合成を行うかを決めるパラメータ）に基づきα値を設定する（ステップＳ２２）。α値は、２つの画像を合成する際に、いずれの画像をどれだけの割合で合成するかを示すパラメータである。例えば、α＝０．５であれば入力画像Ａと入力画像Ｂの中間の画像が生成されることになる。すなわち、画素値ｇは、ｇ＝αｆ１＋（１−α）ｆ２によって得られる。ここで、ｆ１，ｆ２は２つ画像の要素である。α値は、ユーザが入力した合成パラメータに応じて変化する値である。画像合成部７２は、設定されたα値を視差値変換部７１へ出力する。続いて、画像合成部７２は、設定したα値に基づき、入力画像Ａと入力画像Ｂとを合成し、得られた合成画像を立体画像生成部７３に対して出力する（ステップＳ２３）。
【００３４】
一方、視差値変換部７１は、画像入力部５により入力した視差情報Ａと変換情報入力部６により入力した視差情報Ｂをそれぞれ入力する（ステップＳ２４、Ｓ２５）。続いて、視差値変換部７１は、２つの視差情報Ａ、Ｂの視差範囲がほぼ同じ範囲に入るように調整するために、視差範囲の判定を行い（ステップＳ２６）、ほぼ同じ範囲に入っていなければ視差情報Ｂのレベル補正を行うことにより、２つの視差情報の範囲をほぼ同じレベルに調整する（ステップＳ２７）。視差情報Ｂのレベル補正は例えば、視差情報Ａの視差値の最大最少を基準に視差情報Ｂの視差値の最大最少を合わせるように視差情報Ｂの視差値を相対的に変換するのでもよいし、視差情報Ａの視差の平均値や中央値に対して視差情報Ｂの平均値や中央値が同じ値となるようにオフセットさせるものでもよい。これにより、２つの入力画像Ａ、Ｂの立体的な位置を合わせることができ、画像変化に伴って奥行きも変化する際に奥行き方向の急激な変化がなく、立体視時に視聴し易くなる。
【００３５】
次に、視差値変換部７１は、視差情報Ａと、視差情報Ｂを画像合成部７２から出力されたα値に応じた割合で視差値を変換することにより視差値変換処理（視差情報変換処理）を行う（ステップＳ２８）。この視差値の変換処理により、入力画像Ａ内の物体が入力画像Ｂ内の物体の距離に応じた変形（飛び出したり、引っこんだり）がなされることになる。そして、視差値変換部３１は、変換後の視差情報を立体画像生成部３２へ出力する。これを受けて、立体画像生成部３２は、合成画像と、変換視差情報とに基づき、立体画像の生成処理を行う（ステップＳ２９）。このとき、立体画像生成部３２は、変換視差情報を参照して、合成画像からそれぞれ出力画像Ｌ（左眼用画像）と出力画像Ｒ（右眼用画像）を生成する。そして、立体画像生成部３２は、出力画像Ｌと出力画像Ｒとを画像出力装置４に対して出力する（ステップＳ３０）。これにより、入力画像の合成値（α値）に合わせて視差値の変換を行なわれ、入力画像Ａから入力画像Ｂへ少しずつ変化するのに合わせて奥行きも同じ割合で変化させることが可能となり３次元のαブレンディング（透明もしくは、半透明の処理をすること）を実現することが可能となる。
【００３６】
本実施例では説明を簡単にするため、２つの入力画像Ａ、Ｂと対応する視差情報Ａ、Ｂの領域全体での立体合成画像を生成した場合での例を示したが、それぞれの一部の領域に対する処理としてもよい。その場合、画像Ａで指定された領域Ａ’に対してのみ画像Ｂで指定された領域Ｂ’を合成処理し、画像Ａの一部の領域Ａ’が画像Ｂの一部によって合成処理された合成画像が生成される。視差値変換も同様に対象領域のみ処理を行う。領域Ａ’と 領域Ｂ’の大きさが異なる場合には領域Ｂ’のサイズを領域Ａ’に合わせるように変換処理を行う。このようにすることで例えば、画像Ａのなかに配置されている人物被写体の顔のみを画像Ｂ中の人物被写体の顔と合成させた立体画像を作成することができる。
【００３７】
以上説明したように、視差情報を合成して視差値を変換し、それを用いて立体用画像を生成することで、立体視時に視差値を変換した領域の奥行き感が変化したように表示することが可能になる。例えば文字やロゴマークなどの視差情報と合成することでその形状と視差値に応じた形・奥行きに立体的に変形させることができ、立体視時にのみ見える情報の挿入が可能となる。また、立体視時のみ付加情報を認識できる一方、画像には情報を付加させないため、２Ｄ時には通常の画像として認識することができ、２Ｄ視聴の邪魔にならないようにすることができる。また、立体視するまでどのように見えるかユーザには分からないため３Ｄのアプリケーションとしての活用も可能である。
【００３８】
従来の技術では画像に対して文字情報などを直接挿入するものであったが、本発明では視差情報を合成することにより視差値の変化した領域の奥行きが変わるだけであるので、テクスチャは画像そのものとすることができる。すなわち、ある平面上の画像があるとして、その領域の視差値の変化がある場合は、立体視した際にその部分が合成視差情報に応じて飛び出したり、引っ込んだりして見えるようになる。
【００３９】
また、文字やロゴマークだけではなく、様々な視差情報との合成により、立体視時に奥行き方向に変形させた画像を容易に作り出すことが可能である。例えば、ある顔の画像と対応する視差情報に他の人物の視差情報を合成した合成視差情報を用いて立体画像を生成する。合成視差情報の合成パラメータを変えることで２つの立体形状に基づく奥行きで顔を３次元的に変化させてみせるなどのアプリケーションなどにも使用可能である。また、２つの画像と対応する２つの視差情報を用い、視差情報の合成パラメータに合わせて画像も合成し、それによって立体画像を生成することで、２つの中間形状の立体画像や次第に片側の形状に変化していくような演出も可能である。
【００４０】
なお、図１、３に示す画像処理部３、７の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより立体画像を生成するための画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４２】
画像データとこの画像データに対応する視差情報とから立体視画像を生成することが不可欠な用途に適用できる。
【符号の説明】
【００４３】
１、５・・・画像入力部、２、６・・・変換情報入力部、３、７・・・画像処理部、３１、７１・・・視差値変換部、３２・・・立体画像生成部、７２・・・画像合成部、４、８・・・画像出力装置、９・・・合成パラメータ入力部
【図１】
2012124713.tif 000003
【図２】
2012124713.tif 000004
【図３】
2012124713.tif 000005
【図４】
2012124713.tif 000006
【図５】
2012124713.tif 000007