(57)【要約】２次元画像に対して画像処理により被写体を抽出する場合であっても、自然な立体感が適切に表現された３次元画像を生成することができる３次元画像生成装置、３次元画像生成方法、及びプログラムを提供する。３次元画像生成装置（１１）は、２次元画像が入力される画像入力部（１３）と、２次元画像を画像処理することにより、２次元画像の被写体を抽出する被写体抽出部（１５）と、被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定する被写体決定部（１７）と、２次元画像における非主要被写体を消去し、主要被写体を前景とし、主要被写体以外を背景として、前景と背景とを相対的にシフトして２以上の視差画像を生成する視差画像生成部（２１）と、を備える。
2020059575.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像が入力される画像入力部と、
前記２次元画像を画像処理することにより、前記２次元画像の被写体を抽出する被写体抽出部と、
前記被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定する被写体決定部と、
前記２次元画像における前記非主要被写体を消去し、前記主要被写体を前景とし、前記主要被写体以外を背景として、前記前景と前記背景とを相対的にシフトして２以上の視差画像を生成する視差画像生成部と、
を備える３次元画像生成装置。
【請求項２】
前記２次元画像における前記主要被写体以外の領域を画像処理により補完して、前記背景を生成する背景生成部を備え、
前記視差画像生成部は、前記背景生成部で生成された前記背景に基づいて、前記視差画像を生成する請求項１に記載の３次元画像生成装置。
【請求項３】
前記被写体関係情報は、前記２次元画像の中心からの位置情報、奥行き情報、前記被写体のサイズ情報、及び被写体抽出部での前記被写体の抽出の信頼度のうち少なくとも一つを含む請求項１又は２に記載の３次元画像生成装置。
【請求項４】
前記被写体決定部は、前記被写体関係情報に基づいて、他の領域を前記主要被写体に加える請求項１から３のいずれか１項に記載の３次元画像生成装置。
【請求項５】
前記被写体の奥行き情報を前記２次元画像から推定する奥行き推定部を備え、
前記被写体決定部は、前記奥行き推定部で推定された前記奥行き情報に基づいて、前記主要被写体を決定する請求項１から４のいずれか１項に記載の３次元画像生成装置。
【請求項６】
前記視差画像生成部は、３枚以上の前記視差画像を生成する請求項１から５のいずれか１項に記載の３次元画像生成装置。
【請求項７】
前記視差画像を表示する表示部を備える請求項１から６のいずれか１項に記載の３次元画像生成装置。
【請求項８】
前記視差画像のシフト量の調整を受け付けるシフト量調整受付部を備え、
前記視差画像生成部は、前記シフト量調整受付部で受け付けたシフト量に基づいて、前記視差画像のシフトを調整する請求項１から７のいずれか１項に記載の３次元画像生成装置。
【請求項９】
前記背景を他の画像に差し替える背景変更部を備え、
前記視差画像生成部は、前記主要被写体を前景とし、前記他の画像を背景として、前記２以上の視差画像を生成する請求項１から８のいずれか１項に記載の３次元画像生成装置。
【請求項１０】
前記前景を他の画像に差し替える前景変更部を備え、
前記視差画像生成部は、前記他の画像を前景とし、前記前景と前記背景とにより前記視差画像を生成する請求項１から８のいずれか１項に記載の３次元画像生成装置。
【請求項１１】
前記視差画像に基づいて、レンチキュラー印刷用データを生成するレンチキュラー印刷用データ生成部を備える請求項１から１０のいずれか１項に記載の３次元画像生成装置。
【請求項１２】
２次元画像が入力されるステップと、
前記２次元画像を画像処理することにより、前記２次元画像の被写体を抽出するステップと、
前記被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定するステップと、
前記２次元画像における前記非主要被写体を消去し、前記主要被写体を前景とし、前記主要被写体以外を背景として、前記前景と前記背景とを相対的にシフトして２以上の視差画像を生成するステップと、
を含む３次元画像生成方法。
【請求項１３】
２次元画像が入力されるステップと、
前記２次元画像を画像処理することにより、前記２次元画像の被写体を抽出するステップと、
前記被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定するステップと、
前記２次元画像における前記非主要被写体を消去し、前記主要被写体を前景とし、前記主要被写体以外を背景として、前記前景と前記背景とを相対的にシフトして２以上の視差画像を生成するステップと、
を含む３次元画像生成工程をコンピュータに実行させるプログラム。
【請求項１４】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
２次元画像が入力されるステップと、
前記２次元画像を画像処理することにより、前記２次元画像の被写体を抽出するステップと、
前記被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定するステップと、
前記２次元画像における前記非主要被写体を消去し、前記主要被写体を前景とし、前記主要被写体以外を背景として、前記前景と前記背景とを相対的にシフトして２以上の視差画像を生成するステップと、
を含む３次元画像生成工程をコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像生成装置、３次元画像生成方法、及びプログラムに関し、特に２次元画像から視差画像を生成する３次元画像生成装置、３次元画像生成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、入力された２次元画像の被写体（オブジェクト）及び背景に対して奥行き情報を付加して３次元画像データを生成する技術が提案されている。【０００３】
例えば特許文献１には、入力された被写体画像（２次元画像）から被写体領域を抽出し、その被写体領域から被写体の奥行き分布を表す視差マップを抽出し、視差マップ及び被写体画像から多視点画像（視差画像）を生成する技術が記載されている。【０００４】
また、特許文献２には、入力された２次元画像から撮影したレンズの位置より等距離にある輪郭を画像処理で抽出し、その輪郭に対応する複数の部分画像を生成し、その部分画像を対応位置のレイヤに配置した右目画像及び左目画像を生成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−４７０２７号公報
【特許文献２】特開２００８−１５３８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１に記載された技術では、ユーザが立体画像として手前に飛び出させたい被写体領域を自分で指定する。一方、特許文献２に記載された技術では、輪郭検出（被写体検出）が自動で行われる。特許文献２に記載された技術のように、自動で行われる被写体検出は、必ずしも３次元画像に適した被写体検出が行われるとは限らない。具体的には、検出された被写体を前景とし、検出された被写体以外を背景とする場合には、前景とされた被写体の数が多すぎたり、前景とされた被写体の奥行き関係が複雑又は細かすぎたりする場合には、上手く立体感が表現されない場合がある。従って、自動で被写体検出を行い、検出された被写体を前景として３次元画像を生成する場合には、立体感が上手く表現されるような被写体を選択してやることが必要となる。【０００７】
上述した特許文献１及び２には、立体感を上手く表現する観点により被写体を選択することについては言及されていない。【０００８】
本発明はこのような事情に鑑みてなされたもので、その目的は、２次元画像に対して画像処理により被写体を抽出する場合であっても、自然な立体感が適切に表現された３次元画像を生成することができる３次元画像生成装置、３次元画像生成方法、及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明の一の態様である３次元画像生成装置は、２次元画像が入力される画像入力部と、２次元画像を画像処理することにより、２次元画像の被写体を抽出する被写体抽出部と、被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定する被写体決定部と、２次元画像における非主要被写体を消去し、主要被写体を前景とし、主要被写体以外を背景として、前景と背景とを相対的にシフトして２以上の視差画像を生成する視差画像生成部と、を備える。【００１０】
本態様によれば、２次元画像を画像処理することにより抽出された被写体に関して、被写体関係情報に基づいて主要被写体及び非主要被写体を決定し、主要被写体を前景として主要被写体以外を背景として視差画像が生成される。これにより、本態様は、自然な立体感が適切に表現された３次元画像が生成される。【００１１】
好ましくは、２次元画像における主要被写体以外の領域を画像処理により補完して、背景を生成する背景生成部を備え、視差画像生成部は、背景生成部で生成された背景に基づいて、視差画像を生成する。【００１２】
好ましくは、被写体関係情報は、２次元画像の中心からの位置情報、奥行き情報、被写体のサイズ情報、及び被写体抽出部での被写体の抽出の信頼度のうち少なくとも一つを含む。【００１３】
好ましくは、被写体決定部は、被写体関係情報に基づいて、他の領域を主要被写体に加える。【００１４】
好ましくは、３次元画像生成装置は、被写体の奥行き情報を２次元画像から推定する奥行き推定部を備え、被写体決定部は、奥行き推定部で推定された奥行き情報に基づいて、主要被写体を決定する。【００１５】
好ましくは、視差画像生成部は、３枚以上の視差画像を生成する。【００１６】
好ましくは、３次元画像生成装置は、視差画像を表示する表示部を備える。【００１７】
好ましくは、３次元画像生成装置は、視差画像のシフト量の調整を受け付けるシフト量調整受付部を備え、視差画像生成部は、シフト量調整受付部で受け付けたシフト量に基づいて、視差画像のシフトを調整する。【００１８】
好ましくは、３次元画像生成装置は、背景を他の画像に差し替える背景変更部を備え、視差画像生成部は、主要被写体を前景とし、他の画像を背景として、２以上の視差画像を生成する。【００１９】
好ましくは、３次元画像生成装置は、前景を他の画像に差し替える前景変更部を備え、視差画像生成部は、他の画像を前景とし、前景と背景とにより視差画像を生成する。【００２０】
好ましくは、３次元画像生成装置は、視差画像に基づいて、レンチキュラー印刷用データを生成するレンチキュラー印刷用データ生成部を備える。【００２１】
本発明の他の態様である３次元画像生成方法は、２次元画像が入力されるステップと、２次元画像を画像処理することにより、２次元画像の被写体を抽出するステップと、被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定するステップと、２次元画像における非主要被写体を消去し、主要被写体を前景とし、主要被写体以外を背景として、前景と背景とを相対的にシフトして２以上の視差画像を生成するステップと、を含む。【００２２】
本発明の他の態様であるプログラムは、２次元画像が入力されるステップと、２次元画像を画像処理することにより、２次元画像の被写体を抽出するステップと、被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定するステップと、２次元画像における非主要被写体を消去し、主要被写体を前景とし、主要被写体以外を背景として、前景と背景とを相対的にシフトして２以上の視差画像を生成するステップと、を含む３次元画像生成工程をコンピュータに実行させる。
【発明の効果】
【００２３】
本発明によれば、２次元画像を画像処理することにより得られた被写体に関して、被写体関係情報に基づいて主要被写体及び非主要被写体を決定し、主要被写体を前景として主要被写体以外を背景として視差画像を生成するので、自然な立体感が適切に表現された３次元画像が生成される。
【図面の簡単な説明】
【００２４】
【図１】図１は、コンピュータの外観を示す図である。
【図２】図２は、３次元画像生成装置の機能構成例を示すブロック図である。
【図３】図３は、２次元画像の例を示す図である。
【図４】図４は、２次元画像から抽出した被写体を示す図である。
【図５】図５は、第１の奥行き情報取得部で取得された第１の奥行き情報の一例を示す図である。
【図６】図６は、３次元画像のレイヤ構成を示す図である。
【図７】図７は、決定された主要被写体を示す図である。
【図８】図８は、被写体が抽出された後の背景を示す図である。
【図９】図９は、奥行き情報に基づいて前景と背景とを配置した概念図を示す。
【図１０】図１０は、視差画像生成部が生成する視差画像の一例を示す図である。
【図１１】図１１は、３次元画像生成方法を示すフローチャートである。
【図１２】図１２は、他のオブジェクトが主要被写体と決定される場合を概念的に示す図である。
【図１３】図１３は、３次元画像生成装置の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、添付図面に従って本発明にかかる３次元画像生成装置、３次元画像生成方法、及びプログラムの好ましい実施の形態について説明する。
【００２６】
図１は、本発明の３次元画像生成装置を備えるコンピュータの外観を示す図である。
【００２７】
コンピュータ３は、本発明の一態様である３次元画像生成装置１１（図２）を搭載している。コンピュータ３には、２次元画像１００が入力され、モニタ（表示部）９で構成される表示部とキーボード５及びマウス７で構成される入力部が接続されている。なお、図示されたコンピュータ３の形態は一例であり、コンピュータ３と同様の機能を有する装置は本発明の３次元画像生成装置１１を備えることができる。例えば、タブレット端末に３次元画像生成装置１１を搭載することも可能である。
【００２８】
コンピュータ３は、３次元画像生成装置１１（図２）で生成された視差画像を表示する。そして、ユーザはモニタ９に表示された視差画像を確認して、修正の指令をキーボード５及びマウス７により入力する。例えばユーザは、モニタ９に表示された視差画像を確認して、シフト量の調整をキーボード５及びマウス７を介して入力する。
【００２９】
図２は、３次元画像生成装置１１の機能構成例を示すブロック図である。図２に示す３次元画像生成装置１１の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【００３０】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【００３１】
３次元画像生成装置１１は、画像入力部１３、被写体抽出部１５、被写体決定部１７、背景生成部１９、奥行き推定部３１、視差画像生成部２１、シフト量調整受付部２３、レンチキュラー印刷用データ生成部２９、表示制御部２５、及び記憶部２７を備える。記憶部２７には、プログラム及び３次元画像生成装置１１の各種制御に係る情報等が記憶される。また、表示制御部２５は、モニタ９による表示を制御する。モニタ９は視差画像を表示する。
【００３２】
画像入力部１３は２次元画像が入力される。２次元画像は、被写体であるオブジェクト及び背景を有する。２次元画像から３次元画像が生成された場合には、オブジェクトと背景とは異なるレイヤに配置されることになる。ここで、３次元画像とは、立体感を見ている人に与えるように生成された画像である。３次元画像とは、例えば左目画像及び右目画像で構成される視差画像や、レンチキュラー印刷用データからなる画像が挙げられる。
【００３３】
図３は、画像入力部１３に入力される２次元画像の例を示す図である。２次元画像１００は、オブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５を有し、また背景１０７を有する。
【００３４】
被写体抽出部１５（図２）は、２次元画像１００を画像処理することにより、２次元画像１００の被写体を抽出する。被写体抽出部１５が行う２次元画像１００から被写体を抽出する画像処理の技術は、公知技術が使用される。また、被写体抽出部１５は、画像処理の技術の一例として機械学習済みの検出器を使用して、２次元画像１００より被写体を抽出することができる。なお、被写体抽出部１５は、被写体であることの信頼度を算出し、抽出した各被写体に対して、信頼度を付与してもよい。
【００３５】
図４は、被写体抽出部１５が２次元画像１００から抽出した被写体を示す図である。
【００３６】
被写体抽出部１５は、２次元画像１００を画像処理することにより、被写体としてオブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５を抽出する。被写体抽出部１５は、２次元画像１００が有するオブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５を検出し、各オブジェクトの輪郭を検出し各オブジェクトを被写体として抽出する。
【００３７】
奥行き推定部３１（図２）は、被写体の奥行き情報を２次元画像１００から推定する。そして、視差画像生成部２１は、推定された奥行き情報に基づいて視差画像を生成する。奥行き推定部３１は、第１の奥行き情報取得部３３及び第２の奥行き情報取得部３５を備える。第１の奥行き情報取得部３３は、２次元画像１００の所定領域ごとの奥行き情報で構成される第１の奥行き情報を取得する。第１の奥行き情報取得部３３は、２次元画像１００を画像処理することにより第１の奥行き情報を取得する。なお、第１の奥行き情報は詳細な奥行き情報であり、この詳細な奥行き情報に基づいて代表値（第２の奥行き情報）が算出される。所定領域の大きさによって、第１の奥行き情報の詳細の程度が変わる。例えば、微小領域毎（１×１画素毎）の第１の奥行き情報は、非常に詳細な情報となる。また５×５画素毎の第１の奥行き情報でも、十分詳細な情報であり、代表値を算出することができる。
【００３８】
例えば第１の奥行き情報取得部３３は、公知の２次元画像１００からの奥行き推定アルゴリズムを使用して第１の奥行き情報を取得する。また、第１の奥行き情報取得部３３は、機械学習により、第１の奥行き情報を算出してもよい。
【００３９】
また第１の奥行き情報取得部３３は、２次元画像１００とは別に入力された第１の奥行き情報を取得してもよい。例えば第１の奥行き情報取得部３３は、２次元画像１００を撮影する際に、撮像装置に備えられた計測器により取得された第１の奥行き情報を取得してもよい。すなわち、第１の奥行き情報取得部３３は、２次元画像１００とは別に入力される、計測器で計測された２次元画像１００のオブジェクト（１０１、１０３、及び１０５）及び背景１０７の奥行き情報を取得する。ここで計測器としては、ステレオカメラ、デプスセンサ、又はＴｏＦ（Time Of Flight）カメラがあげられる。
【００４０】
図５は、第１の奥行き情報取得部３３で取得された第１の奥行き情報の一例を示す図であり、距離画像４００が示されている。
【００４１】
距離画像４００は画素毎に距離情報を有している。具体的には、オブジェクト１０１、オブジェクト１０３、オブジェクト１０５、及び背景１０７における画素毎の距離情報を有している。画素毎に距離情報を有しているので、例えばオブジェクト１０１において凹凸がある場合には、その凹凸に由来する距離情報の違いも、距離画像４００では反映されている。
【００４２】
第２の奥行き情報取得部３５は、オブジェクト１０１、オブジェクト１０３、オブジェクト１０５、及び背景１０７の領域に対応した第１の奥行き情報に基づいて、各領域の奥行きに関する代表値（第２の奥行き情報）を算出する。具体的に第２の奥行き情報取得部３５は、オブジェクト１０１、オブジェクト１０３、オブジェクト１０５、及び背景１０７に対応する第１の奥行き情報の平均値、中央値、又は最頻値に基づいて、奥行き情報の代表値を取得する。第２の奥行き情報取得部３５が代表値を取得することにより、例えばオブジェクト１０１の領域において第１の奥行き情報の値が複数個存在する場合であっても、オブジェクト１０１を配置する一つのレイヤを決定することができる。そして奥行き推定部３１は、第２の奥行き情報に基づいて第１のレイヤ及び第２のレイヤの奥行き位置を決定する。
【００４３】
図６は、２次元画像１００から生成される３次元画像のレイヤ構成を示す図である。なお、以下の説明では、第１のレイヤをオブジェクトレイヤと記載し、第２のレイヤを背景レイヤと記載する。また、オブジェクトレイヤは単数又は複数の場合がある。
【００４４】
奥行き推定部３１は、第２の奥行き情報取得部３５で取得された代表値に基づいて、各レイヤにオブジェクト及び背景１０７を配置するデータを生成する。オブジェクト１０１は第１のオブジェクトレイヤ１２１に配置されている。オブジェクト１０３及びオブジェクト１０５は、第２のオブジェクトレイヤ１２３に配置されている。また背景１０７は背景レイヤ１２５に配置されている。
【００４５】
オブジェクト１０１は代表値ａ１を有し、オブジェクト１０３は代表値ａ２を有し、オブジェクト１０５は代表値ａ２を有する。また背景１０７は代表値ａ３を有する。奥行き推定部３１は、この代表値に応じて各レイヤにオブジェクト及び背景１０７を配置する。このように、第１の奥行き情報に基づいて算出される代表値に応じて各レイヤにオブジェクト及び背景１０７が配置されることにより、より自然な奥行き関係を構築することができる。
【００４６】
被写体決定部１７（図２）は、抽出された被写体のうちで主要被写体及び非主要被写体を被写体関係情報に基づいて決定する。ここで、被写体関係情報とは、複数の被写体うち主要被写体と非主要被写体とを決定するための情報であり、３次元画像において自然な立体感が適切に表現されように主要被写体を決定する情報である。例えば、被写体関係情報は、２次元画像１００の中心からの位置情報、奥行き情報、被写体のサイズ情報、及び被写体抽出部１５での被写体の抽出の信頼度のうち少なくとも一つを含む。
【００４７】
被写体決定部１７は、被写体関係情報として２次元画像１００の中心からの位置情報を採用した場合には、２次元画像１００の中心に最も近い被写体を主要被写体として決定する。また、被写体決定部１７は、被写体関係情報として２次元画像１００の中心からの位置情報を採用した場合には、２次元画像１００の中心から所定範囲以内にある被写体を主要被写体として決定してもよい。
【００４８】
また、被写体決定部１７は、被写体関係情報として奥行き情報を採用した場合には、最も手前にある被写体を主要被写体として決定する。また、被写体決定部１７は、被写体関係情報として奥行き情報を採用した場合には、所定範囲の奥行き方向の距離以内にある被写体を主要被写体として決定してもよい。
【００４９】
また、被写体決定部１７は、被写体関係情報として被写体のサイズ情報を採用した場合には、サイズが最大の被写体を主要被写体として決定する。また、被写体決定部１７は、被写体関係情報として被写体のサイズ情報を採用した場合には、所定の閾値以上のサイズを有する被写体を主要被写体として決定してもよい。なお、被写体決定部１７は、奥行き推定部３１で推定された奥行き情報に基づいて被写体のサイズの正規化を行った後のサイズ情報に基づいて、主要被写体を決定してもよい。
【００５０】
また、被写体決定部１７は、被写体関係情報として被写体抽出部１５における被写体の抽出の信頼度を採用した場合には、信頼度が最大である被写体を主要被写体として決定する。また、被写体決定部１７は、被写体関係情報として被写体抽出部１５における被写体の抽出の信頼度を採用した場合には、所定の閾値以上の信頼度の被写体を主要被写体として決定する。
【００５１】
図７は、図４で示した抽出された被写体から決定された主要被写体を示す図である。オブジェクト１０１は、被写体決定部１７により主要被写体として決定されている。一方、オブジェクト１０３及びオブジェクト１０５（図４）は、非主要被写体として決定され、非主要被写体として決定されたオブジェクト１０３及びオブジェクト１０５は被写体決定部１７により消去される。
【００５２】
図７に示す場合では被写体決定部１７は、推定された奥行き情報に基づいて、主要被写体を決定している。具体的には、オブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５は、図６で説明したように奥行き情報として代表値を有する。具体的には、オブジェクト１０１は代表値ａ１を有し、オブジェクト１０３及びオブジェクト１０５は代表値ａ２を有する。そして、被写体決定部１７は、最も手前にあるオブジェクト１０１を主要被写体と決定し、オブジェクト１０３及びオブジェクト１０５を非主要被写体と決定する。このように、被写体決定部１７が奥行き情報に基づいて主要被写体を決定することにより、３次元画像において自然な立体感を適切に表現することができる。
【００５３】
背景生成部１９（図２）は、視差画像に使用される背景１０７を生成する。具体的には、背景生成部１９は、２次元画像１００における主要被写体以外の領域を画像処理により補完して背景１０７を生成する。背景生成部１９は、公知の技術により、２次元画像１００における主要被写体以外の領域を補完する。
【００５４】
図８は、被写体が抽出された後の背景１０７を示す図である。被写体抽出部１５により、被写体として、オブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５が抽出されると、背景１０７には、オブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５に対応するブランク部分１１１、１１３、１１５が存在する。そして、オブジェクト１０１が主要被写体として決定されたので、非主要被写体であるオブジェクト１０３及びオブジェクト１０５に対応するブランク部分１１３及び１１５は、背景１０７を利用して補完される。
【００５５】
視差画像生成部２１（図２）は、２次元画像１００における非主要被写体を消去し、主要被写体を前景とし、主要被写体以外を背景１０７として、前景と背景１０７とを相対的にシフトして２以上の視差画像を生成する。
【００５６】
図９は、奥行き情報に基づいて前景（オブジェクト１０１）と背景１０７とを配置した概念図を示す。
【００５７】
背景１０７及びオブジェクト１０１がそれぞれ有する奥行き情報に応じて配置位置が異なる。具体的には、背景１０７のレイヤの位置は符号Ｂで示されており、オブジェクト１０１のレイヤの位置が符号Ｆで示されており、奥行き情報に応じて位置が相違している。視差画像生成部２１は、この奥行き情報に基づく配置の相違を利用して、視差画像を生成する。
【００５８】
図１０は、視差画像生成部２１が生成する視差画像の一例を示す図である。視差画像生成部２１は、図９で示した背景１０７及び前景（オブジェクト１０１）の奥行き情報に基づいて、左目画像１３１及び右目画像１３３を生成する。図１０には視差画像として、左目画像１３１と右目画像１３３とが、正面からの画像１３５に重畳的に示されている（点線で示されている）。左目画像１３１では、オブジェクト１０１の位置は、背景１０７に対して矢印Ｌの方向にシフトされている。また、右目画像１３３では、オブジェクト１０１の位置は、背景１０７に対して矢印Ｒの方向にシフトされている。なお、上記では視差画像生成部２１が、２枚の視差画像を生成する場合に関して説明をしてきが、これに限定されるものではない。例えば、視差画像生成部２１は、３枚以上の視差画像を生成してもよい。例えば視差画像生成部２１が３枚の視差画像を生成する場合には、左目画像、右目画像、及び正面画像が生成される。ここで正面画像とは、オブジェクト１０１が背景１０７に対してシフトされていない画像である。
【００５９】
モニタ９に、左目画像１３１及び右目画像１３３をモニタ９に交互表示することにより、ユーザは、オブジェクト１０１の立体感を確認することができる。すなわち、左目画像１３１と右目画像１３３とを所定の周期により、交互表示するとオブジェクト１０１の立体感をユーザは確認することができる。ここで交互表示とは例えば、０．１秒から０．５秒の周期により、左目画像１３１と右目画像１３３とを交互に表示する。
【００６０】
シフト量調整受付部２３（図２）は、視差画像のシフト量の調整を受け付ける。例えば、ユーザは、モニタ９に交互表示される左目画像１３１及び右目画像１３３を確認して、キーボード５又はマウス７を介して、シフト量調整受付部２３にシフト量を入力し、シフト量の調整を行う。視差画像生成部２１は、シフト量調整受付部２３で受け付けたシフト量に基づいて、視差画像のシフト量を調整する。これにより、ユーザは、左目画像１３１及び右目画像１３３の交互表示を確認して、オブジェクト１０１と背景１０７とのシフト量の調整を行うことができる。ここでシフト量とは、前景を背景に対してシフトさせる量のことをいい、シフト量が調整されることにより、視差画像の立体感を調整することができる。このように、ユーザは左目画像１３１及び右目画像１３３の交互表示を確認してシフト量を調整することができるので、例えば最終工程で得られるレンチキュラー印刷用データにおいてもユーザが意図する立体感を得ることができる。
【００６１】
レンチキュラー印刷用データ生成部２９（図２）は、視差画像に基づいて、レンチキュラー印刷用データを生成する。例えば、レンチキュラー印刷用データ生成部２９は、左目画像１３１及び右目画像１３３に基づいて、レンチキュラー印刷用データを生成する。
【００６２】
次に、３次元画像生成方法に関して説明する。図１１は、３次元画像生成装置１１を使った３次元画像生成方法（３次元画像生成工程）を示すフローチャートである。
【００６３】
先ず、画像入力部１３に２次元画像１００が入力される（ステップＳ１０）。その後、被写体抽出部１５は、２次元画像１００から被写体としてオブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５を抽出する（ステップＳ１１）。そして、被写体決定部１７は、被写体関係情報に基づいて主要被写体としてオブジェクト１０１を決定し、非主要被写体としてオブジェクト１０３及びオブジェクト１０５を決定する（ステップＳ１２）。その後、視差画像生成部２１は、オブジェクト１０１を前景及び背景１０７から視差画像を生成する（ステップＳ１３）。
【００６４】
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【００６５】
以上で説明したように、本態様によれば、２次元画像１００を画像処理することにより得られた被写体に関して、被写体関係情報に基づいて主要被写体及び非主要被写体を決定し、主要被写体を前景として主要被写体以外を背景１０７として視差画像を生成するので、自然な立体感が適切に表現された３次元画像が生成される。
【００６６】
＜主要被写体の決定の他の例＞
次に、主要被写体の決定の他の例に関して説明する。上記の説明では、オブジェクト１０１、オブジェクト１０３、及びオブジェクト１０５のうちから、奥行き情報の被写体関係情報を使用してオブジェクト１０１のみが主要被写体として決定されたが、それに限定されるものではない。被写体関係情報によっては、他のオブジェクト又は複数のオブジェクトが主要被写体として決定されてもよい。
【００６７】
図１２は、他のオブジェクトが主要被写体と決定される場合を概念的に示す図である。
【００６８】
被写体決定部１７は、オブジェクト１０１及びオブジェクト１０５を主要被写体として決定する。被写体決定部１７は、被写体関係情報として、画像の中心Ｏからの位置情報に基づいて主要被写体を決定している。具体的には、被写体決定部１７は、オブジェクト１０１及びオブジェクト１０５が画角の中心Ｏから距離ｂの範囲内のオブジェクトであるので、被写体決定部１７はオブジェクト１０１及びオブジェクト１０５を主要被写体として決定している。なお、オブジェクト１０５に関しては、オブジェクト１０５の大部分（例えば８０％以上）が距離ｂの範囲内にあることから、被写体決定部１７はオブジェクト１０５を主要被写体として決定している。
【００６９】
以上で説明したように、被写体決定部１７は、被写体関係情報に応じて複数の被写体を主要被写体として決定することができる。
【００７０】
また、被写体決定部１７は、他の領域を主要被写体に加えることもできる。ここで他の領域とは、被写体抽出部１５では抽出されなかった領域のことである。被写体決定部１７は、決定された主要被写体を基準として、所定範囲以内の位置（近い位置）にある領域を、主要被写体に加える。また、被写体決定部１７は、決定された主要被写体を基準として、所定範囲のサイズ（類似のサイズ）にある領域を、主要被写体に加える。また、被写体決定部１７は、奥行き情報を用いてサイズの正規化を行って、決定された主要被写体を基準として、所定範囲のサイズ（類似のサイズ）にある領域を、主要被写体に加えてもよい。被写体決定部１７は、決定された主要被写体を基準として、所定範囲の信頼度（類似の信頼度）にある領域を、主要被写体に加えてもよい。
【００７１】
このように、被写体決定部１７は、被写体抽出部１５で抽出されていない領域においても、主要被写体に含ませることができる。
【００７２】
＜その他の例＞
上述の説明では、画像入力部１３に入力された２次元画像１００から前景及び背景１０７を得て、視差画像を生成する態様を説明してきたが、これに限定されるものではない。例えば、視差画像生成部２１は、背景１０７を他の画像に差し替えてもよいし、又は前景を他の画像に差し替えてもよい。
【００７３】
図１３は、本例の３次元画像生成装置１１の機能構成例を示すブロック図である。
【００７４】
３次元画像生成装置１１は、画像入力部１３、被写体抽出部１５、被写体決定部１７、背景生成部１９、奥行き推定部３１、視差画像生成部２１、シフト量調整受付部２３、レンチキュラー印刷用データ生成部２９、表示制御部２５、記憶部２７、背景変更部４１、前景変更部４３を備える。なお、図２で既に説明を行った箇所は同じ符号を付し説明を省略する。
【００７５】
背景変更部４１は背景１０７を他の画像に差し替える。具体的には、背景変更部４１は、２次元画像１００において、被写体決定部１７で決定された主要被写体に対して、２次元画像１００の背景１０７を他の画像に差し替える。ここで、他の画像とは、例えば既に画像入力部１３に入力された他の２次元画像の背景画像である。
【００７６】
視差画像生成部２１は、背景変更部４１が背景１０７を他の画像に差し替えた場合には、主要被写体を前景とし、他の画像を背景として、２以上の視差画像を生成する。これにより、前景を得た２次元画像１００とは異なる背景を有する視差画像を生成することができる。
【００７７】
前景変更部４３は、前景を他の画像に差し替える。具体的には、前景変更部４３は、２次元画像１００において、得られた背景１０７に対して、２次元画像１００の前景を他の画像に差し替える。ここで、他の画像とは、例えば既に画像入力部１３に入力された他の２次元画像から得られた主要被写体である。
【００７８】
視差画像生成部２１は、他の画像を前景とし、前景と背景１０７とにより視差画像を生成する。これにより、背景を得た２次元画像１００とは異なる前景を有する視差画像を生成することができる。
【００７９】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【００８０】
３      ：コンピュータ
５      ：キーボード
７      ：マウス
９      ：モニタ
１１    ：３次元画像生成装置
１３    ：画像入力部
１５    ：被写体抽出部
１７    ：被写体決定部
１９    ：背景生成部
２１    ：視差画像生成部
２３    ：シフト量調整受付部
２５    ：表示制御部
２７    ：記憶部
２９    ：レンチキュラー印刷用データ生成部
３１    ：奥行き推定部
３３    ：第１の奥行き情報取得部
３５    ：第２の奥行き情報取得部
４１    ：背景変更部
４３    ：前景変更部
１００  ：２次元画像
１０１  ：オブジェクト
１０３  ：オブジェクト
１０５  ：オブジェクト
１０７  ：背景
【図１】
2020059575.tif 000003
【図２】
2020059575.tif 000004
【図３】
2020059575.tif 000005
【図４】
2020059575.tif 000006
【図５】
2020059575.tif 000007
【図６】
2020059575.tif 000008
【図７】
2020059575.tif 000009
【図８】
2020059575.tif 000010
【図９】
2020059575.tif 000011
【図１０】
2020059575.tif 000012
【図１１】
2020059575.tif 000013
【図１２】
2020059575.tif 000014
【図１３】
2020059575.tif 000015
【国際調査報告】
2020059575.tif 000016
2020059575.tif 000017
2020059575.tif 000018
2020059575.tif 000019