(57)【特許請求の範囲】
【請求項１】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援装置であって、
元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、
前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定手段と、
前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力手段と、
前記奥行き値入力手段によって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出手段と、
前記奥行き値算出手段によって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成手段と、
を備えることを特徴とする奥行き制作支援装置。
【請求項２】
前記輪郭線設定手段によって設定された前記輪郭線から分岐する分岐線を追加入力する分岐線入力手段と、
前記分岐線を既に設定されている前記輪郭線と連結し、新たな輪郭線を設定する輪郭線再設定手段と、を更に備え、
前記奥行き値入力手段は、前記新たな輪郭線に沿った複数の点に対して所望の奥行き値を入力し、
前記奥行き値算出手段は、前記新たな輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出することを特徴とする請求項１に記載の奥行き制作支援装置。
【請求項３】
前記奥行き画像作成手段によって作成された奥行き画像に対し、前記奥行き画像の各画素と前記輪郭線との接近度、所定の丸み付け範囲、及び所定の丸み付け厚みに基づいて丸み付け処理を行う丸み付け手段、
を更に備えることを特徴とする請求項１に記載の奥行き制作支援装置。
【請求項４】
前記奥行き値入力手段は、前記輪郭線に沿った少なくとも２点に対し、異なる奥行き値をそれぞれ入力することを特徴とする請求項１から請求項３のいずれかに記載の奥行き制作支援装置。
【請求項５】
前記輪郭線の内部領域に前記輪郭線と接しない補助線を追加入力する補助線入力手段を更に備え、
前記奥行き値入力手段は、更に、前記補助線に沿った複数の点に対して所望の奥行き値を入力し、
前記奥行き値算出手段は、前記輪郭線の内部領域であって、前記輪郭線及び前記補助線を境界として、前記境界以外の画素が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出することを特徴とする請求項１に記載の奥行き制作支援装置。
【請求項６】
立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援方法であって、
コンピュータが、
元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、
前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定ステップと、
前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力ステップと、
前記奥行き値入力ステップによって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出ステップと、
前記奥行き値算出ステップによって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成ステップと、
を実行することを特徴とする奥行き制作支援方法。
【請求項７】
コンピュータに、
元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、
前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定ステップと、
前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力ステップと、
前記奥行き値入力ステップによって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出ステップと、
前記奥行き値算出ステップによって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視を実現するための視差画像を生成する視差画像生成装置が利用する奥行き画像を制作する奥行き制作支援装置等に関する。
【背景技術】
【０００２】
従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。
【０００３】
最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。
【０００４】
また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。さらに、ほとんどの映像はＣＧ画像ではなく実写であり、実写から３次元映像を作成することが求められている。
【０００５】
実写映像による多視差映像を制作する為に、平面（２Ｄ）映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する。しかし、多視差映像に変換する手法では、奥行き情報がない。そのため全てのシーン（フレーム）において手作業で１枚ずつ奥行き情報を作成する必要が生じ、非常に作業負荷が高かった。
【０００６】
そこで、奥行き値を設定するための手法として、例えば、特許文献１には、ユーザ指示に応じてメッシュ形状を変形させ、奥行き値を設定する技術が提案されている。また、特許文献２には、ユーザ指示に応じて等高線を描き、その等高線に奥行き値を設定する技術が提案されている。また、非特許文献１には、３次元空間内において、映像の選択部分をユーザが移動・回転させ、奥行き値を設定する技術が提案されている。
【０００７】
しかしながら、特許文献１に記載の技術は、操作すべき項目が多く、１フレーム分の奥行き情報を設定するために長時間を要し、設定した奥行き値が確認し難いという課題があった。また、特許文献２に記載の技術は、等高線を描き、奥行き情報を設定するために長時間を要するだけでなく、被写体が複雑な形状をしている場合、等高線の描写が困難になるという課題があった。また、非特許文献１に記載の技術は、設定方法は簡略化されているものの、異なるフレームにおける奥行き値の比較ができないため、位置関係の矛盾が生じやすいという課題があった。
【０００８】
そこで、本発明者らは、特許文献３において、（１）グラフとスライドバーを使用して奥行き値を設定する技術、（２）グラフとプレビュー画面を使用して奥行き値を確認する技術、（３）キーフレーム間の奥行き値を補間する技術、（４）前述の技術に基づいて奥行き画像及びラベル画像を生成する技術、を提案している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２０１０−５１６１５５号公報
【特許文献２】特表２０１１−５２３３２３号公報
【特許文献３】特願２０１１−１６８９２０号公報
【非特許文献】
【００１０】
【非特許文献１】Depth Director: A System for Adding Depth to Movies
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献３に開示されている技術では、奥行き画像のマスク領域内部が一色（単一の画素値）で塗られており、マスク領域の局所的な出っ張りを表現できないという課題が残されている。ここで、マスク領域は、例えば、人物や物体などの立体物ごとに設定される領域である。
【００１２】
特許文献１に開示されている技術では、操作すべき項目が多く、１フレーム分の奥行き情報を設定するための長時間を要し、設定した奥行き値が確認し難いという従来からの課題がある。また、設定結果の確認方法が、メッシュ形状のワイヤーフレームを元画像に合成し、表示するというものであり、立体物の形状が確認し難いという課題がある。
特許文献２に開示されている技術も同様に、操作すべき項目が多く、１フレーム分の奥行き情報を設定するための長時間を要し、また、複雑な形状の立体物について等高線を正しく設定する操作は困難であるという課題がある。
非特許文献１に開示されている技術では、異なるフレームにおける奥行き値の比較ができないため、位置関係の矛盾が生じやすいという従来からの課題がある。また、立体物の丸み表現の自由度が低いという課題がある。更に、設定結果の確認方法が、３次元空間上で立体化された映像を、カメラアングルを変更しながら確認するというものであり、立体物の形状の細部が確認し難いという課題もある。
【００１３】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作することを支援する奥行き制作支援装置等を提供することである。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために、第１の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援装置であって、元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力手段と、前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定手段と、前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力手段と、前記奥行き値入力手段によって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出手段と、前記奥行き値算出手段によって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成手段と、を備えることを特徴とする奥行き制作支援装置である。
第１の発明によって、特定の被写体の輪郭線に沿って少なくとも２点に奥行き値を設定するという極めて簡単な操作で、立体物の局所的な凹凸を表現した奥行き画像を、制作することが可能となる。また、背景との境界を明確に区別することができ、演算の複雑化を防ぐことができる。
【００１５】
また、第１の発明において、前記輪郭線設定手段によって設定された前記輪郭線から分岐する分岐線を追加入力する分岐線入力手段と、前記分岐線を既に設定されている前記輪郭線と連結し、新たな輪郭線を設定する輪郭線再設定手段と、を更に備え、前記奥行き値入力手段は、前記新たな輪郭線に沿った複数の点に対して所望の奥行き値を入力し、前記奥行き値算出手段は、前記新たな輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出することが望ましい。
これにより、被写体の重なり部分の境界も輪郭線で描画できるようになり、被写体の重なり部分の奥行きを表現することが可能となる。奥行き画像制作の自由度が増す。
【００１６】
また、第１の発明において、前記奥行き画像作成手段によって作成された奥行き画像に対し、前記奥行き画像の各画素と前記輪郭線との接近度、所定の丸み付け範囲、及び所定の丸み付け厚みに基づいて丸み付け処理を行う丸み付け手段を更に備えることが望ましい。
これにより、簡単な操作で輪郭線の内部に更に立体物の自然な丸みを与えることができ、画像の奥行き表現が多様となる。
【００１７】
また、第１の発明において、前記奥行き値入力手段は、前記輪郭線に沿った少なくとも２点に対し、異なる奥行き値をそれぞれ入力することが望ましい。
これにより、輪郭線自体に奥行き方向の傾斜を持たせることができ、自由な奥行き表現を簡単な操作で実現できる。
【００１９】
また、第１の発明において、前記輪郭線の内部領域に前記輪郭線と接しない補助線を追加入力する補助線入力手段を更に備え、前記奥行き値入力手段は、更に、前記補助線に沿った複数の点に対して所望の奥行き値を入力し、前記奥行き値算出手段は、前記輪郭線の内部領域であって、前記輪郭線及び前記補助線を境界として、前記境界以外の画素が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出することが望ましい。
これにより、輪郭線内部の奥行き表現を多様化できる。
【００２０】
第２の発明は、立体視を実現するための視差画像の生成処理に利用する奥行き画像を制作する奥行き制作支援方法であって、コンピュータが、元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定ステップと、前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力ステップと、前記奥行き値入力ステップによって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出ステップと、前記奥行き値算出ステップによって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成ステップと、を実行することを特徴とする奥行き制作支援方法である。
第２の発明によって、特定の被写体の輪郭線に沿って少なくとも２点に奥行き値を設定するという極めて簡単な操作で、立体物の局所的な凹凸を表現した奥行き画像を、制作することが可能となる。また、背景との境界を明確に区別することができ、演算の複雑化を防ぐことができる。
【００２１】
第３の発明は、コンピュータに、元の２次元画像内に描画されている特定の被写体を識別するために２値化された複数のマスク画像を読み込むマスク画像入力ステップと、前記マスク画像に対して閉曲線である輪郭線を設定する輪郭線設定ステップと、前記輪郭線に沿って複数の点を設定し、設定した点に対して所望の奥行き値を入力する奥行き値入力ステップと、前記奥行き値入力ステップによって入力された奥行き値に基づき、前記輪郭線の内部領域が滑らかな平面となるように前記マスク画像の各画素の奥行き値を算出する奥行き値算出ステップと、前記奥行き値算出ステップによって算出された奥行き値を前記マスク画像の各画素に設定し、奥行き値が設定された前記マスク画像を用いて前記奥行き画像を作成する奥行き画像作成ステップと、を実行させるためのプログラムである。
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る奥行き制作支援装置を得ることができる。また、背景との境界を明確に区別することができ、演算の複雑化を防ぐことができる。
【発明の効果】
【００２２】
本発明により、立体物の局所的な凹凸を表現した奥行き画像を簡単な操作で制作することを支援する奥行き制作支援装置等を提供できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る奥行き制作支援装置１のハードウエア構成図である。
【図２】奥行き制作支援装置１及び視差画像生成装置２の入出力データを示す図である。
【図３】２次元画像３の一例を示す図である。
【図４】図３に示した２次元画像３に基づいて生成された背景画像４の一例を示す図である。
【図５】マスク画像５の一例を示す図である。
【図６】他のマスク画像５の一例を示す図である。
【図７】他のマスク画像５の一例を示す図である。
【図８】奥行き画像８の一例を示す図である。
【図９】入出力画像の対応付けを説明するための図である。
【図１０】奥行き制作支援処理を説明するフローチャートである。
【図１１】奥行き制作支援画面１００の表示例である。
【図１２】奥行き制作支援処理の対象とする２次元画像３１の一例である。
【図１３】２次元画像３１から作成されるマスク画像５１の一例である。
【図１４】マスク画像５１に設定された輪郭線６１の一例である。
【図１５】輪郭線６１に沿って設定されたアンカーポイント７１ａ〜７１ｄと奥行き値７２ａ〜７２ｄの設定例である。
【図１６】輪郭線６１の内部領域の奥行き値演算処理例である。
【図１７】画像の奥行きのイメージ図である。
【図１８】奥行き制作支援処理によって表現された奥行きの他のイメージ図である。
【図１９】丸み付け処理を説明する図である。
【図２０】第２の実施の形態の奥行き制作支援処理の対象とする２次元画像３２の一例である。
【図２１】２次元画像３２から作成されるマスク画像５２の一例である。
【図２２】マスク画像５２に設定された輪郭線６２の一例である。
【図２３】輪郭線６２に対して追加された分岐線６３ａ，６３ｂの一例である。
【図２４】元のマスク画像５２及び分岐線６３ａ，６３ｂのマスク画像５２から新たなマスク画像５４を生成する処理を説明するための図である。
【図２５】新たなマスク画像５４に対して新たに設定された輪郭線６４及びアンカーポイント７４ａ〜７４ｈ及び奥行き値７５ａ〜７５ｈの設定例である。
【図２６】輪郭線６の様々な例である。
【発明を実施するための形態】
【００２４】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
【００２５】
［第１の実施の形態］
図１は、本発明の実施の形態に係る奥行き制作支援装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００２６】
奥行き制作支援装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００２７】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
【００２８】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、奥行き制作支援装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、奥行き制作支援装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００２９】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を奥行き制作支援装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００３０】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３１】
通信制御部１４は、通信制御装置、通信ポート等を有し、奥行き制作支援装置１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００３２】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、奥行き制作支援装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
【００３３】
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して奥行き制作支援装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３４】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、奥行き制作支援装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して奥行き制作支援装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００３５】
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３６】
図２は、奥行き制作支援装置１及び視差画像生成装置２の入出力データを示す図である。図２に示すように、奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、及び奥行き値７を入力データとし、奥行き画像８、及びラベル画像９を出力データとする。視差画像生成装置２は、２次元画像３、奥行き画像８、及びラベル画像９を入力データとし、視差画像１０を出力データとする。
【００３７】
２次元画像３、背景画像４、及びマスク画像５は、奥行き制作支援装置１の制御部１１（以下、「制御部１１」と略記する。）が生成してもよいし、メディア入出力部１３、通信制御部１４等を介して外部から取得してもよい。また、輪郭線６及び奥行き値７は、奥行き制作支援装置１の入力部１５を介して入力してもよいし、予め輪郭線６及び奥行き値７が定義されたファイルを外部から取得してもよい。
【００３８】
２次元画像３は、動画像（平面映像）の１枚分のフレーム画像または静止画像である。動画像（平面映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。
【００３９】
背景画像４は、背景の奥行き感を示す画像である。背景画像４は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４０】
マスク画像５は、特定の被写体を識別するための２値化画像である。マスク画像５は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
【００４１】
輪郭線６は、マスク画像５の２値の境界を示す線である。輪郭線６は、制御部１１が輪郭線検出処理を行って生成するようにしてもよいし、ユーザがマウス等を使用して入力してもよい。
【００４２】
奥行き値７は、被写体の奥行き方向の位置を定義する値である。本発明では、奥行き値７の画素値の範囲を０〜２５５の２５６階調として表現する。０が黒、２５５が白、１〜２５４がグレー（中間調）に対応する。
ユーザの入力操作によって、輪郭線６に沿っていくつかの点（以下、アンカーポイントと呼ぶ）が指定され、各アンカーポイントに対してそれぞれ奥行き値７が入力されると、制御部１１によって輪郭線６の内部領域の各画素の奥行き値７が算出され、設定される。
【００４３】
奥行き制作支援装置１は、２次元画像３、背景画像４、マスク画像５、輪郭線６、及び奥行き値７に基づいて、奥行き画像８の制作を支援するものである。特に、本発明の実施の形態における奥行き制作支援装置１は、立体物の局所的な出っ張り（または窪み）を表現した奥行き画像を作成するために、マスク画像５に対する奥行き値の設定方法（図１０のＳ３〜Ｓ６、図１５、図１７〜図１８等）に特徴がある。
【００４４】
奥行き画像８は、２次元画像３に係るカメラから被写体までの奥行き値を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置２の内部処理において定義される仮想的なカメラを意味する。
【００４５】
奥行き画像８は、例えば、画素値の範囲が０〜２５５（８ビット）のグレースケールであり、０（黒）が最も奥、２５５（白）が最も手前を意味する場合が多いが、逆であってもよい。以下では、説明を分かり易くするために、奥行き画像８は、画素値の範囲が０〜２５５であり、０（黒）が最も奥、２５５（白）が最も手前を意味するものとする。
【００４６】
ラベル画像９は、それぞれの２次元画像３に対応付けて、２次元画像３に記録されたシーンを構成する被写体を識別する固有の数値（ラベル値）によって領域分けし、このラベル値を画素値に置き換えた（ラベリングされた）画像である。例えば、背景、建物、及び人物から構成されるシーンにおいて、背景、建物、及び人物に相当するラベル値として、それぞれＬ０、Ｌ１、Ｌ２を割り当て、対応する２次元画像３の各画素がどの被写体に属しているかを、Ｌ０、Ｌ１、Ｌ２の画素値に置き換えることによって表現する。
【００４７】
ラベル画像９は、２次元画像３に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、本発明のように、奥行き制作支援装置１が自動的に生成してもよい。
【００４８】
視差画像１０は、立体視を実現するための画像である。本発明の実施の形態では、視差画像１０は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。
【００４９】
尚、本発明の実施の形態では詳細に述べないが、複数の視差画像１０をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像１０の合成処理については、公知の技術を利用すればよい。
【００５０】
視差画像生成装置２は、２次元画像３、奥行き画像８、及びラベル画像９に基づいて視差画像１０を生成するものである。視差画像生成装置２の詳細は、本出願人が先に出願した、特願２０１０−１７６８６４号、及び特願２０１１−５５８７８号に記載されている。
【００５１】
次に、図３〜図８を参照して、奥行き制作支援装置１の入出力データの表示例について説明する。
【００５２】
図３は、２次元画像３の一例を示している。図３の例では、複数人でスポールブールというボール競技をしている動画像の１フレーム分を示している。図４は、図３に示した２次元画像３に基づいて生成された背景画像４の一例を示している。図３及び図４は、同一フレームである。なお、背景画像４の奥行き感は、厳密でなくてよい。また背景画像４はなくてもよい。
【００５３】
図５は、図３に示した２次元画像３と同一フレームのマスク画像５の一例を示している。図５の例では、球技参加者であるプレー中の人物（特定の被写体）を識別するための２値化画像であり、そのプレー中の人物の画素が白、それ以外の画素が黒にされている。以下、図５のマスク画像５を、適宜、マスクＡのマスク画像と称する。
【００５４】
図６は、他のマスク画像５の一例を示している。図６の例では、対戦している様子を少し離れて見物している２人の人物（特定の被写体）を識別するための２値化画像であり、その２人の人物の画素が白、それ以外の画素が黒にされている。図６は、図３〜図５、図７とは別フレーム（異なる時刻）である。以下、図６のマスク画像５を、適宜、マスクＢのマスク画像と称する。
【００５５】
図７は、他のマスク画像５の一例を示している。図７の例では、対戦相手の人物（特定の被写体）を識別するための２値化画像であり、その対戦相手の人物の画素が白、それ以外の画素が黒にされている。図７は、図３〜図６とは別フレームである。以下、図７のマスク画像５を、適宜、マスクＣのマスク画像と称する。
【００５６】
なお、図３に示す２次元画像３において、マスクＢの被写体（見物している２人の人物）の中の１人は、マスクＡの被写体（プレー中の人物）に隠れており映っていない。また、マスクＣの被写体は、マスクＢの被写体よりも右側に位置しており、図３に示す２次元画像３に映っていない。
【００５７】
以上のように、奥行き制作支援装置１は、フレームごとに、マスクＡのマスク画像（図５）、マスクＢのマスク画像（図６）、及びマスクＣのマスク画像（図７）を予め用意しておき、それらのマスク画像５と奥行き値６に基づいて、フレームごとに奥行き画像８を制作する。
【００５８】
図８は、奥行き画像８の一例を示している。但し、図８に示す奥行き画像８は、対象物内部の奥行き設定を行っていない例である。奥行き画像８は、複数の被写体同士の奥行き方向の相対的な位置関係が、模擬的に定義された画像である。図８は、図３〜図７とは別フレームであり、プレー中の人物がボールを投げる直前のフレームである。図８の例では、一番手前（白の領域）にマスクＡの被写体（プレー中の人物）、奥（グレーの領域）にマスクＢの被写体（見物している２人の人物）が存在するという奥行き方向の位置関係が定義されている。また、背景画像４の奥行き情報も付加されている。
【００５９】
図８に示す奥行き画像８では、マスクＡの被写体やマスクＢの被写体の内部（＝マスク領域内部）が一色（単一の画素値）で塗られており、マスク領域内部に立体感（局所的な凹凸や丸み）がない画像になってしまう。そこで、本発明の実施の形態では、奥行き制作支援装置１がマスク領域内部の奥行き設定（図１０のＳ３〜Ｓ８）を行い、立体物の内部にも立体感がある奥行き画像８を制作する。
【００６０】
図９は、奥行き制作支援装置１が扱う入出力画像の対応付けを説明するための図である。
【００６１】
図９に示すように、入力画像群は、フレームごとに、２次元画像、マスクＡのマスク画像、マスクＢのマスク画像、マスクＣのマスク画像、及び背景画像の５枚の画像が１組となっている。また出力画像群は、フレームごとに、奥行き画像、及びラベル画像の２枚の画像が１組となっている。例えば、フレーム数が１０００枚の場合、２次元画像は１０００枚、マスク画像は３０００枚、背景画像は１０００枚準備され、奥行き画像は１０００枚、ラベル画像は１０００枚出力されることになる。
【００６２】
図１０は、奥行き制作支援装置１が実行する奥行き制作支援処理を説明するフローチャートである。また、図１１は奥行き制作処理において奥行き制作支援装置１が提供する奥行き制作支援画面１００の一例であり、図１２〜図１９は、処理対象とする画像と奥行き設定の各ステップの処理を説明するための図である。
【００６３】
まず、ユーザは、奥行き制作支援処理を開始するにあたり、図１１に示すような奥行き制作支援画面１００を表示部１６に表示させる。図１１の例の場合、奥行き制作支援画面１００には、画像表示領域１０１、「ムービー読み込み」ボタン１０２、「マスク読み込み」ボタン１０３、「背景奥行き画像の読み込み」ボタン１０４等のボタン群、マスク切り替えプルダウン１０５、画像切り替えプルダウン１０６、輪郭設定部１０７、デプス（奥行き値）設定部１１１、丸み付け設定部１１６、保存ボタン１２０が表示されている。なお、以下の説明において、「奥行き」の語を「デプス」と置き換えて表現することもある。
【００６４】
「ムービー読み込み」ボタン１０２、「マスク読み込み」ボタン１０３、「背景奥行き画像の読み込み」ボタン１０４は、それぞれムービー（２次元画像３）の読み込み、マスク画像５の読み込み、背景画像４の読み込みを行う場合に操作（押下）される。マスク切り替えプルダウン１０５は、奥行き設定するマスク画像５を選択する際に操作される。画像切り替えプルダウン１０６は奥行き設定するフレームを切り替える場合に操作される。画像表示領域１０１には、奥行き設定操作の対象とするマスク画像５や、奥行き設定された奥行き画像、操作に必要なマウスポインタ等のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）が表示される。
【００６５】
輪郭設定部１０７は、輪郭追加ボタン１０８、輪郭削除ボタン１０９、輪郭抽出ボタン１１０を備え、マスク画像５に対して輪郭線６の入力や削除を行う際に操作される。輪郭追加ボタン１０８は、輪郭線６を入力する際に操作され、輪郭削除ボタン１０９は既に描画されている輪郭線６を削除する際に操作され、輪郭抽出ボタン１１０は処理対象とするマスク画像５の輪郭を抽出する際に操作される。
【００６６】
デプス設定部１１１は、デプス値入力欄１１２、設定ボタン１１２ａ、アンカーポイント削除ボタン１１３、グループ化ボタン１１４、デプス計算ボタン１１５を備え、奥行きを設定する点であるアンカーポイントに対する奥行き値を入力する際に操作される。デプス値入力欄１１２は、マウス等で選択されているアンカーポイントに対して奥行き値を数値入力するための入力欄である。設定ボタン１１２ａは、デプス値入力欄１１２に対して入力された奥行き値をマスク画像５に設定する際に操作される。アンカーポイント削除ボタン１１３は、既に設定されているアンカーポイントを削除する際に操作される。グループ化ボタン１１４は、複数のアンカーポイントをグループ化する（同じ奥行き値とする）際に操作される。デプス計算ボタン１１５は、奥行き値の算出処理を開始させる際に操作される。
【００６７】
ここで、アンカーポイント及び奥行き値の設定操作について説明する。
アンカーポイントは、マスク画像５上に描画された輪郭線６上と、輪郭線６に隣接する画素であって輪郭線の外側にある画素に設置できるようにする。以下の説明では、輪郭線６上にある画素を輪郭線６の「内側の画素」或いは「内側」と呼び、輪郭線６の外側に隣接する画素を輪郭線６の「外側の画素」或いは「外側」と呼ぶ。また、上記「内側の画素」と「外側の画素」とをまとめて「輪郭線に沿った位置」と呼ぶものとする。
【００６８】
ユーザによるマウス操作によってマウスポインタ５３がマスク画像５上の輪郭線６に沿った位置に移動されると、制御部１１は、アンカーポイントの設置を受け付ける。この状態で、例えばマウスのボタンがクリック操作されると、その位置にアンカーポイントを設置する。例えば、アンカーポイントを示すマークをマスク画像５上に描画する。更に、ユーザによるマウス操作によってマウスポインタ５３が特定のアンカーポイント上に移動された状態で例えばクリック等の操作が行われると、そのアンカーポイントが選択された状態とする。アンカーポイントが選択された状態で、デプス値入力欄１１２に奥行き値が数値入力され、設定ボタン１１２ａが押下操作されると、選択されているアンカーポイントの位置に奥行き値が設定される。制御部１１は、マスク画像５の該当するピクセルに対し、設定された奥行き値をセットする。また、制御部１１は、マスク画像５上のアンカーポイントを示すマークに奥行き値を表示する。或いは、アンカーポイント上にマウスが移動されると、アンカーポイントの近傍にアンカーポイントの情報を、例えば（ｘ座標、ｙ座標、奥行き値）のような形態でポップアップ表示するようにしてもよい。
【００６９】
丸み付け設定部１１６は、骨格使用チェックボックス１１７、スライダ１１８，１１９を備える。骨格使用チェックボックス１１７は、骨格を使用して丸み付け処理を行う場合に選択され、スライダ１１８は丸み付け範囲を指定する際に横方向にスライド（移動）操作され、スライダ１１９は丸み付け厚みを指定する際に横方向にスライド（移動）操作される。
保存ボタン１２０は、マスク画像５に対するアンカーポイントや奥行き値の設定内容や、作成された奥行き画像を保存する場合に操作される。
【００７０】
図１０の説明に戻る。
以上のような奥行き制作支援画面１００において、ユーザは、ムービー読み込みボタン１０２、マスク読み込みボタン１０３、背景奥行き画像の読み込みボタン１０４等を押下し、奥行き画像を制作するための入力画像群の読み込みを指示する。
【００７１】
ステップＳ１において、制御部１１は、ユーザからの指示に基づいて、入力画像群を読み込む。ムービー（複数フレームの画像）が読み込まれている場合は、ユーザによって、画像切り替えプルダウン１０６が押下されることで、奥行き値の設定編集を行うフレームが選択される。また、選択されているフレームに対し、マスク画像５が複数読み込まれている場合は、ユーザによって、マスク切り替えプルダウン１０５が押下されることで、奥行き値の設定編集を行うマスク画像５が選択される（ステップＳ２）。制御部１１は選択されたマスク画像５を画像表示領域１０１に表示する。例えば、図１２に示す２次元画像３１や図１３に示すマスク画像５１、図示しない背景画像等が入力画像群として読み込まれるものとする。
【００７２】
ユーザにより輪郭設定部１０７の輪郭抽出ボタン１１０が押下されると（ステップＳ３）、制御部１１はマスク画像５１の輪郭を検出し、マスク画像５１上に輪郭線６１を描画する（ステップＳ４）。なお、輪郭線６１の検出は、例えば画素値の変化に基づいてエッジ（境界）を認識するといった一般的な手法を用いればよい。また、輪郭線６１はユーザがマウス等によって入力したり、軌跡の形状を変更したりしてもよい。
図１４は、マスク画像５１に対して設定された輪郭線６１の例である。図１４に示すようにマスク画像５１の輪郭線６１は、１ストロークで描画される閉曲線となる。閉曲線を採用することにより、後述する変形シミュレーションにおける奥行き値の算出（ステップＳ７）が複雑にならず、演算処理の負荷を軽減できる。
【００７３】
次に、上述した奥行き設定操作によって輪郭線６１に沿った位置にアンカーポイントが設定され（ステップＳ５）、奥行き値が入力されると（ステップＳ６）、制御部１１はアンカーポイントを示すマークをマスク画像５１上に表示する。また、各アンカーポイントを示すマークに奥行き値を表示するようにしてもよい。
図１５の例では、輪郭線６１の内側に３つのアンカーポイント７１ａ，７１ｂ，７１ｃが設置され、外側に１つのアンカーポイント７１ｄが設定されている。また、アンカーポイント７１ａの奥行き値は「１５０」、アンカーポイント７１ｂ，７１ｃの奥行き値は「１００」、アンカーポイント７１ｄの奥行き値は「０」に設定されている。
このように、輪郭線６１の内側と外側とでそれぞれ異なる奥行き値を設定すれば、輪郭線６１を境界として、対象物に奥行きを持たせることができる。なお、輪郭線の外側の奥行き値については、一律の奥行き値を与えるようにしてもよい。
【００７４】
次に、制御部１１は変形シミュレート処理を行う（ステップＳ７）。変形シミュレート処理では、制御部１１は、設定されたアンカーポイントの位置及び奥行き値に基づいて、まず、輪郭線６１に沿った各点（アンカーポイント未設定点）の奥行き値を補間により求める。補間処理において、制御部１１は、輪郭線６１上の各点が奥行き方向に滑らかな傾斜を描くように奥行き値を求める。
【００７５】
輪郭線６１上の各点の奥行き値が算出されると、更に制御部１１は、輪郭線６１の内部の各画素（輪郭線６１を除く各画素）の奥行き値を算出する。各画素の奥行き値は、輪郭線６１の内部領域が滑らかな平面を描くように求められる。
境界（輪郭線６１）の３次元座標に基づいて内部領域のすべての３次元座標を求めるための解法は様々なものがあるが、一例を示すと、図１６（ａ）に示すような薄板の曲げ問題の解法等を利用できる。薄板の曲げ問題では、ひずみエネルギーが最小になるように各点の３次元位置を計算することで、滑らかな平面を得ることができる。図１６（ｂ）は反復法による解法を説明する図である。反復法では、境界（輪郭線６１）を除くピクセル（点）を順に走査し、次式（１）を利用して各ピクセルの奥行き値を計算する。全体が収束するまで、これを繰り返す。
【００７６】
【数１】
0005994320.tif 000002
【００７７】
各点の奥行き値を求めると、制御部１１は算出された奥行き値を画素値とする奥行き画像８を作成し、画像表示領域１０１に表示する。
図１７及び図１８は輪郭線６１に沿って設定したアンカーポイント（奥行き値）による画像の変形のイメージを示す図である。図１７は、輪郭線６１上の各点に同一の奥行き値を持たせた状態を示すイメージ図であり、図１８は更に、輪郭線６１の一部（被写体の腕の部分）に他の部分より大きな奥行き値を設定することで、腕が前方に飛び出すような変形を施したイメージ図である。
なお、図１７、図１８は、奥行き方向の変形のイメージを示した図であり、本実施の形態で作成する奥行き画像８や奥行き画像８を用いて作成される視差画像そのものではない。生成される奥行き画像８には、図１７、図１８に示されるような影や輪郭線や輪郭線内部の画像等は含まれず、各画素に奥行き値をセットしたグレースケール画像にほかならない。
【００７８】
アンカーポイント（奥行き値）設置、及び変形シミュレート処理による奥行き値の算出が行われ、奥行き画像８が作成されると、次に、制御部１１は、丸み付けの処理を行う（ステップＳ８）。すなわち、ユーザにより、奥行き制作支援画面１００の丸み付け設定部１１６が操作され、スライダ１１８、１１９によって丸み付けの範囲及び厚みが設定されると、設定された丸み付け範囲及び丸み付け厚みに基づいて奥行き画像８の奥行き値が更に再算出される。図１９は丸み付け処理の概要を示す図である。図１９（ａ）に示すように、ユーザにより丸み付けのパラメータ７６として丸み付け範囲（Ｒ）が「３ピクセル」、丸み付け厚み（Ｔ）が「１０」のようにセットされると、制御部１１は、図１９（ｂ）の断面図７７、図１９（ｃ）の画素値マップ７８に示すように、輪郭線６１の内側３ピクセルで奥行き値が「１０」だけ滑らかに変化するように、該当画素の奥行き値を求める。
【００７９】
また、奥行き制作支援画面１００の丸み付け設定部１１６の骨格使用チェックボックス１１７がＯＮされている場合は、制御部１１は、骨格を参照した丸み付けを行う。骨格を参照した丸み付け処理とは、丸み付けの範囲及び厚みに加え、骨格への接近度を参照した丸み付け処理のことである。丸み付け処理の詳細については、本出願人が先に出願した特願２０１１−２２３９０６号に記載されている。
【００８０】
丸み付け処理が終了すると、制御部１１は、別のマスク画像の奥行き設定処理を行う。
すなわち、奥行き値の設定が終了していないマスク画像（未設定マスク）がある場合は（ステップＳ９；Ｙｅｓ）、ステップＳ２に戻る。ステップＳ２において、マスク切り替えプルダウン１０５が操作され、別のマスクが選択されると、選択されたマスクについての奥行き設定処理（ステップＳ３〜ステップＳ８）を行う。
【００８１】
すべてのマスクについて奥行き設定が完了すると（ステップＳ９；Ｎｏ）、作成されたマスク画像５の合成処理を行うとともに（ステップＳ１０）、奥行き画像、及びラベル画像を保存し（ステップＳ１１）、奥行き制作支援処理を終了する。
【００８２】
以上のようにして、奥行き制作支援装置１は、入力されたマスク画像５の輪郭線６を抽出して描画し、輪郭線６に沿ったいくつかの点へのアンカーポイント及び奥行き値７の設定を受け付ける。奥行き制作支援装置１は、入力されたアンカーポイントの位置及び奥行き値７に応じて、輪郭線６上の各点の奥行き値７を補間し、更に、輪郭線６の内部領域が滑らかな平面となるように、内部領域の各画素の奥行き値を算出し、奥行き画像８を作成する。
これにより、ユーザは、マスク画像５の輪郭線６１に沿って少なくとも２点に奥行き値を設定するという簡単な操作だけで、内部領域が滑らかに変化する奥行き画像８を得ることができる。
また、丸み付け処理によって、輪郭線の内部に更に丸みのある奥行きを表現でき、自然な立体感を簡単な操作で実現できる。
【００８３】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
第２の実施の形態において、奥行き制作支援装置１は、既に設定された輪郭線に対し、更に分岐線を追加し、分岐線に基づく輪郭線の再設定及び奥行き値の設定処理を行う。
以下、図１０、図１１、図２０〜図２６を参照して第２の実施の形態の奥行き制作支援方法について説明する。
【００８４】
第２の実施の形態では、マスク画像５の輪郭内部にある対象物の重なりを表現することを目的とする。このために、奥行き制作支援装置１は、第１の実施の形態で例示したような既に設定された輪郭線６に対し、分岐線６３の追加入力を受け付け、分岐線６３を元の輪郭線６と結合し、新たな１ストロークの輪郭線６４を生成し、新たな輪郭線６４に沿ってアンカーポイントを設置できるようにする。
【００８５】
例えば、図１０のステップＳ１、ステップＳ２において、図２０に示す２次元画像３２が読み込まれ、また図２１に示すマスク画像５２が読み込まれ、マスク画像５２が編集対象として選択されるものとする。
【００８６】
次に、図１０のステップＳ３において、ユーザにより輪郭設定部１０７の輪郭抽出ボタン１１０が押下されると、ステップＳ４において制御部１１はマスク画像５２の輪郭を検出し、マスク画像５２上に輪郭線６２を描画する。図２２は、マスク画像５２に対して設定された輪郭線６２の例である。
【００８７】
図２２のように輪郭線６２が描画された状態で、ユーザによる描画操作によって図２３に示すような分岐線６３ａ，６３ｂが追加され、再度、奥行き制作支援画面１００の輪郭抽出ボタン１１０が押下されると、制御部１１は、分岐線６３ａ，６３ｂのマスク画像５２を生成する（図２４の中央のマスク画像）。そして、元のマスク画像５２から分岐線６３ａ，６３ｂのマスク画像５３を引き、新たなマスク画像５４を生成する。新たなマスク画像５４では、被写体の腕の重なりが表現されることとなる。
新たなマスク画像５４が生成されると、制御部１１は、新たなマスク画像５４の輪郭を抽出し、新たな輪郭線６４を生成し、描画する。図２５は、マスク画像５２に対して設定された新たな輪郭線６４の例である。新たな輪郭線６４も１ストロークで描画された閉曲線となる。
【００８８】
その後、ステップＳ５及びステップＳ６において、新たな輪郭線６４に沿った位置にアンカーポイントが設定され、奥行き値が入力されると、制御部１１はアンカーポイントを示すマークをマスク画像５４上に表示する。図２５の例では、輪郭線６４の内側に８つのアンカーポイント７４ａ〜７４ｈが設置されている。各アンカーポイント７４ａ〜７４ｈには、それぞれ奥行き値７５ａ〜７５ｈが設定される。
【００８９】
次に、ステップＳ７において、制御部１１は変形シミュレート処理を行う。変形シミュレート処理は第１の実施の形態と同様である。
すなわち、制御部１１はまず、輪郭線６４に沿った各点（アンカーポイント未設定点）の奥行き値を補間により求め、更に制御部１１は、輪郭線６４の内部の各画素（輪郭線６４を除く各画素）の奥行き値を算出する。各画素の奥行き値は、輪郭線６４の内部領域が滑らかな平面を描くように算出される。
更に、ステップＳ８において、丸み付け処理を行うようにしてもよい。
【００９０】
このようにして、マスク画像５２（新たなマスク画像５４）に対する奥行き値の設定が終了すると、別のマスクの奥行き設定（ステップＳ９；Ｙｅｓ→ステップＳ３〜ステップＳ８）を繰り返す。すべてのマスクについて奥行き設定が完了すると（ステップＳ９；Ｎｏ）、作成されたマスク画像５の合成処理を行うとともに（ステップＳ１０）、奥行き画像８、及びラベル画像９を保存し、奥行き制作支援処理を終了する（ステップＳ１１）。
【００９１】
以上のようにして、輪郭線に対し分岐線を追加し、分岐線（新たな輪郭線６４に現れる）に沿ってアンカーポイントを設定すれば、元の輪郭線の内部領域に更に詳細な奥行き設定を行うことが可能となる。
【００９２】
図２６は、様々な画像に対する輪郭線６の設定例である。
図２６（ａ）は車、図２６（ｂ）は動物、図２６（ｃ）は人物、図２６（ｄ）はヘッドフォンを例としている。図２６（ａ）〜（ｄ）の各輪郭線６は、すべて１ストロークで描画されている。上述したように、マスク画像５から抽出された輪郭線６に対し、ユーザが分岐線６３を描画するだけで、新たな輪郭線６４が描画されるため、被写体の輪郭線の内部に重なりがあるような画像であっても、重なりを境界（輪郭線）として奥行き値を設定することができる。
【００９３】
以上、説明したように、本発明の第２の実施の形態の奥行き制作支援装置１は、被写体の輪郭線６２に更に分岐線６３を追加可能とし、分岐線６３が追加入力されると、これらを連結した新たな１ストロークの輪郭線６４を生成する。このため、輪郭線６４で被写体の重なり部分の境界を描画できる。また、被写体の重なり部分の境界が表現されている新たな輪郭線６４に沿ってアンカーポイント及び奥行き値を設定すれば、第1の実施の形態と同様に、輪郭線６４の内部領域が滑らかな平面となるように各画素の奥行き値が算出されるため、被写体の重なり部分についても、簡単な操作で手前と奥を表現できるようになる。
【００９４】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。
第２の実施の形態では、分岐線６３として輪郭線６２と接している線を追加入力可能とし、分岐線を追加した場合の奥行き画像生成処理について説明したが、輪郭線６２描画後に、輪郭線と接しない独立した線（以下、補助線と呼ぶ）を追加入力可能としてもよい。
すなわち、例えば、図２０の２次元画像３２及び図２１のマスク画像５２を奥行き制作の対象とする場合、奥行き制作支援装置１の制御部１１は、第１及び第２の実施の形態と同様に、まずユーザの操作に従ってマスク画像５２の輪郭線６２を抽出する。その後、制御部１１は、ユーザによる補助線の追加を受け付ける。ここでユーザは、鼻、筋肉、或いは鎖骨等の輪郭線６２の内部にある凹凸を表現するため、輪郭線６２の内部にそれぞれ独立した補助線を描く。輪郭線６２は閉曲線とするが、補助線は必ずしも閉曲線でなくてもよい。更に、制御部１１は、輪郭線に沿ったアンカーポイント及び奥行き値の入力を受け付ける他、補助線に沿ったアンカーポイント及び奥行き値の入力も受け付ける。
制御部１１は、入力された奥行き値に基づき、輪郭線及び補助線を境界として、境界（輪郭線６１及び補助線）以外の画素が滑らかな平面となるように、各画素の奥行き値を算出する。
【００９５】
以上のようにして、輪郭線とは独立した補助線を輪郭線（閉曲線）の内部に追加し、輪郭線及び補助線に沿ってアンカーポイントを設定すれば、元の輪郭線の内部領域に更に詳細な奥行き設定を行うことが可能となる。なお、補助線の追加や削除は、各画素の奥行き値算出後に更に継続して行うことも可能である。
【００９６】
以上、添付図面を参照しながら、本発明に係る奥行き制作支援装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。例えば、第２の実施の形態と第３の実施の形態とを組み合わせ、輪郭線、分岐線、及び補助線の追加を適宜可能にしたり、これらの線に沿ったアンカーポイントの設置を行えるようにしてもよい。また、輪郭線の内部に輪郭線を新たに設定することもできる。本発明の輪郭線、分岐線、補助線等は、線上の各点に対し任意の奥行きを与えるという点で等高線とは異なり、直観的で自由な操作を実現できる。
その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９７】
１………奥行き制作支援装置
３………２次元画像
４………背景画像
５………マスク画像
６………輪郭線
７………奥行き値
８………奥行き画像
９………ラベル画像
【図１】
0005994320.tif 000003
【図２】
0005994320.tif 000004
【図９】
0005994320.tif 000005
【図１０】
0005994320.tif 000006
【図１１】
0005994320.tif 000007
【図１２】
0005994320.tif 000008
【図１３】
0005994320.tif 000009
【図１４】
0005994320.tif 000010
【図１５】
0005994320.tif 000011
【図１６】
0005994320.tif 000012
【図１７】
0005994320.tif 000013
【図１８】
0005994320.tif 000014
【図１９】
0005994320.tif 000015
【図２０】
0005994320.tif 000016
【図２１】
0005994320.tif 000017
【図２２】
0005994320.tif 000018
【図２３】
0005994320.tif 000019
【図２４】
0005994320.tif 000020
【図２５】
0005994320.tif 000021
【図２６】
0005994320.tif 000022
【図３】
0005994320.tif 000023
【図４】
0005994320.tif 000024
【図５】
0005994320.tif 000025
【図６】
0005994320.tif 000026
【図７】
0005994320.tif 000027
【図８】
0005994320.tif 000028