(57)【要約】【課題】視差映像の生成において質感等をより現実的に表現することができる映像信号処理装置及び映像信号処理方法を提供する。【解決手段】被写体の質感情報を分類する分類手段と、分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を解析する解析手段と、前記素材情報に基づいて視差映像信号を生成する生成手段とを備えた映像信号処理装置。また、被写体の質感情報を分類し、分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を解析し、前記素材情報に基づいて視差映像信号を生成する映像信号処理方法。【選択図】  図４
2012160922.tif 000002
【特許請求の範囲】
【請求項１】
被写体の質感情報を分類する分類手段と、
分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
解析する解析手段と、
前記素材情報に基づいて前記映像入力信号から視差映像信号を生成する生成手段とを
備えた映像信号処理装置。
【請求項２】
前記生成手段は、更に被写体の形状情報または奥行き情報に基づいて視差映像信号を生
成する請求項１に記載の映像信号処理装置。
【請求項３】
前記生成手段は、更に被写体への光の入射方向に基づいて視差映像信号を生成する請求
項１に記載の映像信号処理装置。
【請求項４】
更に前記視差映像信号を表示する表示パネルを備えた請求項１に記載の映像信号処理装
置。
【請求項５】
被写体の質感情報を分類し、
分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
解析し、
前記素材情報に基づいて視差映像信号を生成する映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、視差映像を生成する映像信号処理装置及び映像信号処理方法に関
する。
【背景技術】
【０００２】
2次元映像を3次元映像に変換するための装置が用いられている。例えば、特許文献１は
、この2次元映像を3次元映像に変換するための視差映像を生成する手段に関するものであ
る。
【０００３】
しかしながら更に、より正確な視差映像を生成すること、例えば質感をより現実的に表
現することができるようになることへの要望がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−５６８９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、視差映像の生成において質感等をより現実的に表現することが
できる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば映像信号処理装置は、被写体の質感情報
を分類する分類手段と、分類された前記質感情報に基づいて、入力された映像入力信号中
の被写体の素材情報を解析する解析手段と、前記素材情報に基づいて視差映像信号を生成
する生成手段とを備えた。
【図面の簡単な説明】
【０００７】
【図１】この発明の一実施形態を示すブロック構成図。
【図２】同実施形態の映像信号処理装置を備えたＴＶの構成例を示す機能ブロック構成図。
【図３】同実施形態の効果を説明するために示す概要図。
【図４】同実施形態の映像信号処理装置の例を示すブロック構成図。
【図５】同実施形態に用いられる反射率分布データベースの構成例を示す図。
【図６】同実施形態の映像生成部における映像の生成方法を示す図。
【図７】光沢のある球に正面からペンライトで光を当てたときの反射を示す図。
【図８】光沢のある球に左５５度からペンライトで光を当てたときの反射を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態を説明する。
（第１の実施形態）
本発明による第１の実施形態を図１乃至図６を参照して説明する。
図１は、本発明に関する通信装置であるネットワーク機能を備えたデジタルテレビジョ
ン放送受信装置１１１の外観と、このデジタルテレビジョン放送受信装置１１１を中心と
して構成されるネットワークシステムの一例を概略的に示している。
【０００９】
すなわち、デジタルテレビジョン放送受信装置１１１は、主として、薄型のキャビネッ
ト１１２と、このキャビネット１１２を起立させて支持する支持台１１３とから構成され
ている。そして、キャビネット１１２には、例えばＳＥＤ（Surface-conduction Electro
n-emitter Display）表示パネル，液晶表示パネル等でなる平面パネル型の映像表示器１
１４、スピーカ１１５、操作部１１６、リモートコントローラ１１７から送信される操作
情報を受ける受光部１１８等が設置されている。
【００１０】
また、このデジタルテレビジョン放送受信装置１１１には、例えばＳＤ（Secure Digit
al）メモリカード、ＭＭＣ（Multimedia Card）及びメモリスティック等の第１のメモリ
カード１１９が着脱可能となっており、この第１のメモリカード１１９に対して番組や写
真等の情報の記録再生が行なわれるようになっている。
【００１１】
さらに、このデジタルテレビジョン放送受信装置１１１には、例えば契約情報等の記録
された第２のメモリカード（ＩＣカード）１２０が着脱可能となっており、この第２のメ
モリカード１２０に対して情報の記録再生が行なわれるようになっている。
【００１２】
また、このデジタルテレビジョン放送受信装置１１１は、第１のＬＡＮ（Local Area N
etwork）端子１２１、第２のＬＡＮ端子１２２、ＵＳＢ（Universal Serial Bus）端子１
２３及びｉ．ＬＩＮＫ端子１２４を備えている。
【００１３】
このうち、第１のＬＡＮ端子１２１は、ＬＡＮ対応ＨＤＤ専用ポートとして使用される
もので、接続されたＮＡＳ（Network Attached Storage）であるＬＡＮ対応のＨＤＤ１２
５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される
。
【００１４】
このように、ＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子１２１を設けるこ
とにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＬＡ
Ｎ対応のＨＤＤ１２５に対してハイビジョン画質による番組の情報記録を安定して行なう
ことができる。
【００１５】
また、第２のＬＡＮ端子１２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ
対応ポートとして使用されるもので、例えばハブ１２６を介して、ＬＡＮ対応のＨＤＤ１
２７、コンテンツサーバー１２８、ＨＤＤ内蔵のＤＶＤ（Digital Versatile Disk）レコ
ーダ１２９等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
【００１６】
なお、コンテンツサーバー１２８については、家庭内ネットワークにおいてコンテンツ
のサーバー機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要な
ＵＲＩ（Uniform Resource Identifier）情報を提供するサービスを備えたＵＰｎＰ（ユ
ニバーサルプラグアンドプレイ）対応機器として構成される。
【００１７】
なお、ＤＶＤレコーダ１２９については、第２のＬＡＮ端子１２２を介して通信される
デジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１１
との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路１３０を
設ける必要がある。
【００１８】
さらに、この第２のＬＡＮ端子１２２は、ハブ１２６に接続されたブロードバンドルー
タ１３１を介して、例えばインターネット等のネットワーク１３２に接続し、このネット
ワーク１３２を介してコンテンツサーバー１３３や携帯電話１３４等と情報伝送を行なう
ために使用される。
【００１９】
なお、コンテンツサーバー１３３についてはコンテンツのサーバー機器として動作する
ための機能を持ち、さらにコンテンツのアクセスに必要なＵＲＩ情報を提供するサービス
を備えたＵＰｎＰ対応機器として構成される。
【００２０】
また、上記ＵＳＢ端子１２３は、一般的なＵＳＢ対応ポートとして使用されるもので、
例えばハブ１３５を介して、携帯電話１３６、デジタルカメラ１３７、メモリカードに対
するカードリーダ／ライタ１３８、ＨＤＤ１３９、キーボード１４０等のＵＳＢ機器を接
続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。
【００２１】
さらに、上記ｉ．ＬＩＮＫ端子１２４は、例えばＡＶ−ＨＤＤ１４１、Ｄ（Digital）
−ＶＨＳ（Video Home System）１４２等をシリアル接続し、これらの機器と情報伝送を
行なうために使用される。
図２は、上記したデジタルテレビジョン放送受信装置１１１の主要な信号処理系を示す
機能ブロック構成図である。デジタルテレビジョン放送受信装置１１１は、アンテナ３０
１、チューナ部３０２、デコーダ部３０３、左右映像分離部３０４、外部入力端子３０５
（１２１〜１２４および１３０に相当）、視差映像生成部３０６および表示パネル３０７
等から図２のように構成される。
【００２２】
まずアンテナ３０１から入力された放送波はチューナ部３０２、デコーダ部３０３を通
ることで映像データとなり、左右映像分離部３０４へ入力される（左右映像分離部３０４
へ入力される映像データは外部入力端子３０５から入力されたものでもよい。）。そして
左右映像分離部３０４にて左目で見る映像データと右目で見る映像データに分離され、視
差映像生成部３０６（後述の映像信号処理装置２００)にて映像を解析しこの解析結果か
ら映像を生成し、表示パネル３０７から生成した映像を表示する。
【００２３】
図３は、実施形態の効果を説明するために示す概要図である。１００は、ある被写体が
存在する空間を真上から表した図であり、この空間には、球体の被写体（１０１）と星型
板の被写体（１０２）と光源（１０５）が存在する。ここで、これらの被写体を１０３の
視点からみた映像（１５０）が存在するときに１０４の視点からの映像を生成することを
後述のように実施する。このとき、奥行き情報によって被写体を左右にずらす従来手法に
基づいて生成した映像は１６０のようになる。球体の被写体（１０１）と星型板の被写体
（１０２）との距離はＳ１からＳ２へと狭くなっている。
【００２４】
しかしここまでの手法では、１５０中のハイライト（１５１）の位置は、１６０中のハ
イライト（１６１）の位置となって変化しない。以下では物体表面の反射特性を考慮し、
より正確な視差映像（１７０）を生成する装置について説明する。なお、光源（１０５）
は説明のために被写体（１０１）などに近接して描いているが、外光や天井燈など遠点か
ら平行光線をもたらすものを想定してもよい。
【００２５】
図４は、映像信号処理装置の構成例について示したものであり、視差映像生成部３０６
に対応している。この例では、１視差の映像から他の視差映像を生成しているが、２視差
以上の映像を入力しても良く、また２視差以上の視差を生成することも可能である。
【００２６】
この映像信号処理装置２００は、映像解析部２０１と映像生成部２０２と反射率分布デ
ータベース２０３で構成される。
まず入力映像は映像解析部２０１によって被写体の形状・被写体の素材・光源入射方向
を解析するが、これらは公知の手法で行うことができる。例えば光源入射方向は、映像１
５０を入力して得ることができる。また形状や素材は、１５１の部分の広がりやコントラ
ストで推定できる。次に映像１６０を入力したときにこの光源入射方向の情報に視点の位
置の差を加味すればよい。
【００２７】
形状については、例えば既にある2D3D変換の技術（例えば特開２０００−２５３４２２
号、特開２０００−２６１８２８号）で奥行きがわかるので、この奥行きの変化で形状が
特定できる。
【００２８】
また素材については、一般的なパターン認識技術(例えば顔認識や人物検索)を金属や繊
維などの素材を対象として実施すれば特定可能である。
また光源入射方向については、上記の手法で物体の形状(表面の向き)がわかれば、ハイ
ライトの位置から計算で求めることができる。具体的には、視点とハイライト位置を結ぶ
直線がハイライト位置の表面によって反射する方向が光源の方向になる。例えば、図７は
光沢のある球に正面からペンライトで光を当てたときの反射（最も光っている部分）を示
し、図８は左５５度からペンライトで光を当てたときの反射を示す。
【００２９】
次に入力映像と映像解析部２０１で解析した情報によって映像生成部２０２にて任意の
視点での視差映像を生成する。この映像生成部２０２にて処理を行う際、反射率分布デー
タベース２０３（被写体の質感情報を分類する分類手段）を利用する。
【００３０】
図５は反射率分布データベースの構成例である。一般的に物体に光が入射すると（３３
０）、物体面の法線に線対称となる方向に光が反射する（３３１）。この反射の際、物体
表面の性質（質感）により光が散乱することになる。この例では、散乱する光は反射方向
との成す角（θ）の関数で表現できるとし、素材毎にその分布データ（３１０〜３２１：
金属Ａ、金属Ｂ、繊維Ａ、繊維Ｂ）を保存している。なお繊維Ｂ３２１は、θ＝０で反射
率が最大とならない、特異な分布データを示している。
【００３１】
実際には、これら分布データよりさらに複雑な情報でも簡易的な情報でもよい。また保
存の形態は、例えば簡単にはθの値とこの値に対する反射率を組にしたテーブルなどでよ
い。複雑な情報としては、滑らかな関数ではなく、素材の粗さなどにより周期性を持った
細かな変動を加味したようなものでもよい。
【００３２】
図６は、映像生成部２０２における映像の生成方法の例を示した図である。ここでは４
００に示した形状（明度が高いほど手前）から視差映像を生成する例について示す。まず
、ある画素を生成する際、その画素に対応する被写体部分を入力映像から探す。そして、
光源の入射方向（４０１）と被写体部分表面の傾斜から反射方向（４０２）を算出する。
次に、素材情報を基に反射率分布データベース２０３でその素材の反射率分布を参照し、
４０２と入力映像から生成する映像の画素値を計算する。そして曲面と推定されるすべて
の画素について同様に画素値の計算を行い、視差映像を生成する。
【００３３】
視差映像の生成は、２次元映像から擬似的に２眼の３次元映像を作成したり、２眼の３
次元映像から多眼の３次元映像を作成したりするときに使用する。ここでこの装置を使用
することにより、より正確な視差映像を生成することができ、図５で示したように質感を
リアルに表現することができるようになる。
【００３４】
例えば、金属部分等には光源がハイライトとして映りこむ場合が多いが、このとき被写
体の形状と光源の位置によっては、右目と左目に入る輝度値が異なる。しかし、従来の視
差映像生成手法では、片方の映像の輝度を基にもう片方の映像の輝度を生成するため、こ
のような場合でも右目側と左目側が同じ輝度となってしまう。するとこの部分は「金属体
に現れたハイライト」ではなく「明度の高い色が付いた部分」とし知覚してしまうことに
なる。この提案装置を使用して視差映像を生成することによりこれを防ぐことが可能であ
る。
【００３５】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３６】
１…入力画像データ並び替え部、２…バッファメモリＡ、３…バッファ制御部、４…メ
ガネシャッタ制御部、５…バッファメモリＢ、６…補正画像生成ブロック、１１１…デジ
タルテレビジョン放送受信装置、１１２…キャビネット、１１３…支持台、１１４…映像
表示器、１１５…スピーカ、１１６…操作部、１１７…リモートコントローラ、１１８…
受光部、１１９…第１のメモリカード、１２０…第２のメモリカード、１２１…第１のＬ
ＡＮ端子、１２２…第２のＬＡＮ端子、１２３…ＵＳＢ端子、１２４…ｉ．ＬＩＮＫ端子
、１２５，１２７，１３９…ＨＤＤ、１２６，１３５…ハブ、１２８，１３３…コンテン
ツサーバー、１２９…ＤＶＤレコーダ、１３０…アナログ伝送路、１３１…ブロードバン
ドルータ、１３２…ネットワーク、１３４，１３６…携帯電話、１３７…デジタルカメラ
、１３８…カードリーダ／ライタ、１４０…キーボード、１４１…ＡＶ−ＨＤＤ、１４２
…Ｄ−ＶＨＳ、３０６…視差映像生成部。
【図１】
2012160922.tif 000003
【図２】
2012160922.tif 000004
【図３】
2012160922.tif 000005
【図４】
2012160922.tif 000006
【図５】
2012160922.tif 000007
【図６】
2012160922.tif 000008
【図７】
2012160922.tif 000009
【図８】
2012160922.tif 000010
【手続補正書】
【提出日】平成23年2月14日(2011.2.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
【特許文献１】特開２０００−２６１８２８号公報（特願平１１−５６８９１号）