(57)【要約】【課題】自己映像を鏡像化し、相手映像と合成しても違和感のない、映像を提供すること。【解決手段】本発明の映像変換装置は、立体映像ストリームを、左目用画像と右目用画像からなる立体映像信号にデコードするデコーダと、その左目用画像の左右を反転し、その右目用画像の左右を反転する逆スキャン部と、その左右が反転した左目用画像を右目用画像とし、その左右が反転した右目用画像を左目用画像とすることで右目用画像と左目用画像とを入れ替えて出力するフレーム遅延変換部とを備える。【選択図】図４
2014112750.tif 000002
【特許請求の範囲】
【請求項１】
立体映像ストリームを、左目用画像と右目用画像からなる立体映像信号にデコードするデコーダと、
前記左目用画像の左右を反転し、前記右目用画像の左右を反転する反転部と、
前記左右が反転した左目用画像を右目用画像とし、前記左右が反転した右目用画像を左目用画像とすることで、右目用画像と左目用画像とを入れ替えて出力するフレーム変換部と、
を備えた映像変換装置。
【請求項２】
自装置の外部からネットワークを介して立体映像を受信する受信部と、
前記受信部が受信した左目用画像と前記フレーム変換部が出力した左目用画像とを合成し、前記受信部が受信した右目用画像と前記フレーム変換部が出力した右目用画像とを合成する合成部と、
を備えた、請求項１に記載の映像変換装置。
【請求項３】
前記フレーム変換部から出力された映像の画像サイズを変換する画像サイズ変換部を備え、
前記合成部は、
前記受信部が受信した左目用画像と前記画像サイズ変換部が出力した左目用画像とを合成し、前記受信部が受信した右目用画像と前記画像サイズ変換部が出力した右目用画像とを合成する、
請求項２に記載の映像変換装置。
【請求項４】
画像サイズ変換部の飛び出し方向の深度を検知する深度検出部と、
前記深度検出部が検出した深度に応じて、前記受信部が受信した立体映像の深度を調整する深度調整部を備え、
前記受信部が受信した左目用画像と前記深度調整部が出力した左目用画像とを合成し、前記受信部が受信した右目用画像と前記深度調整部が出力した右目用画像とを合成する、
請求項３に記載の映像変換装置。
【請求項５】
前記デコーダに入力される立体映像ストリームは、自装置に接続された撮像部により撮像された立体映像であることを特徴とする請求項１に記載の映像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術分野は、映像再生技術に関し、特に、テレビ電話等、立体視可能な映像信号を出力する映像変換装置に関する。
【背景技術】
【０００２】
近年、立体視可能な映像（立体映像）を表示できる映像変換装置の技術の開発が進んでいる。立体映像を表示する際、映像再生装置は、光ディスク等の映像ソースに記録されたコンテンツのデータから左目用の映像、および、右目用の映像を生成し、映像表示装置へ送出する。映像表示装置は、左目用の映像、および、右目用の映像を交互に提示する。
【０００３】
特許文献１には、視差を有する右目映像および左目映像をユーザに提示することで立体映像表示を可能とする映像再生装置が開示される。ユーザは、右目を通じて視認する映像（右目映像）と左目を通じて視認する映像（左目映像）とを脳内で合成し、立体映像として認識する。
【０００４】
また、映像ソースとして、テレビ電話のように、立体視可能な３Ｄカメラで撮影した映像であってもよく、立体視可能な３Ｄカメラで撮影した映像は、映像ストリームとして、ネットワーク等を介して、相手方に送信され、また、相手の映像は、映像ストリームとして、ネットワーク等を介して、自己の映像変換装置で受信することができる。
映像変換装置で変換された映像は、テレビ等の表示装置に映し出されるが、その時、相手の映像とともに、自己の映像を映し出すことがありえる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−０８４９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の映像変換装置は、自己の３Ｄカメラで撮影した映像と、ネットワーク等から受信した相手の映像のストリームをデコードして合成する場合に、図１０のように、自己映像が逆転してしまい、違和感のある映像になってしまうという問題があった。
【０００７】
本実施の形態は、上記問題点を解決すべくなされたものであり、自己映像を鏡像化し、相手映像と合成しても違和感のない、映像を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の映像変換装置は、立体映像ストリームを、左目用画像と右目用画像からなる立体映像信号にデコードするデコーダと、その左目用画像の左右を反転し、その右目用画像の左右を反転する逆スキャン部と、その左右が反転した左目用画像を右目用画像とし、その左右が反転した右目用画像を左目用画像とすることで右目用画像と左目用画像とを入れ替えて出力するフレーム遅延変換部とを備える。
【発明の効果】
【０００９】
以上により、自己の映像を表示した場合であっても違和感の無い映像を表示することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１〜３における映像変換システムの全体構成図
【図２】実施の形態１〜３における通信装置１００の構成図
【図３】実施の形態１における制御ＬＳＩ１０１の機能ブロックを示す図
【図４】実施の形態１〜３における動作を説明するための図
【図５】実施の形態１におけるモニタ３０１への表示の一例を示す図
【図６】実施の形態２における制御ＬＳＩ１０１の機能ブロックを示す図
【図７】実施の形態２におけるモニタ３０１への表示の一例を示す図
【図８】実施の形態３における制御ＬＳＩ１０１の機能ブロックを示す図
【図９】実施の形態３におけるモニタ３０１への表示の一例を示す図
【図１０】従来技術におけるモニタへの表示の一例を示す図
【図１１】左右反転を説明するための図
【図１２】左目用画像と右目用画像を入れ替えることの効果を説明するための図
【発明を実施するための形態】
【００１１】
以下、実施の形態について、詳細に説明する。
【００１２】
（実施の形態１）
１．立体映像再生表示システムの構成
実施の形態１による、映像変換システムについて説明する。図１は、実施の形態１による通信装置１００を備えた、テレビ電話等の映像変換システムの全体構成図である。図１において、表示装置３００は、立体映像を表示するディスプレイなどの表示装置である。
通信装置１００は、カメラ・マイク２００で撮影する自分の映像や、自分の周囲を撮影した映像を変換して、ネットワーク等の媒体に送出する。また、ネットワーク等の媒体から、受信した相手の映像をデコード加工して、表示装置３００に映像信号を送出して表示するものである。
【００１３】
立体視の映像は、左（Ｌ）映像／右（Ｒ）映像を時間的に交互に伝送する、フレームシーケンシャルと呼ばれる送出方法を行っている。
【００１４】
図２を参照し、通信装置１００の詳細を説明する。図２は本明細書に記載の各実施の形態における通信装置１００の構成の詳細を示す図である。
【００１５】
通信装置１００は、制御ＬＳＩ１０１によってフラッシュメモリ１１２を仲介として制御され、ＵＳＢインタフェース１０５を介してカメラ・マイク２００に接続され、ネットワークインターフェース１０３によってネットワークに接続され、ＨＤＭＩインタフェース１０７を介して、表示装置３００に接続されている。また、無線受光部１０４を介して、リモコン４００の信号を受信し、ユーザからの操作を受けて動作を開始する。
【００１６】
カメラ・マイク２００は、カメラ・マイク２００周辺の映像を撮影するものである。カメラ２０１は、３次元映像を撮影することが可能なものであり、マイク２０２によって収録された音声とともに。エンコーダ２０３は、カメラ２０１で撮像した映像とマイク２０２で録音した音声とをエンコードし、伝送可能なストリームに変換する。エンコーダ２０３で変換された後、ＵＳＢインタフェース１０５等のインタフェースを介して通信装置１００に入力される。
【００１７】
カメラ・マイク２００からの映像信号は、制御ＬＳＩ１０１の制御により、ネットワークインターフェース１０３を介して、ネットワークに配信される。
ネットワーに配信される映像信号は、いわゆるテレビ電話の形で、会話相手に向かって、送信される。
【００１８】
一方で、相手から送られた映像信号は、通信装置１００によって受信され、表示装置３００に表示されて、テレビ電話としての会話が成立する。相手も同様のシステムを用いて、同様な立体視可能なカメラで撮影されたものをストリームとしてネットワークを使って送出してくるものである。
【００１９】
ネットワークインターフェース１０３を介して、ネットワークから入力された映像は、制御ＬＳＩ１０１の制御により、デコードされて映像化され、ＨＤＭＩインタフェース１０７を介して、表示装置３００に出力される。
【００２０】
この時、カメラ・マイク２００からの映像と合成して、表示装置３００に送られる。
【００２１】
カメラ・マイク２００からの映像や、ネットワークインターフェース１０３を介して入力されたネットワークからの映像は、立体視可能な映像で、通信装置１００から出力される立体映像信号は、ＨＤＭＩインタフェース１０７を介して、表示装置３００に立体映像信号として出力される。
この時、ＨＤＭＩインタフェース１０７は、ＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）  Ｖｅｒ１．４対応の信号入力部などで構成されればよい。
【００２２】
表示装置３００は、通信装置１００が送出する、ＨＤＭＩインタフェース１０７の映像に合わせて、モニタ３０１から、ユーザが装着する立体視めがねに対し、左右のレンズのシャッタの開閉を制御する切換信号を送出することにより、ユーザは、立体映像を鑑賞することができる。
【００２３】
制御ＬＳＩ１０１で行われる、映像変換装置の処理の流れを図３のブロック図を用いて説明する。
【００２４】
図３は、実施の形態１における制御ＬＳＩ１０１の詳細を示すブロック図である
カメラ・マイク２００から入力されたストリームは、デコーダ１０１１により、デコードされ、ベースバンドの映像信号に変換される。デコーダ１０１１から出力されたベースバンドの映像信号は、逆スキャン部１０１２によって、映像の左右を反転させて、出力する。ここで、左右の反転について説明する。逆スキャン部１０１２は、図１１に示すように、映像の１枚の画像に着目すると、左右の絵柄を逆転させるものである。逆スキャン部１０１２の左右逆転は、フレーム映像を一旦メモリ手段に保持し、読み出す時に、映像を左右逆向きに読み出すことにより実現している。
【００２５】
逆スキャン部１０１２の出力映像は、フレーム遅延変換部１０１３に入力される。フレーム遅延変換部１０１３は、伝送されてきた映像のフレームに遅延を加える手段である。スケーラ１０１４は、映像の大きさを変えることのできる手段である。
【００２６】
本実施の形態では、例えば、図５に記載のようにネットワークから受信された相手の映像を表示装置３００に大映しし、カメラ・マイク２００で撮影している自己の映像を、縮小して、画面の右下に合成し、相手の映像の中に、自己の映像を配置して、相手に送る自分の映像を見ながら、会話をするものである。
デコーダ１０１５は、ネットワークから受信したストリームからデコーダ１０１５によってベースバンド映像信号に変換する。映像合成部１０１６は、スケーラ１０１４で大きさが変えられた映像とデコーダ１０１５によって映像を合成している。映像合成部１０１６から出力される映像信号は、相手の映像と、自己の映像が合成された映像信号となる。
【００２７】
映像合成部１０１６の出力は、ＨＤＭＩインタフェース１０７を介して、表示装置３００に送出される。表示装置３００が表示する。
【００２８】
次に、図４を用いて、本実施例の動作を説明する。図４は、本実施例の動作を示す。図３のデコーダ１０１１からの立体視可能な映像信号は、フレームシーケンシャルと呼ばれるもので、左目用の視差を持った映像フレーム（Ｌ）と、右目用の視差を持った映像のフレーム（Ｒ）が時間的に交互に伝送される。
【００２９】
デコーダ１０１１から逆スキャン部１０１２に入力される映像信号のうち、左目用の視差を持った映像フレームをＬｎ（ｎ＝０，１，…）とし、右目用の視差を持った映像フレームをＲｎ（ｎ＝０，１，…）とする。
逆スキャン部１０１２は出力する映像信号を、左右反転して出力する。図４において、ＬｎおよびＲｎが反転しているのは、映像が左右反転していることを示している。
【００３０】
フレーム遅延変換部１０１３は、映像フレームを１映像フレーム分、遅延する。これにより、逆スキャン部１０１２から出力されるときに左目用の映像として出力されたＬｎは、右目の映像のタイミングで出力される。
逆に、逆スキャン部１０１２から出力されるときに右目用の映像として出力されたＲｎは、右目の映像のタイミングで出力される。
【００３１】
一方、ネットワーク等からネットワークインターフェース１０３を介して受信された、テレビ電話の相手の映像のうち、左目用の視差を持った映像フレームをＬ‘ｎ（ｎ＝０，１，…）とし、右目用の視差を持った映像フレームをＲ’ｎ（ｎ＝０，１，…）とする。
【００３２】
デコーダ１０１５に入力されたテレビ電話の相手の映像は、デコードされ、ベースバンドの映像信号として出力される。
映像合成部１０１６は、デコーダ１０１５の出力とスケーラ１０１４の出力を合成し出力する。
【００３３】
このように、映像合成部１０１６により、自分の映像と、相手の映像を合成する前に、フレーム遅延変換部１０１３により、自分の映像を遅延させ、自分のＬ０、と相手のＲ‘０、自分のＲ０と相手のＬ’１とを合成してゆく。
このように、相手の映像に対して、鏡像化した自分の映像を、１フレーム遅延しながら合成してゆく。
【００３４】
この理由を、図１２を用いて説明する。逆スキャン部１０１２の出力映像は、左右を反転させるものである。しかし、図１１に示すように、逆スキャン部１０１２の出力映像は視差を持った映像である。例えば、Ｌ０映像は、点線で示す視差のない映像に比べて、矢印Ａで示すように、左側に視差の深度を持っている。また、Ｒ０映像は、点線で示す視差のない映像に比べて、矢印Ｂで示すように右側に視差の深度を持っている。この場合、逆スキャン部１０１２によって、左右反転された映像は、矢印Ａ、矢印Ｂで示すように、視差の方向も逆になる。この場合、立体視の深度の情報が逆転する。
【００３５】
具体的には、逆スキャン部１０１２の出力映像をそのまま表示すると、飛び出していた映像が引っ込んだ映像となったり、逆に引っ込んだ映像が、飛び出した映像となったりする。
【００３６】
この課題を解決するために、フレーム遅延変換部１０１３により、一つ前のフレームと合成して、映像を鏡像化することにより、自己の映像の深度を保持することが可能となる。
【００３７】
また、自己の映像は、フレーム遅延変換部１０１３の出力をスケーラ１０１４によって拡大縮小されて相手映像と合成される。
【００３８】
このように合成された映像は、図４の合成イメージを示すように、相手のＲ‘０映像と、反転された自己のＬ０映像が合成され、相手のＬ’１映像と、自己のＲ０映像が合成される等の動作となる。
【００３９】
この結果、図５に示すように、相手の映像に対して、自己映像を合成しても、共に違和感なく、立体視することができることとなる。
自己の姿は、鏡像化した方が、動作の予測がしやすく、相手映像は、鏡像化しない方が、違和感のない映像として見える。
【００４０】
（実施の形態２）
次に第二の実施の形態について、図６を参照しながら説明する。図６は、本発明の実施の形態における映像合成装置の実施例の制御ＬＳＩ１０１の動作をブロック図化したものである。
【００４１】
実施の形態１と異なるのは、新たに深度検出部１０１７と深度補正部１０１８設けた点である。
【００４２】
デコーダ１０１１、逆スキャン部１０１２、フレーム遅延変換部１０１３、スケーラ１０１４を通った映像は、左右映像に視差を持っているので、その視差を深度検出部１０１７により、検出する。
【００４３】
視差に関する情報を検出する検出方法は、例えば、撮影時の立体視カメラは、２眼カメラが用いられるが、その焦点位置や、２眼カメラの傾きにより、得られる視差情報を映像ストリームに乗せて、送出し、受信側でその情報を取得することによって得られる。
また、受信映像の左右の映像のずれ量から、視差に関する情報を得ることも可能である。
同様に、自己の映像に関しても視差の情報を得ることが可能である。
深度検出部１０１７の検出は、例えば、映像の中の人の顔を認識してその視差を検出することで、深度を検出する。
【００４４】
深度補正部１０１８は、自己映像の深度を補正するもので、左右映像に横方向にずらすことによって、視差をつけることができる。
【００４５】
例えば深度検出部１０１７で検出した相手の映像の深さが、自己の映像の視差の深さよりも、深く、遠くに見える視差の場合には、自己の映像よりも、奥に相手映像が見えるために、より、相手の姿の立体感を得ることができる。
また、逆に、相手の映像の深さが、自己の映像の視差の深さよりも、浅く、近くに見える場合には、自己の映像が邪魔にならずに、例えば、会話に集中することが可能となる。
また、相手の映像の深さと、自己の映像の視差の深さがほぼ同じ場合には、相手の映像の中に、自己の映像を溶け込ませたように見えるため、相手と自己の一体感を感じることができる。
【００４６】
このように、映像合成部１０１６で合成した映像を用いれば、図７のように、相手映像に対して、自己映像の立体的な位置を調整することができることとなり、相手映像に合わせて、自己の映像を適当な深度位置で見ることができる。
【００４７】
（実施の形態３）
次に実施の形態３について、図面を参照しながら説明する。実施の形態２と異なるのは、新たに逆スキャン部１０１９とフレーム遅延変換部１０２０設けた点である。
【００４８】
図８において、逆スキャン部１０１９は、ネットワークから受信した映像をデコーダ１０１５によって映像化したのち、左右を逆転させるものであり、逆スキャン部１０１２と同様の働きをするものである。フレーム遅延変換部１０２０は、映像フレームを遅延させるものであり、フレーム遅延変換部１０１３と同様の働きをするものである。
デコード映像をテレビに表示する場合、ＨＤＭＩインタフェース１０７経由で左右映像のいずれを送っているかを毎フレームごとに通知している。
【００４９】
この通知は、相手映像のデコード結果によって決定しており、その更新は、フレーム周期で行われる。フレーム遅延変換部１０２０は、かかる左右映像の通知に対して、デコードされた映像を映像フレーム分遅延させている。
このようにすると、相手の映像と、自己の映像が共に鏡像化して表示されるために、
図９に示すように、相手の映像の中に自己分を写し込んだ映像を表示することが可能となる。
【００５０】
さらに、相手の映像の深度を検出して、自己の映像の深度と調整することにより、立体的に、視野に溶け込むことが出来ることとなる。また、映像を共に鏡像化して、相手の映像と重ねることにより、写真の構図決め時の微調整を、鏡を見るように、簡単に行うことができることとなる。
【００５１】
前述したように、例えば、相手の映像の深さと、自己の映像の視差の深さがほぼ同じ場合には、相手の映像の中に、自己の映像を溶け込ませたように見えるため、相手と自己の一体感を感じることができるため、記念撮影のように、相手と自己の合成写真を撮ることができることとなる。
【００５２】
例えば、リモコンによって、映像の視差の深さを調整したり、位置を調整し、その調整された映像の一瞬を、リモコン動作により、静止画化することにより、記念写真を撮ることとなる。
【００５３】
相手の映像の中に、自己の映像を溶け込ませる方法として、自己の映像の所定の視差深以上の深さのところを透明にして、相手映像に重ねると、相手のいる場面に自己の姿を重ねることができることとなる。
また、背景に、幕などを垂らして、幕の色や輝度によって周囲を透明にして、相手映像と重ねあわせる方法もありえる。
【００５４】
記念撮影のように、静止画カメラのシャッタチャンスを決めるような、写真の構図決定の動作は、被写体者全員が鏡像化されて写される方が、動作の予測がしやすいために、
より、操作性よく、構図決定を行うことができる。
映像によって構図が決まった場合には、その瞬間をリモコンにより、カメラのシャッタのように、その瞬間をメモリに保存することにより、静止画を得ることができる。
【００５５】
構図決定した映像は、静止画化することにより、記念写真とすることができる。
また、このようにして、作成した、静止画は、３Ｄ２Ｄ変換したものとすることにより、２次元の記念写真を容易に作ることができる。
【００５６】
なお、ネットワーク等から受信する相手映像にも、スケーラ１０１４のようなスケーラ機能を設けて、拡大縮小して合成してもいい。
【００５７】
また、各実施例では、カメラ・マイク２００にエンコーダ２０３があり、エンコードしてストリームとして通信装置１００に入力されるとしたが、エンコードの機能は、通信装置１００にあってもよく、その場合には、制御ＬＳＩ１０１でデコードする必要はない。
【産業上の利用可能性】
【００５８】
本発明は、ＢＤレコーダ、ＢＤプレーヤ等に適用できる。
【符号の説明】
【００５９】
１００    通信装置
２００    カメラ・マイク
３００    テレビ
４００    リモコン
５００    ネットワーク
６００    パーソナルコンピュータ
７００    テレビ
８００    基地局
９００    携帯端末
１０００    端末
２０００    通話用サーバ
１０１    制御ＬＳＩ
１０３    ネットワークインタフェース
１０４    無線受光部
１０５    ＵＳＢインタフェース
１０７    ＨＤＭＩインタフェース
１１２    フラッシュメモリ
２０１    カメラ
２０２    マイク
２０３    エンコーダ
２０５    ＵＳＢインタフェース
３０１    モニタ
３０２    スピーカー
３０３、３０４    Ｄ／Ａコンバータ
３０５    ＨＤＭＩインタフェース
４０１    操作部
４０２    処理回路
４０３    無線送信部
１０１１    デコーダ
１０１２    逆スキャン部
１０１３    フレーム遅延変換部
１０１４    スケーラ
１０１５    デコーダ
１０１６    逆スキャン部
１０１７    深度検出部
１０１８    深度補正部
１０１９    逆スキャン部
１０２０    フレーム遅延変換部
【図１】
2014112750.tif 000003
【図２】
2014112750.tif 000004
【図３】
2014112750.tif 000005
【図４】
2014112750.tif 000006
【図５】
2014112750.tif 000007
【図６】
2014112750.tif 000008
【図７】
2014112750.tif 000009
【図８】
2014112750.tif 000010
【図９】
2014112750.tif 000011
【図１０】
2014112750.tif 000012
【図１１】
2014112750.tif 000013
【図１２】
2014112750.tif 000014