(57)【要約】【課題】立体映像表示において、フレームごとに左目用映像と右目用映像が交番して表示される場合に、片方の目の端のみで見えていた風景やオブジェクトは片方の映像にしか現れず、フリッカが生じる。【解決手段】本発明に係る立体映像処理装置は、上記の課題を解決するために、右目用入力映像信号に対しては、左目用入力映像信号の右側画面端をリファレンス信号として、右目用映像信号の右側画面端の信号を比較して一致しない領域を求め、逆に左目用入力映像信号に対しては、右目用入力映像信号の左側画面端をリファレンス信号として、左目用映像信号の左側画面端の信号を比較して一致しない領域を求める不一致検出部を備えることを特徴としている。【選択図】図１
2011049799.tif 000002
【特許請求の範囲】
【請求項１】
右目用入力映像と左目用入力映像を蓄積する画像蓄積部と、前記右目用入力映像と前記左目用入力映像を比較し、右目用映像の右端にしかないオブジェクト、パターンや、左目用映像の左端にしかないオブジェクト、パターンを検出する不一致検出部と、
前記右目用入力映像と前記左目用入力映像と前記不一致検出部から出力される右目画像不一致領域位置情報と左目画像不一致領域位置情報と前記画像蓄積部から出力される右目不一致領域映像と左目不一致領域映像とから画像処理を行う画像処理部と、
前記画像処理部から出力される右目用処理映像と左目用処理映像と、前記不一致検出部から出力される右目画像不一致領域位置情報と左目画像不一致領域位置情報から左目用映像の左端と右目用映像の右端を除去する左右端除去部と、
前記左右端除去部から出力される右目用出力映像と左目用出力映像から立体視映像を表示する表示装置とを備えることを特徴とする立体映像処理装置。
【請求項２】
前記画像処理部は、前記不一致検出部から出力される右目画像不一致領域位置情報と、左目画像不一致領域位置情報を受け取り、前記画像蓄積部へ右目、左目それぞれの不一致領域の映像を要求し、受け取った右目不一致領域映像を左目用入力映像の右端へ、また、左目不一致領域映像を右目用入力映像の左端へ付加した状態でそれぞれの映像に対して画質処理を行うことを特徴とする請求項１記載の立体映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視映像を視聴する際に生じる違和感を軽減させることを目的とした映像処理装置である。
【背景技術】
【０００２】
近年、テレビや映画のような映像の視聴に関して、より臨場感を増すことを目的とした技術が進歩している。そのための一つの技術として３次元立体表示がなされている（例えば、特許文献１参照）。さらに、遊園地などのアトラクションや、パソコン用ゲームでは以前から導入されている。また、映画やテレビにおいても３次元化が進んできている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−３１６５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、２台のカメラで撮影された立体映像においては、撮影する物体の位置によっては片方のカメラ（例えば、左目用のカメラ）には映っているが、もう一方のカメラには映らない場所があり、そのような物体をフレーム毎に右目用映像、左目用映像と交互に表示するディスプレイに出画すると、フリッカのように見える課題がある。
また、画質処理の種類によっては画面端の処理においてノイズや偽輪郭が生じるという弊害が起こる課題がある。
【課題を解決するための手段】
【０００５】
本発明に係る立体映像処理装置は、上記の課題を解決するために、右目用入力映像信号に対しては、左目用入力映像信号の右側画面端をリファレンス信号として、右目用映像信号の右側画面端の信号を比較して一致しない領域を求め、逆に左目用入力映像信号に対しては、右目用入力映像信号の左側画面端をリファレンス信号として、左目用映像信号の左側画面端の信号を比較して一致しない領域を求める不一致検出部を備えることを特徴としている。
【０００６】
また、上記左右端除去部は、前記不一致検出部から受け取った右目画像不一致領域位置情報を元に、右目用処理映像の該当する映像の信号レベルを0にし、同様に左目画像不一致領域位置情報を元に、左目用処理映像の該当する映像の信号レベルを0にすることを特徴としている。
【０００７】
また、上記画像処理部は、前記不一致検出部から受け取った右目画像不一致領域位置情報に該当する右端の映像信号を左目用画像の右側に付加した状態で画像処理を行い、同様に左目用画像不一致領域位置情報に該当する左端の映像信号を右目用画像の左側に付加した状態で画像処理を行うことを特徴としている。
【発明の効果】
【０００８】
本発明では、片側の目でしか見えない領域の映像を無くすことによって、その領域がフリッカすることによる視聴者の目への負担やストレスを解消し、快適に立体映像を視聴することが可能になる。また、表示されなくなる領域の映像を他方の映像に付加して処理することで、画面端においてノイズや偽輪郭といった弊害の発生を軽減することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る立体映像処理装置を示すブロック図
【図２】画面端のフリッカが起こる状態を示した状態図
【図３】不一致検出部１１の構成を示したブロック図
【図４】画像処理部１２における処理の概要を示した状態図
【図５】画像処理部１２の構成を示したブロック図
【発明を実施するための形態】
【００１０】
（実施の形態１）
以下に、本発明の実施の形態１における立体映像処理装置について図１及び図２を用いて説明する。
＜１、本発明の立体映像処理装置の全体構成についての説明＞
図１は、本発明の立体映像処理装置の概略構成図である。図１に示すように、本発明における立体映像処理装置は、１１は不一致検出部、１２は画像処理部、１３は画像蓄積部、１４は左右端除去部、１５は表示装置により構成されている。以下、各構成について詳細に説明する。
最初に、不一致検出部１１の構成について説明する。不一致検出部１１は、右目用入力映像ＲＩと左目用入力映像ＬＩが入力され、画像処理部１２と左右端処理分１４に対して、左目用画像における右目用画像との不一致の領域の位置情報である右目画像不一致領域位置情報ＲＭＩと右目用画像における左目用画像との不一致の領域の位置情報である左目画像不一致領域位置情報ＬＭＩを与える。
ここで、図２を参照しながら、上述した左目用画像における右目用画像との不一致の領域について、説明する。図２は、２眼レンズカメラ１８を用いて任意の物体Ａ，Ｂ，Ｃを撮影した場合の左目用映像と右目用映像を示す図である。この図から明らかなように、右目用映像と左目用映像信号においては、立体映像を表示するために視差量が必要となるため、図中の物体Ｂは右目用映像、左目用映像のどちらにも映っているが、物体Ａは左目用映像のみ、物体Ｃは右目用映像にのみ映っている。従って、これらの映像をそのまま表示装置で表示すると、物体ＡやＣは、２フィールドに１回しか表示されずフリッカする。
【００１１】
次に、画像処理部１２の構成について説明する。画像処理部１２は、例えば輪郭強調（エンハンサ）や、動きベクトルを利用した画質処理、ＡＰＬを利用した画像処理といった種々の画質処理機能を有している。
次に、左右端除去部１４は、不一致検出部１１から右目画像不一致領域位置情報ＲＭＩと左目画像不一致領域位置情報ＬＭＩを受け取り、画像処理部１２から受け取った右目用処理映像ＲＰと左目用処理映像ＬＰからそれぞれの不一致領域の信号Ｌｖを0にした出力映像（右目用出力映像ＲＯと左目用出力映像ＬＯ）を表示装置１５に与える。
【００１２】
次に、表示装置１５は、左右端除去部１４により画面の左右の端部が除去された映像信号が入力され、その映像信号を表示する。なお、表示装置１５は、いかなる表示方式のディスプレイであってもよく、例えばプラズマディスプレイであってもよいし、液晶パネルであってもよい。
【００１３】
以上のような構成により、左右端除去部は、不一致検出部から受け取った右目画像不一致領域位置情報を元に、右目用処理映像の該当する映像の信号レベルを0にし、同様に左目画像不一致領域位置情報を元に、左目用処理映像の該当する映像の信号レベルを0にすることにより、片方の画像にのみオブジェクトが映ることにより生じるフリッカの問題を防止することが可能になるものである。
（実施の形態２）
以下に、本発明の実施の形態２における立体映像処理装置について図１〜図５を用いて説明する。
＜１、本発明の立体映像処理装置の全体構成についての説明＞
図１は、本発明の立体映像処理装置の概略構成図である。図１に示すように、本発明における立体映像処理装置は、１１は不一致検出部、１２は画像処理部、１３は画像蓄積部、１４は左右端除去部、１５は表示装置により構成されている。以下、各構成について詳細に説明する。
最初に、不一致検出部１１の構成について説明する。不一致検出部１１は、右目用入力映像ＲＩと左目用入力映像ＬＩが入力され、画像処理部１２と左右端処理分１４に対して、左目用画像における右目用画像との不一致の領域の位置情報である右目画像不一致領域位置情報ＲＭＩと右目用画像における左目用画像との不一致の領域の位置情報である左目画像不一致領域位置情報ＬＭＩを与える。
ここで、図２を参照しながら、上述した左目用画像における右目用画像との不一致の領域について、説明する。図２は、２眼レンズカメラ１８を用いて任意の物体Ａ，Ｂ，Ｃを撮影した場合の左目用映像と右目用映像を示す図である。この図から明らかなように、右目用映像と左目用映像信号においては、立体映像を表示するために視差量が必要となるため、図中の物体Ｂは右目用映像、左目用映像のどちらにも映っているが、物体Ａは左目用映像のみ、物体Ｃは右目用映像にのみ映っている。従って、これらの映像をそのまま表示装置で表示すると、物体ＡやＣは、２フィールドに１回しか表示されずフリッカする。
【００１４】
次に、画像処理部１２の構成について説明する。画像処理部１２は、例えば輪郭強調（エンハンサ）や、動きベクトルを利用した画質処理、ＡＰＬを利用した画像処理といった種々の画質処理機能を有している。この画像処理部１２は、不一致検出部１１から右目画像不一致領域位置情報ＲＭＩと左目画像不一致領域位置情報ＬＭＩを受け取って、画像蓄積部１３から所定の領域の映像を読み出すための制御信号（右目用制御信号ＲＣおよび左目用制御信号ＬＣ）を生成して画像蓄積部１３に与える。なお、この画像処理部１２の処理については、以下の詳細に説明する。
次に、画像蓄積部１３の構成について説明する。画像蓄積部１３では、上述した右目用入力映像ＲＩ及び左目用入力映像ＬＩと、上述した画像処理部１２から送信された、画像蓄積部１３から所定の領域の映像を読み出すための右目用制御信号ＲＣおよび左目用制御信号ＬＣとを受信する。画像蓄積部１３においては、それらの右目用制御信号ＲＣおよび左目用制御信号ＬＣに対応した、右目用入力映像ＲＩ及び左目用入力映像ＬＩの一部の領域の映像である右目不一致領域映像ＲＭＰと、左目不一致領域映像ＬＭＰを出力する。
次に、左右端除去部１４は、不一致検出部１１から右目画像不一致領域位置情報ＲＭＩと左目画像不一致領域位置情報ＬＭＩを受け取り、画像処理部１２から受け取った右目用処理映像ＲＰと左目用処理映像ＬＰからそれぞれの不一致領域の信号Ｌｖを0にした出力映像（右目用出力映像ＲＯと左目用出力映像ＬＯ）を表示装置１５に与える。
【００１５】
次に、表示装置１５は、左右端除去部１４により画面の左右の端部が除去された映像信号が入力され、その映像信号を表示する。なお、表示装置１５は、いかなる表示方式のディスプレイであってもよく、例えばプラズマディスプレイであってもよいし、液晶パネルであってもよい。
＜２、本発明の不一致検出部１１についての詳細な説明＞
ここで、図３を参照しながら、本発明の重要な構成の一つである不一致検出部１１の構成について詳細に説明する。
【００１６】
図３は、不一致検出部１１の構成を示すブロック図である。図３に示すように、不一致検出部１１は、画面左端比較部２１、画面右端比較部２２により構成されている。画面左端比較部２１は、右目用入力信号ＲＩを元の信号とし、左目用入力映像ＬＩの左画面端付近の映像を比較し、ＬＩにしかないオブジェクトやパターンを含む領域（例えば、図２の物体Ａを含む斜線部）の位置情報を示す左目画像不一致領域位置情報ＬＭＩを出力する。
同様に、画面右端比較部２２は、左目用入力信号ＬＩを元の信号とし、右目用入力映像ＲＩの右画面端付近の映像を比較し、右目用入力信号ＲＩにしかないオブジェクトやパターンを含む領域（図２の物体Ｃを含む斜線部）の位置情報を示す右目画像不一致領域位置情報ＲＭＩを出力する。
なお、画面左端比較部２１および画面右端比較部２２における画像比較は、顔検出などのオブジェクト検出を用いてもよいし、方法は限定されない。例えば、上述した方法以外にも、一例としては、入力された右目用入力映像ＲＩと左目用入力映像ＬＩとの視差量を検出し、その視差量を０に設定した上で、右目用入力映像ＲＩと左目用入力映像ＬＩとの画像の相違点を検出することにより実現することが可能である。
＜３、本発明の画像処理部１２についての詳細な説明＞
次に、図４及び図５を参照しながら、発明の重要な構成の一つである画像処理部１２の構成について詳細に説明する。
【００１７】
図４は、画像処理部１２における処理の概要を図示した状態図である。左目用映像、右目用映像にエンハンサや動きベクトルを用いた処理などを施すと、映像の外側に映像が存在しないため、画面端にノイズや偽輪郭といった弊害が生じることがある。
この弊害を軽減するために、画像処理部１２では、左目用映像の右側に右目用映像の物体Ｃを含んだ斜線部分の映像を付加し、左目用映像の右側に映像が続いていると仮定して映像処理する。同様に右目用映像の左側には左目用映像の物体Ａを含む斜線部分の映像を付加し、右目用映像の左側に映像が続いていると仮定して映像処理する。その後、映像処理する前に付加信号を除去して、後段の左右端除去部１４に映像信号を与える。
【００１８】
ここで、図５を参照しながら、上述した処理について詳細に説明する。図５は、画像処理部１２の詳細な構成を示したブロック図である。図５に示すように、画像処理部１２は、制御信号生成部１２ａと、映像付加部１２ｂと、映像付加部１２ｃと、右目用映像処理部１２ｄと、左目用映像処理部１２ｅと、左端除去部１２ｆと、右端除去部１２ｇとにより構成されている。
まず、制御信号生成部１２ａについて説明する。制御信号生成部１２ａは、不一致検出部１１から出力された右目画像不一致領域位置情報ＲＭＩおよび左目画像不一致領域位置情報ＬＭＩのそれぞれから、画像蓄積部１３から所望の映像信号を得るための右目用制御信号ＲＣおよび左目用制御信号ＬＣを生成する。
次に、これら制御信号ＲＣおよびＬＣを画像蓄積部１３に与え、左目不一致領域映像ＬＭＰと右目不一致領域映像ＲＭＰを受け取り、その左目不一致領域映像ＬＭＰと右目不一致領域映像ＲＭＰと右目用入力映像ＲＩ及び左目用入力映像ＬＩとを入力として、それぞれを映像付加部１２ｂ、１２ｃにて左目不一致領域映像ＬＭＰを右目用入力映像ＲＩに、右目不一致領域映像を左目用入力映像ＬＩに付加する。なお、映像付加部１２ｂ、１２ｃでは、同期と映像のブランキングの量以上の映像は付加されないように注意しなければならない。
また、このとき同時に映像付加部１２ｂでは、後で付加した映像を除去するための左端付加終了信号ＬＥを、映像付加部１２ｃでは、右端付加開始信号ＲＳを生成する。
右目用、左目用映像処理部１２ｄおよび１２ｅでは、映像付加部１２ｂ、１２ｃで生成された信号を用いて各種画像処理が施される。具体的には、左目用映像、右目用映像にエンハンサや動きベクトルを用いた処理などを行う。
その後、右目用映像信号は、左端除去部１２ｆにて映像付加部１２ｂで付加された左目不一致領域映像ＬＭＰを除去し、一方、左目用映像信号は、右端除去部１２ｇにて映像付加部１２ｃで付加された右目不一致領域映像ＲＭＰを除去し、画像処理部１２から出力され、この出力された右目用処理映像ＲＰと左目用処理映像ＬＰが表示装置１５に出力される。なお、この左端除去部１２ｆ及び右端除去部１２ｇの構成については、上述した左右端除去部１４の構成として組み入れることも可能である。
以上のような構成により、従来の立体映像装置と比較して、右目用映像処理部１２ｄ及び左目用映像処理部１２ｅにおいて、エンハンサや動きベクトルを用いた処理を行う際に、左目用映像信号と右目用映像信号との間に、左目用画像と右目用画像との間の視差量に基づくオブジェクトの有無等が生じることがないため、フリッカを生じることなく、さらに、画質処理の種類によっては画面端の処理においてノイズや偽輪郭が生じるという弊害を防止することが可能になるものである。
【産業上の利用可能性】
【００１９】
本発明に係る立体映像処理装置は、立体映像を視聴する際に感じるフリッカをなくし、画面端に生じる画像処理の弊害を軽減させることができるものであり、３次元映像視聴時の違和感やストレス・疲労を軽減できるためその利用価値は高い。
【符号の説明】
【００２０】
１１    不一致検出部
１２    画像処理部
１３    画像蓄積部
１４    左右端除去部
１５    表示装置
１８    カメラ
２１    画面左端比較部
２２    画面右端比較部
１２ａ    制御信号生成部
１２ｂ    映像付加部（右目用）
１２ｃ    映像付加部（左目用）
１２ｄ    右目用映像処理部
１２ｅ    左目用映像処理部
１２ｆ    左端除去部
１２ｇ    右端除去部
【図１】
2011049799.tif 000003
【図２】
2011049799.tif 000004
【図３】
2011049799.tif 000005
【図４】
2011049799.tif 000006
【図５】
2011049799.tif 000007