(57)【要約】【課題】  立体映像コンテンツの製作時や視聴時に、立体映像コンテンツの視差量の調整を簡易化し、適切な視差量に基づく立体映像コンテンツの作成及び表示を可能にする。【解決手段】  本発明は、調整後の視差量、もしくは、調整前の視差量と調整後の視差量の比（視差量比）を設定し、入力された右眼用映像及び左眼用映像（入力立体映像）から、設定された視差量または視差量比に基づき、視差量を調整した右眼及び左眼用映像（調整立体映像）を生成する。このとき、利用者から指定された視差量に基づいて、右眼視点と左眼視点の中間の視点の中間映像を作成することで、利用者による簡易な立体映像コンテンツの視差量を調整することができる。【選択図】  図２
2012114589.tif 000002
【特許請求の範囲】
【請求項１】
右眼に右眼用映像を提示し、左眼に左眼用映像を提示し、両眼の視差によって立体視をさせるための装置における、右眼用映像と左眼用映像の視差量を調整する立体映像処理方法であって、
視差量設定手段が、調整後の視差量、もしくは、調整前の視差量と調整後の視差量の比（視差量比）を設定する視差量設定ステップと、
視差量調整手段が、入力された右眼用映像及び左眼用映像（入力立体映像）から、前記視差量設定ステップで設定された前記視差量または前記視差量比に基づき、視差量を調整した右眼及び左眼用映像（調整立体映像）を生成する視差量調整ステップと、
を行うことを特徴とする立体映像処理方法。
【請求項２】
前記視差量調整ステップにおいて、
既存のモーフィング技術を用いて、入力された右眼用映像と左眼用映像に基づき、各映像に含まれる画像の中間画像を生成することによって、視差量を調整するステップを含み、
前記モーフィング技術によって中間画像を生成する際に必要となる、その変化の度合いを示すパラメータを、視差量比に基づき決定する
請求項１記載の立体映像処理方法。
【請求項３】
前記視差量調整ステップにおいて、
既存の任意のアルゴリズムによって前記入力された入力立体映像から該入力立体映像の視差量（入力視差量）を算出する
請求項１記載の立体映像処理方法。
【請求項４】
前記視差量設定ステップにおいて、
予め視差量情報と視差量比を対応付けて格納されている対応テーブルから、利用者が段階的に選択または入力された前記視差量を量の程度を示す言葉や数値もしくは数値とその単位によって表記した視差量情報に対応する視差量比を取得する視差量比算出ステップ、
または、
予め前記視差量情報と設定視差量を対応付けて格納されている対応テーブルから、前記視差量情報に対応する設定視差量を取得する視差量算出ステップ、
または、
利用者からの選択または入力がない場合、予め記憶された利用者情報と設定視差量を対応付けて格納されている対応テーブルから、事前に設定された利用者の特徴を示す利用者情報に対応する設定視差量を取得する設定視差量取得ステップ、
または、
前記視差量比算出ステップ、前記視差量算出ステップ、前記設定視差量取得ステップのすべて、あるいは該ステップの組合せによる処理を行う
請求項１記載の立体映像処理方法。
【請求項５】
右眼に右眼用映像を提示し、左眼に左眼用映像を提示し、両眼の視差によって立体視をするため、右眼用映像と左眼用映像の視差量を調整する立体映像処理装置であって、
調整後の視差量、もしくは、調整前の視差量と調整後の視差量の比（視差量比）を設定する視差量設定手段と、
入力された右眼用映像及び左眼用映像（入力立体映像）から、前記視差量設定手段で設定された前期視差量または前記視差量比に基づき、視差量を調整した右眼及び左眼用映像（調整立体映像）を生成する視差量調整手段と、
を有することを特徴とする立体映像処理装置。
【請求項６】
前記視差量調整手段は、
既存のモーフィング技術を用いて、入力された右眼用映像と左眼用映像に基づき、各映像に含まれる画像の中間画像を生成することによって、視差量を調整する中間画像生成手段を含み、
前記中間画像生成手段は、
前記モーフィング技術によって中間画像を生成する際に必要となる、その変化の度合いを示すパラメータを、視差量比に基づき決定する
請求項５記載の立体映像処理装置。
【請求項７】
前記視差量調整手段は、
既存の任意のアルゴリズムによって前記入力された入力立体映像から該入力立体映像の視差量（入力視差量）を算出する手段を含む
請求項５記載の立体映像処理装置。
【請求項８】
前記視差量設定手段は、
予め視差量情報と視差量比を対応付けて格納されている対応テーブルから、利用者が段階的に選択または入力された前記視差量を量の程度を示す言葉や数値もしくは数値とその単位によって表記した視差量情報に対応する視差量比を取得する視差量比算出手段、
または、
予め視差量情報と設定視差量を対応付けて格納されている対応テーブルから、前記利用者から選択または入力された前記視差量情報に対応する設定視差量を取得する視差量算出手段、
または、
利用者からの選択または入力がない場合、予め利用者情報と設定視差量を対応付けて格納されている対応テーブルから、事前に設定された利用者の特徴を示す利用者情報に対応する設定視差量を取得する設定視差量取得手段、
または、
前記視差量比算出手段、前記視差量算出手段、前記設定視差量取得手段のすべて、あるいはいずれかの手段の組み合わせを含む
請求項５記載の立体映像処理装置。
【請求項９】
前記視差量設定手段は、
前記設定視差量、前記設定視差量比のいずれかを前記視差量調整手段に出力する手段を含み、
前記視差量調整手段は、
前記視差量設定手段からの入力値が前記設定視差量比だった場合、該入力値を算出した視差量比とし、該入力値が前記設定視差量だった場合、前記入力立体映像の視差量(入力視差量)を既存の任意のアルゴリズムから算出し、予め前記対応テーブルに登録された前記設定視差量との比を視差量比として算出する手段を含み、
前記算出式は、視差量比＝設定視差量÷入力視差量
とする請求項８記載の立体映像処理装置。
【請求項１０】
請求項５乃至９のいずれか１項に記載の立体映像処理装置を構成する各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理方法及び装置及びプログラムに係り、特に、右眼に右眼用映像を提示し、左眼に左眼用映像を提示することにより立体視をする手法において、右眼用映像と左眼用映像の視差量を調整するための立体映像処理方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
従来、立体映像を表示する技術が広く検討されてきた。とりわけ、右眼と左眼の視差（両眼視差）による立体視手法（両眼立体視）が幅広く用いられており、近年、両眼立体視を用いたサービス（映画やアミューズメントなど）が普及してきている。両眼立体視技術は、右目に右眼用映像を提示し、左眼に左眼用映像を提示することにより、立体視を実現しており、例えば、メガネを利用して、右眼映像と左眼映像を独立して各眼に提示する手法などがある。
【０００３】
一方、両眼視差による立体視は、人間が通常行っている立体視と異なるため、人、コンテンツによっては、眼精疲労などを引き起こしてしまうことが問題になっている。特に両眼視差の量（視差量）が過度にある場合、眼精疲労になり易いということが言われている。眼精疲労などを軽減する、もしくは、なくすためには、立体映像の飛び出しや奥行きの度合い（立体感）を適切に設定する必要がある。
【０００４】
ここで立体感に関して説明する。図７は両眼立体視の仕組みを示している。図７（ａ）は、モニタ画面よりも手前にオブジェクトが知覚される場合を示している。右眼に提示されるオブジェクトが左眼に提示される同オブジェクトよりも左に位置する場合、オブジェクトはモニタの手前に知覚される。この場合、視差量が大きいほど、手前に知覚される。一方、図１（ｂ）は、モニタ画面よりも奥にオブジェクトが知覚される場合を示している。右眼に提示されるオブジェクトが左眼に提示される同オブジェクトよりも右に位置する場合、オブジェクトはモニタの奥に知覚される。この場合、視差量が大きいほど、奥に知覚される。このように、視差量が大きいほど、立体感が高くなる。
【０００５】
このため、立体映像コンテンツの制作者は、ユーザが快適に観視するために、立体感が適切になるように視差量を設定している。
【０００６】
しかし、同じ視差量であっても立体感が異なる場合がある。モニタ画面と観視者との距離（視距離）の違いによっても立体感が異なる。図８は視距離と立体感の関係を示しており、図８（ａ）は視距離が遠い場合、図８（ｂ）は視距離が短い場合を示している。視距離が遠いほうが、オブジェクトがモニタ画面から離れて知覚される。
【０００７】
さらに、立体感は個人によっても感じ方が異なる。そのため、立体映像の制作側で立体感を完全にコントロールすることは難しく、快適に立体映像を観視するためには、ユーザの環境に合わせて、適切な視差量に調整することが有効である。
【０００８】
視差量を調整する方法として、図９に示すように、右眼用画像と左眼用画像を左右にシフトすることにより、視差量を変化させる技術が開示されている（第１の方法）。
【０００９】
また、図１０に示すように、右眼用画像と左眼用画像を拡大縮小することにより、視差量を変化させる技術が開示されている（第２の方法）。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、視差量が発生するのは、右眼と左眼の視点の違いによるものであり、両眼視差を利用した立体映像を作成する主な方法としては、２眼カメラを用いて撮影する方法がある。撮影前であれば、２眼カメラに内蔵された２つのカメラの間の距離を変えることにより、視差量を調整することができる。この原理を応用し、擬似的に、２つのカメラの距離を変化させた映像を生成し、それを右眼用映像もしくは左眼用映像もしくは両方の代替として用いることで、視差量を調整することが可能となる。
【００１１】
立体映像コンテンツの製作において必要となる左右の眼の視差量の調整は、コンテンツを見る利用者の環境や主観に左右されるため、視聴時に視聴者に合わせて、適切な視差量に調整することが望ましい。視差量を調整する従来技術では、
（１）右眼用画像と左眼用画像を左右にシフトして視差量を調整する方法（第１の方法）；（２）右眼用画像と左眼用画像をそれぞれ拡大縮小させ大きさを変えることで視差量を調整する方法（第２の方法）；
などがあるが、（１）の方法では左右の画像のシフトによっては画像が重ならず、立体視できずに削除されるケースや、（２）の方法では左右の画像の拡大縮小によって表示画面に適さないケースなどの問題が発生し、簡易に視差量を調整し、立体映像コンテンツを作成する上での問題となっていた。
【００１２】
本発明は、上記の点に鑑みなされたもので、立体映像コンテンツの製作時や視聴時において、立体映像コンテンツの視差量の調整を簡易化し、適切な視差量に基づく立体映像コンテンツの作成及び表示が可能な立体映像処理方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明は、右眼に右眼用映像を提示し、左眼に左眼用映像を提示し、両眼の視差によって立体視をさせるための装置における、右眼用映像と左眼用映像の視差量を調整する立体映像処理方法であって、
視差量設定手段が、調整後の視差量、もしくは、調整前の視差量と調整後の視差量の比（視差量比）を設定する視差量設定ステップと、
視差量調整手段が、入力された右眼用映像及び左眼用映像（入力立体映像）から、前記視差量設定ステップで設定された前記視差量または前記視差量比に基づき、視差量を調整した右眼及び左眼用映像（調整立体映像）を生成する視差量調整ステップと、を行う。
【００１４】
また、本発明（請求項２）は、請求項１の前記視差量調整ステップにおいて、
既存のモーフィング技術を用いて、入力された右眼用映像と左眼用映像に基づき、各映像に含まれる画像の中間画像を生成することによって、視差量を調整するステップを含み、
前記モーフィング技術によって中間画像を生成する際に必要となる、その変化の度合いを示すパラメータを、視差量比に基づき決定する。
【発明の効果】
【００１５】
本発明によれば、視差量の調整を簡易化し、既存のモーフィング技術を応用して指定の視差量に基づき立体映像コンテンツの中間映像を作成することにより、立体映像コンテンツの画面の一部を削除せずに、かつ、映像の表示サイズを変更せずに、視差量を調整することが可能になる。視差量を調整することにより、ユーザやユーザ環境に適した視差量を実現することが可能となり、安全かつ快適に立体映像を楽しむことができる。したがって、本発明を搭載したモニタなどの製品もしくはそれを利用したサービスの付加価値を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明で用いるモーフィング技術を示す図である。
【図２】本発明の一実施の形態による立体映像処理装置の構成例である。
【図３】本発明の一実施の形態における視差量設定部の構成例である。
【図４】本発明の一実施の形態における視差量情報と設定視差量比の対応テーブルの例である。
【図５】本発明の一実施の形態における視差情報と設定視差量の対応テーブルの例である。
【図６】本発明の一実施の形態におけるユーザ情報と設定視差量の対応テーブルの例である。
【図７】両眼立体視の仕組みを示す図である。
【図８】視距離と立体感の関係を示す図である。
【図９】従来の視差量を調節する技術（第１の方法）を示す図である。
【図１０】従来の視差量を調節する技術（第２の方法）を示す図である。
【発明を実施するための形態】
【００１７】
以下図面と共に、本発明の実施の形態を説明する。
【００１８】
本発明では、既存のモーフィング技術を応用することで、指定した視差量に基づくパラメータを用いて右眼視点と左眼視点の中間の視点の映像を生成し、視差量を調整する。
【００１９】
モーフィング技術とは、図１に示すように、ある画像から、別の画像に変化していく場合の、変化途中の画像（中間画像）を生成する技術である。２つの画像の形が著しく異なる場合や、中間画像の変化が線形でない場合は、中間画像が正しく生成されない可能性があるが、右眼用映像と左眼用映像は、画像が似ている上に、変化としても線形であるため、高い精度で中間画像が作成できる。
【００２０】
図２は、本発明の一実施の形態による立体映像処理装置の構成例を示す。
【００２１】
同図に示す立体映像処理装置は、視差設定部１と視差量調整部２から構成される。
【００２２】
視差量設定部１は、調整したい視差量、もしくは、調整したい視差量（設定視差量）と入力視差量の比（設定視差量比）を設定し、視差量調整部２に出力する。
【００２３】
視差量調整部２は、右眼及び左眼用映像（入力立体映像）が入力されると、視差量設定部１で設定された視差量または視差量比に基づき、視差量を調整した右眼及び左眼用映像（調整立体映像）を生成する。
【００２４】
以下に、視差量設定部１について詳細に説明する。
【００２５】
図３は、本発明の一実施の形態における視差量設定部の構成例を示す。同図に示すように、視差量設定部１は、出力（設定視差量比・設定視差量）の違いにより２通りの構成がある。
【００２６】
図３（ａ）に示す視差量設定部１Ａは、ユーザ入力部１０と視差量比算出部１１から構成され、視差量情報を入力として、設定視差量比を出力する。ユーザ入力部１０では、ユーザによってリモコン等の入力デバイスを介して視差量情報が入力される。視差量情報は、量の程度を示す言葉や数値もしくは数値とその単位によって、段階的に選択できる、もしくは、入力できるようにしたものであり、例えば、「強い」「弱い」「１００％」「５０％」など、視差量をユーザが分かりやすいように表記したものである。入力された視差量情報は、直接もしくはメモリを介して、視差量算出部１１に出力される。視差量算出部１１は、予めメモリなどに記憶された視差量情報と設定視差量比の対応テーブル（図４）に基づき、入力された視差量情報から、設定視差量比を算出し、視差量調整部２に出力する。
【００２７】
図３（ｂ）に示す視差量設定部１Ｂは、ユーザ入力部１０と視差量算出部１２から構成され、視差量情報を入力として、設定視差量を出力する。ユーザ入力部１０では、視差量情報が、図３（ａ）の視差量設定部１Ａの場合と同様に、ユーザによってリモコン等の入力デバイスを介して視差量情報が入力される。入力された視差量情報は、直接もしくはメモリを介して、視差量算出部１１に出力される。視差量算出部１１では、図５に示すように、予めメモリなどに記憶された視差量情報と設定視差量が対応付けられた対応テーブルを用いて、入力された視差量情報から、設定視差量を算出する。
【００２８】
なお、図４、図５に示す対応テーブルは、視差量設定部１内または、視差量設定部１に接続されるメモリ等の記憶手段に格納されているものとする。
【００２９】
視差量調整部２は、視差量設定部１からの入力に基づき設定視差量比を算出し、設定視差量比に基づき、入力立体映像の視差量を調整し、調整立体映像を出力する。まず、設定視差量比の算出方法に関して説明する。視差量設定部１から視差量調整部２に入力される情報により、設定視差量比の算出方法が異なる。具体的には、入力が、
１）設定視差量比；
２）設定視差量；
３）なし；
の３通りに分かれる。これらの入力情報の種類については、予めシステムに設定しておく必要がある。以下でそれぞれの算出方法について詳述する。
【００３０】
１）入力が設定視差量比の場合：
入力された設定視差量比を算出結果とする。
【００３１】
２）入力が設定視差量の場合：
入力立体映像の視差量（入力視差量）を算出し、入力視差量と設定視差量の比を視差量比として次式のように算出する。
【００３２】
【数１】
2012114589.tif 000003
上記の式の入力視差量は任意のアルゴリズムによって算出される。例えば、文献１「野尻、山之上、花里、岡野、"位相相関法を用いた立体ハイビジョンの視差量測定、"映像情報メディア学会技術報告、26（51），37−42，200-07−19」に記載の位相相関法を用いた視差量算出アルゴリズムや、文献２「"２眼式立体映像のコンテンツ評価システムの試作、" 映像情報メディア学会誌 : 映像情報メディア 60（6）， 934−942， 2006−06−01」に記載の、グラディアント法もしくはブロッキング法を用いた視差量算出アルゴリズムを用いてもよい。
【００３３】
３）入力なしの場合：
図６に示すように、予めメモリなどに記憶されたユーザ情報と設定視差量の対応テーブルを用いて、設定視差量を算出する。ユーザ情報とは、ユーザ属性や視距離や視環境に関する情報である。事前に、ユーザ情報に対して、最適な視差量を事前に設定する必要がある。そして、入力視差量と設定視差量の比を視差量比として次式のように算出する。
【００３４】
【数２】
2012114589.tif 000004
上記の式で算出された視差量比に基づき、入力立体映像の視差量を調整した調整立体映像を生成する。視差量の調整には、モーフィング技術を用いる。モーフィング技術とは、図１に示すように、ある画像から、別の画像に変化していく場合の、変化途中の画像（中間画像）を生成する技術であり、文献３「松延、長原、岩井、谷内田、鈴木、"モーフィングによる高解像度高フレームレート動画像の生成、"電子情報通信学会論文誌。Ｄ、情報・システム Ｊ90-D（4），1073-1084，2007-04-01」や文献４「ハッサニエン，高橋，中嶋，"フェイシヤルアニメーションを目的に開発したエラスティックボディースプラインに基づいたイメージワーピング、"電子情報通信学会技術研究報告.ＩＥ，画像工学 97（123），27-32，1997-06-20」など様々な手法が提案されており、任意の手法を利用可能である。モーフィング技術は、パラメータの設定により、２つの画像の中間位置を調整することができる。図１に示すように、例えば、パラメータＰが０.５の場合は、画像Ａが５０％、画像Ｂが５０％の画像が生成される。パラメータＰが０.２５の場合は、画像Ａが２５％、画像Ｂが７５％の画像が生成される。入力された視差量比をパラメータＰとして、モーフィング技術を適用することで、設定した視差量の右眼用映像と左眼用映像の中間映像が生成することができる。右眼もしくは左眼用映像と生成された中間映像を調整立体映像として出力する。
【００３５】
なお、図２に示す上記の立体映像処理装置の構成要素の動作をプログラムとして構築し、立体映像処理装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００３６】
また、構築されたプログラムをハードディスクやフレキシブルディスク等の記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【産業上の利用可能性】
【００３７】
本発明は、立体映像コンテンツ制作時に用いることができるのは勿論、視聴時に用いることで、個々の視聴者に適した視差量を提供することが可能となる。例えば、３ＤＴＶモニタなどに組み込み、ユーザが音量を調整する感覚で視差量をユーザが設定することができる。
【符号の説明】
【００３８】
１  視差量設定部
２  視差量調整部
１０  ユーザ入力部
１１  視差量比算出部
１２  視差量算出部
【図１】
2012114589.tif 000005
【図２】
2012114589.tif 000006
【図３】
2012114589.tif 000007
【図４】
2012114589.tif 000008
【図５】
2012114589.tif 000009
【図６】
2012114589.tif 000010
【図７】
2012114589.tif 000011
【図８】
2012114589.tif 000012
【図９】
2012114589.tif 000013
【図１０】
2012114589.tif 000014