(57)【要約】【課題】立体表示用の入力画像データを解析し、必要に応じてデータ変換を実行して正しい立体画像を表示する。【解決手段】立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行い、識別結果に応じて入力データの変換処理を実行して変換結果を表示部に表示する。識別部は、入力データが時分割方式のデータであるか、空間分割方式のデータであるかを識別する処理を実行し、変換部は、入力データが表示部の対応する表示方式と異なる場合に、入力データを時分割方式データから空間分割方式データへ変換する処理、または、空間分割方式データから時分割方式データへ変換する処理を行う。本構成により、入力データの方式に依存することなく正しい奥行き表現を可能とした立体画像表示処理が実現される。【選択図】図１
2010062695.tif 000002
【特許請求の範囲】
【請求項１】
立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行う識別部と、
前記識別部の識別結果に応じて、前記入力データの変換処理を実行する変換部と、
前記変換部の変換結果を表示する表示部を有する画像処理装置。
【請求項２】
前記識別部は、
前記入力データが、時分割方式のデータであるか、空間分割方式のデータであるかを識別する処理を実行し、
前記変換部は、前記入力データが前記表示部の対応する表示方式と異なる場合に、
前記入力データを時分割方式データから空間分割方式データへ変換する処理、
または、空間分割方式データから時分割方式データへ変換する処理を行う構成である請求項１に記載の画像処理装置。
【請求項３】
前記識別部は、
前記入力データの構成フレームから連続する２フレームを選択し、該連続する２フレームの類似度を解析して、該解析結果に従って前記入力データが時分割方式のデータであるか空間分割方式のデータであるかを識別する処理を実行する構成である請求項２に記載の画像処理装置。
【請求項４】
前記識別部は、
前記入力データの構成フレームから１つの基準フレームと、連続する２フレームを参照フレームとして選択し、基準フレームと参照フレーム各々との組みから算出した２つの動きベクトルＶ，Ｗ間の類似度を算出し、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが時分割方式のデータであるか空間分割方式のデータであるかを識別する処理を実行する構成である請求項２に記載の画像処理装置。
【請求項５】
前記識別部は、
前記入力データが、空間分割方式のデータである場合、
左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である請求項１に記載の画像処理装置。
【請求項６】
前記識別部は、
前記入力データの構成フレームから１つのフレームを選択し、選択フレームにおける左右画像の類似度を解析して、該解析結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である請求項５に記載の画像処理装置。
【請求項７】
前記識別部は、
前記入力データの構成フレームから１つのフレームを選択し、選択フレームにおける左右画像のブロックマッチング処理によって得られたベクトルＶ（Ｍ）を利用して、左右画像の類似度を算出し、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である請求項５に記載の画像処理装置。
【請求項８】
前記識別部は、
前記入力データの構成フレームから１つのフレームを選択し、選択フレームから偶数フィールド画像と奇数フィールド画像を生成し、生成した偶数フィールド画像と奇数フィールド画像との類似度を解析して、該解析結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である請求項５に記載の画像処理装置。
【請求項９】
前記識別部は、
前記入力データの構成フレームから１つのフレームを選択し、選択フレームから偶数フィールド画像と奇数フィールド画像を生成し、生成した偶数フィールド画像と奇数フィールド画像のブロック間類似度を算出して、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である請求項５に記載の画像処理装置。
【請求項１０】
前記変換部は、
空間分割方式データから時分割方式データヘの変換処理を行う構成であり、
入力データの各フレームから左眼用の左画像と右眼用の右画像を分離し、分離した左画像と右画像の解像度変換を実行して、右画像または左画像の時間方向の位相を０．５フレーム分遅延させて、左画像を偶数フレーム、右画像を奇数フレームとして出力データを再構成する処理を行う構成である請求項１に記載の画像処理装置。
【請求項１１】
前記変換部は、
時分割方式データから空間分割方式データヘの変換処理を行う構成であり、
入力データの各フレームから左眼用の左画像と右眼用の右画像を分離し、分離した左画像と右画像の解像度変換を実行して、右画像または左画像の時間方向の位相を０．５フレーム分進行させて、左画像と右画像から１フレームを生成して出力データを再構成する処理を行う構成である請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置において実行する画像処理方法であり、
識別部が、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行う識別ステップと、
変換部が、前記識別ステップの識別結果に応じて、前記入力データの変換処理を実行する変換ステップと、
表示部が、前記変換ステップの変換結果を表示する表示ステップを有する画像処理方法。
【請求項１３】
画像処理装置において画像処理を実行させるプログラムであり、
識別部に、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行わせる識別ステップと、
変換部に、前記識別ステップの識別結果に応じて、前記入力データの変換処理を実行させる変換ステップと、
表示部に、前記変換ステップの変換結果を表示させる表示ステップを有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に空間分割または時分割いずれかの方式による立体表示を実現する画像処理装置、および画像処理方法、並びにプログラムに関する。
【０００２】
さらに詳細には、本発明は入力画像が空間分割または時分割いずれの方式に対応したデータであるかを判別し、出力方式に対応した画像への変換処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００３】
一般に、テレビ・映画等の映像メディアでは映像データは平面上に表示される。そのため、表示されている映像を人が観察しても、その映像に関する奥行き情報を知覚することはできない。ステレオ視の原理を用いることで、平面上に映像データを表示していても観察者に奥行きを知覚させることが可能であることは古くから知られており、実用化もなされていたが、一般に広く普及している状況ではなかった。
【０００４】
ところが、近年、ステレオ視が可能な仕組みを搭載した３Ｄテレビが実際に商品として販売され始め、さらに一般の放送網を利用した立体映像放送のテスト運用なども始まっている。また、３Ｄ映画の上映に対応した映画館が顕著に増えつつあるなど、３Ｄの映像を視聴するための環境が急速に普及しつつある。
【０００５】
ステレオ視では人間の左右の目それぞれに異なる視点から撮影した映像を呈示することで、左右の映像の視差による奥行き知覚、または輻輳による奥行き知覚を発生させる。その結果、平面上に表示された映像データであっても人間は奥行きを知覚することができる。なお、立体映像表示処理に関する従来技術を開示した文献としては、例えば特許文献１〜６がある。
【０００６】
ステレオ視において、左右の目それぞれに異なる映像を呈示する方法は数多く提案されているが、その多くは主に２通りの方法のいずれかに分類することができる。すなわち、左右の目それぞれに呈示されるべき異なる映像（＊以後、左目のみに呈示されるべき映像を左画像、右目のみに呈示されるべき映像を右画像と呼ぶことがある）を交互に呈示する方法（時分割方式）、および、左画像と右画像から１つのフレームを構成し呈示する方法（空間分割方式）がある。
【０００７】
これらの方式はいずれも共に、呈示の際に何らかの異なる変調を左画像と右画像に適用することで、左目には左画像のみが、右目には右画像のみが入射するようにする。以下、それぞれの方式に関して、既に実用化されている（もしくは実用化されつつある）立体映像表示システムの例を示す。
【０００８】
［１．円偏光による空間分割方式］
まず、円偏光による空間分割方式について説明する。この方式はプログレッシブ表示を想定した方法であり、１フレームを偶数フィールド（偶数ライン）と奇数フィールド（奇数ライン）に分け、偶数フィールドには左画像を表示し、奇数フィールドには右画像を表示する（逆も可）。各フィールドからの光はディスプレイ面に張られた偏光フィルタにより異なる偏光を施される。例えば、ライン毎に交互に異なる円偏光フィルタを適用することで、偶数フィールドの光を右円偏光とし、奇数フィールドの光を左円偏光とする。観察者は左右で異なる偏光のフィルタが張られたメガネを着用することで左目では左画像のみを、右目では右画像のみを知覚する。
【０００９】
実際にこの表示方式に対応した立体放送の試験運用が衛星放送チャンネルにおいて開始されており、この放送に対応した大型フラットパネルディスプレイの発売も予定されている。
【００１０】
［２．液晶シャッターメガネによる時分割方式］
次に、液晶シャッターメガネによる時分割方式について説明する。液晶シャッターメガネを利用した時分割方式では、例えば左画像を偶数番目のフレーム（インターレース表示の場合はフィールド）として、右画像を奇数番目のフレームとして交互に表示する。観察者は液晶シャッターメガネを装着して、映像を観察する。液晶シャッターメガネは、左右画像の交互の呈示に同期して、観察者の左目または右目に入射する光を交互に遮断する。この動作により、左目には左画像のみが、右目には右画像のみが入射されるので、ステレオ視の原理により、観察者は立体像を知覚することができる。
【００１１】
液晶シャッターメガネを利用した方式は、古くから利用されているため、液晶シャッターメガネも多種多様な製品が既に販売されている。
【００１２】
［３．偏光を利用した時分割方式］
次に、偏光を利用した時分割方式について説明する。上述２の時分割方式で用いる液晶シャッターメガネは高価となる場合が多い。そこで、液晶シャッターメガネよりも比較的安価な偏光メガネを利用して、時分割方式を実現する。
【００１３】
この方式も基本的には時分割方式であり、表示するフレームの構成は液晶シャッターメガネを利用した時分割方法と変わらない。つまり、例えば偶数フレームでは左画像を、奇数フレームでは右画像を表示する。上述２の時分割方式と異なる点は、画像の表示部前面に円偏光フィルタを設置する点にある。この偏光フィルタは液晶パネルによって構成されており、円偏光の方向を時間方向で変更することができる。よって、フレーム毎に円偏光の方向を変更することで、例えば偶数フレームに表示される左画像のみを左偏光に、奇数フレームに表示される右画像のみを右偏光にする、といったことが可能になる。観察者は上述１の円偏光による空間分割方式の場合と同様に、左右で偏光が異なる偏光メガネを装着することで、左目には左画像のみ右目には右画像のみを入射させることが可能となり、立体像を知覚することができる。プロジェクターの前に偏光のための液晶パネルを設置した、映画館のためのシステムがＲｅａｌＤ社から販売されている。
【特許文献１】特開平９−１０７５６２号公報
【特許文献２】特開平８−３０８０６号公報
【特許文献３】特開平１０−５１８１２号公報
【特許文献４】特開２０００−２０９６１４号公報
【特許文献５】特開２００５−１５１５３４号公報
【特許文献６】特開平６−１９４６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
以上のように、いくつかの従来技術において、空間分割方式または時分割方式の映像表示をおこなうことで、観察者に奥行きを知覚させ、立体像を認識させる方法が実用化されている。しかしながら、上記の複数の立体映像表示システムにおいては、各システムで独自の映像データ形式を採用しているため、各システムの間に映像データの形式（左画像と右画像を映像データ中にどのように配置するか）に互換性が存在しない。また、仮に各システム間の映像データの形式を変換可能であったとしても、空間分割方式の立体表示をおこなった場合に正しく奥行きが知覚されるような映像データを時分割方式で表示した場合、映像データ内に動被写体が存在すると、動被写体に関して知覚される奥行きが実際とは異なるものになってしまうという問題が存在する。同様に、時分割方式の立体表示をおこなった場合に正しく奥行きが知覚されるような映像データを時分割方式で表示した場合、動被写体に関して知覚される奥行きが実際とは異なってしまう。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、対応しない立体映像方式の映像データが入力された場合でも、それを識別し、適切な立体映像表示方式への最適なデータ変換処理をおこなう構成とすることで正しい奥行きの知覚を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行う識別部と、
前記識別部の識別結果に応じて、前記入力データの変換処理を実行する変換部と、
前記変換部の変換結果を表示する表示部を有する画像処理装置にある。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データが、時分割方式のデータであるか、空間分割方式のデータであるかを識別する処理を実行し、前記変換部は、前記入力データが前記表示部の対応する表示方式と異なる場合に、前記入力データを時分割方式データから空間分割方式データへ変換する処理、または、空間分割方式データから時分割方式データへ変換する処理を行う構成である。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから連続する２フレームを選択し、該連続する２フレームの類似度を解析して、該解析結果に従って前記入力データが時分割方式のデータであるか空間分割方式のデータであるかを識別する処理を実行する構成である。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから１つの基準フレームと、連続する２フレームを参照フレームとして選択し、基準フレームと参照フレーム各々との組みから算出した２つの動きベクトルＶ，Ｗ間の類似度を算出し、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが時分割方式のデータであるか空間分割方式のデータであるかを識別する処理を実行する構成である。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データが、空間分割方式のデータである場合、左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから１つのフレームを選択し、選択フレームにおける左右画像の類似度を解析して、該解析結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから１つのフレームを選択し、選択フレームにおける左右画像のブロックマッチング処理によって得られたベクトルＶ（Ｍ）を利用して、左右画像の類似度を算出し、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから１つのフレームを選択し、選択フレームから偶数フィールド画像と奇数フィールド画像を生成し、生成した偶数フィールド画像と奇数フィールド画像との類似度を解析して、該解析結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記識別部は、前記入力データの構成フレームから１つのフレームを選択し、選択フレームから偶数フィールド画像と奇数フィールド画像を生成し、生成した偶数フィールド画像と奇数フィールド画像のブロック間類似度を算出して、算出した類似度とあらかじめ設定した閾値との比較処理を行い、該比較結果に従って前記入力データが左右分割型の空間分割方式データであるか、インターレース分割型の空間分割方式データであるかの識別処理を行う構成である。
【００２５】
さらに、本発明の画像処理装置の一実施態様において、前記変換部は、空間分割方式データから時分割方式データヘの変換処理を行う構成であり、入力データの各フレームから左眼用の左画像と右眼用の右画像を分離し、分離した左画像と右画像の解像度変換を実行して、右画像または左画像の時間方向の位相を０．５フレーム分遅延させて、左画像を偶数フレーム、右画像を奇数フレームとして出力データを再構成する処理を行う構成である。
【００２６】
さらに、本発明の画像処理装置の一実施態様において、前記変換部は、時分割方式データから空間分割方式データヘの変換処理を行う構成であり、入力データの各フレームから左眼用の左画像と右眼用の右画像を分離し、分離した左画像と右画像の解像度変換を実行して、右画像または左画像の時間方向の位相を０．５フレーム分進行させて、左画像と右画像から１フレームを生成して出力データを再構成する処理を行う構成である。
【００２７】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
識別部が、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行う識別ステップと、
変換部が、前記識別ステップの識別結果に応じて、前記入力データの変換処理を実行する変換ステップと、
表示部が、前記変換ステップの変換結果を表示する表示ステップを有する画像処理方法にある。
【００２８】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
識別部に、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行わせる識別ステップと、
変換部に、前記識別ステップの識別結果に応じて、前記入力データの変換処理を実行させる変換ステップと、
表示部に、前記変換ステップの変換結果を表示させる表示ステップを有するプログラムにある。
【００２９】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３０】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３１】
本発明の一実施例構成によれば、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行い、識別結果に応じて、入力データの変換処理を実行して変換結果を表示部に表示する。識別部は、入力データが、時分割方式のデータであるか、空間分割方式のデータであるかを識別する処理を実行し、変換部は、入力データが表示部の対応する表示方式と異なる場合に、入力データを時分割方式データから空間分割方式データへ変換する処理、または、空間分割方式データから時分割方式データへ変換する処理を行う。本構成により、入力データの方式に依存することなく正しい奥行き表現を可能とした立体画像表示処理が実現される。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
（１）画像処理装置の全体構成
（２）識別部の処理の詳細
（２−１）立体映像表示方式および識別部の処理の概要
（２−２）複数の立体映像表示方式の説明
（２−２−ａ）時分割方式の映像データ
（２−２−ｂ）左右分割の空間分割方式の映像データ
（２−２−ｃ）インターレース分割の空間分割方式の映像データ
（２−３）各方式に対応した識別部の識別処理の詳細
（２−３−ａ）時分割方式の映像データの識別方法（方法１）
（２−３−ｂ）左右分割の空間分割方式の映像データの識別方法（方法２）
（２−３−ｃ）インターレース分割の空間分割方式の映像データの識別方法（方法３）
（３）変換部の処理の詳細
（３−１）空間分割方式の入力映像データを時分割方式のデータに変換する処理例
（３−２）時分割方式の入力映像データを空間分割方式のデータに変換する処理例
（４）表示部の処理の詳細
【００３３】
（１）画像処理装置の全体構成
図１に本発明の一実施例に係る画像処理装置の基本構成を示す。図１に示すように、本発明の一実施例に係る画像処理装置１００は、識別部１０１、変換部１０２、表示部１０３を有する。なお、図示しないが、データの入力やユーザによる操作情報、指示入力等を行う入力部を備える。
【００３４】
画像処理装置１００は、立体映像データ１０を外部から入力する。入力データは、例えばＤＶＤ等のメディア、放送、インターネット、他の情報処理装置からの入力データなどである。入力する立体映像データ１０は、様々な立体映像表示方式に従ったデータである。例えば、「時分割方式」に対応した立体映像データ、あるいは「空間分割方式」に対応した立体映像データなどが入力される。
【００３５】
入力された立体映像データ１０は識別部１０１および変換部１０２に供給される。識別部１０１では、入力された立体映像データ１０が、どの方式に従った立体映像データであるかを識別する。具体的には、入力された立体映像データ１０の立体映像表示方式が「時分割方式」であるのか、「空間分割方式」であるのかを識別する。
【００３６】
識別部１０１は、さらに、入力された立体映像データ１０が「空間分割方式」に従ったデータである場合には、入力された立体映像データ１０が含む複数の視点から得られた映像データが１フレーム内に空間的にどのように配置されているのかについても識別する。具体的には、「左右分割型の空間分割方式データ」であるか「インターレース分割型の空間分割方式データ」であるか等の識別を行う。なお、これらの具体的処理については後述する。識別部１０１は、これらのデータ識別結果を変換部１０２に供給する。
【００３７】
変換部１０２は識別部１０１の識別した立体映像データ１０の立体映像表示方式情報を入力し、入力した立体映像データ１０の立体映像表示方式が、画像処理装置１００の表示部１０３の表示方式と異なる場合に、入力した立体映像データ１０に対して適切なデータ変換を施す。このデータ変換処理によって、入力された立体映像データ１０の立体映像表示方式を、画像処理装置１００の表示方式に従った立体映像表示方式に対応するデータに変換を実行し、観察者により知覚される奥行きが正しくなるようにした上で表示部０１０４に供給する。
【００３８】
具体的には、変換部１０２は、例えば以下のデータ変換処理を実行する。
（ａ）時分割方式の立体映像データを空間分割方式の立体映像データに変換する処理、
（ｂ）空間分割方式の立体映像データを時分割方式の立体映像データに変換する処理、
このような処理を行う。
【００３９】
表示部１０３は時分割方式または空間分割方式のいずれかの方法で、立体映像表示をおこなう。表示部１０３は一般的に時分割方式か空間分割方式のいずれか一方の方法のみによる立体映像表示が可能であり、複数の方式の立体映像表示を行うことはできないものとする。
【００４０】
変換部１０２は、表示部１０３の表示可能な方式に対応する立体映像データに変換を行う。この処理によって、入力データが、時分割方式の立体映像データまたは空間分割方式の立体映像データのいずれの場合であっても表示部１０３の表示可能な方式に対応する立体映像データとして表示を行うことを可能とする。
続いて、本発明の一実施例に係る画像処理装置１００を構成する各構成部の詳細な説明をおこなう。
【００４１】
（２）識別部の処理の詳細
識別部１０１の処理の詳細について説明する。説明は、以下の項目順に行う。
（２−１）立体映像表示方式および識別部の処理の概要
（２−２）複数の立体映像表示方式の説明
（２−３）各方式対応の識別部の処理の詳細
【００４２】
（２−１）立体映像表示方式および識別部の処理の概要
まず、立体映像表示方式および識別部の処理の概要について説明する。識別部１０１は、入力された立体映像データ１０が時分割方式に従ったデータであるか空間分割方式に従ったデータであるかを識別する。また、入力された立体映像データ１０が空間分割方式対応のデータである場合には、立体映像データ１０が含む複数の視点から得られた映像データが１フレーム内に空間的にどのように配置されているのかをも識別する。
【００４３】
識別部１０１は、例えば、以下の３種類の立体映像表示方式を識別する。
ａ．時分割方式
ｂ．左右分割の空間分割方式
ｃ．インターレース分割の空間分割方式
上記３通りの立体映像表示方式に対応した映像データの形式について説明する。まず、一般的なステレオ立体視用の映像データ、つまり左画像および右画像の例を図２および図３を用いて説明する。
【００４４】
図２は、立方体（被写体）２００を２つの視点の異なる位置に配置されたカメラ２０１およびカメラ２０２を用いて撮影している様子を示している。図３は図２における各々のカメラ２０１，２０２から得られる映像の例を示している。
【００４５】
映像（フレーム）２１１が、図２の左側のカメラ２０１により撮影される映像（フレーム）であり、映像（フレーム）２１２が右側のカメラ２０２により撮影される映像である。一般に左側に位置するカメラにより取得された画像を左画像と呼び、右側に位置するカメラにより取得された画像を右画像と呼ぶ。
【００４６】
図３に示す例では、フレーム２１１が左画像、フレーム２１２が右画像となる。左目のみで左画像フレーム２１１を観察し、右目のみで右画像フレーム２１２を知覚することで、立方体２００を立体的に認識することが可能になる。各カメラで動画を撮影した場合には、複数の左画像および右画像の系列が得られる。一般的な立体映像表示装置に供給される立体映像データは、その立体映像表示装置の立体表示方法に適用するように、これら左画像と右画像の系列により構成される。以下、上述の３通りの立体映像表示方式に対応した映像データの形式について説明する。
【００４７】
（２−２）複数の立体映像表示方式の説明
［２−２−ａ．時分割方式の映像データ］
時分割方式に従った立体映像データの一般的な構成を図４に示す。
時分割方式では、左側の視点から得られる映像（左画像）および右側の視点から得られる映像（右画像）を１フレームずつ交互に表示する。よって、映像データを構成するフレームの偶数番目のフレームに左画像が、奇数番目のフレームに右画像が配置される。もしくは、偶数番目のフレームに右画像が、奇数番目のフレームに左画像が配置される。
【００４８】
図４に示す例は、偶数番目のフレームに左画像が、奇数番目のフレームに右画像が配置された例である。フレーム０，２２１、フレーム２，２２３、フレーム４，２２５が左画像であり、フレーム１，２２２、フレーム３，２２４が右画像となっている。このように構成された映像データを再生することで、左画像と右画像を時間的に交互に表示することができる。観察者は、装着した液晶シャッターメガネ等がメガネの左右を適宜交互に遮断することにより、左目では左画像を、右目では右画像のみを知覚する。
【００４９】
［２−２−ｂ．左右分割の空間分割方式の映像データ］
左右分割型の空間分割方式に従った立体映像データの一般的な構成を図５に示す。
空間分割方式では映像データを構成する各々のフレーム内に左画像と右画像が含まれる。特に、左右分割の空間分割方式の映像データにおいては、フレームの左半分に左画像が、右半分に右画像が配置される。図５におけるフレーム２５０が左右分割の空間分割方式の立体映像データの内の１フレームである。フレーム２５０の左半分の左画像２５１は左眼対応の左画像から構成され、右半分の右画像２５２は右眼対応の右画像から構成されている。
【００５０】
図５に示す例では立体映像データの１フレーム２５０の解像度を左右画像と同一としているので、左画像および右画像の計２フレーム分の画像を１フレームに収めるために、左画像及び右画像の水平方向の解像度が半分になっている。
【００５１】
現在、衛星放送チャンネルにおいて試験運用がおこなわれている立体放送では、この方式の映像データが放映されている。この方式の映像データの入力に対応した受像機では、入力された映像データを最終的に次に説明する［２−２−ｃ．インターレース分割の空間分割方式の映像データ］と同様の形式に変換し、表示をおこなう。
【００５２】
［２−２−ｃ．インターレース分割の空間分割方式の映像データ］
インターレース分割の空間分割方式の映像データの一般的な構成を図６に示す。
空間分割方式では映像データを構成する各々のフレーム内に左画像と右画像が含まれる。特に、インターレース分割の空間分割方式の映像データにおいては、フレームの偶数ライン（偶数フィールド）に左画像が、奇数ライン（奇数フィールド）に右画像が配置される。もしくは、フレームの偶数ライン（偶数フィールド）に右画像が、奇数ライン（奇数フィールド）に左画像が配置される。
【００５３】
図６に示すフレーム２７０がインターレース分割の空間分割方式の立体映像データの内の１フレームである。フレーム２７０の偶数ライン２７１は、左眼対応画像である左画像から構成される。奇数ライン２７２は、右眼対応画像である右画像から構成されている。
【００５４】
図６に示す例では立体映像データの１フレーム２７０の解像度を左右画像と同一としているので、左画像および右画像の計２フレーム分の画像を１フレームに収めるために、左画像及び右画像の垂直方向の解像度が半分になっている。このように各フレームが構成された映像データを再生することで、左画像と右画像を同時に１フレームで表示することができる。例えば、表示時に偶数ラインからの光は左円偏光、奇数ラインからの光は右円偏光とすることで、観察者は、左側には右円偏光の光を遮断し、右側には左円偏光の光を遮断するような偏光フィルタが張られた偏光メガネを装着することで、左目では左画像を、右目では右画像のみを知覚する。
【００５５】
（２−３）各方式に対応した識別部の処理の詳細
図１に示した本発明の画像処理装置１００の識別部１０１は、例えば図４〜図６を参照して説明した３通りの立体映像表示方式を識別する。すなわち、入力映像データ１０が、以下のいずれの方式に従ったデータであるかを識別する。
ａ．時分割方式
ｂ．左右分割の空間分割方式
ｃ．インターレース分割の空間分割方式
以下、識別部１０１における識別処理の具体例について説明する。
【００５６】
［２−３−ａ．時分割方式の映像データの識別方法（方法１）］
まず、識別部１０１の実行するデータ識別処理例として、入力映像データ１０が、時分割方式の映像データであるか否かを識別する識別方法（方法１）について説明する。
【００５７】
映像データを構成するフレーム間の動き量の変化に注目することで、映像データが対応する立体映像表示方式が時分割方式であることを識別することができる。まず、立体映像ではない通常の映像データにおける動被写体について考える。図７は右方向に移動する球体３００をカメラ３０１によって撮影している状況を上から見た図である。
【００５８】
図７のような状況で撮影をおこなった場合、例えば図８に示したような画像列がカメラから得られる。図８のフレーム３１１をＮ番目のフレームとすると、フレーム３１２は（Ｎ＋１）番目のフレーム、フレーム３１３は（Ｎ＋２）番目のフレーム、フレーム３１４は（Ｎ＋３）番目のフレームとなる。各フレームには、球体が横に移動する様子が表されている。
【００５９】
ここで、各フレーム中の球体の動きについて考える。図８に示す矢印３２１〜３２３は、球体の中心部分のフレーム間の動きを示す矢印である。矢印３２１はフレーム３１１〜フレーム３１２間の動きを示している。矢印３２２はフレーム３１２〜フレーム３１３間の動きを示しており、矢印３２３はフレーム３１３〜フレーム３１４間の動きを示している。球体の動きが等速直線運動であるとすれば、すべての矢印の大きさは一致する。実際の動画像においても、短い時間内における被写体の動きはほぼ等速直線運動と考えても差し支えないので、各フレーム間で得られる被写体の移動量は大きく変動しないと考えられる。
【００６０】
続いて、時分割方式の立体映像データにおける動被写体について考える。図９は右方向に移動する球体３３０を視点の異なる２つのカメラ３３１およびカメラ３３２によって撮影している状況を上から見た図を表している。図９のような状況で撮影をおこなった場合、例えば図１０に示したような画像の組が２つのカメラ３３１，３３２から得られる。
【００６１】
図１０において画像フレーム３５１が左のカメラ３３１が撮影したフレームであり、左眼対応の左画像として利用可能となる画像である。画像フレーム３５２が、右のカメラ３３２が撮影したフレームであり、右眼対応の右画像として利用可能となる画像である。
【００６２】
画像フレーム３６０は、左画像フレーム３５１および右画像フレーム３５２を重ねたものであり、球体３６１は右画像３５２に写っていた球体、球体３６２は左画像３５１に写っていた球体である。なお球体３６２は、球体３６１と区別するために点線で示している。
【００６３】
このとき、画像３６０における左右の画像の球体の中心間の距離Ｄは視差と呼ばれ、撮像時の球体の奥行きによって変化する。ここで、被写体の移動速度が一定であるとともに、奥行きも一定であると考えると、フレーム毎の被写体の位置を図１１のように表現することができる。
【００６４】
図１１は横軸を画像中の水平位置、縦軸を時間としたものである。図９のような撮影環境下で撮影をおこなった場合に得られる左画像における球体の位置を点線の丸印Ｌで、右画像の球体の位置を実線の丸印Ｒで示した。球体の移動速度を一定と仮定しているので、水平位置の時間変化は常に一定となる。また、奥行きを一定と仮定しているので、左右画像における球体の水平位置の差（視差）は常に一定となる。
【００６５】
時分割方式の映像データには左画像と右画像が交互に含まれるので、実際は図１１のように同一時間帯の左右画像における球体の位置に関する情報は得られない。よって、時分割方式の映像データから得られる球体の位置に関する情報は、図１２のようになる。
【００６６】
図１２のフレームＮからフレームＮ＋１にかけての球体の水平位置の変化を実線の矢印ａで示した。また、フレームＮからフレームＮ＋２にかけての球体の水平位置の変化を点線の矢印ｂで示した。これによると、フレームＮからフレームＮ＋１にかけての球体の水平位置の変化は１フレーム間に０．５マスであるのに対して、フレームＮからフレームＮ＋２にかけての球体の水平位置の変化は１フレーム間に１．０マスであることが分かる。
【００６７】
つまり、本来は一定の速度で移動している物体であっても、視点の異なる映像が交互に含まれるような画像の系列においては、フレーム間の物体の移動量は一定とならない。
【００６８】
これに対して、図１３に示したように同一の視点からなるような画像の系列においてはフレーム間の物体の移動量は一定となる。空間分割方式の映像データには複数の視点の映像が含まれるが、単一のフレーム内に異なる視点の映像が含まれており、時分割方式の映像データのようにフレーム毎に視点が変化するようなことはないので、フレーム間で検出される移動量は大きく変動しない。
【００６９】
識別部１０１は、この特性を利用して、入力する立体映像データ１０が時分割方式の映像データであるか否かを識別する。図１４を参照して、この手法に従った識別処理の具体例について説明する。
【００７０】
図１４には、（ａ）入力映像データ１０と、（ｂ）識別部１０１の実行する処理を示している。
【００７１】
識別部１０１は、まず、入力映像データ１０を構成する１つのフレームであるフレームＮを任意の大きさのブロックに分割する。次に、ステップＳ１１において、各ブロックに対応する動きベクトルの算出のため、フレームＮ＋１を参照フレームとして、ブロックマッチングを実行する。ステップＳ１２において、ブロックマッチングによってブロック対応の動きベクトルを求める。Ｍ番目のブロックに対応する動きベクトルをＶ（Ｍ）と表記する。なお、動きベクトルとは、ブロックが１フレーム間に移動する量を表したベクトルである。図のフレームＮ＋１に、ブロックＭに対応する動きベクトルＶ（Ｍ）の例を示している。ステップＳ１３において、複数のブロック対応の動きベクトルの集合Ｖを求める。
【００７２】
続いて、ステップＳ２１、ステップＳ２２において、フレームＮ＋２を参照フレームとして、同様に各ブロックに対応する動きベクトルを検出する。Ｍ番目のブロックに対応する動きベクトルをＷ（Ｍ）と表記する。次に、ステップＳ２３において、複数のブロック対応の動きベクトルの集合Ｗを求める。次に、ステップＳ３１において、ＶとＷの類似度Ｓ１を以下の式によって算出する。
【００７３】
【数１】
2010062695.tif 000003
【００７４】
ここで、Ｖｘ（Ｍ）はＶ（Ｍ）の水平方向成分、Ｖｙ（Ｍ）はＶ（Ｍ）の垂直方向成分、Ｗｘ（Ｍ）はＷ（Ｍ）の水平方向成分、Ｗｙ（Ｍ）はＷ（Ｍ）の垂直方向成分をあらわす。類似度Ｓ１を計算する方法は上記に限らず、任意の計算式を用いることが可能で、例えばベクトルの差分の２乗和などを使用することもできる。類似度Ｓ１の値が大きければ大きいほど２種類の動きベクトルＶおよびＷが類似していると考えることができる。
【００７５】
ステップＳ３２において、例えば、閾値Ｔ５を予め設定しておき、上記式で算出された１つの基準フレームに対して、連続する２フレームを参照フレームとして算出した２つの動きベクトルＶ，Ｗ間の類似度Ｓ１と比較する。
Ｓ１＜Ｔ５
上記式が成立すれば、入力映像データは、時分割方式の映像データであると判定する。上記式が成立しない場合は時分割方式の映像データでないと判定する。
【００７６】
なお、上述の説明ではフレームＮからフレームＮ＋２までの３枚のフレームのみを使用したが、使用するフレームの組の数を増やし、複数の類似度を算出することでさらに識別結果の信頼性を高めることもできる。なお、全てのブロックに対して動きベクトルを検出しなくとも良い。
【００７７】
［２−３−ｂ．左右分割の空間分割方式の映像データの識別方法（方法２）］
次に、識別部１０１の実行するデータ識別処理例として、入力映像データ１０が、左右分割の空間分割方式の映像データであるか否かを識別する識別方法（方法２）について説明する。
【００７８】
左右分割の空間分割方式の映像データでは、１フレームの左半分に左画像が、右半分に右画像が配置されている。例えば、図１５におけるフレーム４１１が左眼用の左画像フレーム、フレーム４０１が右眼用の右画像フレームであるとする。このようなフレームから、左右分割の空間分割方式の映像データの１フレームであるフレーム４２０が生成される。
【００７９】
フレーム４２０は、水平方向の解像度が半分になった左画像４２１が左半分に配置されており、同じく水平方向の解像度が半分となった右画像４２２が右半分に配置されたフレームである。入力映像データ１０が左右分割の空間分割方式の映像データである場合、フレーム４２０に相当するフレームが、順次入力される。
【００８０】
ところで、左右分割の空間分割方式の映像データである場合、フレーム４２０に含まれる左画像４２１と右画像４２２は異なる視点から得られる映像であるから、異なる映像ではあるが、実際は非常に似た映像となることが容易に推測可能である。
【００８１】
そこで、識別部１０１は、入力映像データ１０に含まれるフレーム、例えばフレーム４２０を左右に２分割し、２つの部分画像間の類似度を測ることで、左右分割の空間分割方式の映像データであるかどうかを判別する。
【００８２】
入力映像データ１０が、左右分割の空間分割方式の映像データである場合、２つの部分画像４２１，４２２間の類似度は高くなり、それ以外の映像データの場合は低くなる。２つの部分画像間の類似度を測る方法は任意の手法を利用可能であるが、例えば２つの部分画像間の画素毎の差分絶対値和などでは、左右の画像に存在する視差の影響で、十分に類似性を判断することができない。視差の影響を受けずに左右の画像の類似度を測定し、入力映像データ１０が左右分割の空間分割方式の映像データであるか否かを識別可能とする処理例について図１６を参照して説明する。
【００８３】
図１６には、（ａ）入力映像データ１０と、（ｂ）識別部１０１の実行する処理を示している。
【００８４】
識別部１０１は、まず、入力映像データ１０を構成する１つのフレームであるフレームＮを取得し、フレームＮを左画像４３１を任意の大きさのブロックに分割する。識別部１０１は、ステップＳ５１において、左画像４３１の各ブロックと最も類似する部分を右画像４３２の中で探索する。これにはブロックマッチングなどの一般的なテンプレートマッチング手法が利用可能である。
【００８５】
次に、ステップ５２において、各ブロックと最も類似する右画像４３２中の位置を、ブロックからの相対位置を示すベクトルを用いて表現する。左画像４３１のＭ番目のブロックに対応するベクトルをＶ（Ｍ）と表記する。図のフレームＮに、ブロックＭに対応するベクトルＶ（Ｍ）の例を示している。ステップＳ５３において、複数のブロック対応のベクトルの集合Ｖを求める。
【００８６】
次に、ステップＳ５４において、左右の部分画像の類似度Ｓ２を以下の式によって算出する。
【００８７】
【数２】
2010062695.tif 000004
【００８８】
ここで、Ｖｙ（Ｍ）はＭ番目のブロックが最も類似している右画像上の相対位置を示すベクトルのＹ方向成分である。一般に、立体映像の撮影の際には複数のカメラは、光軸が垂直方向にずれないように設定されるので、左右画像の類似する部分の位置に垂直方向のずれが生じることは少ない。つまり、左右分割の空間分割方式の映像データであればＶｙ（Ｍ）の値は小さくなるので、結果的にＳ２の値は大きくなる。
【００８９】
ステップＳ５５において、例えば、閾値Ｔ１を予め設定しておき、上記式で算出された１つの選択フレームにおける左右画像のブロックマッチングによって得られたベクトルＶ（Ｍ）に基づく算出結果である左右画像の類似度Ｓ２と比較する。
Ｓ２＞Ｔ１
上記式が成立すれば、入力映像データは左右分割の空間分割方式の映像データであると判定する。上記式が成立しなければ、入力映像データは左右分割の空間分割方式の映像データでないと判定する。
【００９０】
なお、上述の説明では単一のフレームのみを使用したが、使用するフレームの数を増やし、複数の類似度を算出し、例えばその和を最終的な類似度として用いることでさらに識別結果の信頼性を高めることもできる。なお、全てのブロックに対してベクトルを検出しなくとも良い。
【００９１】
［２−３−ｃ．インターレース分割の空間分割方式の映像データの識別方法（方法３）］
次に、識別部１０１の実行するデータ識別処理例として、入力映像データ１０が、インターレース分割の空間分割方式の映像データであるか否かを識別する識別方法（方法３）について説明する。
【００９２】
インターレース分割の空間分割方式の映像データでは、１フレームの偶数フィールドに左画像が、奇数フィールドに右画像が配置されている。図１７におけるフレーム４５１が左画像、フレーム４５２が右画像であり、フレーム４６０がインターレース分割の空間分割方式の映像データの１フレームである。入力映像データ１０がインターレース分割の空間分割方式の映像データである場合、フレーム４６０に相当するフレームが順次入力される。
【００９３】
インターレース分割の空間分割方式の映像データを構成するフレーム４６０には、垂直方向の解像度が半分になった左画像４６１が、フレーム４６０の偶数フィールドに配置されており、同じく垂直方向の解像度が半分となった右画像４６２がフレーム４６０の奇数フィールドに配置されている。
【００９４】
ところで、前記の［（２−３−ｂ）左右分割の空間分割方式の映像データの識別方法（方法２）］で既に述べたように、左画像と右画像の部分領域には類似性が多くある。しかしながら、視差の影響により、類似部分が左右画像上の同じ位置に存在することは少ない。よって、左画像と右画像の空間的に同じ部分を比較した場合、類似の度合いは低くなると考えられる。ここで、インターレース分割の空間分割方式の映像データ以外の立体映像データ（すなわち、左右分割の空間分割方式の映像データおよび時分割方式の映像データ）や立体映像ではない一般的な映像について考察する。
【００９５】
図１８はそのような一般的な映像のあるフレーム５００とその偶数フィールド画像５０１、奇数フィールド画像５０２を示した図である。明らかに、偶数フィールド画像５０１と奇数フィールド画像５０２には類似性が認められる。
【００９６】
しかし、インターレース分割の空間分割方式の映像データである場合には、例えば図１７に示すように、偶数フィールド画像である左画像４６１と、奇数フィールド画像である右画像４６２との類似度は低くなる。この特性を利用して、例えば以下のような方法で、インターレース分割の空間分割方式の映像データであるかどうかを識別する。
【００９７】
入力映像データ１０がインターレース分割型の空間分割方式の映像データであるか否かを識別する処理例について図１９を参照して説明する。図１９には、（ａ）入力映像データ１０と、（ｂ）識別部１０１の実行する処理を示している。
【００９８】
まず、識別部１０１は、入力映像データ１０を構成する１つのフレームＮ，５３０を選択し、ステップＳ７１において、選択フレームを偶数フィールドと奇数フィールドに分割するフィールド分割処理を行う。偶数フィールド画像５３１、奇数フィールド画像５３２とする。
【００９９】
次に、ステップＳ７２において、偶数フィールド画像５３１と、奇数フィールド画像５３２を共に同じ大きさのブロックに分割し、同じ位置にあるブロック間の類似度を計測する。ブロック間類似度の指標としては、例えば画素毎の差分絶対値の和の正負を反転したものなどが利用可能で、この値が大きいほど類似度が高いと考えられる。
【０１００】
ステップＳ７３において、各ブロックから得られた類似度の総和［Ｓ３］を算出する。Ｓ３が大きいほど類似度が高いとする。
最後に、ステップＳ７３において、予め閾値Ｔ２を設定しておき、Ｓ３＜Ｔ２の場合、その映像データをインターレース分割の空間分割方式の映像データと識別する。
【０１０１】
なお、映像データがインターレース分割の空間分割方式の映像データではなかったとしても、動く被写体をインターレース撮影した場合には、偶数フィールドと奇数フィールドで被写体の位置が変化してしまうので、類似度が低くなり誤識別の可能性がある。そこで、例えば分割した各ブロックに対応する動き量を、他のフレームを利用して算出し、動き量が十分に少ないブロックのみを類似度Ｓ３の算出に用いる設定としてもよい。このような設定とすることで、そのような誤識別の可能性を低減することができる。
【０１０２】
図１に示す本発明の画像処理装置１００の識別部１０１は、例えば、上述した３通りの識別方法を組み合わせた識別処理を実行する。この処理によって、入力映像データ１０が、以下のいずれの立体映像表示方式に従ったデータであるかを判別する。
ａ．時分割方式
ｂ．左右分割の空間分割方式
ｃ．インターレース分割の空間分割方式
【０１０３】
識別部１０１は、入力映像データ１０が上記３通りの立体映像表示方式のうちのいずれの方式に従ったデータであるのかを識別し、その結果を変換部１０２に出力する。
【０１０４】
なお、識別部１０１は入力データ識別処理として、上記の識別方法を適用した処理以外の識別手法を適用する構成としてもよい。例えば入力映像データにその映像データの対応する立体映像表示方式情報を属性データとして埋め込む構成とし、識別部１０１がこの属性データを読み取って、入力映像データの方式を判断する構成としてもよい。
【０１０５】
あるいは、利用者が、画像処理装置に対する入力部を介して入力映像データの立体映像表示方式を入力する設定として、識別部１０１が入力情報に基づいて判断するといった手法を採用してもよい。
【０１０６】
識別部１０１の判断した入力映像データの立体映像表示方式情報は、変換部１０２に入力され、変換部１０２は、必要に応じて画像処理装置１００の表示部１０３において表示可能な方式への変換を行う。
【０１０７】
（３）変換部の処理の詳細
変換部１０２は、このように自装置（画像処理装置１００）の表示方式に対応しない方式のデータを入力した場合に変換を行うものである。変換を行わずに出力を行ってしまうと、編来、空間分割方式に従った映像データを時分割方式のデータとして表示してしまう。あるいはその逆の処理が行われることになり、正しい立体表示ができなくなる。
【０１０８】
変換部１０２の処理の詳細について説明する前に、空間分割方式の立体表示に用いられる映像データを時分割方式の立体表示に用いた場合に、もしくは、時分割方式の立体表示に用いられる映像データを空間分割方式の立体表示に用いた場合に、知覚される奥行きが実際の奥行きとは違うものになってしまう問題について説明する。
【０１０９】
空間分割方式の立体表示に用いられる映像データは、先に、図５、図６等を参照して説明したように、１フレーム内に左画像と右画像の両方が存在する。この１フレーム内の左画像と右画像は同じタイミングで撮像されたものである。空間分割方式に従って表示処理を行なえば、図５、図６を参照して説明したフレームは、おなじような構成を持つフレームＮ，Ｎ＋１，Ｎ＋２と連続的に表示されることになる。
【０１１０】
しかし、このような左画像と右画像を１つのフレームに有する空間分割方式の立体表示用データを適用して時分割方式の立体表示処理を行うと、左画像を表示した後に右画像を表示するという立体表示が行われ、左画像に対して右画像は遅れて知覚されるということになる。
【０１１１】
片方の目に対して遅れたタイミングでもう一方の目で映像を知覚すると認識される奥行きに誤差が生じることは「プルフリッヒの振り子」という錯視として広く知られている。プルフリッヒの振り子の現象では、例えばサングラスのように光を抑制するフィルタを用いて、片方の目に入射する光量を制限する。もう片方の目にはそのまま光を入射させる。すると、人間の視覚は暗い光に対して感度が鈍いので、暗くしたほうの目では映像遅れて知覚する。このような状態で左右に振れる振り子を見ると、本来は左右に振れているだけなので奥行き方向の変動はないにも関わらず、振り子が奥行き方向に楕円運動をしているかのように知覚される。
【０１１２】
時分割方式の立体表示で空間分割方式の左右画像を表示した場合、これは既に述べたように右画像が遅れて知覚されると解釈可能であるから、知覚される奥行きに誤差が発生する。時分割方式の立体表示において、奥行き知覚に誤差を生じさせないためには、左右の目で映像を知覚する際に遅れが生じてはならないので、左右画像の表示タイミングと撮影タイミングが一致していなければならない。しかしながら、このような映像データの左右画像を、今度は空間分割方式で表示した場合、奥行き知覚に誤差が生じることは容易に想像可能である。
【０１１３】
上記の問題点を解決するために、本発明に従った画像処理装置１００の変換部１０２は、映像データに適切な変換を施し、正しい観察者が正しい奥行きを知覚できるようにするデータ変換処理を行う。
【０１１４】
以下、画像処理装置１００の変換部１０２の処理の詳細について説明する。変換部１０２は、識別部１０１から入力映像データ１０の立体映像表示方式情報を入力する。この入力情報に基づいて、表示部１０３に映像データを表示した場合に、正しい奥行きが知覚されるよう、入力映像データ１０に対して適切な変換を施して表示部１０３に変換後の映像データを出力する。
【０１１５】
なお、識別部１０１による識別の結果、入力映像データ１０の立体映像表示方式が、画像処理装置に対応した立体映像表示方式データである場合には、変換部１０２は、入力映像データ１０に対して何の変換処理も実行しない。
【０１１６】
以下、変換部１０２においてデータ変換処理を実行する場合の詳細処理について説明する。以下の２つの処理例について順次説明する。
（３−１）空間分割方式の入力映像データを時分割方式のデータに変換する処理例
（３−２）時分割方式の入力映像データを空間分割方式のデータに変換する処理例
【０１１７】
［（３−１）空間分割方式の入力映像データを時分割方式のデータに変換する処理例］
まず、画像処理装置１００の映像出力方式が時分割方式であり、入力映像データが空間分割方式のデータである場合に、変換部１０２の実行するデータ変換処理について説明する。
【０１１８】
画像処理装置１００が時分割方式に従った画像表示を行う構成であり、入力映像データ１０が空間分割方式の場合には、変換部１０２は以下のような処理ステップ１〜４により構成される変換処理を入力映像データ１０に対して施す。
ステップ１：入力映像データ１０の各フレームから左画像と右画像を分離する。
ステップ２：左画像と右画像の解像度変換をおこなう。
ステップ３：右画像（または左画像）の時間方向の位相を０．５フレーム分遅延させる。
ステップ４：左画像を偶数フレーム、右画像を奇数フレームとして映像データを再構成する。
【０１１９】
上記の各ステップについて説明する。空間分割方式の映像データは、先に図５、図６を参照して説明したように、各フレームに左画像および右画像が含まれる。図５に示すような左右画像分割または、図６に示すようなフィールド分割方である。
【０１２０】
ステップ１では入力映像データ１０の各フレームから左画像と右画像を分離する。
変換部１０２は、識別部１０１から、空間分割方式型の入力映像データのタイプ、すなわち、左右分割型（図５）であるか、インターレース分割型（図６）であるかの情報を入力して、その入力情報に従って入力映像データ１０の各フレームから左画像と右画像を分離する。
【０１２１】
例えば、入力映像データ１０が、図５に示すような左右分割の空間分割方式に対応した映像データである場合には、左画像は１フレームの左半分に、右画像は右半分に割り当てられているので、１フレームの画像を縦に２分割すれば左画像と右画像が得られる。
【０１２２】
また、入力映像データ１０が、図６に示すようなインターレース分割の空間分割方式に対応した映像データである場合には、左画像は１フレームの偶数ラインに、右画像は奇数ラインに割り当てられているので、偶数ラインのみを抽出して１フレームを構成すれば左画像が、奇数ラインのみを抽出して１フレームを構成すれば右画像が得られる。
【０１２３】
ステップ１により得られた左画像と右画像は、元々の１フレーム全体と比較した場合に、解像度が減少しているので、ステップ２では左画像および右画像の解像度を元々の１フレームの解像度と一致させる。
【０１２４】
例えば、入力映像データ１０が、左右分割の空間分割方式に対応した映像データである場合には、左右画像の水平方向の解像度が１／２となっているので、左右画像の水平方向の解像度を２倍に拡大する。
【０１２５】
また、入力映像データ１０が、インターレース分割の空間分割方式に対応した映像データである場合には、左右画像の垂直方向の解像度が１／２となっているので、左右画像の垂直方向の解像度を２倍に拡大する。
【０１２６】
このステップ２の解像度変換は、様々な方法が適用可能である。例えばバイリニア法、バイキュービック法などを用いることが可能である。
【０１２７】
空間分割方式では１フレームにおいて左画像と右画像を同時に提示するので、通常、同一フレームに属する左画像と右画像は同時に撮像されている。すでに述べたように、そのような映像データを時分割方式の立体映像表示に使用した場合、動被写体に関して知覚される奥行きに誤差が生じる。
【０１２８】
そこで、ステップ３において左画像の系列と右画像の系列の時間的な位相を１／２フレーム分だけずらす処理をおこなう。例えば、時分割方式の立体映像表示において左画像が先に表示される場合は、左画像の系列に対する右画像の相対的な時間位相を１／２フレーム遅延させる。また、右画像が先に表示される場合は、右画像の系列に対する左画像の相対的な時間位相を１／２フレーム遅延させる。画像の系列の時間位相を変化させる処理はフレーム補間処理によって容易に実現できる。フレーム補間処理に関しては、既存の補間処理手法を適用できる。例えば、既存の液晶テレビなどにはフレーム補間をおこなうための装置が内蔵されている場合が多いので、そのような装置をそのまま利用することができる。
【０１２９】
フレーム補間により左画像の系列に対して右画像の系列の時間的な位相を遅延させる処理について、図２０を用いて説明する。図２０に示すフレーム６１１〜６１４は上述のステップ１，ステップ２により得られた右画像フレーム系列を示している。また、フレーム６２１〜６２４は、ステップ１，ステップ２により得られた左画像フレーム系列を示している。
【０１３０】
これらの右画像フレーム系列６１１〜６１４と、左画像フレーム系列６２１〜６２４は、時間軸６５０に沿って、同一の位置に設定されている。すなわち、左画像の系列と右画像の系列に関する時間方向の位相が一致していることが分かる。
【０１３１】
フレーム６３１〜６３３は右画像の系列に対するフレーム補間処理により得られる補間画像フレーム系列を示している。
補間画像フレーム６３１は、右画像フレーム６１１と右画像フレーム６１２から生成する補間画像フレームである。
補間画像フレーム６３２は、右画像フレーム６１２と右画像フレーム６１３から生成する補間画像フレームである。
補間画像フレーム６３３は、右画像フレーム６１３と右画像フレーム６１４から生成する補間画像フレームである。
【０１３２】
各々の補間画像が対応する表示時間は、元となった２つの画像の中間とする。従って、補間画像のみからなる系列である補間画像フレーム系列６３１〜６３３は、左画像フレーム系列６２１〜６２４に対してその時間位相が１／２フレーム遅延していることが分かる。
【０１３３】
ステップ４においては、補間画像の系列と左画像の系列を交互に並べることで、時分割方式に対応した映像データを構成する。
このステップ４の処理について図２１を参照して説明する。
【０１３４】
図２１には、図２０を参照して説明した左画像フレーム系列６２１〜６２４と、右画像をベースとして生成した補間画像フレーム系列６３１〜６３３と、これらの２つの画像系列を適用した表示画像フレーム系列を示している。
【０１３５】
表示画像フレーム系列は、左画像フレーム系列６２１〜６２４と、右画像をベースとして生成した補間画像フレーム系列６３１〜６３３を交互に用いて表示することで構成される。この表示画像フレーム系列を表示部１０３に表示することで、時分割方式の立体映像表示方式に対応した映像データの出力が行われる。
【０１３６】
［３−２．時分割方式の入力映像データを空間分割方式のデータに変換する処理例］
次に、画像処理装置１００の映像出力方式が空間分割方式であり、入力映像データが時分割方式のデータである場合に、変換部１０２の実行するデータ変換処理について説明する。
【０１３７】
画像処理装置１００が空間分割方式に従った画像表示を行う構成であり、入力映像データ１０が時分割方式の場合には、変換部１０２は以下のような処理ステップ１〜４により構成される変換処理を入力映像データ１０に対して施す。
ステップ１：入力映像データ１０を左画像と右画像の系列に分離する。
ステップ２：左画像と右画像の解像度変換をおこなう。
ステップ３：右画像（または左画像）の時間方向の位相を０．５フレーム分進行させる。
ステップ４：左画像・右画像から１フレームを生成し、映像データを再構成する。
【０１３８】
各ステップについて説明する。時分割方式の映像データでは、先に図４を参照して説明したように例えば偶数フレームに左画像、奇数フレームに右画像が含まれるので、ステップ１では映像データを偶数フレームのみからなる系列と奇数フレームのみからなる系列とに分離する。
【０１３９】
この処理により左画像の系列と右画像の系列が得られる。ステップ１により得られた左画像と右画像は、空間分割方式対応の映像データの１フレームを構成するには解像度が多すぎる。そこで、ステップ２では左画像および右画像の解像度を、空間分割方式対応の映像データの１フレームの解像度の１／２と一致させる。
【０１４０】
例えば、画像処理装置１００の表示方式が左右分割の空間分割方式（図５参照）である場合には、左右画像の水平方向の解像度を１／２に縮小する。また、立体映像表示装置が対応する立体映像表示方法がインターレース分割の空間分割方式（図６参照）である場合には、左右画像の垂直方向の解像度を１／２に縮小する。
【０１４１】
時分割方式ではフレーム毎交互に左画像と右画像を提示するので、通常、左画像と右画像は同時に撮像されていない。すでに述べたように、そのような映像データを空間分割方式の立体映像表示に使用した場合、動被写体に関して知覚される奥行きに誤差が生じる。
【０１４２】
そこで、ステップ３において左画像の系列と右画像の系列の時間的な位相を一致させる処理をおこなう。例えば、左画像の系列に対する右画像の相対的な時間位相が１／２フレーム遅延しているのであれば、これを１／２フレーム進行させることで、左右画像の系列の時間位相を一致させる。画像の系列の時間位相を変化させる処理は、既に述べたように、フレーム補間処理によって容易に実現できる。
【０１４３】
フレーム補間により左画像の系列に対して右画像の系列の時間的な位相を進行させる処理について、図２２を用いて説明する。図２２に示すフレーム８１１〜８１４は上述のステップ１，ステップ２により得られた右画像フレーム系列を示している。また、フレーム８２１〜８２４は、ステップ１，ステップ２により得られた左画像フレーム系列を示している。
【０１４４】
これらの右画像フレーム系列８１１〜８１４と、左画像フレーム系列８２１〜８２４は、時間軸８５０に沿って、同一の位置に設定されていない。すなわち、左画像の系列に対して右画像の系列は時間方向の位相が１／２フレーム遅れている
【０１４５】
フレーム８３１〜８３３は右画像の系列に対するフレーム補間処理により得られる補間画像フレーム系列を示している。
補間画像フレーム８３１は、右画像フレーム８１１と右画像フレーム８１２から生成する補間画像フレームである。
補間画像フレーム８３２は、右画像フレーム８１２と右画像フレーム８１３から生成する補間画像フレームである。
補間画像フレーム８３３は、右画像フレーム８１３と右画像フレーム８１４から生成する補間画像フレームである。
【０１４６】
各々の補間画像が対応する表示時間は、元となった２つの画像の中間とする。この補間画像フレーム系列８３１〜８３３は、左画像フレーム系列８２１〜８２４に対してその時間位相が一致している。
【０１４７】
ステップ４においては、補間画像の系列と左画像の系列から各フレームを生成することで、空間分割方式に対応した映像データを構成する。
この処理は、先に説明した［（２−２−ｂ）左右分割の空間分割方式の映像データ］または［（２−２−ｃ）インターレース分割の空間分割方式の映像データ］に記載したデータを生成する処理である。
【０１４８】
画像処理装置１００が、左右分割の空間分割方式の映像データの表示を行う構成である場合には、図２２に示す補間画像の系列と左画像の系列から図５に示す左右分割の空間分割方式の映像データに対応する画像フレームを生成する。
画像処理装置１００が、インターレース分割の空間分割方式の映像データの表示を行う構成である場合には、図２２に示す補間画像の系列と左画像の系列から図６に示すインターレース分割方式の映像データに対応する画像フレームを生成する。
生成した画像フレームは表示部１０３に出力する。
【０１４９】
（４）表示部の処理の詳細
画像処理装置１００の表示部１０３は、変換部１０２から供給される映像データを時分割方式または空間分割方式のいずれかの方法で表示する。一般に表示部１０３はいずれかの表示方法のみが可能である。
【０１５０】
本発明の画像処理装置１００は、入力映像テータ１０が、表示部１０３の表示方式に対応しない映像データであった場合でも、変換部１０２において表示方式に従ったデータに変換される。従って、変換部１０２が表示部１０３に供給する映像データは、表示１０３の立体映像表示方式に対応した映像データへと変換済みであるので、正しい奥行きを知覚可能な立体表示が可能となる。
【０１５１】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１５２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５４】
以上、説明したように、本発明の一実施例構成によれば、立体表示用の映像データを入力し、入力データに対応する立体表示方式の識別処理を行い、識別結果に応じて、入力データの変換処理を実行して変換結果を表示部に表示する。識別部は、入力データが、時分割方式のデータであるか、空間分割方式のデータであるかを識別する処理を実行し、変換部は、入力データが表示部の対応する表示方式と異なる場合に、入力データを時分割方式データから空間分割方式データへ変換する処理、または、空間分割方式データから時分割方式データへ変換する処理を行う。本構成により、入力データの方式に依存することなく正しい奥行き表現を可能とした立体画像表示処理が実現される。
【図面の簡単な説明】
【０１５５】
【図１】本発明の一実施例に係る画像処理装置の構成例について説明する図である。
【図２】一般的なステレオ立体視用の映像データとしての左画像および右画像の例について説明する図である。
【図３】図２における各々のカメラ２０１，２０２から得られる映像の例を示す図である。
【図４】時分割方式に従った立体映像データの一般的な構成を示す図である。
【図５】左右分割型の空間分割方式に従った立体映像データの一般的な構成について説明する図である。
【図６】インターレース分割の空間分割方式の映像データの一般的な構成例について説明する図である。
【図７】右方向に移動する球体３００をカメラ３０１によって撮影している状況を上から見た図である。
【図８】図７のような状況で撮影をおこなった場合にカメラから得られる画像列について説明する図である。
【図９】右方向に移動する球体３３０を視点の異なる２つのカメラ３３１およびカメラ３３２によって撮影している状況を上から見た図である。
【図１０】図９のような状況で撮影をおこなった場合、２つのカメラ３３１，３３２から得られる画像の例について説明する図である。
【図１１】図９の２つのカメラ３３１，３３２から得られる左画像と右画像におけるオブジェクトの移動および観察データについて説明する図である。
【図１２】図９の２つのカメラ３３１，３３２から得られる左画像と右画像におけるオブジェクトの移動および観察データについて説明する図である。
【図１３】同一の視点からなる画像の系列においてフレーム間の物体の移動量は一定となることについて説明する図である。
【図１４】入力する立体映像データが時分割方式の映像データであるか否かを識別する処理について説明する図である。
【図１５】左右分割の空間分割方式の映像データの例について説明する図である。
【図１６】入力映像データが左右分割の空間分割方式の映像データであるか否かを識別する処理について説明する図である。
【図１７】インターレース分割の空間分割方式の映像データについて説明する図である。
【図１８】一般的な映像のあるフレームの解析例について説明する図である。
【図１９】入力映像データがインターレース分割の空間分割方式の映像データであるか否かを識別する処理について説明する図である。
【図２０】フレーム補間により左画像の系列に対して右画像の系列の時間的な位相を遅延させる処理について説明する図である。
【図２１】補間画像の系列と左画像の系列を交互に並べることで、時分割方式に対応した映像データを構成する処理について説明する図である。
【図２２】フレーム補間により左画像の系列に対して右画像の系列の時間的な位相を進行させる処理について説明する図である。
【符号の説明】
【０１５６】
１０  入力映像データ
１００  画像処理装置
１０１  識別部
１０２  変換部
１０３  表示部
２００  立方体（被写体）
２０１，２０２  カメラ
２１１，２１２  フレーム
２２１〜２２５  フレーム
２５０  フレーム
２５１  左画像
２５２  右画像
２７０  フレーム
２７１  偶数ライン
２７２  奇数ライン
３００  球体
３０１  カメラ
３１１〜３１４  フレーム
３３０  球体
３０１，３３２  カメラ
３５１，３５２  画像フレーム
３６０  画像フレーム
３６１，３６２  球体
４３１  左画像
４３２  右画像
４５１  左画像
４５２  右画像
４６０  フレーム
４６１  左画像
４６２  右画像
５００  フレーム
５０１  偶数フィールド画像
５０２  奇数フィールド画像
５３０  フレーム
５３１  偶数フィールド画像
５３２  奇数フィールド画像
６１１〜６１４  右画像フレーム系列
６２１〜６２４  左画像フレーム系列
６３１〜６３３  補間画像フレーム系列
８１１〜８１４  右画像フレーム系列
８２１〜８２４  左画像フレーム系列
８３１〜８３３  補間画像フレーム系列
【図１】
2010062695.tif 000005
【図２】
2010062695.tif 000006
【図３】
2010062695.tif 000007
【図４】
2010062695.tif 000008
【図５】
2010062695.tif 000009
【図１３】
2010062695.tif 000010
【図１４】
2010062695.tif 000011
【図１６】
2010062695.tif 000012
【図２０】
2010062695.tif 000013
【図２１】
2010062695.tif 000014
【図２２】
2010062695.tif 000015
【図６】
2010062695.tif 000016
【図７】
2010062695.tif 000017
【図８】
2010062695.tif 000018
【図９】
2010062695.tif 000019
【図１０】
2010062695.tif 000020
【図１１】
2010062695.tif 000021
【図１２】
2010062695.tif 000022
【図１５】
2010062695.tif 000023
【図１７】
2010062695.tif 000024
【図１８】
2010062695.tif 000025
【図１９】
2010062695.tif 000026