(57)【要約】【課題】立体映像を見るときの眼精疲労を軽減することができるようにする。【解決手段】シーンチェンジ検出部６１は、立体映像信号から、３秒分の立体映像に対応するフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定する。視差調整部６２は、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、３秒前のフレームと、３秒後のフレームとを取得し、２つのフレームにおける視差の最大値を特定して視差係数αを求める。そして、視差係数を用いて視差プレーンの最大視差の値が調整される。【選択図】図７
2011176541.tif 000002
【特許請求の範囲】
【請求項１】
単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、
前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、
前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、
前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段と
を備える立体映像処理装置。
【請求項２】
前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定される
請求項１に記載の立体映像処理装置。
【請求項３】
前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる右目用の画像データと左目用の画像データとの画素の差分を算出することにより特定される
請求項１に記載の立体映像処理装置。
【請求項４】
前記フレーム特定手段は、前記立体映像信号の映像の中でシーンチェンジのフレームを検出することにより、前記視差の最大値の変化が時間的に不連続となるフレームを特定する
請求項１に記載の立体映像処理装置。
【請求項５】
前記フレーム特定手段は、時間的に連続する前後２つのフレームの視差の最大値の差分に基づいて、前記視差の最大値の変化が時間的に不連続となるフレームを特定する
請求項１に記載の立体映像処理装置。
【請求項６】
フレーム特定手段が、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定し、
最大視差特定手段が、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定し、
視差係数算出手段が、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出し、
視差調整手段が、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整するステップ
を含む立体映像処理方法。
【請求項７】
コンピュータを、
単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、
前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、
前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、
前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像処理装置および方法、並びにプログラムに関し、特に、立体映像を見るときの眼精疲労を軽減することができるようにする立体映像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
人間は、右目と左目で捉えた画像の違い（視差）を利用して、物体を立体的に認識している。眼球の回転運動は輻湊角を変化させ、人間はこれを物体までの距離として認識する。ここで輻湊角とは、視線の交差角である。
【０００３】
この人間の目の特性を利用して、左右目用に視差をつけた二つの二次元画像用意し、それぞれを左右の目に別々に映すと、その輻湊角から物体までの距離を錯覚し立体を感じる。ここで視差とは左右目用画像のずれ量である。
【０００４】
左右目用画像を一枚ずつ使って表示したものを立体画像、左右目用画像を複数枚ずつ用意し、それらを連続的に変化させたものを立体映像と称する。また、それらを表示できる装置を立体映像表示装置と称する。
【０００５】
また、左右一対のレンズ部が透視状態と遮光状態に交互に切り換えられるシャッタ眼鏡を用い、右眼用画像と左眼用画像とをディスプレイに視差を有するように交互に表示させ、右眼用画像と左眼用画像の切り換えのタイミングに合わせて左右のレンズ部を透視状態と遮光状態とに交互に切換制御することで、シャッタ眼鏡の切換操作を不要とする立体画像表示装置も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−３２０７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、シーンチェンジが発生する時は、全く異なる映像が連続して表示されるため、立体映像では、時間的に不連続な視差が生じる傾向がある。
【０００８】
例えば、シーンチェンジ前は視差なしの二次元オブジェクト、シーンチェンジ後は視差ありの立体オブジェクトが表示されたとする。その場合、二次元オブジェクトを見るための輻湊角αと立体オブジェクトを見るための輻湊角βが大きく異なるため、視聴者は眼球を回転させ、輻湊角を急激に変化させることを強いられる。
【０００９】
このような急激な視差変化に伴う輻湊角の調整は眼精疲労を伴うと考えられており、従来の技術では、例えば、シーンチェンジの発生に伴う眼精疲労の問題を解決することができなかった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、立体映像を見るときの眼精疲労を軽減することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置である。
【００１２】
前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる情報であって、画素毎の視差を表す視差プレーンに基づいて特定されるようにすることができる。
【００１３】
前記立体映像信号のフレームのそれぞれにおける視差は、前記立体映像信号のフレームに含まれる右目用の画像データと左目用の画像データとの画素の差分を算出することにより特定されるようにすることができる。
【００１４】
前記フレーム特定手段は、前記立体映像信号の映像の中でシーンチェンジのフレームを検出することにより、前記視差の最大値の変化が時間的に不連続となるフレームを特定するようにすることができる。
【００１５】
前記フレーム特定手段は、時間的に連続する前後２つのフレームの視差の最大値の差分に基づいて、前記視差の最大値の変化が時間的に不連続となるフレームを特定するようにすることができる。
【００１６】
本発明の一側面は、フレーム特定手段が、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定し、最大視差特定手段が、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定し、視差係数算出手段が、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出し、視差調整手段が、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整するステップを含む立体映像処理方法である。
【００１７】
本発明の一側面は、コンピュータを、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームを特定するフレーム特定手段と、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値を特定する最大視差特定手段と、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数を算出する視差係数算出手段と、前記処理対象フレームの視差の最大値を、前記算出された視差係数を乗じることにより調整する視差調整手段とを備える立体映像処理装置として機能させるプログラムである。
【００１８】
本発明の一側面においては、単位時間あたりのフレームレートを有する立体映像信号のフレームの中で、視差の最大値の変化が時間的に不連続となるフレームが特定され、前記特定されたフレームを基準フレームとして、前記基準フレームより所定の時間だけ前の第１のフレームにおける視差の最大値と、前記基準フレームより所定の時間だけ後の第２のフレームにおける視差の最大値が特定され、前記第１のフレームから前記第２のフレームの間のフレームのそれぞれを処理対象フレームとして、前記第１のフレームにおける視差の最大値、前記第２のフレームにおける視差の最大値、および前記処理対象フレームの視差の最大値に基づいて、前記処理対象フレームの視差の最大値を、前記視差の最大値の変化が時間的に連続となるように調整するための係数である視差係数が算出され、前記処理対象フレームの視差の最大値が、前記算出された視差係数が乗じられることにより調整される。
【発明の効果】
【００１９】
本発明によれば、立体映像を見るときの眼精疲労を軽減することができる。
【図面の簡単な説明】
【００２０】
【図１】人間の目が立体映像を認識する仕組みを説明する図である。
【図２】視差を有する右目用画像と左目用画像の例を示す図である。
【図３】図２に示される立体映像が人間により観察される例を示す図である。
【図４】時間の経過に伴う視差の変化をグラフとして表わした図である。
【図５】立体映像を観察する場合の視線の輻湊角の変化を説明する図である。
【図６】本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。
【図７】図６の視差処理部の詳細な構成例を示すブロック図である。
【図８】立体映像信号のフレームの構成例を示す図である。
【図９】シーンチェンジフラグ列の例を示す図である。
【図１０】フレーム番号Ｐ−１８０のフレームとフレーム番号Ｐ＋１８０のフレームの右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。
【図１１】視差処理部による処理が施される前の立体映像信号の視差の最大値の変化を表すグラフである。
【図１２】視差処理部による処理が施された後の立体映像信号の視差の最大値の変化を表すグラフである。
【図１３】視差処理部による処理が施される前の右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。
【図１４】視差処理部による処理が施された後の右目用プレーン、左目用プレーン、視差プレーンの例を示す図である。
【図１５】立体映像信号補正処理の例を説明するフローチャートである。
【図１６】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２２】
最初に立体映像の表示について説明する。
【００２３】
図１は、人間の目が立体映像を認識する仕組みを説明する図である。
【００２４】
同図に示されるように、人間は、右目が捉えた画像と左目が捉えた画像との違い（視差）を利用して、物体を立体的に認識するようになされている。図１の例では、右目が捉えた画像と左目が捉えた画像において、円形の同じ物体が表示されているが、その表示位置が異なっている。
【００２５】
人間が注目する物体に視線の焦点を合わせるために、右目と左目の眼球を回転させることになる。眼球の回転運動は輻湊角を変化させ、人間は輻湊角により物体までの距離を認識し、その結果立体的な映像が認識されるのである。ここで輻湊角とは、視線の交差角である。
【００２６】
従って、例えば、２次元の表示部に立体映像を表示させる場合、視差を有する右目用画像と左目用画像を用意して表示するようにすればよい。例えば、図２に示されるように、視差を有する右目用画像と左目用画像を同時に２次元の表示部に表示すれば、その視差により、図中の三角形の物体が立体的に（例えば、表示部から飛び出しているように）表示されるようにすることができる。
【００２７】
なお、右目用画像と左目用画像は、例えば、それぞれ赤と青の光で重ねて表示され、それぞれ赤と青のカラーフィルタの付いたメガネにより分離されることで、人間の右目と左目によって観察される。
【００２８】
図３は、図２に示される立体映像が人間により観察される例を示す図である。同図に示されるように、左目の視線は、左目用画像の物体のほぼ中央に合わせられ、右目の視線は、右目用画像の物体のほぼ中央に合わせられている。そうすると、図中点線で示されている左目の視線と右目の視線の交差する位置に、あたかも物体が飛び出しているように感じられるのである。
【００２９】
しかしながら、例えば、立体映像の中でシーンチェンジが発生する時は、全く異なる映像が連続して表示されることになるため、時間的に不連続な視差が生じることがある。
【００３０】
図４は、横軸が時間とされ、縦軸が各時刻における立体映像の視差の最大値とされ、時間の経過に伴う視差の変化をグラフとして表わした図である。同図の例では、時刻ｔ１においてシーンチェンジが発生したものとする。
【００３１】
図４のグラフは、時刻ｔ１において不連続となっている。すなわち、立体映像において、時間的に不連続な視差が生じたのである。
【００３２】
このような急激な視差変化に伴う輻湊角の調整は眼精疲労を伴うと考えられている。説明を簡単にするために、例えば、映像において注目しているオブジェクトが２次元で表示されているシーンから、そのオブジェクトが立体的に表示されるシーンに切り替わるシーンチェンジを考える。
【００３３】
例えば、図５に示されるように、オブジェクトが２次元で表示されているシーンでは、人間の右目と左目の眼球は、視線の輻湊角がαとなるような向きに向けられている。その直後、シーンチェンジが発生してオブジェクトが立体的に表示されるシーンに切り替わると、右目と左目の眼球は、視線の輻湊角がβとなるように回転させられる。このように、急激に眼球を回転させることが眼精疲労につながる。
【００３４】
なお、輻湊角の変化と眼精疲労については、「岸 信介ら, 2眼式立体映像のコンテンツ評価システムの試作, 映像情報メディア学会誌, 2006, Vol.60, No. 6 pp.934-942」、「原島  博ら, 3次元画像と人間の科学, オーム社, 2000」などの文献に開示されている。
【００３５】
そこで、本発明では、立体映像の中で時間的に不連続な視差が生じないようにする。
【００３６】
図６は、本発明の一実施の形態に係る立体映像表示システムの構成例を示すブロック図である。同図に示されるように、立体映像表示システム１０は、立体映像表示装置２１とディスプレイ２２により構成されている。
【００３７】
立体映像表示装置２１は、内部に立体映像信号取得部４１、および視差処理部４２を有する構成とされている。
【００３８】
立体映像信号取得部４１は、例えば、チューナなど、放送波として送信された立体映像信号を受信するものとして構成される。また、立体映像信号取得部４１は、例えば、ドライブなどのように、ＤＶＤ、ＨＤＤなどの記録媒体に記録された立体映像信号を読み出すものとして構成されるようにしてもよい。
【００３９】
視差処理部４２は、立体映像信号取得部４１により取得された立体映像信号に対して、立体映像の中で時間的に不連続な視差が生じないように信号を補正する処理を施す機能ブロックとされる。なお、視差処理部４２の詳細な構成については、図７を参照して後述する。
【００４０】
ディスプレイ２２は、例えば、ＬＣＤ(Liquid Crystal display)などにより構成され、２次元の画像表示領域を有するものとされる。ユーザは、例えば、カラーフィルタの付いたメガネなどを装着して、ディスプレイ２２に表示された立体映像を見るようになされている。
【００４１】
また、ディスプレイ２２は、例えば、スクリーンなどにより構成され、立体映像表示装置２１から投影された立体映像がスクリーンに表示されるようにしてもよい。さらに、立体映像表示装置２１とディスプレイ２２とが一体化された装置として、立体映像表示システム１０が構成されるようにすることも可能である。
【００４２】
図７は、図６の視差処理部４２の詳細な構成例を示すブロック図である。同図に示されるように、視差処理部４２は、シーンチェンジ検出部６１、および視差調整部６２を有する構成とされている。
【００４３】
シーンチェンジ検出部６１は、立体映像信号から、シーンチェンジのフレームを特定するようになされている。シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定するようになされている。
【００４４】
図８は、立体映像信号のフレームの構成を説明する図である。立体映像信号は、フレーム単位に構成されているものとする。図８は、立体映像信号の１フレームに含まれる情報を表している。なお、動画像を表示させる信号である立体映像信号は、例えば、１秒間に６０フレームを含むものとされる。すなわち、６０フレーム分の立体映像信号により、１秒間の立体映像を表示させることができる。
【００４５】
図８の例では、立体映像信号のフレームは、右目用プレーン、左目用プレーン、視差プレーン、およびシーンチェンジフラグを有する構成とされている。なお、この他にもフレームヘッダ、誤り検出ビットなどの情報が当該フレームに適宜挿入される。
【００４６】
右目用プレーン、および左目用プレーンは、ディスプレイ２２に表示される１画面分の画像データとされる。なお、図８の例では、説明を簡単にするため、ディスプレイ２２に表示される１画面分の画像は、６４（＝８×８）画素で構成されるものとし、右目用プレーン、および左目用プレーンの各矩形のそれぞれが１画素を表すものとする。
【００４７】
右目用プレーン、および左目用プレーンには、それぞれ６４個の矩形が示されており、各矩形の内部には、「０」または「１」が記載されている。ここでは、説明を簡単にするため、図中「０」と記された矩形は、黒色の画素を表すものとし、図中「１」と記された矩形は、白色の画素を表すものとする。
【００４８】
図８の例は、黒色の背景に２×４画素の白色の物体が表示される画像を表しており、２×４画素の白色の物体の表示位置が、右目用プレーンと左目用プレーンとでは異なるようになされている。すなわち、図３を参照して上述したように、視差を有する画像が表示され、その物体があたかも画面から飛び出しているように感じられる。
【００４９】
右目用プレーンと左目用プレーンとの表示位置の違いは、視差プレーンにより特定することができる。視差プレーンは、右目用プレーン、および左目用プレーンの各画素に対応する６４の矩形を有しており、右目用プレーンの画素が、左目用プレーンにおいて何画素ずれているかを表す情報とされる。図８の例では、右目用プレーンにおける２×４画素の白色の物体の表示位置に対応する部分の矩形にそれぞれ「２」が記されている。これは、右目用プレーンにおける２×４画素の白色の物体が、左目用プレーンにおいて右に２画素ずれて表示されることを表している。
【００５０】
シーンチェンジフラグは、シーンチェンジの発生を特定するためのフラグとされる。例えば、シーンチェンジフラグは、「０」または「１」を表すビットとして構成され、シーンチェンジフラグが「１」である場合、次のフレームにおいてシーンチェンジが発生することを表す。図８の例では、シーンチェンジフラグとして「０」が記されているので、次のフレームではシーンチェンジが発生しないことを表している。
【００５１】
なお図８には示されていないが、立体映像信号のフレームのそれぞれには、先頭のフレームから数えて何番目のフレームであるかを表すフレーム番号が付加される。
【００５２】
上述したように、シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、シーンチェンジのフレームを特定するようになされている。すなわち、図８に示されるようなフレームが１８０（＝３×６０）個バッファに蓄積される。シーンチェンジ検出部６１は、蓄積した１８０のフレームのそれぞれから、シーンチェンジ検出フラグを抽出し、シーンチェンジフラグ列を生成する。図９は、シーンチェンジフラグ列の例を示す図である。
【００５３】
図９の例では、フレーム番号にシーンチェンジ検出フラグが対応づけられることにより、シーンチェンジフラグ列が生成されている。なお、先頭（映像の開始時点）のフレームはフレーム番号０であるものとし、この例では、フレーム番号０から１７９までの１８０個（３秒分）のフレームのシーンチェンジ検出フラグにより、シーンチェンジフラグ列が生成されている。
【００５４】
図９の例では、フレーム番号８に対応するシーンチェンジ検出フラグが「１」とされており、フレーム番号９のフレームで、シーンが切り替わることが分かる。すなわち、フレーム番号０から８までのフレームの映像と、フレーム番号９から１７９までのフレームの映像ではシーンが異なることになる。
【００５５】
視差調整部６２は、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、立体映像信号のフレームを取得し、内部のバッファなどに蓄積する。ここで、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームは、シーンチェンジ検出フラグが「１」のフレームとされ、図９の例ではフレーム番号８のフレームである。
【００５６】
例えば、シーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号をＰとすると、フレーム番号がＰ−１８０であるフレームと、フレーム番号がＰ＋１８０であるフレームとを取得して蓄積（記憶）する。すなわち、シーンチェンジが発生するフレームの３秒前のフレームと、３秒後のフレームが取得されるのである。
【００５７】
なお、例えば、図９に示される例のように、フレーム番号Ｐ−１８０のフレームが存在しない場合は、例えば、それに代えてフレーム番号０のフレームが取得されるようにしてもよい。
【００５８】
視差調整部６２は、上述した２つのフレームにおける視差の最大値を特定する。すなわち、各フレームの視差プレーンの数値のうちの最大の値が特定される。ここで、フレーム番号Ｐ−１８０のフレームの視差の最大値をＤｂとし、フレーム番号Ｐ＋１８０のフレームの視差の最大値をＤａとする。
【００５９】
そして、視差調整部６２は、時間的に不連続な視差が生じないように信号を補正する処理の対象となるフレームの最大視差の値を調整するための係数である視差係数αを式（１）により求める。
【００６０】
【数１】
2011176541.tif 000003
【００６１】
式（１）のＰｃは処理対象となるフレームの番号とし、Ｄｃはフレーム番号Ｐｃのフレームの視差の最大値とされる。また、式（１）のＦは、１秒間のフレーム数を表す値とされ、上述した例ではＦの値は６０になる。
【００６２】
視差係数αは、処理対象となるフレーム毎に求められる。すなわち、フレーム番号がＰ−１８０からＰ＋１８０までのそれぞれのフレームについて、個々に視差係数αが算出されていく。
【００６３】
例えば、フレーム番号Ｐ−１８０のフレームとフレーム番号Ｐ＋１８０のフレームの右目用プレーン、左目用プレーン、視差プレーンがそれぞれ図１０に示されるものであったとする。視差処理部４２は、２つのフレームの視差プレーンの数値のうちの最大の値を視差の最大値として特定する。いまの場合、Ｄａの値が４となり、Ｄｂの値が２となる。
【００６４】
式（１）に上述のＦ、Ｄａ、Ｄｂの値をそれぞれ代入すると、式（２）が得られる。
【００６５】
【数２】
2011176541.tif 000004
【００６６】
視差調整部６２は、フレーム番号Ｐ−１８０からフレーム番号Ｐ＋１８０のフレームのそれぞれの最大視差を、上述のようにして求めた視差係数αを用いて調整する。例えば、上述の式（２）のＰに、実際にシーンチェンジが発生するフレーム番号を代入し、Ｐｃに処理対象のフレーム番号を代入し、Ｄｃにその視差の最大値を代入して処理対象のフレーム番号毎にαを求める。
【００６７】
そして、視差調整部６２は、Ｄｃの値にαを乗じることにより、フレーム番号Ｐｃのフレームの最大視差を調整する（補正する）。なお、フレーム番号がＰ−１８０からＰ＋１８０までのフレームがそれぞれ処理対象フレームとされて、個々に算出された視差係数αがそれぞれのフレームの視差の最大値に乗じられていく。
【００６８】
図１１と図１２を参照してさらに説明する。いま、説明を簡単にするために、フレーム番号０からＰまでの間の最大視差の値が常に２であったものとし、フレーム番号Ｐ＋１から最後のフレームまでの間の最大視差の値が常に４であったものとする。
【００６９】
図１１は、視差処理部４２による処理が施される前の立体映像信号の視差の最大値の変化を表すグラフである。同図においては、横軸がフレーム番号とされ、縦軸が視差の値とされ、シーンチェンジのフレームは、フレーム番号Ｐのフレームとされている。同図に示されるように、フレーム番号Ｐのフレームと、フレーム番号Ｐ＋１のフレームとの間で、視差の最大値が不連続に変化している。
【００７０】
図１２は、視差処理部４２による処理が施された後の立体映像信号の視差の最大値の変化を表すグラフである。同図においても、図１１の場合と同様に、横軸がフレーム番号とされ、縦軸が視差の値とされ、シーンチェンジのフレームは、フレーム番号Ｐのフレームとされている。同図のグラフに実線で示された線により、視差処理部４２による処理が施された後の立体映像信号の視差の最大値の変化が表されており、点線で示された線により、視差処理部４２による処理が施される前の立体映像信号の視差の最大値の変化が表されている。
【００７１】
図１２に示されるように、視差処理部４２による処理が施されたことにより、フレーム番号Ｐ−１８０からＰ＋１８０のフレームのそれぞれの最大視差が調整されている。すなわち、フレーム番号Ｐ−１８０からＰまでのフレームの最大視差は、元の値より大きくなるように調整され、フレーム番号Ｐ＋１からＰ＋１８０までのフレームの最大視差は、元の値より小さくなるように調整されている。そして、フレーム番号Ｐ−１８０のフレームからＰ＋１８０のフレームまで、最大視差が徐々に大きくなるように調整されている。
【００７２】
すなわち、立体映像の中で時間的に不連続な視差が生じないように信号を補正する処理が施されたのである。
【００７３】
例えば、処理対象のフレームがちょうどシーンチェンジのフレームであった場合、Ｐｃ＝Ｐとなる。そして、フレーム番号Ｐのフレームの右目用プレーン、左目用プレーン、視差プレーンがそれぞれ図１３に示されるものであったとする。図１３に示されるように、フレーム番号Ｐのフレームの視差の最大値は２である。
【００７４】
図１３におけるフレーム番号と視差の最大値を式（２）に代入すると、αの値は１.５となる。
【００７５】
視差調整部６２により、図１３の視差プレーンにおける視差の最大値にαが乗じられる。いまの場合、視差の最大値が、２×１.５＝３となるように調整される。従って、視差処理部４２による処理が施された後のフレーム番号Ｐのフレームの右目用プレーン、左目用プレーン、視差プレーンはそれぞれ図１４に示されるようになる。
【００７６】
このようにして、視差が調整されて補正された立体映像信号が、ディスプレイ２２に出力される。
【００７７】
このようにすることで、立体映像の中で時間的に不連続な視差が生じないようにすることができ、ユーザの眼精疲労を軽減することができる。補正された立体映像信号の視差の最大値は、シーンチェンジの発生時刻を中心として徐々に変化するように調整されるので、ユーザに不自然な印象を与えないようにすることができる。
【００７８】
次に図１５のフローチャートを参照して視差処理部４２による立体映像信号補正処理の例について説明する。
【００７９】
ステップＳ２１において、シーンチェンジ検出部６１は、立体映像信号取得部４１から供給される立体映像信号に基づいて、シーンチェンジのフレームのフレーム番号を特定する。このとき、シーンチェンジ検出部６１は、例えば、３秒分の立体映像に対応する立体映像信号のフレームを内部のバッファなどに蓄積し、図９を参照して上述したようにシーンチェンジフラグ列を生成する。そして、シーンチェンジフラグ列に基づいてシーンチェンジのフレームのフレーム番号Ｐが特定される。
【００８０】
ステップＳ２２において、視差調整部６２は、ステップＳ２１の処理でシーンチェンジ検出部６１により特定されたシーンチェンジのフレームのフレーム番号に基づいて、立体映像信号のフレームを取得する。このとき、フレーム番号がＰ−１８０であるフレームと、フレーム番号がＰ＋１８０であるフレームとが取得される。
【００８１】
ステップＳ２３において、視差調整部６２は、上述した２つのフレームにおける視差の最大値を特定する。すなわち、各フレームの視差プレーンの数値のうちの最大の値が特定される。
【００８２】
ステップＳ２４において、視差調整部６２は、視差係数αを式（１）により求める。
【００８３】
ステップＳ２５において、視差調整部６２は、視差プレーンの最大視差の値を調整する。
【００８４】
なお、ステップＳ２４とステップＳ２５の処理は、フレーム番号がＰ−１８０からＰ＋１８０までのフレームがそれぞれ処理対象フレームとされて個々に実行される。つまり、式（１）の変数Ｐｃが、例えば、Ｐ−１８０からＰ＋１８０まで順次カウントアップされてステップＳ２４とステップＳ２５の処理が実行されていく。
【００８５】
ステップＳ２６において、視差調整部６２は、ステップＳ２５の処理を経て視差が調整された、補正後の立体映像信号を出力する。
【００８６】
このようにして、立体映像信号補正処理が実行される。
【００８７】
以上においては、立体映像信号のフレームに視差プレーンが含まれていることを前提として説明したが、立体映像信号のフレームに視差プレーンが含まれない場合でも、本発明を適用することが可能である。視差プレーンが含まれない場合、例えば、視差処理部４２において、ブロックマッチング処理などにより、右目用プレーンと左目用プレーンにおけるオブジェクト（物体）の位置のずれを特定し、視差プレーンと同様の情報を得るようにすればよい。
【００８８】
また、以上においては、立体映像信号のフレームにシーンチェンジ検出フラグが含まれることを前提として説明したが、立体映像信号のフレームにシーンチェンジ検出フラグが含まれない場合でも、本発明を適用することが可能である。シーンチェンジ検出フラグが含まれない場合、例えば、予め立体映像信号から得られる画像データの画素の輝度値のヒストグラムなどに基づいてシーンチェンジを検出し、シーンチェンジ検出フラグと同様の情報を得るようにすればよい。
【００８９】
さらに、以上においては、シーンチェンジのフレームを基準として、視差の調整が行われる例について説明した。すなわち、式（１）において、フレーム番号Ｐは、シーンチェンジのフレームであるものとして説明した。しかし、例えば、各フレームの視差の最大値の変化に基づいて基準となるフレームが特定されるようにしてもよい。例えば、事前に、視差の最大値の差分絶対値が閾値以上となる番号Ｐのフレームと番号Ｐ＋１のフレームが検出され、その番号Ｐのフレームを基準として、視差の調整が行われるようにしてもよい。
【００９０】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【００９１】
図１６において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００９２】
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【００９３】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【００９４】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【００９５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【００９６】
なお、この記録媒体は、図１６に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【００９７】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９８】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９９】
１０  立体映像表示システム，  ２１  立体映像表示装置，  ２２  ディスプレイ，  ４１  立体映像信号取得部，  ４２  視差処理部，  ６１  シーンチェンジ検出部，  ６２  視差調整部
【図１】
2011176541.tif 000005
【図２】
2011176541.tif 000006
【図３】
2011176541.tif 000007
【図４】
2011176541.tif 000008
【図５】
2011176541.tif 000009
【図６】
2011176541.tif 000010
【図７】
2011176541.tif 000011
【図８】
2011176541.tif 000012
【図９】
2011176541.tif 000013
【図１０】
2011176541.tif 000014
【図１１】
2011176541.tif 000015
【図１２】
2011176541.tif 000016
【図１３】
2011176541.tif 000017
【図１４】
2011176541.tif 000018
【図１５】
2011176541.tif 000019
【図１６】
2011176541.tif 000020