(57)【要約】【課題】  ユーザーにとって好適な視差量範囲の立体画像に変更して、画面端に違和感のない良好な立体画像を表示出力する立体画像処理装置。【解決手段】  一対の左眼用入力画像データ及び右眼用入力画像データを入力し、前記左眼用入力画像データの表示位置を左及び右の水平方向のうち一方の方向に、前記右眼用入力画像データの表示位置を他方の方向にそれぞれ視差オフセット量分ずらしたときに、一対の画像となる領域のみが表示領域となるように左眼用入力画像データ及び右眼用入力画像データをそれぞれ引き延ばして表示する画像データを生成する。【選択図】    図１
2012156699.tif 000002
【特許請求の範囲】
【請求項１】
一対の左眼用入力画像データ及び右眼用入力画像データを入力され、視差オフセット量の調整量を示す視差調整情報に基づいて前記左眼用入力画像データから左眼用表示画像データを、前記右眼用入力画像データから右眼用表示画像データを生成する画像生成部と、
前記左眼用表示画像データ及び前記右眼用表示画像データから所定の出力フォーマットの画像信号を出力する表示出力部とを備える立体画像処理装置であって、
前記画像生成部は、前記左眼用入力画像データの表示位置を左及び右の水平方向のうち一方の方向に、前記右眼用入力画像データの表示位置を他方の方向にそれぞれ前記視差オフセット量分ずらしたときに、一対の画像となる領域のみが表示領域となるように左眼用入力画像データ及び右眼用入力画像データをそれぞれ引き延ばす
ことを特徴とする立体画像処理装置。
【請求項２】
前記左眼用入力画像データ及び前記右眼用入力画像データから最大飛び出し量と最大引き込み量とを含む視差情報を検出する視差情報検出部と、
設定された最大飛び出ししきい値及び設定された最大引き込みしきい値と前記視差情報とから前記視差調整情報を生成する視差調整部と
をさらに備えることを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記画像生成部は、前記視差調整情報に基づいた所定の水平引き伸ばし率で一定に引き延ばす
ことを特徴とする請求項１及び請求項２に記載の立体画像処理装置。
【請求項４】
前記画像生成部は、さらに前記視差調整情報に基づいた所定の垂直引き伸ばし率で一定に引き延ばす
ことを特徴とする請求項３に記載の立体画像処理装置。
【請求項５】
前記画像生成部は、前記表示領域における所定の中央領域は真円率１倍を保持し、前記中央領域以外を引き延ばす
ことを特徴とする請求項１及び請求項２に記載の立体画像処理装置。
【請求項６】
一対の左眼用入力画像データ及び右眼用入力画像データを入力され、視差オフセット量の調整量を示す視差調整情報に基づいて前記左眼用入力画像データから左眼用表示画像データを、前記右眼用入力画像データから右眼用表示画像データを生成する画像生成部と、
前記左眼用表示画像データ及び前記右眼用表示画像データから所定の出力フォーマットの画像信号を出力する表示出力部とを備える立体画像処理装置であって、
前記画像生成部は、前記左眼用入力画像データの表示位置を左及び右の水平方向のうち一方の方向に、前記右眼用入力画像データの表示位置を他方の方向にそれぞれ前記視差オフセット量分ずらしたときに、一対の画像とならない領域に第二の左眼用表示画像データ及び第二の右眼用表示画像データを付加して前記左眼用表示画像データ及び前記右眼用表示画像データを生成する
ことを特徴とする立体画像処理装置。
【請求項７】
画像生成部は、前記視差オフセット量の最大値を記憶して、その最大値を用いて前記左眼用表示画像データ及び前記右眼用表示画像データを生成する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の立体画像処理装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の立体画像処理装置を備え、
前記表示出力部からの前記画像信号を表示する表示デバイスをさらに備える
ことを特徴とする立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像をなす一対の入力画像を表示する立体画像表示装置における立体画像処理装置に関する。
【背景技術】
【０００２】
近年、ユーザーが擬似的に奥行き感を得るための画像表示技術として、両眼視差を利用した立体画像表示技術が多く提案されている。これは、３次元空間を左眼で見た画像と右眼で見た画像とをそれぞれユーザーの左右眼に見せることによって、擬似的に奥行き感を誘発する技術である。
【０００３】
また、ユーザーの左右眼に異なる画像を見せるための技術として、左眼用画像と右眼用画像とを時間的に交互に切り替えてディスプレイに表示すると同時に、画像が切り替わるタイミングに同期して左右それぞれの視界を閉じる眼鏡を用いて左右の視界を時間的に分離する方式や、ディスプレイの前面にディスプレイに表示された画像の表示角を制限するバリアやレンズを用いることで左右眼それぞれに分離して左眼用画像と右眼用画像とを見せる方式など、様々な方式が提案されている。
【０００４】
このような立体画像表示装置においては、ユーザーが注視している物体が飛び出した点に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるという不整合により、飛び出し量が大きすぎると目の疲れを誘発するという問題点がある。また、ユーザーとディスプレイの表示面との距離やディスプレイ表示面の大きさ、ユーザーの個人差によって、ユーザーにとって好適な奥行き感が異なる。
【０００５】
これらの問題に対して、従来の立体画像処理装置においては、視差量指示信号に基づいて、入力された立体画像の表示タイミングを調整することで映像の表示位置を画面上で左右に移動させるものがある。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−７８６１５号公報（第３−４頁、第３図）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のような方法で視差量を調整することで、画面端に片側の目だけに表示する画素データのない画面外の黒い部分（以下ブランキングともいう）が表示されてしまい、画面端の立体感が無くなってしまう問題点が生じる。例えば、左眼用画像を左に移動させれば左眼用画像の右画面端にはブランキングが表示されるため、右眼用画像の右端に対応する左眼用画像がなくなり、一対の立体画像をなし得ないこととなる。同様に右眼用画像を右に移動させれば右眼用画像の左画面端にはブランキングが表示されるため、左眼用画像の左端に対応する右眼用画像がなくなり、一対の立体画像をなし得ないこととなる。これによりユーザーは画面両端に違和感のある画像を見ることになるという問題があった。
【０００８】
この発明は、上述のような課題を解決するためになされたもので、入力された左眼用画像及び右眼用画像に対して視差量を調整した場合においても、画面端に違和感のない良好な立体画像を表示出力することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係わる立体画像処理装置は、一対の左眼用入力画像データ及び右眼用入力画像データを入力され、視差オフセット量の調整量を示す視差調整情報に基づいて前記左眼用入力画像データから左眼用表示画像データを、前記右眼用入力画像データから右眼用表示画像データを生成する画像生成部と、前記左眼用表示画像データ及び前記右眼用表示画像データから所定の出力フォーマットの画像信号を出力する表示出力部とを備えるものであって、前記画像生成部は、前記左眼用入力画像データの表示位置を左及び右の水平方向のうち一方の方向に、前記右眼用入力画像データの表示位置を他方の方向にそれぞれ前記視差オフセット量分ずらしたときに、一対の画像となる領域のみが表示領域となるように左眼用入力画像データ及び右眼用入力画像データをそれぞれ引き延ばすことを特徴とするものである。
【発明の効果】
【００１０】
本発明によれば、入力された一対の左眼用入力画像データ及び右眼用入力画像データにある視差量を、視差オフセット量に基づいて視差範囲を変更した新たな一対の画像を生成することでユーザーにとって好適な奥行き感を得ながら、さらに視差オフセット量によって画像端に現れる一対をなさない領域を表示せず、元映像にない部分を作り出し出力することで、ユーザーにとって好適な視差量範囲の立体画像を表示出力することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る立体画像処理装置を示すブロック図である。
【図２】左眼用入力画像と右眼用入力画像の視差とユーザーが感じる奥行き感の関係を示す図である。
【図３】視差調整を説明する図である。
【図４】スクリーン上に示される画素とユーザーが感じる物体の位置を説明する図である。
【図５】視差調整をした場合の左右画像の共通部を説明する図である。
【図６】スケーリング手法を説明する図である。
【図７】実施の形態２に係る立体画像処理装置を示すブロック図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、本発明の実施の形態１に係る立体画像処理装置の構成を示す図である。図１において、立体画像処理装置１００は、視差情報検出部１と、視差調整部２と、画像生成部３と、表示出力部４を備え、表示デバイス２００に接続することで立体画像表示装置となる。
【００１３】
はじめに、構成要素の概要を説明する。視差情報検出部１は、左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１からそれぞれ１枚の画面（フレーム）ごとに視差情報の最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘを出力するものである。視差調整部２は、入力される画像がユーザーにとって好適な視差量範囲に収まるようにするための設定すべき視差オフセット量となる視差調整情報Ｔ２を決定するものであって、最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘとユーザーによって決定される最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１とから、視差調整情報Ｔ２を決定し、出力するものである。画像生成部３は、左眼用入力画像データＤａ１及び右眼用入力画像データＤｂ１を入力し、視差調整情報Ｔ２に基づいて左眼用表示画像データＤａ２及び右眼用表示画像データＤｂ２を生成するものである。表示出力部４は、左眼用表示画像データＤａ２と右眼用表示画像データＤｂ２とに基づいて表示デバイス２００の入力フォーマットに対応した画像信号を出力するものである。
【００１４】
次に、視差情報検出部１が求める最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘについて説明する。図２は、左眼用画像と右眼用画像の視差とユーザーが感じる奥行き感の関係を示すものであり、左眼用画像はユーザーの左眼のみに、右眼用画像はユーザーの右眼のみに見えるように制御されているものとする。図２（ａ）では、ある物体に関する左眼用画像におけるディスプレイ面上の表示位置をＰ１ｌ、右眼用画像におけるディスプレイ面上の表示位置をＰ１ｒとする。同様に、図２（ｂ）では、ある物体に関する左眼用画像におけるディスプレイ面上の表示位置をＰ２ｌ、右眼用画像におけるディスプレイ面上の表示位置をＰ２ｒとする。このとき、ユーザーにはＰ１ｌとＰ１ｒが一つの対象物として見えたときはＦ１の空間位置に存在するように見え、Ｐ２ｌとＰ２ｒが一つの対象物として見えたときはＦ２の空間位置に存在するように見える。
【００１５】
ここで、ある物体の左眼用画像の水平座標をＸ（Ｐｌ）、右眼用画像の水平座標をＸ（Ｐｒ）とした場合、視差は第１式で求められる。ここで、入力される画像のフォーマットによって１フレームにおける１ライン上の画素数は決められるので、水平座標はゼロ座標をフレームの左端とした画素数単位で表すものとして説明する。
【００１６】
【数１】
2012156699.tif 000003
【００１７】
第１式を図２（ａ）のＰ１ｌ及びＰ１ｒに当てはめた場合に求まるｄ１＝Ｘ（Ｐ１ｌ）−Ｘ（Ｐ１ｒ）は正の値となり、図２（ｂ）のＰ２ｌ及びＰ２ｒに当てはめた場合に求まるｄ２＝Ｘ（Ｐ２ｌ）−Ｘ（Ｐ２ｒ）は負の値となる。
【００１８】
図２（ａ）のように、視差が正の値で求まる場合は、物体はディスプレイ面とユーザーの間に存在するように見えるので、視差ｄが正の値の時を飛び出し量という。また図２（ｂ）のように、視差が負の値で求まる場合は、物体はディスプレイ面より奥に存在するように見えるので、視差ｄが負の値の時を引き込み量という。ここで、１枚の画面（以下、１フレームとする）の入力画像において、正の最大値をもつ視差を最大飛び出し量といい、負の最大値をもつ視差を最大引き込み量という。
【００１９】
視差情報検出部１は、上述の１フレームごとの最大飛び出し量及び最大引き込み量を求めるものであって、左眼用入力画像と右眼用入力画像とを比較し、左眼用入力画像と右眼用入力画像とで同じ物体を表示している画素を検出し、それらの画素の水平座標の差分を計算することでそれぞれの物体の視差ｄを算出する。１フレームごとにこの視差ｄが正の場合の最大値、すなわち最大飛び出し量Ｔ１ｍａｘと、視差ｄが負の場合の絶対値の最大値、すなわち最大引き込み量Ｔ２ｍａｘを算出する。この視差ｄを求める際、画素ごとではなく、簡略化のため、画面をある区間に区切ってその区間ごとで、視差ｄを求め、１画面での最大飛び出し量Ｔ１ｍａｘと最大引き込み量Ｔ２ｍａｘを求めても良い。同じ物体を表示している画素の検出方法としては、例えばブロックマッチングなどの手法を用いることができる。
【００２０】
次に、視差調整部２について説明する。視差調整部２は、ユーザーによって決定される最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１と、視差情報検出部１から出力された最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘとから、視差調整情報Ｔ２を決定し出力する。
【００２１】
一般的に、飛び出し量が大きいと目が疲れたり、立体視になりにくかったりする場合がある。そのため、ユーザーが決定した最大飛び出ししきい値を超えないように引き込む方向に視差を調整する。また、最大引き込み量が大きい時も、立体視になりにくくなる場合がある。そのため、ユーザーが決定した最大引き込みしきい値を超えないように飛び出す方向に視差を調整する。この飛び出し量と引き込み量とは画面のサイズ、画素数、ユーザーの視距離等によって最適値が異なる。また最大引き込み量に関しては、両眼間の距離が子供で５ｃｍのため、表示画面上での引き込み視差の最大値（無限遠）が５ｃｍを超えないようにすることが望ましいとされている。
【００２２】
飛び出し量と引き込み量では、飛び出し量が大きい場合の方が、目が疲れたり、立体視になりにくかったりするとされているため、できるだけ引き込む方向に調整することが望ましい。例えば、最大飛び出し量が大きい場合は、飛び出し量を控えめにするように引き込み方向にシフトする。また、最大引き込み量が先に述べた５ｃｍを超える場合は、最大５ｃｍになるように飛び出し方向にシフトする。このようにして、視差調整部２はユーザーの決定した視差しきい値の範囲になるべく入るように動作を行う。このようにして、視差調整部２はユーザーの決定した視差しきい値の範囲になるべく入るような視差調整情報を決定する。
【００２３】
次に、視差調整部２の視差オフセット調整方法を説明する。視差調整情報Ｔ２は、ユーザーによって決定される最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１と、視差情報検出部１から出力された最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘとから、４つの場合に場合分けし、以下の第２式〜第５式で表されるものとする。ここで最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１の決定については、例えば、ユーザーが表示デバイス２００からのテスト画像あるいは過去の視聴実績などからユーザーが決定したり、複数の候補からユーザーが選択したものから決定したりするものである。また、ａ、ｂ、ｃ、およびｄはいずれも０以上１以下の係数であり、これらの係数は入力される画像のもつ視差に対応する距離が表示デバイス２００の大きさによって違うことなどを考慮して設定されるものである。
【００２４】
【数２】
2012156699.tif 000004
【００２５】
【数３】
2012156699.tif 000005
【００２６】
【数４】
2012156699.tif 000006
【００２７】
【数５】
2012156699.tif 000007
【００２８】
第２式の場合を説明する。最大飛び出し量Ｔ１ｍａｘが最大飛び出ししきい値ＳＴ１より大きく、最大引き込み量Ｈ１ｍａｘが最大引き込みしきい値ＳＨ１以下の場合は、最大飛び出し量Ｔ１ｍａｘと最大飛び出ししきい値ＳＴ１との差に係数ａ（０≦ａ≦１）を乗算し負の数にしたものを、視差調整情報Ｔ２とする。すなわち、飛び出し量が大きいときに、引き込むように（視差が負の方向）動作させる。ａ＜１にして、引き込み量が大きく変化するのを防止するようにしても良い。また、係数ａ＝０とし、動作をやめても良い。
【００２９】
第３式の場合を説明する。最大飛び出し量Ｔ１ｍａｘが最大飛び出ししきい値ＳＴ１より大きく、最大引き込み量Ｈ１ｍａｘが最大引き込みしきい値ＳＨ１より大きい場合は、最大飛び出し量Ｔ１ｍａｘと最大飛び出ししきい値ＳＴ１との差に係数ｂ（０≦ｂ≦１）を乗算し負の数にしたものと、最大引き込み量Ｈ１ｍａｘと最大引き込みしきい値ＳＨ１との差に係数ａ（０≦ｃ≦１）を乗算したものを、視差調整情報Ｔ２とする。ｂ＝ｃ＝１としたときは、ユーザーが決めた最大値からの差が大きい方の視差量を減らすように動作させる。また、ｂ＞ｃとし、最大引き込み量より最大飛び出し量を減らす調整を優先としたり、ｂ＜ｃとして、最大飛び出し量より最大引き出し量を減らす調整を優先として良い。また、ｂ＜１、ｃ＜１として、引き込み量や飛び出し量が大きく変化するのを防止するようにしても良い。また、係数ｂ＝０として、引き込む動作をやめたり、係数ｃ＝０として、飛び出す量をやめても良い。
【００３０】
第４式の場合を説明する。最大飛び出し量Ｔ１ｍａｘが最大飛び出ししきい値ＳＴ１以下で、最大引き込み量Ｈ１ｍａｘが最大引き込みしきい値ＳＨ１より大きい場合は、最大引き込み量Ｈ１ｍａｘと最大引き込みしきい値ＳＨ１との差に係数ｄ（０≦ｄ≦１）を乗算したものを、視差調整情報Ｔ２とする。すなわち、飛び出し量が小さい（しきい値以下）が、最大引き込み量が大きいときに、引き込み量を減らす、すなわち飛び出し量を増やすよう（視差が正の方向）に動作させる。ｄ＜１にして、飛び出し量が大きく変化するのを防止するようにして良い。また、係数ｄ＝０とし、動作をやめても良い。
【００３１】
第５式の場合を説明する。最大飛び出し量Ｔ１ｍａｘが最大飛び出ししきい値ＳＴ１以下で、最大引き込み量Ｈ１ｍａｘが最大引き込みしきい値ＳＨ１以下の場合は、Ｔ２＝０とする。すなわち、最大飛び出し量も最大引き込み量も、ユーザーによって決定された最大飛び出ししきい値ＳＴ１と最大引き込みしきい値ＳＨ１の範囲にある場合は、何もせず、入力された立体画像をそのまま出力することとする。
【００３２】
上記のように、視差調整部２は、ユーザーによって決定される最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１と、最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘとから、視差調整情報Ｔ２を決定し、画像生成部３へ出力する。
【００３３】
次に、画像生成部３の動作を説明する。画像生成部３は、視差調整部２から出力された視差調整情報Ｔ２に基づいて、左眼用入力画像Ｄａ１と右眼用入力画像Ｄｂ１から新たな左眼用画像と右眼用画像を生成し、左眼用表示画像Ｄａ２と右眼用表示画像Ｄｂ２を出力する。ここで、画像生成部３は、視差調整情報Ｔ２に基づいて、左眼用画像と右眼用画像をそれぞれペアにして画像を生成する。
【００３４】
図３（ａ）に示す左眼用入力画像Ｄａ１及び右眼用入力画像Ｄｂ１が入力されたとする。図中の黒丸物体Ｂ１ｌとＢ１ｒとは立体視となる同じ物体とする。この左眼用入力画像の物体Ｂ１ｌと右眼用入力画像の物体Ｂ１ｒとには元々視差ｄ１があるものとする。図３（ｂ）は、左眼用入力画像全体を水平方向へ左に平行移動し、右眼用入力画像全体を右に水平移動したものとする。すなわち、波線の画像を実線の画像となるよう水平移動させる。図３（ｂ）を見ると、物体Ｂ１の左眼用画像と右眼用画像の視差はｄ１−ｓとなり小さくなっている。つまり、ユーザーからは飛び出している物体が引き込む方向へ奥に移動した様に見える。
【００３５】
上記説明をスクリーン上に示される画素とユーザーが感じる物体の位置との図で説明する。図４（ａ）は、図２（ａ）と同じである。図４（ａ）のＰ１ｌは、図３の左眼用画像の物体Ｂ１ｌ中の画素、右眼用画像の画素Ｐ１ｒは右眼用画像の物体Ｂ１ｒ中の画素であるとする。左眼用画像の画素Ｐ１ｌとＰ１ｒとは視差ｄ１があり、ユーザーには空間中の点Ｆ１に物体があるように感じられる。図４（ｂ）は、図３（ｂ）で説明したようにディスプレイ面上に表示された左眼用画像を全体に左に、右眼用画像を右に移動させたものである。すなわち、図４（ｂ）では、左眼用画像の物体Ｂ１ｌ中の画素Ｐ１ｌはＰ１ｌ−ｓに、右眼用画像の物体Ｂ１ｒ中の画素Ｐ１ｒはＰ１ｒ−ｓに移動する。図４（ｂ）に示すように、左眼用画像の画素Ｐ１ｌ−ｓと右眼用画像の画素Ｐ１ｒ−ｓとの視差はｄ１−ｓとなり、左眼用画像の画素Ｐ１ｌ−ｓと右眼用画像の画素Ｐ１ｒ−ｓとで、ユーザーには空間中の点Ｆ１−ｓに物体があるように感じられる。すなわち、飛び出している物体が−Ｆだけ奥に引き込んだように感じられる。
【００３６】
このように、左眼用入力画像と右眼用入力画像とを水平移動させることで視差を変えることができる。この移動量を視差オフセット量とする。視差オフセット量を負の方向に大きくすると、左眼画像全体を左に水平移動させ、右眼画像全体を右に水平移動させることとする。また、視差オフセット量を正の方向に大きくすると、左眼画像全体を右に水平移動させ、右眼画像全体を左に水平移動させることとする。すなわち、視差オフセット量を負の方向に大きくすると、画面全体が引き込む方向になり、視差オフセット量を正の方向に大きくすると、画面全体が飛び出す方向になる。つまり、視差オフセット量を調整することで、飛び出し量と引き込み量、すなわち、奥行き感を前にしたり、後ろにしたりすることができる。また、視差オフセット量で、左右画像をペアとして、左右を同時に反対方向に水平移動させることが特徴である。画像生成部３では、視差調整部２から出力された視差調整情報Ｔ２を入力して、この視差調整情報Ｔ２を視差オフセット量として調整を行う。
【００３７】
上述の通り、左眼用画像全体と右眼用画像全体とを水平方向へ平行移動し、視差調整を行なうとき、移動後の画像は元画像にない部分（表示すべき画像データのない部分）が表示されることになる。この状況を図５を用いて説明する。図５は視差調整をした場合の左右画像の共通部を説明する図である。ここで、図５（ａ）は、図３（ｂ）と同じ図である。例えば、図５（ａ）のように、左眼用画像全体を左に水平移動したときに、左眼用画像を表示デバイス２００にて表示するときの表示領域（点線枠内）の右側斜線部分が、元画像にない部分となる。同様に右眼用画像全体を右に水平移動したときに、右眼用画像を表示デバイス２００にて表示するときの表示領域の左側斜線部分が、元画像にない部分となる。左目用画像と右眼用画像とは立体視しているもの以外は同じものでないと両眼で見たとき違和感のあるものになってしまうため、左目用画像と右眼用画像とを同じになるように画像を作ることが望ましい。
【００３８】
図５（ａ）で斜線部分以外の左右画像の共通部分は図５（ｂ）の実線太線で示す中央部である。この中央部画像が視差オフセット量分ずらしたときに、一対の画像となる領域であって、この中央部画像から左右の部分を作り出すこととする。この元映像にない部分は、視差オフセット量、すなわち視差調整情報Ｔ２に基づくため、この元映像にない部分を作り出す際に、視差調整情報Ｔ２に基づいて以下で述べるスケーリング手法（拡大処理）を用いて引き延ばし率を決定し、引き延ばし率に応じて元の入力画像の画素データから引き延ばした後に該当する領域の画素データを再構築することで左眼用表示画像及び右眼用表示画像を生成する。
【００３９】
次に、周辺を切り取った中央部画像から元のサイズとなるように画像を引き延ばす第１のスケーリング手法について述べる。図６（ａ）に示すように、視差調整情報Ｔ２によって決定された左右共通部分の中央画像が、元画像の水平サイズとなるように、左右共通部分の中央画像の水平サイズからから引き延ばし率を計算する。この水平方向に一定の引き延ばし率で、左右画像の中央部分を引き延ばし、元の画像サイズを作り出すスケーリングをする。この一定の引き延ばし率で行うスケーリングは、水平に一定比率で引き延ばしているため、少しだけ横長になるだけで、あまり違和感がない。
【００４０】
次に、周辺を切り取った中央部画像から元のサイズとなるように画像を引き延ばす第２のスケーリング手法について述べる。図６（ｂ）に示すように、中央部の真円率はそのまま（１倍）で、周辺になるほど引き延ばし率を高くする手法を用いる。視差調整情報Ｔ２によって決定された左右共通部分の中央画像が、元画像の水平サイズとなるように、左右共通部分の中央画像の真円率を確保する領域から徐々に大きくなるように引き延ばし率を計算するこの引き延ばし率は線形でも非線形となるように定めても良い。また、真円率を確保する領域を大きくしても小さくしても良い。真円率の確保の領域をなしにして、中央から徐々に引き延ばし率を大きくしても良い。このように決定された引き延ばし率を、図６（ｂ）の下に一例を示す。左右画像の中央部分はそのままで、周辺になるほど引き延ばし率を高くし、元の画像サイズを作り出すスケーリングをする。この手法の特徴は、人は中央部を良く注視し、周辺部はあまり気にならないという特性を利用したスケーリング手法で、引き延ばしたことがわかりにくい手法である。
【００４１】
次に、周辺を切り取った中央部画像から元のサイズとなるように画像を引き延ばす第３のスケーリング手法について述べる。図６（ｃ）に示すように、視差調整情報Ｔ２によって決定された左右共通部分の中央画像が、元画像の水平サイズとなるように、左右共通部分の中央画像の水平サイズからから引き延ばし率を計算する。この引き延ばし率を水平方向と垂直方向とで同じ比率となるように適用し、左右画像の中心を基準に、水平方向と垂直方向とに引き延ばし、元の画像サイズを作り出すスケーリングを行う。垂直方向の画像が画像外に出てしまい切り取られてしまうが、水平と垂直とに一定比率で引き延ばしているため、真円率が保たれ、違和感がない。
【００４２】
次に、周辺を切り取った中央部画像から元のサイズの画像を作り出す第４の手法について述べる。これは図６（ｄ）に示すように、スケーリング手法を用いず引き延ばしを行わないで、左眼用画像と右眼用画像を水平移動させ、画像がない部分をロゴや宣伝の入った壁紙のような画像や黒やグレー、色の画像を挿入する。すなわち、左眼用画像と右眼用画像の共通部分を残し、左眼用画像と右眼用画像との両方の共通部分以外をロゴや宣伝の入った壁紙のような画像や黒やグレー、色の画像にする。最も簡単に構成でき、両眼画像に同じ画像が表示されるため、違和感がない手法である。
【００４３】
周辺を切り取った中央部画像から元のサイズの画像を作り出す手法を、上記の第１〜第４の手法について述べたが、第１〜第４の手法に限らず、それ以外の既知のスケーリング手法や画像挿入で作成してもよい。
【００４４】
このようにして、画像生成部３は、視差調整部２から出力された視差調整情報Ｔ２に応じて、それぞれ左眼用の画像及び右眼用の画像から同じだけ引き延ばし率を変え、左眼用入力画像Ｄａ１及び右眼用入力画像Ｄｂ１からスケーリングによって、新たな左眼用表示画像Ｄａ２及び右眼用表示画像Ｄｂ２を出力する。このことにより、視差調整情報Ｔ２が変わっても、左右画像のどちらかの水平端の画像が欠けたり、異なる画像となることがなく、違和感のない良好な立体画像が得ることができる。
【００４５】
また、視差調整部２が決定し出力する視差調整情報Ｔ２は、毎フレームの最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘに対応して毎フレーム新しい視差調整情報Ｔ２を出力するのではなく、最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘについて複数フレーム単位で最大値を求めたものと最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１とから求めても構わない。また、入力される映像の番組やコンテンツ単位などで最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘの最大値履歴を記憶したものと最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１とから求めても構わない。このようにした視差調整情報Ｔ２に基づいて画像生成部３で左眼用表示画像及び右眼用表示画像を生成することで、視差調整及び引き延ばし率が変動する頻度を抑えることができ、ユーザーにとって見やすい映像を提供することができるという効果を奏する。上述の第４の手法についてもユーザーにとって見やすい映像を提供することができるという効果を奏することはいうまでもない。
【００４６】
さらに、画像生成部３において視差調整情報Ｔ２に基づく引き延ばし率の変更を必ず実施するのではなく、視差調整情報Ｔ２に基づく引き延ばし率について最大値の履歴を記憶し、その引き延ばし率の最大値が更新されるまで引き延ばし率の最大値を用いたスケーリングを保持するとして、より引き延ばし率が変動する頻度を抑えることができ、ユーザーにとって見やすい映像を提供することができるという効果を奏する。このとき例えば入力される映像の番組やコンテンツ単位などで引き延ばし率の最大値の履歴の保持を消去するなどしても構わない。上述の第４の手法についても切り取る範囲について履歴を記憶したものを用いることでユーザーにとって見やすい映像を提供することができるという効果を奏することはいうまでもない。
【００４７】
次に、表示出力部４の動作を説明する。立体表示を可能にする表示の方式としては、空間的に異なる座標に左眼用画像と右眼用画像とを表示する方式や、時間的に異なるフレームに左眼用画像と右眼用画像とを表示する方式などがある。表示出力部４は左眼用表示画像と右眼用表示画像とを入力して、表示デバイス２００の入力に対応した画像信号を出力する表示装置である。
【００４８】
なお、表示出力部４は、ある決まった画像信号フォーマットに変換して画像信号を出力するものとしても構わない。例えば、ブルーレイ再生録画装置などに立体画像処理装置１００を備えて、表示デバイスを備えるＴＶに接続する場合においても、本発明の効果を奏することはいうまでもない。
【００４９】
このように、左眼用入力画像と右眼用入力画像とから視差情報を検出し、検出した視差情報と視差調整情報とに基づいて左眼用入力画像及び右眼用入力画像を変更することによって、画面全体の奥行き感を増加させる、あるいは減少させることができるため、ユーザーにとって好適な視差量範囲で、最適な奥行き感の立体画像を表示することができる。また、視差調整情報に基づいて視差範囲を変更した新たな一対の画像を生成する際、新たな一対の画像端に元映像にない部分を作り出す表示するようにしたので、左右画像の水平端が欠けたり、異なる画像となることがなく、良好な立体画像が得ることができ、ユーザーにとって好適な視差量範囲の立体画像を表示出力することができる。
実施の形態２．
【００５０】
実施の形態１では、視差調整部２が視差情報検出部１が求める最大飛び出し量Ｔ１ｍａｘ及び最大引き込み量Ｈ１ｍａｘと、最大飛び出ししきい値ＳＴ１及び最大引き込みしきい値ＳＨ１とから視差調整情報Ｔ２を決定していたが、視差情報検出部１を設けずに入力した立体画像から視差情報を検出しないで、ユーザーが任意に変更したい視差調整量Ｓ１に基づき視差調整情報Ｔ２を決定するとしてもよい。
【００５１】
図７は本発明の実施の形態２に係る立体画像処理装置の構成を示す図である。図７において、立体画像処理装置１０１は、視差調整部５と、画像生成部３と、表示出力部４を備え、表示デバイス２００に接続することで立体画像表示装置となる。ここで、実施の形態１と同じ符号のものについては実施の形態１で説明したものと同様であるため、本実施の形態では説明を省略する。
【００５２】
視差調整部５は、飛び出し量の度合いをユーザーに調整させる。例えば、視差調整メニューで視差調整量Ｓ１を、＋Ａ〜−Ｂの範囲で調整できるものとする。符号が＋の時は、飛び出し量を大きくすることを意味する。すなわち、飛び出し方向に左眼用画像と右眼用画像とを水平移動させる。符号が−の時は、飛び出し量を小さくする。すなわち、引き込み方向に左眼用画像と右眼用画像とを水平移動させる。飛び出し量が大きいと一般的に目が疲れたり、立体視が入りにくかったりする場合があるため、主に、飛び出し量を抑えるために、＋Ａ側をＡ＝０とし、ユーザー調整で−Ｂ側を主に行うこととしても良い。
【００５３】
視差調整部５から出力される視差調整情報Ｔ２の決定手法を説明する。視差調整部５にはユーザーによって決定される視差調整量Ｓ１が入力される。視差調整情報Ｔ２は、上記視差調整量Ｓ１に比例または、任意の値を持たせて出力する。例えば、視差調整量Ｓ１を、＋１〜−２の範囲で調整できるものとする。視差調整量Ｓ１＝＋１のときＴ２＝＋ｅ、Ｓ１＝０のときＴ２＝０、Ｓ１＝−１のときＴ２＝−ｆ、Ｓ１＝−２のときＴ２＝−ｇ（ｇ＞ｆ）とする。ここで、ｅ、ｆ、ｇは任意の数値にしてよい。
【００５４】
また、画像生成部３の動作について述べる。画像生成部３は、視差調整部５から出力された視差調整情報Ｔ２に基づいて、毎回スケーリングの引き延ばし率を変えずに、引き延ばし率を想定される最大値に固定とし、視差調整情報Ｔ２に応じて、左目用入力画像と右眼用入力画像を水平方向にシフトするだけにすることも考えられる。すなわち、視差調整情報Ｔ２の最大値は決まっているため、予め画像を視差調整情報Ｔ２の最大値の場合の固定の引き延ばし率でスケーリングをした元画像より大きな画素数の画像を作成する。視差調整情報Ｔ２によって、前述の視差オフセット量の手法で左目用入力画像と右眼用入力画像とを水平方向にシフトする。スケーリングの手法は前記第１〜第４の手法を用いて良い。本手法は、予め視差調整情報の最大値でスケーリングしているため、シフトしないと見えない画像部分があるが、視差調整情報Ｔ２によって引き延ばし率が変動しないため、引き延ばし率が変動することによる違和感がないことが特徴である。このことにより、視差調整情報Ｔ２が変わっても、左右画像のどちらかの水平端の画像が欠けたり、異なる画像となることがなく、良好な立体画像が得られる。
【００５５】
このように、ユーザーによって決定された視差調整量を用いて、左眼用入力画像と右眼用入力画像とについて視差オフセット量を調整し、視差調整量に基づいて新たな一対の画像端に元映像にない部分を作り出すようにした場合においても、所期の目的を達成しうることはいうまでもない。
【符号の説明】
【００５６】
１００  立体画像処理装置
１  視差情報検出部
２  視差調整部
３  画像生成部
４  表示出力部
５  視差調整部
【図１】
2012156699.tif 000008
【図２】
2012156699.tif 000009
【図３】
2012156699.tif 000010
【図４】
2012156699.tif 000011
【図５】
2012156699.tif 000012
【図６】
2012156699.tif 000013
【図７】
2012156699.tif 000014