(57)【要約】【課題】立体画像の視聴条件によらず、適切な奥行き感を得ることができるようにする。【解決手段】視差変換装置は、これから表示しようとする立体画像の視聴条件を取得し、取得した視聴条件に基づいて立体画像の視差を補正する。そして、視差変換装置は、立体画像の視差が補正後の視差となるように、立体画像を変換し、表示制御装置を介して画像表示装置に表示させる。このとき、変換後の立体画像の視差が視聴条件により定まる視差範囲内の視差となるように、立体画像の変換が行われる。本発明は、画像処理装置に適用することができる。【選択図】図７
2012204852.tif 000002
【特許請求の範囲】
【請求項１】
表示しようとする立体画像の視聴条件を入力する入力部と、
前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
を備える画像処理装置。
【請求項２】
前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかである
請求項１に記載の画像処理装置。
【請求項３】
前記視聴条件に基づいて前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに備え、
前記変換特性設定部は、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定める
請求項２に記載の画像処理装置。
【請求項４】
前記変換特性設定部は、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とする
請求項３に記載の画像処理装置。
【請求項５】
前記立体画像を前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに備える
請求項２に記載の画像処理装置。
【請求項７】
前記立体画像を視聴する前記ユーザの画像および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて前記視聴距離を算出する画像処理部をさらに備える
請求項２に記載の画像処理装置。
【請求項９】
表示しようとする立体画像の視聴条件を入力する入力部と、
前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
を備える画像処理装置の画像処理方法であって、
前記入力部が前記視聴条件を入力し、
前記変換特性設定部が、前記変換特性を定め、
前記補正視差算出部が、前記立体画像の視差を補正する
ステップを含む画像処理方法。
【請求項１０】
表示しようとする立体画像の視聴条件を入力し、
前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定め、
前記変換特性に基づいて前記立体画像の視差を補正する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、立体画像の視聴条件によらず、より適切な奥行き感を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、表示装置により立体画像を表示する技術が知られている。このような立体画像により再現される被写体の奥行き感は、ユーザが立体画像を観察する視聴環境や、ユーザの両眼間隔等の身体的特徴などにより定まる視聴条件によって変化する。そのため、場合によっては、再現される奥行き感がユーザにとって不適切なものとなり、ユーザが疲労してしまうことがある。
【０００３】
例えば、特定の視聴距離やディスプレイサイズを想定して作成された立体画像は、実際の視聴距離が想定された距離よりも近かったり、立体画像が表示される表示装置の画面の大きさが想定されたディスプレイサイズよりも大きかったりすると、視聴に困難をきたすことがある。そこで、立体画像に付加されているクロスポイント情報を利用して、立体画像の視差を制御する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９７８３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術では、視聴条件によっては、必ずしもユーザごとに充分に適切な奥行き感を得ることができない場合があった。また、クロスポイント情報を利用する方法では、立体画像にクロスポイント情報が付加されていない場合には、立体画像の視差制御を行なうことができなくなってしまう。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、立体画像の視聴条件によらず、より適切な奥行き感を得ることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、表示しようとする立体画像の視聴条件を入力する入力部と、前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部とを備える。
【０００８】
前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかとすることができる。
【０００９】
画像処理装置には、前記視聴条件に基づいて前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに設け、前記変換特性設定部には、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定めさせることができる。
【００１０】
前記変換特性設定部には、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とさせることができる。
【００１１】
画像処理装置には、前記立体画像を前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに設けることができる。
【００１２】
画像処理装置には、前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに設けることができる。
【００１３】
画像処理装置には、前記立体画像を視聴する前記ユーザの画像および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに設けることができる。
【００１４】
画像処理装置には、前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて、前記視聴距離を算出する画像処理部をさらに設けることができる。
【００１５】
本技術の一側面の画像処理方法またはプログラムは、表示しようとする立体画像の視聴条件を入力し、前記視聴条件に基づいて、前記立体画像の視差を補正する変換特性を定め、前記変換特性に基づいて前記立体画像の視差を補正するステップを含む。
【００１６】
本技術の一側面においては、表示しようとする立体画像の視聴条件が入力され、前記視聴条件に基づいて、前記立体画像の視差を補正する変換特性が定められ、前記変換特性に基づいて前記立体画像の視差が補正される。
【発明の効果】
【００１７】
本技術の一側面によれば、立体画像の視聴条件によらず、より適切な奥行き感を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】両眼間隔と立体画像の奥行きについて説明する図である。
【図２】各両眼間隔における視差と視聴距離の関係を示す図である。
【図３】ディスプレイサイズと立体画像の奥行きについて説明する図である。
【図４】視聴距離と立体画像の奥行きについて説明する図である。
【図５】許容最近位置と許容最遠位置について説明する図である。
【図６】許容最小視差と許容最大視差について説明する図である。
【図７】立体画像表示システムの一実施の形態の構成例を示す図である。
【図８】視差変換装置の構成例を示す図である。
【図９】画像変換処理を説明するフローチャート図である。
【図１０】累積度数分布による最小視差と最大視差の検出について説明する図である。
【図１１】変換特性の一例を示す図である。
【図１２】変換特性の一例を示す図である。
【図１３】変換特性の一例を示す図である。
【図１４】ルックアップテーブルの例を示す図である。
【図１５】画像合成について説明する図である。
【図１６】立体画像表示システムの他の構成例を示す図である。
【図１７】視差変換装置の構成例を示す図である。
【図１８】画像変換処理を説明するフローチャート図である。
【図１９】両眼間隔の算出について説明する図である。
【図２０】立体画像表示システムの他の構成例を示す図である。
【図２１】視差変換装置の構成例を示す図である。
【図２２】画像変換処理を説明するフローチャート図である。
【図２３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２０】
〈第１の実施の形態〉
［視聴条件と立体画像の奥行き感について］
まず、図１乃至図４を参照して、立体画像を視聴するユーザの視聴条件と、立体画像の奥行き感について説明する。
【００２１】
図１に示すように、右眼画像と左眼画像とからなる立体画像が表示面ＳＣ１１に表示され、表示面ＳＣ１１から視聴距離Ｄだけ離れた位置から、ユーザが立体画像を視聴する場合を考える。ここで、立体画像を構成する右眼画像とは、立体画像の表示時にユーザの右眼で観察されるように表示される画像であり、左眼画像とは、立体画像の表示時にユーザの左眼で観察されるように表示される画像である。
【００２２】
いま、ユーザの右眼ＹＲと左眼ＹＬの間の距離がｅ（以下、両眼間隔ｅと称する）であり、右眼画像と左眼画像における所定の被写体Ｈ１１の視差がｄであったとする。つまり、表示面ＳＣ１１において、左眼画像上の被写体Ｈ１１から、右眼画像上の被写体Ｈ１１までの距離が視差ｄであるとする。
【００２３】
この場合、ユーザにより知覚される被写体Ｈ１１の位置、つまり被写体Ｈ１１の定位位置は、表示面ＳＣ１１から距離ＤＤ（以下、奥行き距離ＤＤと称する）だけ離れた位置となる。この奥行き距離ＤＤは、視差ｄ，両眼間隔ｅ，視聴距離Ｄから次式（１）を計算することにより求まる。
【００２４】
奥行き距離ＤＤ＝ｄ×Ｄ／（ｅ−ｄ）      ・・・（１）
【００２５】
ここで、視差ｄは、表示面ＳＣ１１において右眼画像上の被写体Ｈ１１が、左眼画像上の被写体Ｈ１１に対して図中、右側にあるとき、つまり立体画像を視聴するユーザから見て右側にあるときに正の値となる。この場合、奥行き距離ＤＤは正となり、ユーザから見て、被写体Ｈ１１は表示面ＳＣ１１の奥側に定位する。
【００２６】
逆に、表示面ＳＣ１１において右眼画像上の被写体Ｈ１１が、左眼画像上の被写体Ｈ１１に対して図中、左側にあるとき、視差ｄは負の値となり、この場合は奥行き距離ＤＤが負となるので、ユーザから見て、被写体Ｈ１１は表示面ＳＣ１１の手前側に定位する。
【００２７】
ところで、立体画像を視聴するユーザによって、両眼間隔ｅは異なる。例えば、一般的な大人の両眼間隔ｅは6.5cm程度であるのに対し、一般的な子供の両眼間隔ｅは5cm程度である。
【００２８】
そのため、図２に示すように、両眼間隔ｅによって、立体画像の視差ｄに対する奥行き距離ＤＤは変化する。なお、図中、縦軸は奥行き距離ＤＤを示しており、横軸は視差ｄを示している。また、曲線Ｃ１１は、両眼間隔ｅ＝5cmである場合における各視差ｄに対する奥行き距離ＤＤを示す曲線であり、曲線Ｃ１２は、両眼間隔ｅ＝6.5cmである場合における各視差ｄに対する奥行き距離ＤＤを示す曲線である。
【００２９】
曲線Ｃ１１と曲線Ｃ１２から分かるように、視差ｄが大きくなるにしたがって、曲線Ｃ１１と曲線Ｃ１２に示される奥行き距離ＤＤの差はより大きくなっていく。したがって、大人向けに視差調整された立体画像は、視差ｄが大きくなると子供には負荷が大きくなってしまう。
【００３０】
このように、各ユーザの両眼間隔ｅの大きさによって奥行き距離ＤＤは変化するため、立体画像内の各被写体の奥行き距離ＤＤが、適切な範囲内の距離となるように、両眼間隔ｅに応じて、ユーザごとに視差ｄを制御する必要がある。
【００３１】
また、図３に示すように、立体画像上における右眼画像と左眼画像との間の視差が同じでも、立体画像が表示される表示面の大きさが変化すると、１画素の大きさ、つまり表示面上における被写体の大きさは変化するので、視差ｄの大きさが変化する。
【００３２】
図３の例では、図中、左側に示される表示面ＳＣ２１と、図中、右側に示される表示面ＳＣ２２とには、同じ視差の立体画像が表示されるが、表示面ＳＣ２２よりも表示面ＳＣ２１の方が大きいため、表示面上の視差も表示面ＳＣ２１の方が大きくなっている。つまり、表示面ＳＣ２１上では視差ｄ＝ｄ１１となっており、表示面ＳＣ２２上では視差ｄ＝ｄ１２（但し、ｄ１１＞ｄ１２）となっている。
【００３３】
そのため、表示面ＳＣ２１に表示された被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ１１も、表示面ＳＣ２２に表示された被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ１２より長くなる。したがって、例えば表示面ＳＣ２２のような小画面用に視差制御して生成した立体画像を、表示面ＳＣ２１のような大画面に表示させると、視差が大きくなりすぎて、ユーザの眼に対する負荷が大きくなってしまう。
【００３４】
このように、同じ視差の立体画像でも表示される表示面の大きさによって、再現される奥行き感が異なるので、立体画像の表示にあたっては、立体画像が表示される表示面の大きさ（ディスプレイサイズ）に応じて、適切に視差ｄを制御する必要がある。
【００３５】
さらに、立体画像が表示される表示面ＳＣ１１の大きさや、表示面ＳＣ１１上における視差ｄが同じであっても、例えば図４に示すように、ユーザの視聴距離Ｄが変化すると、被写体Ｈ１１の奥行き距離ＤＤは変化する。
【００３６】
図４の例では、図中、右側の表示面ＳＣ１１と左側の表示面ＳＣ１１は同じ大きさであり、これらの表示面ＳＣ１１には同じ視差ｄで被写体Ｈ１１が表示されているが、図中、左側の視聴距離Ｄ＝Ｄ１１が、図中、右側の視聴距離Ｄ＝Ｄ１２よりも長くなっている。
【００３７】
そのため、図中、左側の被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ２１も、図中、右側の被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ２２より長くなる。したがって、例えば、ユーザの視聴距離Ｄが短すぎると、被写体Ｈ１１を見込む輻輳角が大きくなるので、立体画像が見にくくなってしまう場合がある。
【００３８】
このように、ユーザの視聴距離Ｄによっても、再現される奥行き感が変化するので、立体画像の表示にあたっては、ユーザから表示面までの視聴距離Ｄに応じて、適切に視差ｄを制御する必要がある。
【００３９】
以上のように、立体画像上の各被写体の奥行き距離ＤＤが、ユーザに負担が少ない適切な範囲内の距離となるようにするには、両眼間隔ｅ、立体画像が表示される表示面の大きさ、および視聴距離Ｄに応じて、適切に視差ｄを変換する必要がある。
【００４０】
なお、以下、立体画像が表示される表示面の大きさ、特に表示面の視差方向の長さをディスプレイ幅Ｗと称し、少なくとも両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄにより定まるユーザの立体画像の視聴に関わる条件を視聴条件と呼ぶこととする。
【００４１】
［立体画像の適切な視差について］
次に、上述した視聴条件により定まる立体画像の適切な視差の範囲について説明する。
【００４２】
視聴条件により定まる、立体画像の適切な視差の範囲内の視差の最小値と最大値を、それぞれ視差ｄｍｉｎ’および視差ｄｍａｘ’とし、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄから、視差ｄｍｉｎ’と視差ｄｍａｘ’を求めることを考える。
【００４３】
ここで、視差ｄｍｉｎ’および視差ｄｍａｘ’は、立体画像上の画素を単位とする視差である。つまり、立体画像を構成する右眼画像と左眼画像の間の画素単位の視差である。
【００４４】
いま、図５の左側に示すように、立体画像上の被写体のうち、視差が視差ｄｍｉｎ’である被写体Ｈ１２の定位位置を許容最近位置とし、ユーザから許容最近位置までの距離を許容最近距離Ｄｍｉｎとする。また、図中、右側に示すように、視差が視差ｄｍａｘ’である被写体の定位位置を許容最遠位置とし、ユーザから許容最遠位置までの距離を許容最遠距離Ｄｍａｘとする。
【００４５】
すなわち、許容最近距離Ｄｍｉｎは、ユーザが立体画像を適切な視差で視聴するために許容される、ユーザの両眼（左眼ＹＬおよび右眼ＹＲ）から立体画像上の被写体の定位位置までの距離の最小値である。同様に、許容最遠距離Ｄｍａｘは、ユーザが立体画像を適切な視差で視聴するために許容される、ユーザの両眼から立体画像上の被写体の定位位置までの距離の最大値である。
【００４６】
例えば、図中、左側に示すように、ユーザの左眼ＹＬと右眼ＹＲが表示面ＳＣ１１を見込む角を角度αとし、ユーザの左眼ＹＬと右眼ＹＲが、被写体Ｈ１２を見込む角を角度βとする。このとき、一般的にβ−α≦６０’を満たす最大の角βを有する被写体Ｈ１２が、許容最近位置にある被写体とされる。
【００４７】
また、図中、右側に示すように、ユーザの両眼から無限遠に位置する被写体までの距離が、許容最遠距離Ｄｍａｘとされる。この場合、許容最遠距離Ｄｍａｘとなる位置にある被写体を見るユーザの両眼の視線は平行となる。
【００４８】
このような許容最近距離Ｄｍｉｎと許容最遠距離Ｄｍａｘは、両眼間隔ｅおよび視聴距離Ｄから幾何学的に求めることができる。
【００４９】
すなわち、両眼間隔ｅと視聴距離Ｄの関係から、次式（２）が成立する。
【００５０】
ｔａｎ（α／２）＝（１／Ｄ）×（ｅ／２）    ・・・（２）
【００５１】
この式（２）を変形すれば、次式（３）に示すように、角度αが求まる。
【００５２】
α＝２ｔａｎ−１（ｅ／２Ｄ）    ・・・（３）
【００５３】
また、角度βは、角度αと同様に次式（４）で表される。
【００５４】
β＝２ｔａｎ−１（ｅ／２Ｄｍｉｎ）    ・・・（４）
【００５５】
さらに、ユーザから許容最近距離Ｄｍｉｎだけ離れた位置にある被写体Ｈ１２を見込む角βは、上述したように、以下の式（５）を満たすから、式（４）と式（５）から、許容最近距離Ｄｍｉｎは、式（６）に示す条件を満たすことになる。
【００５６】
β−α≦６０    ・・・（５）
【００５７】
許容最近距離Ｄｍｉｎ≧ｅ／２ｔａｎ（（６０＋α）／２）    ・・・（６）
【００５８】
このようにして得られた式（６）のαに、式（３）を代入すれば、許容最近距離Ｄｍｉｎを得ることができる。つまり、許容最近距離Ｄｍｉｎは、視聴条件のうちの両眼間隔ｅと視聴距離Ｄが分かれば、求めることができる。同様に、式（６）における角度αを０とすれば、許容最遠距離Ｄｍａｘが得られる。
【００５９】
このようにして得られた許容最近距離Ｄｍｉｎと許容最遠距離Ｄｍａｘから、視差ｄｍｉｎ’および視差ｄｍａｘ’が求まる。
【００６０】
例えば、図６に示すように、表示面ＳＣ１１に立体画像を表示させた場合に、ユーザからの距離が許容最近距離Ｄｍｉｎとなる許容最近位置に被写体Ｈ３１が定位し、ユーザからの距離が許容最遠距離Ｄｍａｘとなる許容最遠位置に被写体Ｈ３２が定位したとする。
【００６１】
このとき、表示面ＳＣ１１における立体画像上の被写体Ｈ３１の視差ｄｍｉｎは、視聴距離Ｄ、両眼間隔ｅ、および許容最近距離Ｄｍｉｎを用いて、次式（７）により表される。
【００６２】
ｄｍｉｎ＝ｅ（Ｄｍｉｎ−Ｄ）／Ｄｍｉｎ    ・・・（７）
【００６３】
同様に、表示面ＳＣ１１における立体画像上の被写体Ｈ３２の視差ｄｍａｘは、視聴距離Ｄ、両眼間隔ｅ、および許容最遠距離Ｄｍａｘを用いて、次式（８）により表される。
【００６４】
ｄｍａｘ＝ｅ（Ｄｍａｘ−Ｄ）／Ｄｍａｘ    ・・・（８）
【００６５】
ここで、許容最近距離Ｄｍｉｎおよび許容最遠距離Ｄｍａｘは、両眼間隔ｅと視聴距離Ｄから求まる値であるから、式（７）と式（８）から分かるように、視差ｄｍｉｎおよび視差ｄｍａｘも、両眼間隔ｅと視聴距離Ｄから求まる。
【００６６】
但し、視差ｄｍｉｎと視差ｄｍａｘは、表示面ＳＣ１１上における距離であるため、立体画像を適切な視差をもつ画像に変換するには、視差ｄｍｉｎと視差ｄｍａｘを、画素を単位とする視差ｄｍｉｎ’と視差ｄｍａｘ’に変換する必要がある。
【００６７】
視差ｄｍｉｎと視差ｄｍａｘを画素数で表すには、これらの視差を表示面ＳＣ１１上における立体画像の画素間隔、つまり表示面ＳＣ１１を構成する表示装置の画素間隔で除算すればよい。ここで、表示装置の画素間隔は、視聴条件としてのディスプレイ幅Ｗと、表示装置を構成する視差方向（図中、横方向）の画素数Ｎ、つまり立体画像の視差方向の画素数Ｎとから求まり、その値はＷ／Ｎとなる。
【００６８】
したがって、視差ｄｍｉｎ’および視差ｄｍａｘ’は、視差ｄｍｉｎと視差ｄｍａｘ、ディスプレイ幅Ｗ、および画素数Ｎから、それぞれ次式（９）および式（１０）により表される。
【００６９】
視差ｄｍｉｎ’＝ｄｍｉｎ×Ｎ／Ｗ    ・・・（９）
【００７０】
視差ｄｍａｘ’＝ｄｍａｘ×Ｎ／Ｗ    ・・・（１０）
【００７１】
このように、立体画像の適切な視差範囲の両端の値である視差ｄｍｉｎ’および視差ｄｍａｘ’は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄから求めることができる。
【００７２】
したがって、ユーザが、立体画像を所定の視聴条件下で視聴しようとする場合、その視聴条件から適切な視差範囲を求め、入力された立体画像を、求めた視差範囲内の視差を有する立体画像に変換して表示すれば、視聴条件に合った適切な奥行き感の立体画像を提示することができる。
【００７３】
なお、以上においては、許容最近距離Ｄｍｉｎと許容最遠距離Ｄｍａｘを、予め定めた所定の条件を満たす距離であるとして説明したが、これらの許容最近距離Ｄｍｉｎや許容最遠距離Ｄｍａｘは、ユーザにより好みに応じて設定されるようにしてもよい。
【００７４】
［立体画像表示システムの構成例］
次に、本技術を適用した立体画像表示システムの実施の形態について説明する。
【００７５】
図７は、立体画像表示システムの一実施の形態の構成例を示す図である。この立体画像表示システムは、画像記録装置１１、視差変換装置１２、表示制御装置１３、および画像表示装置１４から構成される。
【００７６】
画像記録装置１１には、立体画像を表示するための画像データが記録されており、視差変換装置１２は、画像記録装置１１から立体画像を読み出して、この立体画像をユーザの視聴条件に応じて視差変換し、視差変換された立体画像を表示制御装置１３に供給する。すなわち、立体画像がユーザの視聴条件に適した視差を有する立体画像に変換される。
【００７７】
なお、立体画像は、互いに視差を有する一対の静止画像であってもよいし、互いに視差を有する動画像であってもよい。
【００７８】
表示制御装置１３は、視差変換装置１２から供給された立体画像を画像表示装置１４に供給し、画像表示装置１４は、表示制御装置１３の制御にしたがって、表示制御装置１３から供給された立体画像を立体表示させる。例えば、画像表示装置１４は、画像データを立体画像として表示する立体ディスプレイである。なお、画像表示装置１４による立体画像の表示方式は、レンチキュラレンズ方式やパララックスバリア方式、時分割表示方式など、任意の表示方式とすることができる。
【００７９】
［視差変換装置の構成例］
また、図７の視差変換装置１２は、例えば図８に示すように構成される。
【００８０】
視差変換装置１２は、入力部４１、視差検出部４２、変換特性設定部４３、補正視差算出部４４、および画像合成部４５から構成される。また、視差変換装置１２では、右眼画像Ｒおよび左眼画像Ｌからなる立体画像が、画像記録装置１１から視差検出部４２および画像合成部４５に供給される。
【００８１】
入力部４１は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを取得し、変換特性設定部４３に入力する。例えば、入力部４１は、ユーザがリモートコマンダ５１を操作して視聴条件を入力すると、リモートコマンダ５１から送信されてくる視聴条件を示す情報を受信し、視聴条件を得る。
【００８２】
視差検出部４２は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌに基づいて、右眼画像Ｒと左眼画像Ｌの視差を画素ごとに求め、各画素の視差を示す視差マップを変換特性設定部４３および補正視差算出部４４に供給する。
【００８３】
変換特性設定部４３は、入力部４１から供給された視聴条件と、視差検出部４２から供給された視差マップとに基づいて、右眼画像Ｒと左眼画像Ｌの視差の変換特性を定め、補正視差算出部４４に供給する。
【００８４】
変換特性設定部４３は、許容視差算出部６１、最大／最小視差検出部６２、および設定部６３を備えている。
【００８５】
許容視差算出部６１は、入力部４１から供給された視聴条件に基づいて、ユーザの特徴や立体画像の視聴環境に適した視差ｄｍｉｎ’および視差ｄｍａｘ’を求め、設定部６３に供給する。なお、以下、視差ｄｍｉｎ’および視差ｄｍａｘ’を、適宜、許容最小視差ｄｍｉｎ’および許容最大視差ｄｍａｘ’とも称する。
【００８６】
最大／最小視差検出部６２は、視差検出部４２から供給された視差マップに基づいて、右眼画像Ｒと左眼画像Ｌの視差の最大値および最小値を検出し、設定部６３に供給する。設定部６３は、許容視差算出部６１からの視差ｄｍｉｎ’および視差ｄｍａｘ’と、最大／最小視差検出部６２からの視差の最大値および最小値とに基づいて、右眼画像Ｒと左眼画像Ｌの視差の変換特性を定め、定めた変換特性を補正視差算出部４４に供給する。
【００８７】
補正視差算出部４４は、視差検出部４２からの視差マップと、設定部６３からの変換特性とに基づいて、視差マップに示される各画素の視差を、視差ｄｍｉｎ’から視差ｄｍａｘ’までの間の視差に変換し、画像合成部４５に供給する。すなわち、補正視差算出部４４は、視差マップに示される各画素の視差を変換（補正）し、変換後の各画素の視差を示す補正視差マップを画像合成部４５に供給する。
【００８８】
画像合成部４５は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌを、補正視差算出部４４から供給された補正視差マップに基づいて、適切な視差を有する右眼画像Ｒ’および左眼画像Ｌ’に変換し、表示制御装置１３に供給する。
【００８９】
［画像変換処理の説明］
次に、立体画像表示システムの動作について説明する。立体画像表示システムは、ユーザから立体画像の再生を指示されると、画像変換処理を行なって、指定された立体画像を適切な視差を有する立体画像に変換し、再生する。以下、図９のフローチャートを参照して、立体画像表示システムによる画像変換処理について説明する。
【００９０】
ステップＳ１１において、視差変換装置１２は、画像記録装置１１から立体画像を読み出す。すなわち、視差検出部４２および画像合成部４５は、画像記録装置１１から右眼画像Ｒおよび左眼画像Ｌを読み出す。
【００９１】
ステップＳ１２において、入力部４１は、リモートコマンダ５１から受信した視聴条件を許容視差算出部６１に入力する。
【００９２】
すなわち、ユーザは、リモートコマンダ５１を操作して、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを入力する。例えば、両眼間隔ｅは、直接ユーザにより入力されてもよいし、ユーザが「大人」や「子供」のカテゴリを選択することで入力されるようにしてもよい。両眼間隔ｅが「子供」等のカテゴリを選択することで入力される場合、両眼間隔ｅは、選択されたカテゴリの平均的な両眼間隔の数値とされる。
【００９３】
このようにして視聴条件が入力されると、リモートコマンダ５１は、入力された視聴条件を入力部４１に送信する。すると、入力部４１は、リモートコマンダ５１から視聴条件を受信し、許容視差算出部６１に入力する。
【００９４】
なお、視聴条件としてのディスプレイ幅Ｗは、入力部４１が画像表示装置１４などから取得するようにしてもよい。また、入力部４１が、画像表示装置１４などからディスプレイサイズを取得し、視聴距離Ｄがディスプレイサイズに対する標準視距離であるものとして、取得したディスプレイサイズから視聴距離Ｄを求めるようにしてもよい。
【００９５】
さらに、視聴条件は、画像変換処理の開始前に予め入力部４１より取得され、必要に応じて許容視差算出部６１に供給されるようにしてもよい。また、入力部４１がボタン等の操作部から構成されるようにしてもよい。そのような場合、入力部４１がユーザにより操作され、視聴条件が入力されると、入力部４１はユーザの操作に応じて生じる信号を視聴条件として取得する。
【００９６】
ステップＳ１３において、許容視差算出部６１は、入力部４１から供給された視聴条件に基づいて、許容最小視差ｄｍｉｎ’および許容最大視差ｄｍａｘ’を求め、設定部６３に供給する。
【００９７】
例えば、許容視差算出部６１は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄに基づいて、上述した式（９）および式（１０）を計算することで、許容最小視差ｄｍｉｎ’および許容最大視差ｄｍａｘ’を算出する。
【００９８】
ステップＳ１４において、視差検出部４２は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌに基づいて、右眼画像Ｒと左眼画像Ｌの視差を画素ごとに検出し、各画素の視差を示す視差マップを最大／最小視差検出部６２および補正視差算出部４４に供給する。
【００９９】
例えば、視差検出部４２は、左眼画像Ｌを基準として、ＤＰ（Dynamic Programing）マッチングにより、左眼画像Ｌの各画素の右眼画像Ｒとの視差を検出し、その検出結果を示す視差マップを生成する。
【０１００】
なお、隠れた部分の処理のために左眼画像Ｌおよび右眼画像Ｒの両方の視差を得るようにしてもよい。視差の推定手法は公知技術であり、例えば、左右画像から背景画像を除いた前景画像についてマッチングを行うことにより、左右画像の視差を推定し、視差マップを生成する技術が知られている（例えば、特開２００６−１１４０２３号公報参照）。
【０１０１】
ステップＳ１５において、最大／最小視差検出部６２は、視差検出部４２から供給された視差マップに基づいて、視差マップに示される各画素の視差のうちの最大値および最小値を検出し、設定部６３に供給する。
【０１０２】
なお、以下、最大／最小視差検出部６２により検出された視差の最大値および最小値を、適宜、最大視差ｄ（ｉ）ｍａｘおよび最小視差ｄ（ｉ）ｍｉｎとも称する。
【０１０３】
また、最大視差と最小視差の検出では、検出結果安定のため、視差の累積度数分布が用いられるようにしてもよい。そのような場合、最大／最小視差検出部６２は、例えば、図１０に示す累積度数分布を生成する。なお、図中、縦軸は累積度数を示しており、横軸は視差を示している。
【０１０４】
図１０の例では曲線ＲＣ１１は、視差マップ上の画素が画素値として有する視差の値について、視差マップ上の各画素のうち、各視差までの値を画素値として有する画素の数（累積度数）を示している。最大／最小視差検出部６２は、このような累積度数分布を生成すると、例えば全累積度数の５％の累積度数となる視差の値、および全累積度数の９５％の累積度数となる視差の値を、それぞれ最小視差および最大視差とする。
【０１０５】
このように、立体画像内で検出される視差の総数に対して、予め設定された割合に相当する累積度数に対応する視差を最小視差や最大視差とすることで、極端に大きい視差や小さい視差を除外し、検出結果を安定させることができる。
【０１０６】
ステップＳ１６において、設定部６３は、最大／最小視差検出部６２からの最小視差お最大視差と、許容視差算出部６１からの視差ｄｍｉｎ’および視差ｄｍａｘ’とに基づいて、変換特性を設定し、補正視差算出部４４に供給する。
【０１０７】
例えば、設定部６３は、最小視差および最大視差と、許容最小視差ｄｍｉｎ’および許容最大視差ｄｍａｘ’とに基づいて、立体画像の各画素の視差が、許容最小視差ｄｍｉｎ’から許容最大視差ｄｍａｘ’までの範囲（以下、許容視差範囲と称する）内の視差に変換されるように、変換特性を定める。
【０１０８】
具体的には、設定部６３は、最小視差および最大視差が、許容視差範囲内の視差である場合、視差マップがそのまま補正視差マップとなる等価変換関数を変換特性とする。この場合、立体画像の各画素の視差は、許容視差範囲内の適切な大きさの視差となっているので、立体画像に対して視差制御を行なう必要がないからである。
【０１０９】
これに対して、最小視差と最大視差の少なくとも何れかが、許容視差範囲内の視差でない場合、設定部６３は、立体画像の各画素の視差を補正（変換）する変換特性を定める。すなわち、視差マップ上の画素の画素値（視差の値）を入力視差ｄ（ｉ）とし、その画素と同じ位置にある補正視差マップの画素の画素値（視差の値）を補正視差ｄ（ｏ）とすると、入力視差ｄ（ｉ）を補正視差ｄ（ｏ）に変換するための変換関数が定められる。
【０１１０】
これにより、例えば図１１に示す変換関数が定められる。なお、図１１において、横軸は入力視差ｄ（ｉ）を示しており、縦軸は補正視差ｄ（ｏ）を示している。また、図中、直線Ｆ１１および直線Ｆ１２は、変換関数のグラフを示している。
【０１１１】
図１１の例において、直線Ｆ１２は、入力視差ｄ（ｉ）＝補正視差ｄ（ｏ）となる場合の変換関数、つまり等価変換のグラフを示している。上述したように、最小視差および最大視差が、許容視差範囲内の視差である場合、変換関数はｄ（ｏ）＝ｄ（ｉ）とされる。
【０１１２】
ところが、図１１の例では、最小視差は許容最小視差ｄｍｉｎ’よりも小さく、最大視差は許容最大視差ｄｍａｘ’よりも大きくなっている。そのため、入力視差ｄ（ｉ）を等価変換し、そのまま補正視差ｄ（ｏ）とすると、補正後の視差の最小値および最大値は、許容視差範囲外の視差となってしまう。
【０１１３】
そこで、設定部６３は、補正後の各画素の視差が許容視差範囲内の視差となるように、直線Ｆ１１で示される一次関数を変換関数とする。
【０１１４】
ここで、変換関数は、入力視差ｄ（ｉ）＝０が補正視差ｄ（ｏ）＝０に変換され、最小視差ｄ（ｉ）ｍｉｎが許容最小視差ｄｍｉｎ’以上の視差に変換され、かつ最大視差ｄ（ｉ）ｍａｘが許容最大視差ｄｍａｘ’以下の視差に変換されるように定められる。
【０１１５】
直線Ｆ１１に示される変換関数では、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）ｍｉｎは許容最小視差ｄｍｉｎ’に変換され、最大視差ｄ（ｉ）ｍａｘは許容最大視差ｄｍａｘ’以下の視差に変換される。
【０１１６】
設定部６３は、このようにして変換関数（変換特性）を定めると、定めた変換関数を変換特性として補正視差算出部４４に供給する。
【０１１７】
なお、変換特性は図１１に示した例に限らず、視差に対して単調増加する折れ線で表される関数や、任意の関数とすることができる。したがって、例えば、図１２や図１３に示す変換特性とされてもよい。図１２および図１３において、横軸は入力視差ｄ（ｉ）を示しており、縦軸は補正視差ｄ（ｏ）を示している。また、図中、図１１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１１８】
図１２において、折れ線Ｆ２１は、変換関数のグラフを示している。折れ線Ｆ２１に示される変換関数は、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）ｍｉｎは許容最小視差ｄｍｉｎ’に変換され、最大視差ｄ（ｉ）ｍａｘは許容最大視差ｄｍａｘ’に変換される。また、折れ線Ｆ２１に示される変換関数では、最小視差ｄ（ｉ）ｍｉｎから０までの区間の傾きと、０から最大視差ｄ（ｉ）ｍａｘまでの区間の傾きとが、異なる大きさとなっており、これらの区間は何れも一次関数となっている。
【０１１９】
また、図１３の例において、折れ線Ｆ３１は、変換関数のグラフを示している。折れ線Ｆ３１に示される変換関数は、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）ｍｉｎは許容最小視差ｄｍｉｎ’以上の視差に変換され、最大視差ｄ（ｉ）ｍａｘは許容最大視差ｄｍａｘ’以下の視差に変換される。
【０１２０】
折れ線Ｆ３１に示される変換関数では、最小視差ｄ（ｉ）ｍｉｎから０までの区間の傾きと、０から最大視差ｄ（ｉ）ｍａｘまでの区間の傾きとが、異なる大きさとなっており、これらの区間は何れも一次関数となっている。
【０１２１】
さらに、最小視差ｄ（ｉ）ｍｉｎ以下の区間と、最小視差ｄ（ｉ）ｍｉｎから０までの区間でも変換関数の傾きは異なっており、０から最大視差ｄ（ｉ）ｍａｘまでの区間と、最大視差ｄ（ｉ）ｍａｘ以上の区間でも変換関数の傾きは異なっている。
【０１２２】
特に、折れ線Ｆ３１に示される変換関数は、例えば、累積度数分布により最大視差および最小視差を定める場合など、最小視差ｄ（ｉ）ｍｉｎや最大視差ｄ（ｉ）ｍａｘが、視差マップに示される視差の最小値や最大値でない場合に有効である。この場合、最小視差ｄ（ｉ）ｍｉｎ以下や最大視差ｄ（ｉ）ｍａｘ以上における変換特性の傾きを小さくすることで、立体画像に含まれている例外的に絶対値が大きい視差に対しても、より見やすい適切な視差への変換を行なうことができる。
【０１２３】
図９のフローチャートの説明に戻り、変換特性が設定されると、処理はステップＳ１６からステップＳ１７に進む。
【０１２４】
ステップＳ１７において、補正視差算出部４４は、設定部６３から供給された変換特性と、視差検出部４２からの視差マップとに基づいて、補正視差マップを生成し、画像合成部４５に供給する。
【０１２５】
すなわち、補正視差算出部４４は、変換特性としての変換関数に、視差マップの画素の視差（入力視差ｄ（ｉ））を代入して補正視差ｄ（ｏ）を求め、求めた補正視差を、その画素と同じ位置にある補正視差マップの画素の画素値とする。
【０１２６】
なお、変換関数を用いた補正視差ｄ（ｏ）の算出は、例えば図１４に示すルックアップテーブルＬＴ１１により実現するようにしてもよい。
【０１２７】
ルックアップテーブルＬＴ１１は、所定の変換特性（変換関数）により入力視差ｄ（ｉ）を補正視差ｄ（ｏ）に変換するものである。このルックアップテーブルＬＴ１１には、入力視差ｄ（ｉ）の各値と、それらの値を変換関数に代入して得られる補正視差ｄ（ｏ）の値とが対応付けられて記録されている。
【０１２８】
例えば、ルックアップテーブルＬＴ１１には、入力視差ｄ（ｉ）の値「ｄ０」と、その値「ｄ０」を変換関数に代入して得られる補正視差ｄ（ｏ）の値「ｄ０’」とが対応付けられて記録されている。このようなルックアップテーブルＬＴ１１をいくつかの変換特性ごとに記録しておけば、補正視差算出部４４は、変換関数の演算を行なうことなく、簡単に入力視差ｄ（ｉ）に対する補正視差ｄ（ｏ）を得ることができる。
【０１２９】
図９のフローチャートの説明に戻り、補正視差算出部４４により補正視差マップが生成されて画像合成部４５に供給されると、処理はステップＳ１７からステップＳ１８に進む。
【０１３０】
ステップＳ１８において、画像合成部４５は、補正視差算出部４４からの補正視差マップを用いて、画像記録装置１１からの右眼画像Ｒおよび左眼画像Ｌを、適切な視差を有する右眼画像Ｒ’および左眼画像Ｌ’に変換し、表示制御装置１３に供給する。
【０１３１】
例えば、図１５に示すように、図中、横方向および縦方向をｉ方向およびｊ方向として、左眼画像Ｌ上のｉｊ座標系における座標（ｉ，ｊ）にある画素をＬ（ｉ，ｊ）とし、右眼画像Ｒ上の座標（ｉ，ｊ）にある画素をＲ（ｉ，ｊ）とする。また、左眼画像Ｌ’上の座標（ｉ，ｊ）にある画素をＬ’（ｉ，ｊ）とし、右眼画像Ｒ’上の座標（ｉ，ｊ）にある画素をＲ’（ｉ，ｊ）とする。
【０１３２】
さらに、画素Ｌ（ｉ，ｊ），画素Ｒ（ｉ，ｊ），画素Ｌ’（ｉ，ｊ），画素Ｒ’（ｉ，ｊ）のそれぞれの画素値を、それぞれＬ（ｉ，ｊ），Ｒ（ｉ，ｊ），Ｌ’（ｉ，ｊ），Ｒ’（ｉ，ｊ）とする。また、視差マップにより示される画素Ｌ（ｉ，ｊ）の入力視差がｄ（ｉ）であり、その入力視差ｄ（ｉ）の補正後の補正視差がｄ（ｏ）であるとする。
【０１３３】
この場合、画像合成部４５は、次式（１１）に示すように、左眼画像Ｌ上の画素Ｌ（ｉ，ｊ）の画素値を、そのまま左眼画像Ｌ’上の画素Ｌ’（ｉ，ｊ）の画素値とする。
【０１３４】
Ｌ’（ｉ，ｊ）＝Ｌ（ｉ，ｊ）    ・・・（１１）
【０１３５】
また、画像合成部４５は、画素Ｌ’（ｉ，ｊ）に対応する右眼画像Ｒ’上の画素を画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）として、次式（１２）を計算することで、画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）の画素値を求める。
【０１３６】
【数１】
2012204852.tif 000003
【０１３７】
すなわち、左眼画像と右眼画像との補正前の入力視差はｄ（ｉ）であるから、図中、上側に示すように、画素Ｌ（ｉ，ｊ）に対応する右眼画像Ｒ上の画素、つまり画素Ｌ（ｉ，ｊ）と同じ被写体が表示される画素は、画素Ｒ（ｉ＋ｄ（ｉ），ｊ）である。
【０１３８】
また、入力視差ｄ（ｉ）は補正されて補正視差ｄ（ｏ）となるから、図中、下側に示すように、左眼画像Ｌ’上の画素Ｌ’（ｉ，ｊ）に対応する右眼画像Ｒ’上の画素は、画素Ｌ（ｉ，ｊ）の位置から補正視差ｄ（ｏ）だけ離れている画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）となる。この画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）は、画素Ｌ（ｉ，ｊ）と、画素Ｒ（ｉ＋ｄ（ｉ），ｊ）との間に位置する。
【０１３９】
そこで、画像合成部４５は、上述した式（１２）を計算して、画素Ｌ（ｉ，ｊ）と画素Ｒ（ｉ＋ｄ（ｉ），ｊ）の画素値を内分することにより、画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）の画素値を求める。
【０１４０】
このようにして、画像合成部４５は、立体画像を構成する一方の画像をそのまま補正後の一方の画像とするとともに、一方の画像の画素と、その画素に対応する他方の画像の画素とを内分することで、視差補正後の他方の画像の画素を求め、補正後の立体画像を得る。
【０１４１】
図９のフローチャートの説明に戻り、右眼画像Ｒ’および左眼画像Ｌ’からなる立体画像が得られると、処理はステップＳ１８からステップＳ１９に進む。
【０１４２】
ステップＳ１９において、表示制御装置１３は、画像合成部４５から供給された右眼画像Ｒ’および左眼画像Ｌ’からなる立体画像を、画像表示装置１４に供給して表示させ、画像変換処理は終了する。
【０１４３】
例えば、画像表示装置１４は、表示制御装置１３の制御にしたがって、右眼画像Ｒ’および左眼画像Ｌ’を、レンチキュラレンズ方式等の表示方式により表示させることで、立体画像を表示させる。
【０１４４】
以上のようにして、立体画像表示システムは、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを取得し、視聴条件に応じて表示対象の立体画像を、より適切な視差を有する立体画像に変換して表示させる。このように、視聴条件に応じて、その視聴条件に合った視差を有する立体画像を生成することで、立体画像の視聴条件によらず、簡単に、より適切な奥行き感を得ることができる。
【０１４５】
例えば、大人にとっては適切な立体画像も、両眼間隔の狭い子供には負担が大きい場合があるが、立体画像表示システムでは、視聴条件として両眼間隔ｅを取得し、立体画像の視差制御を行なうことで、各ユーザの両眼間隔ｅに合った視差の立体画像を提示できる。同様に、視聴条件として、ディスプレイ幅Ｗや視聴距離Ｄを取得することで、画像表示装置１４の表示画面の大きさや視聴距離などに応じて、常に適切な視差の立体画像を提示することができる。
【０１４６】
〈第２の実施の形態〉
［立体画像表示システムの構成例］
なお、以上においては、視聴条件をユーザが入力する場合を例として説明したが、視差変換装置１２が視聴条件を算出するようにしてもよい。
【０１４７】
そのような場合、立体画像表示システムは、例えば図１６に示すように構成される。図１６の立体画像表示システムは、図７に示した立体画像表示システムにさらに画像センサ９１が設けられた構成とされている。
【０１４８】
視差変換装置１２は、画像表示装置１４から、画像表示装置１４の表示画面の大きさ（ディスプレイサイズ）を示すディスプレイサイズ情報を取得し、ディスプレイサイズ情報に基づいて、視聴条件としてのディスプレイ幅Ｗ、および視聴距離Ｄを算出する。
【０１４９】
画像センサ９１は、画像表示装置１４に固定されており、画像表示装置１４に表示される立体画像を視聴するユーザの画像を撮像し、視差変換装置１２に供給する。また、視差変換装置１２は、画像センサ９１からの画像と、視聴距離Ｄとに基づいて、両眼間隔ｅを算出する。
【０１５０】
［視差変換装置の構成例］
また、図１６に示す立体画像表示システムの視差変換装置１２は、図１７に示すように構成される。なお、図１７において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５１】
図１７の視差変換装置１２は、図８の視差変換装置１２にさらに演算部１２１と画像処理部１２２が設けられた構成とされている。
【０１５２】
演算部１２１は、画像表示装置１４からディスプレイサイズ情報を取得し、ディスプレイサイズ情報に基づいてディスプレイ幅Ｗ、および視聴距離Ｄを算出する。また、演算部１２１は、算出したディスプレイ幅Ｗ、および視聴距離Ｄを入力部４１に供給するとともに、視聴距離Ｄを画像処理部１２２に供給する。
【０１５３】
画像処理装部１２２は、画像センサ９１から供給された画像と、演算部１２１から供給された視聴距離Ｄとに基づいて両眼間隔ｅを算出し、入力部４１に供給する。
【０１５４】
［画像変換処理の説明］
次に、図１８のフローチャートを参照して、図１６の立体画像表示システムにより行なわれる画像変換処理について説明する。なお、ステップＳ４１の処理は、図９のステップＳ１１の処理と同様であるので、その説明は省略する。
【０１５５】
ステップＳ４２において、演算部１２１は、画像表示装置１４からディスプレイサイズ情報を取得し、取得したディスプレイサイズ情報からディスプレイ幅Ｗを算出する。
【０１５６】
ステップＳ４３において、演算部１２１は、取得したディスプレイサイズ情報から視聴距離Ｄを算出する。例えば、演算部１２１は、視聴距離Ｄがディスプレイサイズに対する標準視距離であるものとして、取得したディスプレイサイズにより示される表示画面の高さの３倍の値を視聴距離Ｄとする。演算部１２１は、算出したディスプレイ幅Ｗと視聴距離Ｄを入力部４１に供給するとともに、視聴距離Ｄを画像処理部１２２に供給する。
【０１５７】
ステップＳ４４において、画像処理部１２２は、画像センサ９１からユーザの画像を取得して、取得した画像と演算部１２１からの視聴距離Ｄとに基づいて両眼間隔ｅを算出し、入力部４１に供給する。
【０１５８】
例えば、画像センサ９１は、図１９の上側に示すように、画像表示装置１４の正面にいるユーザの画像ＰＴ１１を撮像し、画像処理部１２２に供給する。画像処理部１２２は、この画像ＰＴ１１から顔検出によりユーザの顔の領域ＦＣ１１を検出するとともに、領域ＦＣ１１からユーザの右眼の領域ＥＲと左眼の領域ＥＬを検出する。
【０１５９】
そして、画像処理部１２２は、領域ＥＲから領域ＥＬまでの画素数を単位とする距離ｅｐを算出し、この距離ｅｐからユーザの両眼間隔ｅを算出する。
【０１６０】
すなわち、図１９の図中、下側に示すように、画像センサ９１に画像ＰＴ１１を撮像するセンサのセンサ面ＣＭ１１と、ユーザからの光を集光するレンズＬＥ１１が設けられているとする。また、ユーザの右眼ＹＲからの光がレンズＬＥ１１を介してセンサ面ＣＭ１１の位置ＥＲ’に到達し、ユーザの左眼ＹＬからの光がレンズＬＥ１１を介してセンサ面ＣＭ１１の位置ＥＬ’に到達するとする。
【０１６１】
さらに、センサ面ＣＭ１１からレンズＬＥ１１までの距離が焦点距離ｆであるとし、レンズＬＥ１１からユーザまでの距離が視聴距離Ｄであるとする。この場合、画像処理部１２２は、画像ＰＴ１１上におけるユーザの両眼間の距離ｅｐから、センサ面ＣＭ１１上の位置ＥＲ’から位置ＥＬ’までの距離ｅｐ’を算出し、距離ｅｐ’、焦点距離ｆ、および視聴距離Ｄから次式（１３）を計算し、両眼間隔ｅを算出する。
【０１６２】
両眼間隔ｅ＝Ｄ×ｅｐ’／ｆ    ・・・（１３）
【０１６３】
図１８のフローチャートの説明に戻り、両眼間隔ｅが算出されると、処理はステップＳ４５に進む。ステップＳ４５において、入力部４１は、演算部１２１からのディスプレイ幅Ｗおよび視聴距離Ｄと、画像処理部１２２からの両眼間隔ｅとからなる視聴条件を許容視差算出部６１に入力する。
【０１６４】
視聴条件が入力されると、その後、ステップＳ４６乃至ステップＳ５２の処理が行われて画像変換処理は終了するが、これらの処理は図９のステップＳ１３乃至ステップＳ１９と同様であるので、その説明は省略する。
【０１６５】
このようにして、立体画像表示システムは、視聴条件を求め、その視聴条件に応じて立体画像の視差制御を行なう。したがって、ユーザは視聴条件を入力する必要がなくなり、より簡単に適切な視差の立体画像を視聴することができるようになる。
【０１６６】
〈第３の実施の形態〉
［立体画像表示システムの構成例］
また、以上においては、ディスプレイサイズ情報から視聴距離Ｄを算出すると説明したが、画像センサにより撮像された画像から視聴距離Ｄを算出するようにしてもよい。
【０１６７】
そのような場合、立体画像表示システムは、例えば図２０に示すように構成される。図２０の立体画像表示システムは、図７に示した立体画像表示システムにさらに画像センサ１５１−１および画像センサ１５１−２が設けられた構成とされている。
【０１６８】
画像センサ１５１−１および画像センサ１５１−２は、画像表示装置１４に固定されており、画像表示装置１４に表示される立体画像を視聴するユーザの画像を撮像し、視差変換装置１２に供給する。視差変換装置１２は、画像センサ１５１−１および画像センサ１５１−２から供給された画像に基づいて、視聴距離Ｄを算出する。
【０１６９】
なお、以下、画像センサ１５１−１および画像センサ１５１−２を個々に区別する必要のない場合、単に画像センサ１５１とも称する。
【０１７０】
［視差変換装置の構成例］
また、図２０に示す立体画像表示システムの視差変換装置１２は、図２１に示すように構成される。なお、図２１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１７１】
図２１の視差変換装置１２は、図８の視差変換装置１２にさらに画像処理部１８１が設けられた構成とされている。画像処理部１８１は、画像センサ１５１から供給された画像に基づいて、視聴条件としての視聴距離Ｄを算出し、入力部４１に供給する。
【０１７２】
［画像変換処理の説明］
次に、図２２のフローチャートを参照して、図２０の立体画像表示システムにより行なわれる画像変換処理について説明する。なお、ステップＳ８１の処理は、図９のステップＳ１１の処理と同様であるので、その説明は省略する。
【０１７３】
ステップＳ８２において、画像処理部１８１は、画像センサ１５１から供給された画像に基づいて、視聴条件としての視聴距離Ｄを算出し、入力部４１に供給する。
【０１７４】
例えば、画像センサ１５１−１および画像センサ１５１−２は、画像表示装置１４の正面にいるユーザの画像を撮像し、画像処理部１８１に供給する。ここで、画像センサ１５１−１および画像センサ１５１−２により撮像されるユーザの画像は、互いに視差を有する画像である。
【０１７５】
画像処理部１８１は、画像センサ１５１−１および画像センサ１５１−２から供給された画像に基づいて、それらの画像間の視差を算出し、算出された視差から、三角測量の原理により画像表示装置１４からユーザまでの視聴距離Ｄを算出する。画像処理部１８１は、このようにして算出された視聴距離Ｄを入力部４１に供給する。
【０１７６】
ステップＳ８３において、入力部４１は、リモートコマンダ５１からディスプレイ幅Ｗと両眼間隔ｅを受信し、これらのディスプレイ幅Ｗおよび両眼間隔ｅと、画像処理部１８１からの視聴距離Ｄとを、視聴条件として許容視差算出部６１に入力する。この場合、図９のステップＳ１２の場合と同様に、ユーザはリモートコマンダ５１を操作して、ディスプレイ幅Ｗと両眼間隔ｅを入力する。
【０１７７】
視聴条件が入力されると、その後、ステップＳ８４乃至ステップＳ９０の処理が行われて画像変換処理は終了するが、これらの処理は図９のステップＳ１３乃至ステップＳ１９と同様であるので、その説明は省略する。
【０１７８】
このようにして、立体画像表示システムは、ユーザの画像から視聴条件としての視聴距離Ｄを算出し、視聴条件に応じて立体画像の視差制御を行なう。したがって、ユーザは、より少ない操作で、より簡単に適切な視差の立体画像を視聴することができるようになる。
【０１７９】
なお、以上においては、２つの画像センサ１５１により撮像された画像から、三角測量の原理により視聴距離Ｄを算出する例について説明したが、視聴距離Ｄの算出は、どのような方法により行なわれてもよい。
【０１８０】
例えば、画像センサ１５１に代えて、特定パターンを投影するプロジェクタを設け、このプロジェクタにより投影されたパターンに基づいて視聴距離Ｄが算出されてもよい。また、直接、画像表示装置１４からユーザまでの距離を計測する距離センサを設け、距離センサにより視聴距離Ｄが算出されるようにしてもよい。
【０１８１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８２】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８３】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１８４】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１８５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１８７】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
さらに、本技術は、以下の構成とすることも可能である。
【０１９１】
［１］
表示しようとする立体画像の視聴条件を入力する入力部と、
前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
を備える画像処理装置。
【０１９２】
［２］
前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかである
上記［１］に記載の画像処理装置。
【０１９３】
［３］
前記視聴条件に基づいて、前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに備え、
前記変換特性設定部は、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定める
上記［１］または［２］に記載の画像処理装置。
【０１９４】
［４］
前記変換特性設定部は、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とする
上記［３］に記載の画像処理装置。
【０１９５】
［５］
前記立体画像を、前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに備える
上記［１］乃至［４］の何れかに記載の画像処理装置。
【０１９６】
［６］
前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに備える
上記［２］に記載の画像処理装置。
【０１９７】
［７］
前記立体画像を視聴する前記ユーザの画像、および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに備える
上記［６］に記載の画像処理装置。
【０１９８】
［８］
前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて前記視聴距離を算出する画像処理部をさらに備える
上記［２］に記載の画像処理装置。
【符号の説明】
【０１９９】
１２  視差変換装置，  １３  表示制御装置，  １４  画像表示装置，  ４１  入力部，  ４３  変換特性設定部，  ４４  補正視差算出部，  ４５  画像合成部，  ６１  許容視差算出部，  ６２  最大／最小視差検出部，  ６３  設定部，  １２１  演算部，  １２２  画像処理部，  １８１  画像処理部
【図１】
2012204852.tif 000004
【図２】
2012204852.tif 000005
【図３】
2012204852.tif 000006
【図４】
2012204852.tif 000007
【図５】
2012204852.tif 000008
【図６】
2012204852.tif 000009
【図７】
2012204852.tif 000010
【図８】
2012204852.tif 000011
【図９】
2012204852.tif 000012
【図１０】
2012204852.tif 000013
【図１１】
2012204852.tif 000014
【図１２】
2012204852.tif 000015
【図１３】
2012204852.tif 000016
【図１４】
2012204852.tif 000017
【図１５】
2012204852.tif 000018
【図１６】
2012204852.tif 000019
【図１７】
2012204852.tif 000020
【図１８】
2012204852.tif 000021
【図１９】
2012204852.tif 000022
【図２０】
2012204852.tif 000023
【図２１】
2012204852.tif 000024
【図２２】
2012204852.tif 000025
【図２３】
2012204852.tif 000026