(57)【要約】  立体映像を処理する画像処理装置であって、拡大又は縮小された立体映像から拡縮率を検出する拡縮率検出部と、撮影時における複数のカメラの間隔と、複数のカメラから輻輳点までの距離と、輻輳点での視差量とに基づく相似関係を用いて、間隔と拡縮率とにより表される視差量を算出する視差量算出部と、視差量算出部により算出された視差量を用いて立体映像の視差量を調節する視差量調節部と、を備える。
2012131979.tif 000002
【特許請求の範囲】
【請求項１】
立体映像を処理する画像処理装置であって、
拡大又は縮小された立体映像から拡縮率を検出する拡縮率検出部と、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出する視差量算出部と、
前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する視差量調節部と、
を備える画像処理装置。
【請求項２】
前記視差量算出部により算出された視差量を、立体映像が表示されるスクリーンの幅に応じて補正する視差量補正部をさらに備え、
前記視差量調節部は、
補正された視差量を用いて前記立体映像の視差量を調節する請求項１記載の画像処理装置。
【請求項３】
前記視差量調節部は、
前記視差量に基づく前記スクリーンからの被写体の飛び出し量を、輻輳角を用いて制限する制限部を備える請求項２記載の画像処理装置。
【請求項４】
前記カメラの光軸のズレ量を計測し、光軸のズレを補正する光軸補正部をさらに備え、
前記視差量算出部は、
前記光軸補正部により計測された光軸のズレ量を用いて前記間隔を修正する請求項１乃至３いずれか一項に記載の画像処理装置。
【請求項５】
立体映像を処理する画像処理装置に実行される画像処理方法であって、
拡大又は縮小された立体映像から拡縮率を検出し、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出し、
算出された前記視差量を用いて前記立体映像の視差量を調節する画像処理方法。
【請求項６】
拡大又は縮小された立体映像から拡縮率を検出し、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出し、
前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する、
処理をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、立体映像の技術に関して様々な研究、開発がなされている。立体映像を得るためには、１台のカメラに２つの光学系を設けた複眼カメラを用いて、左右の映像の撮影が行われる。このとき、左右の映像の視差量を調整することが行われるが、手動で調整を行うのが一般的であり、立体映像撮影のコストを増大させる要因となっていた。【０００３】
そこで、自動で視差量の調節を行うために、測距ユニットを用いて取得した被写体距離の範囲が撮影可能範囲の中心にくるように視差量を調節する技術がある。また、左右の映像の相関をとり、この結果によって、輻輳点（視差が０となる位置）が中央付近の被写体に合うように視差量を調節する技術がある。【０００４】
また、ズーム時において、ズームレンズを前後に動かし、入射瞳位置の変化によらず、輻輳点を固定する技術や、被写体位置を検出し、その被写体の視差を個人に依存した値に固定する技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６６１９号公報
【特許文献２】特開２００３−９２７７０号公報
【特許文献３】特開２００７−２６４３９６号公報
【特許文献４】特開２００２−２３２９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、ズームイン撮影を行うことを考える。ズームイン撮影では、被写体が前方に定位することが自然な立体映像であり、そのように視差量を調節することが適切であると考えられる。【０００７】
図１は、ズームインと被写体との関係を示す図である。図１（Ａ）は、ズームイン前の被写体１１、１２とスクリーン１３との関係を示す。図１（Ａ）では、被写体１１がスクリーン１３面上に存在し、被写体１２は、スクリーン１３より奥に存在するとする。図１（Ａ）に示すＦＯ方向は、被写体が前に飛び出る方向であり、ＢＡ方向は、被写体が後ろに引き込まれる方向である。図１（Ａ）に示す立体映像に対し、ズームインを行う。【０００８】
図１（Ｂ）は、立体映像に期待する結果を示す。図１（Ｂ）に示すように、被写体１１がスクリーン１３よりも前に移動して見えることが望ましい。この場合、測距ユニットを用いる装置では測定距離が近距離に制限され、被写体との距離によっては視差量を調節する機構が作用しない場合がある。また、測距ユニットを設けるため、従来の装置はコスト増であった。【０００９】
また、図１（Ｃ）は、従来技術の結果を示す。図１（Ｃ）では、輻輳点が被写体に合うように調節されるため、中央付近の被写体１１が常にスクリーン１３面上に見えるように視差量が調節される。【００１０】
この方式では、スクリーン１３面よりも後ろにある被写体１２がさらに後ろに移動して不自然に見えるだけでなく、ズームで増大した視差量によっては両目が外に開いてしまう危険な映像となる場合がある。【００１１】
図２は、危険な映像を説明するための図である。図２（Ａ）は、ｔ−１フレームの映像例を示す。左目で左の被写体１２を見て、右目で右の被写体１２を見ているとする。これにより、被写体１２は、被写体１１よりも奥に見える。【００１２】
図２（Ｂ）は、図２（Ａ）に示す状態から従来方式で映像をズームインしたときのｔフレームの映像例である。図２（Ｂ）に示すように、左目で見る左の被写体１２は左にシフトし、右目で見る右の被写体１２は、右にシフトする。なお、被写体１１の視差量が０に調節される。【００１３】
これにより、従来方式の映像は、左目は左に移動し、右目は右に移動し、両目が開いてしまう危険な映像になる。危険な映像となる理由は、人間の目は寄る方向には動くが、開く方向には動かないからである。【００１４】
前述したように危険な映像となることを、左カメラ３１と右カメラ３２とを略平行に並べる撮像系で説明する。左カメラ３１では、左目用の映像を撮影し、右カメラ３２では、右目用の映像を撮影する。【００１５】
図２（Ｃ）は、ｔ−１フレーム時の視差の関係を示す。図２（Ｃ）では、輻輳点ｐ３４で被写体１１が仮想スクリーン３３に存在する。このとき、被写体１２の視差量をｄ３５とする。【００１６】
図２（Ｄ）は、ｔフレーム時の視差の関係を示す。図２（Ｄ）では、被写体１１が仮想スクリーン３３面上に存在し続け、背景の被写体１２はズームインに伴い、後ろに移動する。このときの視差量をｄ３６とする。ここで、ｄ３５＜ｄ３６の関係が成り立つ。【００１７】
この結果、従来方式の映像は、ズームイン時に視差量が増大し、両目が外に開く映像となる危険性がある。したがって、従来技術では、ズーム時に視差量を適切に調節できず、立体映像の品質が良くないという問題点があった。【００１８】
そこで、開示の技術は、上記問題点に鑑みてなされたものであり、ズーム時に視差量を適切に調節し、自然な立体映像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
開示の一態様の画像処理装置は、立体映像を処理する画像処理装置であって、
拡大又は縮小された立体映像から拡縮率を検出する拡縮率検出部と、撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出する視差量算出部と、前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する視差量調節部とを備える。
【発明の効果】
【００２０】
開示の技術によれば、ズーム時に視差量を適切に調節し、自然な立体映像を生成することができる。
【図面の簡単な説明】
【００２１】
【図１】ズームインと被写体との関係を示す図。
【図２】危険な映像を説明するための図。
【図３】実施例１における画像処理装置の構成の一例を示すブロック図。
【図４】拡縮率αの算出例を説明するための図。
【図５】視差量算出部の構成の一例を示すブロック図。
【図６】拡縮率αと視差量ｄとカメラ間隔Ｄとの関係を示す図。
【図７】ズーム時の自然な映像を説明するための図。
【図８】視差量調節部の構成の一例を示すブロック図。
【図９】実施例１における画像処理の一例を示すフローチャート。
【図１０】視差量調節部のシフト制限処理の一例を示すフローチャート。
【図１１】無限遠点の視差量が変化しないことを説明するための図。
【図１２】実施例２における画像処理装置の構成の一例を示すブロック図。
【図１３】仮想スクリーン面と実際のスクリーン面との関係を示す図。
【図１４】実際のスクリーンにおける視聴距離の一例を示す図。
【図１５】視差量ｄ１の一例を示す図。
【図１６】累積移動平均値及び平均値との比の一例を示す図。
【図１７】明暗モジュールペア長、累積移動平均値、上限値、下限値の関係を示す図。
【図１８】実施例２における画像処理の一例を示すフローチャート。
【図１９】実施例３における画像処理装置の構成の一例を示すブロック図。
【図２０】実施例３における画像処理の一例を示すフローチャート。
【図２１】変形例における画像処理装置の構成の一例を示すブロック図。
【符号の説明】
【００２２】
１００、２００、３００  画像処理装置
１０１、３０２  拡縮率検出部
１０２、２０１、３０３  視差量算出部
１０３、２０３、３０４  視差量調節部
１２１  乗算部
１２２  記憶部
１３１  記憶部
１３２  シフト制限部
１３３  シフト部
２０２  視差量補正部
３０１  光軸ズレ補正部
【発明を実施するための形態】
【００２３】
以下、図面に基づいて、実施例について説明する。
【００２４】
［実施例１］
＜構成＞
図３は、実施例１における画像処理装置１００の構成の一例を示すブロック図である。図３に示す画像処理装置１００は、拡縮率検出部１０１、視差量算出部１０２、視差量調節部１０３を備える。
【００２５】
画像処理装置１００は、左映像、右映像を入力し、拡縮率検出部１０１、視差量調節部１０３に左右の映像を入力する。左映像、右映像については、画像処理装置１００内部に記憶されていてもよいし、複数の撮像系からそれぞれ入力されてもよい。
【００２６】
拡縮率検出部１０１は、左右の映像が入力され、この左右の映像に基づいて、ズームイン（拡大）又はズームアウト（縮小）時の拡縮率を検出する。検出した拡縮率は、視差量算出部１０２に出力される。
【００２７】
拡縮率の検出方法は、公知の技術のいずれかを用いればよい。例えば、特開２００５−３３２１２０を参照されたい。特開２００５−３３２１２０号公報では、水平、垂直の両エッジピークコードの各ピークコードの位置間隔に対する時間変化比を拡縮率とする。
【００２８】
また、拡縮率検出部１０１は、例えば、次のように拡縮率を検出してもよい。図４は、拡縮率αの算出例を説明するための図である。図４に示す左カメラ３１と右カメラ３２とで被写体１１を撮影する。このとき、ズームインを行って被写体１１の位置が、カメラ３１，３２から輻輳点までの距離Ｌ１からカメラ方向にＬ２移動したとする。
【００２９】
このときの拡縮率αは、次の式により求められる。
【００３０】
【数１】
2012131979.tif 000003
ここで、Ｄはカメラ間隔であり、Ｌ１＞＞Ｄであることを考慮すると、ＸはＬ１で近似される。同様に、Ｌ１−Ｌ２＞＞Ｄであることを考慮すると、Ｘ’はＬ１−Ｌ２で近似される。
【００３１】
よって、拡縮率αは、次のように変形される。
α＝Ｘ／Ｘ’＝Ｌ１／（Ｌ１−Ｌ２）  ・・・式（２）
図３に戻り、視差量算出部１０２は、カメラ間隔Ｄと拡縮率αとを用いて、ズーム時の適切な視差量ｄを算出する。視差量算出部１０２については、図５を用いて説明する。
【００３２】
図５は、視差量算出部１０２の構成の一例を示すブロック図である。図５に示す視差量算出部１０２は、乗算部１２１、記憶部１２２を備える。記憶部１２２は、左カメラと右カメラとの間隔Ｄを記憶する。記憶部１２２は、この間隔Ｄを予め記憶しておくか、画像処理時に画像処理装置１００に入力されて記憶しておく。
【００３３】
乗算部１２１は、視差量ｄを次の式により算出する。
ｄ＝（α−１）×Ｄ  ・・・式（３）
式（３）に示すように、視差量ｄは、拡縮率αとカメラ間隔Ｄとで表される。式（３）で視差量が算出できる理由を以下に説明する。
【００３４】
図６は、拡縮率αと視差量ｄとカメラ間隔Ｄとの関係を示す図である。図６に示すように、被写体１１を仮想スクリーン３３上に投影したとすると、左右の映像で被写体１１には視差量ｄが発生する。このとき、図６に示すように、三角形３７と三角形３８とが相似の関係にあることを用いると次の関係が成り立つ。
Ｄ／２：ｄ／２＝Ｌ１−Ｌ２：Ｌ２  ・・・式（４）
この式（４）を変形すると、次の式（５）が成り立つ。
ｄ＝Ｌ２／（Ｌ１−Ｌ２）×Ｄ  ・・・式（５）
さらに、式（５）を変形し、式（６）とする。
ｄ＝（（Ｌ１／（Ｌ１−Ｌ２））−１）×Ｄ  ・・・式（６）
ここで、式（２）によりＬ１／（Ｌ１−Ｌ２）にαを代入すると、前述した式（３）が成り立つ。
ｄ＝（α―１）×Ｄ
よって、ズーム時の適切な視差量ｄは、拡縮率αとカメラ間隔Ｄとで算出することができる。求めた視差量ｄは、視差量調節部１０３に出力される。
【００３５】
図３に戻り、視差量調節部１０３は、視差量算出部１０２から視差量ｄを取得する。視差量調節部１０３は、視差量ｄを取得すると、左右の映像の視差量がｄとなるように調節する。視差量調節部１０３は、例えば、左の映像を左に視差量ｄの半分（ｄ／２）シフトし、右の映像を右に視差量ｄの半分（ｄ／２）シフトする。これにより、被写体は左右の映像で視差量ｄを有することになる。これにより、ズーム時に適切な視差量で左右の映像を調節することで、自然な立体映像を生成することができる。
【００３６】
図７は、ズーム時の自然な映像を説明するための図である。図７（Ａ）に示すように、被写体１１に対し、算出された視差量ｄ４０を有するよう立体映像をシフトさせる。これにより、図７（Ｂ）に示すように被写体１１が前に移動するとともに、従来技術の結果（図２）において後ろに移動していた背景の被写体１２も前に移動し、両目が開かない効果がある。
【００３７】
また、視差量調節部１０３は、ズームイン時に、スクリーン面からの被写体の飛び出し量を、輻輳角を用いて制限してもよい。図８は、視差量調節部１０３の構成の一例を示すブロック図である。
【００３８】
図８に示す視差量調節部１０３は、記憶部１３１、シフト制限部１３２、シフト部１３３を備える。記憶部１３１は、例えば、右カメラと左カメラとのカメラ間隔Ｄを記憶する。
【００３９】
シフト制限部１３２は、ズームイン時にスクリーン面からの被写体の飛び出し量を、輻輳角を用いて制限する。このとき、輻輳角θは、拡縮率αの変形式（７）により算出されるＬ２とカメラ間隔Ｄとを用いて、次の式（８）により算出される。
Ｌ２／Ｌ１＝（α―１）／α  ・・・式（７）
θ＝２ｔａｎ−１（Ｄ／（２×Ｌ２））  ・・・式（８）
なお、Ｌ１は、カメラの角度などのカメラパラメータにより事前に算出されておいてもよく、事前に設定されておいてもよい。
【００４０】
シフト制限部１３２は、算出した輻輳角θが一定の値以上になった場合、それ以上前に被写体を移動させないようにするため、左右の映像のシフトを行わない。よて、シフト制限部１３２は、輻輳角θが所定値未満のときに視差量ｄをシフト部１３３に出力し、輻輳角θが所定値以上の場合に視差量ｄをシフト部１３３に出力しない。所定値は、例えば、１度とする。この１度は、３Ｄコンソーシアムの３ＤＣ安全ガイドラインに基づく値である。
【００４１】
シフト部１３３は、シフト制限部１３２から取得した視差量ｄを用いて、左右の映像を水平方向にシフトする。シフトする量は、それぞれの映像に対してｄ／２である。
【００４２】
＜動作＞
次に、実施例１における画像処理装置１００の動作について説明する。図９は、実施例１における画像処理の一例を示すフローチャートである。
【００４３】
図９に示すステップＳ１０１で、拡縮率検出部１０１は、ズームイン（拡大）、ズームアウト（縮小）時の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。
【００４４】
ステップＳ１０２で、視差量算出部１０２は、拡縮率α−１とカメラ間隔Ｄとを乗算することにより視差量ｄを算出する。
【００４５】
ステップＳ１０３で、視差量調節部１０３は、例えば、視差量ｄの半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、ズーム時に適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。
【００４６】
図１０は、視差量調節部１０３のシフト制限処理の一例を示すフローチャートである。図１０に示す処理は、図９に示すステップＳ１０３で行われてもよい。
【００４７】
ステップＳ２０１で、シフト制限部１３２は、拡縮率αの式から算出されるＬ２とカメラ間隔Ｄとを用いて式（８）により、輻輳角θを算出する。
【００４８】
ステップＳ２０２で、シフト制限部１３２は、算出した輻輳角θが所定値以上であるか否かを判定する。輻輳角θが所定値以上であれば（ステップＳ１０２−ＹＥＳ）、この処理を終了し、輻輳角θが所定値未満であれば（ステップＳ１０２−ＮＯ）ステップＳ２０３に進む。
【００４９】
ステップＳ２０３で、シフト部１３３は、視差量分、左右の映像のいずれか、又は両方の映像を合計視差量分、水平方向にシフトして視差量を調節する。これにより、輻輳角が所定値以上の場合、ステップＳ２０３の処理を行わないことで、被写体が必要以上に飛び出すことを制限することができる。
【００５０】
以上、実施例１によれば、シフトする視差量を拡縮率から算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。
【００５１】
（撮像系における無限遠点の視差量）
ここで、実施例１において撮像系における無限遠点の視差量が変化しないことを保証する。
【００５２】
図１１は、無限遠点の視差量が変化しないことを説明するための図である。図１１に示すように、無限遠点の視差量は、左カメラ３１と右カメラ３２のカメラ間隔Ｄと同じであり、α倍ズームインするとαＤとなる。
【００５３】
このままでは両目が開いてしまうことになるが、実施例１における処理を適用することで、α倍にズームインした時の視差量ｄは、（α―１）Ｄであるため、次の式が成り立つ。
αＤ−（α−１）Ｄ＝Ｄ  ・・・式（９）
この式（９）は、ズームイン時において、無限遠点の視差量が変化しないことが保証できることを示している。よって、実施例１では、無限遠点でも視差量が変化せずに、自然な立体映像を生成することができる。
【００５４】
なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。
【００５５】
［実施例２］
次に、実施例２における画像処理装置２００について説明する。実施例２では、実際のスクリーン幅に合わせて視差量を補正する。実際のスクリーン幅とは、映像が表示される画面の幅である。
【００５６】
＜構成＞
図１２は、実施例２における画像処理装置２００の構成の一例を示すブロック図である。図１２に示す画像処理装置２００は、拡縮率検出部１０１、視差量算出部２０１、視差量補正部２０２、視差量調節部２０３を備える。拡縮率検出部１０１は、実施例１と同様の機能を有するので、説明を省略する。
【００５７】
視差量算出部２０１は、実施例１同様にして算出した視差量ｄを視差量補正部２０２に出力する。
【００５８】
視差量補正部２０２は、取得した視差量ｄに対し、実際のスクリーン面の幅に合わせて視差量を補正する。このとき、補正後の視差量をｄ１とする。視差量補正部２０２は、仮想スクリーン面と実際のスクリーン面とが相似の関係にあることを用いて視差量ｄ１を求める。
【００５９】
図１３は、仮想スクリーン５１面と実際のスクリーン５２面との関係を示す図である。図１３に示すように、仮想スクリーン５１面と実際のスクリーン５２面とは相似の関係が成り立つ。
【００６０】
よって、仮想スクリーン５１の幅をＷ２、視差量をｄとし、実際のスクリーン５２の幅をＷ１、補正された視差量をｄ１とする。次の式（１０）が成り立つ。
ｄ：ｄ１＝Ｗ２：Ｗ１  ・・・式（１０）
式（１０）を変形すると、ｄ１は式（１１）により算出される。
ｄ１＝ｄ×（Ｗ１／Ｗ２）  ・・・式（１１）
視差量補正部２０２は、式（１１）により補正された視差量ｄ１を算出する。算出した視差量ｄ１は、視差量調節部２０３に出力される。なお、仮想スクリーンの幅Ｗ２は、次の式（１２）により算出される。
Ｗ２＝２×ｔａｎ（θ１／２）×Ｌ１  ・・・式（１２）
θ１：撮像時のカメラにおける水平方向の画角
Ｌ１：撮影時のカメラから輻輳点までの距離
図１２に戻り、視差量調節部２０３は、視差量補正部２０２から取得した視差量ｄ１を用いて、実施例１と同様にして左右の映像の視差量を調節する。
【００６１】
（視聴距離）
次に、実際のスクリーンにおける視聴距離について説明する。図１４は、実際のスクリーンにおける視聴距離の一例を示す図である。図１４に示すように、距離Ｌ３を、実施のスクリーンから目までの距離とする。
【００６２】
このとき視聴距離Ｌ３は、以下の式（１３）により算出される。
Ｌ３＝（１／２）×Ｗ１／ｔａｎ（θ２／２）  ・・・式（１３）
Ｗ１：実際のスクリーン面の幅
θ２：水平方向の基準画角
水平方向の基準画角は、目の視聴できる角度によって決まる。
【００６３】
（補正後の視差量）
次に、補正後の視差量ｄ１の一例を示す。図１５は、視差量ｄ１の一例を示す図である。図１５に示す例は、次のパラメータが設定されている。
θ１＝３９．６度（３５ｍｍフルサイズデジタル一眼レフカメラで、焦点距離は５０ｍｍ）
Ｗ１＝８１９ｍｍ（３７型ディスプレイ）
Ｌ１＝１００００ｍｍ（輻輳点をカメラから１０ｍの位置に設定）
Ｄ＝６５ｍｍ（一般的な人間の目の幅）
視差量補正部２０２は、式（３）、式（１１）、式（１２）を用いて拡縮率αを変動させると、図１５に示す補正後の視差量ｄ１を算出できる。例えば、拡縮率αが２のときは、補正後の視差量ｄ１は、７．３９ｍｍであり、拡縮率αが３のときは、補正後の視差量ｄ１は、１４．７８ｍｍである。視差量補正部２０２は、ズーム時の拡縮率αに応じて算出した補正後の視差量ｄ１を視差量調節部２０３に出力する。
【００６４】
（被写体の動き）
次に、図１５で説明したパラメータを用いて、スクリーン（ディスプレイ）の大きさの違いによる被写体の動きについて説明する。
【００６５】
図１６は、１００００ｍｍのディスプレイ、拡縮率２倍の被写体の動きを示す図である。図１６に示すように、拡縮率α＝２、Ｗ１＝１００００、水平の基準画角＝３９．６度とするとき、視聴距離は、式（１３）により、１３．９ｍが望ましい。
【００６６】
例えば、拡縮率αを２にしたとき、各被写体は、図１６に示す位置に見える。例えば、被写体１１は、実際のスクリーン面から飛び出す方向の１．８ｍの位置に見え、被写体１２は、実際のスクリーン面から奥行き方向の２．２ｍの位置に見える。
【００６７】
図１７は、１００ｍｍのディスプレイ、拡縮率２倍の被写体の動きを示す図である。図１７に示すように、拡縮率α＝２、Ｗ１＝１００、水平の基準画角＝３９．６度とするとき、視聴距離は、式（１３）により、１３９ｍｍが望ましい。
【００６８】
例えば、拡縮率αを２にしたとき、各被写体は、図１７に示す位置に見える。例えば、被写体１１は、実際のスクリーン面から飛び出す方向の１．８ｍｍの位置に見え、被写体１２は、実際のスクリーン面から奥行き方向の３２ｍｍの位置に見える。
【００６９】
これにより、実際のスクリーンの幅に合わせて視差量を調節することで、実際のスクリーン幅に応じて自然な立体映像を生成することができる。
【００７０】
＜動作＞
次に、実施例２における画像処理装置２００の動作について説明する。図１８は、実施例２における画像処理の一例を示すフローチャートである。
【００７１】
図１８に示すステップＳ３０１で、拡縮率検出部１０１は、ズームイン（拡大）、ズームアウト（縮小）時の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。
【００７２】
ステップＳ３０２で、視差量算出部２０１は、拡縮率α−１とカメラ間隔Ｄとを乗算することにより視差量ｄを算出する。
【００７３】
ステップＳ３０３で、視差量補正部２０２は、視差量ｄを、実際のスクリーン幅に合わせて補正し、補正後の視差量ｄ１を算出する。補正後の視差量ｄ１は、式（１１）により算出される。
【００７４】
ステップＳ３０４で、視差量調節部２０３は、補正後の視差量ｄの半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、実際のスクリーンの幅に合わせた適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。
【００７５】
（表示系の無限遠点の視差量）
ここで、実施例２において表示系における無限遠点の視差量が変化しないことを保証する。
【００７６】
図８で説明した通り、撮像系における無限遠点の視差量はDであることから、表示系における無限遠点の視差量ｄ２は、次の式（１４）により算出される。
ｄ２＝Ｄ×（Ｗ１／Ｗ２）  ・・・式（１４）
Ｄ：カメラ間隔
Ｗ１：実際のスクリーン面の幅
Ｗ２：仮想スクリーン面の幅
また、視聴距離を考慮に入れた無限遠点の視差量ｄ３は、次の式（１５）により算出される。
ｄ３＝ｄ２×（Ｌ４／Ｌ３）  ・・・式（１５）
Ｌ３：実際のスクリーンを見る際の視聴距離
Ｌ４：仮想スクリーンを見る際の視聴距離
Ｌ４＝（１／２）×Ｗ２／ｔａｎ（θ２／２）  ・・・式（１６）
Ｌ３＝（１／２）×Ｗ１／ｔａｎ（θ２／２）  ・・・式（１３）
ここで、式（１３）と式（１４）と式（１６）とを式（１５）に代入すると、ｄ３＝Ｄとなり、表示系における無限遠点の視差量が変化しないことが保証されたことを示す。
【００７７】
なお、撮影時のカメラ間隔Ｄが目の幅以上の場合、目が外に開く可能性がある。よって、この値Ｄを眼間距離Ｄ’に補正することが望ましい。例えば、表示系では、（−Ｄ＋Ｄ’）／β（β＝Ｌ４／Ｌ３（仮想スクリーンを見る際の視聴距離／実際のスクリーンを見る際の視聴距離））分、視差量調節部２０３が左右の映像をシフトすればよい。眼間距離Ｄ’は、例えば、一般的な人間の目の幅である６５ｍｍに設定しておけばよい。
【００７８】
以上、実施例２によれば、シフトする視差量を拡縮率及び実際のスクリーン幅に基づき算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。
【００７９】
なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。
【００８０】
［実施例３］
次に、実施例３における画像処理装置３００について説明する。実施例３では、光軸のずれを補正して、補正量をカメラ間隔に反映する。
【００８１】
＜構成＞
図１９は、実施例３における画像処理装置３００の構成の一例を示すブロック図である。図１９に示す画像処理装置３００は、光軸ズレ補正部３０１、拡縮率検出部３０２、視差量算出部３０３、視差量調節部３０４を備える。
【００８２】
図１９に示す光軸ズレ補正部３０１は、レンズと撮像素子との間の光軸のズレ量を計測し、このズレ量を用いて左右の映像を補正する。光軸ズレ補正については、公知の技術を用いればよい。光軸ズレ補正部３０１は、実際のスクリーン面における水平方向の補正量ｄ４を視差量算出部３０３に出力する。
【００８３】
視差量算出部３０３は、補正量ｄ４を用いてカメラ間隔Ｄを修正する。補正量算出部３０３は、例えば、次の式（１７）を用いてカメラ間隔Ｄを修正する。修正後のカメラ間隔をＤ１とする。
Ｄ１＝Ｄ＋ｄ４×（Ｗ２／Ｗ１）  ・・・式（１７）
視差量算出部３０３は、修正後のカメラ間隔Ｄ１と拡縮率αとを用いて視差量ｄ５を式（１８）により算出する。
ｄ５＝（α−１）×Ｄ１  ・・・式（１８）
算出された視差量ｄ５は、視差量調節部３０４に出力される。
【００８４】
視差量調節部３０４は、視差量ｄ５を用いて、光軸ズレ補正後の左右の映像を補正する。補正処理は、実施例１で説明した処理と同様である。
【００８５】
＜動作＞
次に、実施例３における画像処理装置３００の動作について説明する。図２０は、実施例３における画像処理の一例を示すフローチャートである。
【００８６】
図２０に示すステップＳ４０１で、光軸ズレ補正部３０１は、公知の技術を用いて左右の映像の光軸のズレを補正する。水平方向の補正量を視差量算出部３０３に出力する。
【００８７】
ステップＳ４０２で、拡縮率検出部３０２は、ズームイン（拡大）、ズームアウト（縮小）時の光軸ズレ補正後の映像から拡縮率αを検出する。拡縮率αは、公知の求め方を用いればよい。
【００８８】
ステップＳ４０３で、視差量算出部３０３は、光軸ズレ補正部３０１により補正した水平方向のｄ４を用いてカメラ間隔Ｄを式（１７）により修正する。
【００８９】
ステップＳ４０４で、視差量算出部３０３は、拡縮率α−１と修正後のカメラ間隔Ｄ１とを乗算することにより視差量ｄ５を算出する。
【００９０】
ステップＳ４０５で、視差量調節部３０４は、例えば、視差量ｄ５の半分ずつ、左右の映像を水平方向にシフトし、視差量を調節する。これにより、光軸ズレを補正していても、ズーム時に適切な視差量で映像をシフトすることができ、自然な立体映像を生成することができる。なお、実施例３においても、実施例２における実際のスクリーン幅に合わせて視差量を補正するようにしてもよい。また、実施例３でも、実施例１における輻輳角によるシフト制限を行ってもよい。
【００９１】
以上、実施例３によれば、シフトする視差量を拡縮率及び光軸ズレ補正後のカメラ間隔に基づき算出することで、例えば、ズームイン時に被写体が前方に定位する自然な立体映像の生成を可能とする。
【００９２】
なお、ズームアウトした時の視差量の調節処理は、ズームインした時の視差量の調節処理と同様にして行えばよい。
【００９３】
［変形例］
図２１は、変形例における画像処理装置４００の構成の一例を示すブロック図である。図２１に示すように、画像処理装置４００は、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、入力部４０６、表示部４０７、撮像部４０８、４０９を備える。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００９４】
制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部４０１は、主記憶部４０２や補助記憶部４０３に記憶されたプログラムを実行する演算装置であり、入力部４０６や記憶装置からデータを受け取り、演算、加工した上で、表示部４０７や記憶装置などに出力する。
【００９５】
また、制御部４０１は、補助記憶部４０３などに記憶されている画像処理プログラムを実行し、実施例において説明した画像処理を行う。
【００９６】
主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００９７】
補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００９８】
ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【００９９】
また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４００にインストールされる。インストールされた所定のプログラムは、画像処理装置４００により実行可能となる。
【０１００】
入力部４０６は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０７の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部４０６は、ユーザが制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１０１】
表示部４０７は、例えばＬＣＤ（Liquid Crystal Display）等であり、制御部４０１から入力される表示データに応じた表示が行われる。なお、表示部４０７は、外部に設けられてもよく、その場合は、画像処理装置４００は、表示制御部を有する。
【０１０２】
撮像部４０８は、例えばＣＣＤ（Charge Coupled Device）を有し、例えば左目用の撮像画像を生成する。
【０１０３】
撮像部４０９は、例えばＣＣＤ（Charge Coupled Device）を有し、例えば右目用の撮像画像を生成する。撮像部４０８、４０９により撮像された画像を含む映像は、制御部４０１により、各実施例で説明した処理で視差量を調節される。
【０１０４】
画像処理装置４００は、例えば複数のカメラを有する撮影装置、携帯端末装置などである。また、画像処理装置４００は、撮像部４０８、４０９を別装置とし、別装置から左右の映像を取得したり、内部に記憶しておいた左右の映像を取得したりする場合は情報処理装置にも適用可能である。
【０１０５】
前述した各実施例で説明した各部は、例えば、制御部４０１により実現されうる。また、各実施例における画像処理装置を１又は複数の半導体集積化回路として、携帯端末装置や撮影装置や情報処理装置などに実装することも可能である。
【０１０６】
また、前述した実施例で説明した画像処理を実現するためのプログラムを記録媒体に記録することで、実施例での画像処理をコンピュータに実施させることができる。
【０１０７】
また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した制御処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１０８】
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【図１】
2012131979.tif 000004
【図２】
2012131979.tif 000005
【図３】
2012131979.tif 000006
【図４】
2012131979.tif 000007
【図５】
2012131979.tif 000008
【図６】
2012131979.tif 000009
【図７】
2012131979.tif 000010
【図８】
2012131979.tif 000011
【図９】
2012131979.tif 000012
【図１０】
2012131979.tif 000013
【図１１】
2012131979.tif 000014
【図１２】
2012131979.tif 000015
【図１３】
2012131979.tif 000016
【図１４】
2012131979.tif 000017
【図１５】
2012131979.tif 000018
【図１６】
2012131979.tif 000019
【図１７】
2012131979.tif 000020
【図１８】
2012131979.tif 000021
【図１９】
2012131979.tif 000022
【図２０】
2012131979.tif 000023
【図２１】
2012131979.tif 000024
【手続補正書】
【提出日】平成25年8月1日(2013.8.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
立体映像を処理する画像処理装置であって、
拡大又は縮小された立体映像から拡縮率を検出する拡縮率検出部と、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出する視差量算出部と、
前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する視差量調節部と、
を備える画像処理装置。
【請求項２】
前記視差量算出部により算出された視差量を、立体映像が表示されるスクリーンの幅に応じて補正する視差量補正部をさらに備え、
前記視差量調節部は、
補正された視差量を用いて前記立体映像の視差量を調節する請求項１記載の画像処理装置。
【請求項３】
前記視差量調節部は、
前記視差量に基づく前記スクリーンからの被写体の飛び出し量を、輻輳角を用いて制限する制限部を備える請求項２記載の画像処理装置。
【請求項４】
立体映像を処理する画像処理装置に実行される画像処理方法であって、
拡大又は縮小された立体映像から拡縮率を検出し、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出し、
算出された前記視差量を用いて前記立体映像の視差量を調節する画像処理方法。
【請求項５】
拡大又は縮小された立体映像から拡縮率を検出し、
撮影時における複数のカメラの間隔と、前記複数のカメラから輻輳点までの距離と、前記輻輳点での視差量とに基づく相似関係を用いて、前記間隔と前記拡縮率とにより表される前記視差量を算出し、
前記視差量算出部により算出された視差量を用いて前記立体映像の視差量を調節する、
処理をコンピュータに実行させるための画像処理プログラム。
【国際調査報告】
2012131979.tif 000025
2012131979.tif 000026
2012131979.tif 000027