(57)【要約】【課題】自然でより快適に立体表示や平面表示を行えるようにする。【解決手段】情報取得部１１は、視差調整が行われた立体表示素材についての視差調整情報を取得する。画像変換部１２は、情報取得部で取得した視差調整情報に基づき、視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する。立体表示を行う場合には、視差調整が行われている立体表示素材を用いて画像表示が行われることから、立体像をより自然に快適に表示できる。平面表示を行う場合、視差調整情報に基づき逆変換処理を行うことで生成した視差調整前の素材を用いて画像表示が行われることから、平面表示において静止しているオブジェクトが視差調整の影響によって動きを生じて表示されてしまうことを防止して、立体像を自然に表示できる。【選択図】        図５
2013150249.tif 000002
【特許請求の範囲】
【請求項１】
視差調整が行われた立体表示素材についての視差調整情報を取得する情報取得部と、
前記情報取得部で取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する画像変換部と
を備える画像処理装置。
【請求項２】
前記画像変換部は、前記逆変換処理において、画像のない領域が生じないように画像の拡大または画像のない領域の補間処理を行う請求項１記載の画像処理装置。
【請求項３】
前記画像変換部は、視差調整の調整量に応じて画像を拡大することで前記画像のない領域が生じないようにする請求項２記載の画像処理装置。
【請求項４】
前記画像変換部は、視差調整の最大調整量に応じて画像を拡大して、前記画像のない領域が生じないようにする請求項２記載の画像処理装置。
【請求項５】
前記画像変換部は、シーン毎の視差調整の最大調整量に応じて画像を拡大して、前記画像のない領域が生じないようにする請求項４記載の画像処理装置。
【請求項６】
前記画像変換部は、前記視差調整において画像全体がシフトされている場合、前記逆変換処理で逆方向に画像全体をシフトさせる請求項１記載の画像処理装置。
【請求項７】
前記画像変換部は、前記視差調整においてオブジェクトがシフトされている場合、前記逆変換処理で逆方向に前記オブジェクトをシフトさせる請求項１記載の画像処理装置。
【請求項８】
前記情報取得部は、立体表示素材が視差調整の行われている素材であるか否かを示す識別情報を取得し、
前記画像変換部は、立体表示を行う場合に、前記情報取得部で取得された識別情報で前記視差調整が行われていないことが示されているとき前記視差調整を行う請求項１記載の画像処理装置。
【請求項９】
視差調整が行われた立体表示素材についての視差調整情報を取得する工程と、
前記取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する工程と
を含む画像処理方法。
【請求項１０】
立体表示素材の画像処理をコンピュータで実行させるプログラムであって、
視差調整が行われた立体表示素材についての視差調整情報を取得する手順と、
前記取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、自然でより快適に立体表示や平面表示を行えるようにする。
【背景技術】
【０００２】
近年、画像表示装置では、立体表示を行う機能が設けられている。このような画像表示装置により表示された立体画像を視聴する際には、実世界と輻輳角が同じであっても焦点距離が異なってくるため、視覚疲労を起こす要因となる。特に、画面内においてある部分が飛び出し過ぎている場合や、動画表示中に不用意に物体が飛び出す場合など、視差の変化が大きいと視聴者に負担になる。このため、視聴者の負担を軽減し、立体像を自然でより快適に見せるために、画像を水平方向にシフトすることによって、視差を調整する技術が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０５５０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、水平シフトによって視差調整された立体表示素材を用いて平面表示を行うと、表示された画像で視差調整に基づいた動きを生じてしまう場合がある。例えば、画面内に静止しているオブジェクトと動いているオブジェクトが混在する場合に、動いているオブジェクトの奥行きが大きく変化すると、立体像を自然でより快適に見せるために、画像を水平方向にシフトすることが行われる。このため、画像の水平方向のシフトにより静止しているオブジェクトも移動される。このため、視差調整された立体表示素材を用いて平面表示を行うと、静止しているオブジェクトが動いているオブジェクトの奥行きの変化に応じて動きを生じて表示されてしまう。
【０００５】
そこで、この技術では、自然でより快適に立体表示や平面表示を行えるようにした画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、視差調整が行われた立体表示素材についての視差調整情報を取得する情報取得部と、前記調整情報取得部で取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材から視差調整が行われる前の素材を平面表示素材として生成する画像変換部とを備える画像処理装置にある。
【０００７】
この技術においては、視差調整が行われた立体表示素材についての視差調整情報を取得して、この視差調整情報に基づき、視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する。例えば、視差調整において画像全体がシフトされている場合、逆変換処理で逆方向に画像全体をシフトさせる。また、視差調整においてオブジェクトがシフトされている場合、逆変換処理で逆方向にオブジェクトをシフトさせる。
【０００８】
また、逆変換処理では、画像のない領域が生じないように画像の拡大または画像のない領域の補間処理を行う。画像を拡大する場合、視差調整の調整量に応じて画像を拡大することで画像のない領域が生じないようにする。または、視差調整の最大調整量に応じて画像を拡大して、画像のない領域が生じないようにする。または、シーン毎の視差調整の最大調整量に応じて画像を拡大して、画像のない領域が生じないようにしてもよい。
【０００９】
さらに、立体表示素材が視差調整の行われている素材であるか否かを示す識別情報を取得して、立体表示を行う場合に、取得された識別情報で視差調整が行われていないことが示されているとき視差調整を行う。
【００１０】
この技術の第２の側面は、視差調整が行われた立体表示素材についての視差調整情報を取得する工程と、前記取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する工程とを含む画像処理方法にある。
【００１１】
この技術の第３の側面は、立体表示素材の画像処理をコンピュータで実行させるプログラムであって、視差調整が行われた立体表示素材についての視差調整情報を取得する手順と、前記取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する手順とを前記コンピュータで実行させるプログラムにある。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１３】
この技術によれば、視差調整が行われた立体表示素材についての視差調整情報が取得されて、この取得された視差調整情報に基づき、視差調整が行われた立体表示素材から視差調整が行われる前の素材が平面表示素材として生成される。このため、平面表示では、視差調整によって静止しているオブジェクトが動きを生じて表示されてしまうことを防止することができるようになり、自然でより快適に立体表示や平面表示を行えるようになる。
【図面の簡単な説明】
【００１４】
【図１】差と立体像までの距離との関係を説明するための図である。
【図２】シフト処理の態様を示す図である。
【図３】立体像距離の変化の関係を示すグラフである。
【図４】立体視の快適な範囲を説明するための図である。
【図５】画像処理装置の構成を例示した図である。
【図６】画像処理装置の第１の動作を例示したフローチャートである。
【図７】画像処理装置の第１の動作を例示した図である。
【図８】画像の補間を説明するための図である。
【図９】画像の拡大を行う場合の動作を例示している。
【図１０】画像処理装置の第２の動作を例示したフローチャートである。
【図１１】画像処理装置の第２の動作において、視差調整前の素材が記録媒体に記録されている場合を例示した図である。
【図１２】コンピュータ装置の構成を例示した図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．視差調整について
２．実施の形態の構成および動作
２−１．画像処理装置の構成
２−２．画像処理装置の第１の動作
２−３．画像処理装置の第２の動作
３．ソフトウェア処理の場合
【００１６】
＜１．視差調整について＞
まず視差調整について説明する。座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）、左右画像上の注目画素をｐ（ｘL，ｙL）、ｐ（ｘR，ｙR）、視差制御後の左右画像上の画素をｐ（ｘ'L，ｙ'L）、ｐ（ｘ'R，ｙ'R）とする。ここで、視差調整の画像変換において、左右画像の相対位置を水平方向にシフトさせるシフト処理は、式（１）として定義される。このとき、視差制御パラメータは、シフト量ｓである。
【００１７】
【数１】
2013150249.tif 000003
【００１８】
図１は、視差と立体像までの距離との関係を説明するための図である。この図では、左眼と右眼の間隔を両眼間隔ｄe、左眼と右眼の中心から立体ディスプレイの表示面までの距離を視距離Ｌｓ、左眼と右眼の中心から立体像までの距離を立体像距離Ｌdとしている。また、左画像の表示面上の水平座標をｘL、右画像の表示面上の水平座標をｘRとしている。このとき、視差ｄは、式（２）に示すように、ＸＬとＸＲとの相対的な距離として定義される。
ｄ＝ｘR−ｘL  ・・・（２）
【００１９】
すなわち、立体像が立体ディスプレイの表示面よりも奥に存在する場合には視差ｄは正の数になり、立体ディスプレイの表示面よりも手前に存在する場合には視差ｄは負の数になる。
【００２０】
また、図１において、立体像距離Ｌdと視距離Ｌsの比は、両眼間隔ｄeと視差ｄによって式（３）から算出できる。さらに、立体像距離Ｌdは式（４）により表すことができる。
Ｌd：Ｌs＝ｄe：（ｄe−ｄ）    ・・・（３）
Ｌd＝Ｌs・ｄe／（ｄe−ｄ）    ・・・（４）
【００２１】
ここで、両眼間隔ｄeと視距離Ｌsを固定値として考えると、立体像距離Ｌdは式（４）に示すように視差ｄに依存する。すなわち、視差ｄに依存して立体感（立体像距離Ｌd）が変化することが明らかである。
【００２２】
図２は、シフト処理の態様を示す図である。図２の（Ａ）は、シフト量ｓ＝０、すなわちシフト処理が行われていない状態の左右画像である。左画像（左視点素材）の水平（ｘ）方向の注目画素の座標をｘL、右画像（右視点素材）の水平方向の注目画素の座標をｘRとしている。
【００２３】
図２の（Ｂ）は、シフト量ｓ＞０、すなわち左右画像が互いに遠ざかる方向にシフト処理を行った状態を示す図である。左画像における注目画素の座標がｘLからｘ'Lになるように、左画像は左方向へｓ／２画素シフトされている。一方、右画像における注目画素の座標がｘRからｘ'Rになるように、右画像は右方向へｓ／２画素シフトされている。すなわち、左右画像がそれぞれｓ／２画素ずつ、合計ｓ画素シフトされたことになる。
【００２４】
図２の（Ｃ）は、シフト量ｓ＜０、すなわち左右画像が互いに近づく方向にシフト処理を行った状態を示す図である。左画像における注目画素の座標がｘLからｘ''Lになるように、左画像は右方向へｓ／２画素シフトされている。一方、右画像における注目画素の座標がｘRからｘ'''Rになるように、右画像は左方向へｓ／２画素シフトされている。すなわち、左右画像がそれぞれｓ／２画素ずつ、合計ｓ画素シフトされたことになる。
【００２５】
ここで、座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘL，ｙL）、ｐ（ｘR，ｙR）とすると、シフト量ｓによる視差調整後の左右画像上の画素ｐ（ｘ'L，ｙ'L）、ｐ（ｘ'R，ｙ'R）は、式（５），（６）から算出できる。
ｐ（ｘ'L，ｙ'L）＝ｐ（ｘL−ｓ／２，ｙL）  ・・・（５）
ｐ（ｘ'R，ｙ'R）＝ｐ（ｘR＋ｓ／２，ｙR）  ・・・（６）
【００２６】
図３は、立体像距離の変化の関係を示すグラフである。縦の太線は立体ディスプレイの表示面の位置を示しており、ここでは例えば１．５［ｍ］を想定している。
【００２７】
シフト量ｓでシフト処理を行った場合、視差は（ｄ＋ｓ）に変化するため、シフト処理後の立体像距離Ｌ'dは式（７）のようになる。
Ｌ'd＝Ｌs・ｄe／（ｄe−（ｄ＋ｓ））    ・・・（７）
【００２８】
すなわち、左右画像が互いに遠ざかる方向にシフト処理を行った場合（ｓ＞０）には、立体像がより奥に移動したように知覚される。このとき、シフト量が増すほど立体像がより奥に移動し、奥にあるものほど奥に移動したように知覚される。一方、左右画像が互いに近づく方向にシフト処理を行った場合（ｓ＜０）には、立体像がより手前に移動したように知覚される。このとき、シフト量の絶対値が増すほど立体像がより手前に移動し、奥にあるものほど手前に移動したように知覚される。
【００２９】
また、立体視の快適な範囲は、立体ディスプレイの表示面上の視差角から±１°の視差角の範囲内が快適な範囲と考えられている。図４は、立体視の快適な範囲を説明するための図である。ここで、両眼間隔ｄe、視距離Ｌs、立体像距離Ｌd、立体ディスプレイの表示面上の視差角を視差角βとする。この場合、±１°の視差角をαとして表すと、視差角αと視差角βの関係は式（８）となる。すなわち、視差角αは式（９）に示す角度となる。
｜α−β｜≦１°（＝π／１８０）  ・・・（８）
α＝β±（π／１８０）                        ・・・（９）
【００３０】
視距離Ｌsと視差角βとの関係は、式（１０）である。したがって、視差角βは式（１１）から算出できる。
（ｄe／２）／Ｌｓ＝ｔａｎ（β／２）  ・・・（１０）
β＝２ｔａｎ−１（ｄe／（２Ｌs））    ・・・（１１）
【００３１】
さらに、立体像距離Ｌdとαの関係は、式（１２）である。
Ｌd＝ｄe／２ｔａｎ（α／２）    ・・・（１２）
【００３２】
したがって、快適に視聴できる奥行き方向の範囲は、式（１３）となる。
ｄe／２ｔａｎ（αmax／２）〜ｄe／２ｔａｎ（αmin／２）  ・・・（１３）
なお、視差角αmax，αminは、式（１４），（１５）の値とする。
αmax＝β＋π／１８０    ・・・（１４）
αmin＝β−π／１８０    ・・・（１５）
【００３３】
このように、立体像距離Ｌdが、式（１３）に示す範囲となるように、シフト量ｓを調整すれば、視差の変化を抑えて快適に視聴できる。
【００３４】
また、上述の視差調整では、左右画像を水平方向にシフトさせる場合について説明したが、オブジェクト単位で視差調整を行うようにしてもよい。例えば、測距機能が設けられている撮像素子を用いることで撮像範囲に含まれる各オブジェクトまでの距離を検出できる。したがって、各オブジェクトの測距結果に基づきオブジェクト単位で視差調整を行うようにしてもよい。また、左右画像から画像処理によって各オブジェクトについての視差量を判別して、判別結果に基づきオブジェクト単位で視差調整を行うようにしてもよい。
【００３５】
＜２．実施の形態の構成および動作＞
立体画像を快適に視聴できるようにするため、立体像距離に応じて画像をシフトする視差調整が行われた立体表示素材を用いて平面表示を行うと、静止しているオブジェクトが変換処理の影響により動きを生じてしまう。そこで、この技術では、視差調整後の立体表示素材を用いて平面表示を行う場合、視差調整が行われた立体表示素材についての視差調整情報に基づき視差調整が行われる前の表示素材を生成して平面表示素材として用いるようにする。
【００３６】
［２−１．画像処理装置の構成］
図５は、画像処理装置の構成を例示している。画像処理装置１０は、情報取得部１１と画像変換部１２を有している。
【００３７】
情報取得部１１は、平面表示に用いる視差調整後の立体表示素材に関する視差調整情報を取得する。例えば、Ｈ．２６４／ＡＶＣやＨＥＶＣ等の符号化方式を用いて生成される画像データのストリームでは、シンタックス要素として付加情報を示すＳＥＩ（Supplemental enhancement information）が設けられている。このＳＥＩに水平シフトのシフト量を示す視差調整情報が含められる場合、情報取得部１１は、ストリームのＳＥＩから視差情報を取得する。また、視差調整情報が立体表示素材と別個にファイル化されている場合、平面表示に用いる立体表示素材に対応したファイルから視差情報を取得する。なお、視差調整情報は、例えばフレーム単位で視差調整が行われている場合、フレーム毎に行われた水平シフトのシフト量を示し、ＧＯＰ（Group Of Pictures）単位で視差調整が行われている場合、ＧＯＰ毎に行われた水平シフトのシフト量を示す。情報取得部１１は、取得した視差調整情報を画像変換部１２に出力する。
【００３８】
画像変換部１２は、視差調整が行われている立体表示素材に対して、取得した視差調整情報に基づき、視差調整前の素材に戻す逆変換処理を行う。ここで、座標（ｘ，ｙ）の画素をｐ（ｘ，ｙ）とし、左右画像上の注目画素をｐ（ｘL，ｙL）、ｐ（ｘR，ｙR）とし、視差調整後の左右画像上の画素をｐ（ｘ'L，ｙ'L）、ｐ（ｘ'R，ｙ'R）とする。視差調整において、左右画像の相対位置を水平方向にシフトさせる処理は、式（１）として定義される。この場合、視差調整情報はシフト量ｓを示す。画像変換部１２は、視差調整情報に基づき、式（１）とは逆に、視差調整後の左右画像上の画素ｐ（ｘ'L，ｙ'L）、ｐ（ｘ'R，ｙ'R）から、視差調整前の左右画像上の注目画素ｐ（ｘL，ｙL）、ｐ（ｘR，ｙR）を算出して、視差調整前の素材を生成する。また、画像変換部１２は、逆変換処理によって生成した素材、すなわち視差調整前の左視点素材または右視点素材の何れかを平面表示素材として出力する。
【００３９】
画像変換部１２は、逆変換処理において、画像全体に対して視差調整時とは逆方向である水平シフトを行うと、画像の左右端の何れか一方で画像の存在しない領域が発生する。したがって、画像変換部１２は、画像の存在しない領域に対する画像補間処理を行う。画像変換部１２は、画像補間処理として画像の存在しない領域を例えば黒帯表示とする。また、画像変換部１２は、画像補間処理として画像の存在しない領域を生じないように画像の拡大処理を行ってもよい。さらに、画像変換部１２は、画像補間処理として異なる視点の画像や異なる時間の画像を利用して画像の存在しない領域の補間を行うようにしてもよい。
【００４０】
画像変換部１２は、逆変換処理において、画像内のオブジェクトに対して視差調整時とは逆方向である水平シフトを行うと、オブジェクトの境界で画像の存在しない領域（オクルージョン領域）が発生する場合が想定される。したがって、画像変換部１２は、オクルージョン領域に対して画像補間処理を行う。画像変換部１２は、画像補間処理として異なる視点の画像や異なる時間の画像を利用してオクルージョン領域を補間する。
【００４１】
さらに、画像変換部１２は、逆変換処理において、水平シフトを行っても画像のない領域が生じないように画像の拡大処理を行うようにしてもよい。
【００４２】
［２−２．画像処理装置の第１の動作］
画像処理装置１０の第１の動作では、水平シフト処理が行われている素材を用いて画像表示を行う場合の動作について説明する。
【００４３】
図６は、画像処理装置の第１の動作を例示したフローチャートである。ステップＳＴ１で画像変換部１２は、平面表示を行うか判別する。画像変換部１２は、平面表示を行う場合、例えばユーザから平面表示の指示がなされた場合や画像表示に用いる表示装置が立体表示機能を有していない場合にステップＳＴ２に進む。また、画像変換部１２は、例えばユーザから立体表示の指示がなされた場合や表示装置が立体表示機能を有している場合にステップＳＴ３に進む。
【００４４】
ステップＳＴ２で画像変換部１２は、平面表示処理を行う。画像変換部１２は、情報取得部１１から供給される視差調整情報に基づき逆変換処理を行い、視差調整後の立体表示素材から視差調整前の素材を生成する。さらに画像変換部１２は、生成した視差調整前の素材例えば左視点素材または右視点素材の何れかを、平面表示素材として出力する。
【００４５】
ステップＳＴ３で画像変換部１２は、立体表示処理を行う。画像変換部１２は、視差調整後の立体表示素材を出力する。
【００４６】
図７は、画像処理装置の第１の動作を例示した図である。例えば図７の（Ａ）に示すように、撮像装置で被写体を撮像する。ここで、図７の（Ｂ）に示すように、被写体位置が快適範囲よりも手前に位置する場合、左視点素材と右視点素材に対して視差調整を行い、図７の（Ｃ）に示すように、被写体の位置を移動させる。このように、視差調整を行うことで、被写体位置が快適範囲の位置とされる。視差調整が行われた左視点素材と右視点素材は、例えば記録媒体に記録される。記録媒体に記録されている左視点素材と右視点素材を用いて立体表示を行う場合、図７の（Ｄ）に示すように、記録されている左視点素材を用いて左画像、記録されている右視点素材を用いて右画像の表示を行う。また、平面表示を行う場合、図７の（Ｅ）に示すように、記録されている視差調整後の左視点素材または右視点素材の何れかに対して逆変換処理を行い視差調整前の素材を生成する。この生成した素材を用いることで平面表示を行う。
【００４７】
逆変換処理によって視差調整時とは逆方向に水平シフトを行うと、画像の存在しない領域が生じる。したがって、逆変換処理では、画像の存在しない領域の補間を行う。図８は、画像の補間を説明するための図である。例えば図８の（Ａ）に示す素材を、図８の（Ｂ）に示すように右方向に水平シフトすると、左側端部では、斜線で示すように画像のない領域が生じる。したがって、画像変換部１２は、画像補間処理として画像の存在しない領域を例えば黒帯表示とする。また、左側端部の画像を水平方向にコピーしてもよい。
【００４８】
また、オブジェクト毎の視差調整が行われている場合、例えば図８の（Ｃ）に示すオブジェクトを、図８の（Ｄ）に示すように右方向に水平シフトすると、オブジェクトの境界では黒色で示すように画像の存在しないオクルージョン領域が生じる場合がある。したがって、画像変換部１２は、画像補間処理として異なる視点の画像や異なる時間の画像を利用してオクルージョン領域の補間を行う。
【００４９】
さらに、画像変換部は、画像を拡大することで、画像の存在しない領域が生じないようにしてもよい。画像の拡大を行う場合、画像変換部１２は、シフト量に応じて拡大率を設定する。例えばシフト量が大きくなるに伴い拡大率を大きくすることで、画像の存在しない領域を生じないようにできる。また、拡大率が急激に変動しなければ、画像の拡大は編集時等で追加された効果であるとユーザによって捉えられて、違和感のある画像と感じられることを防止できる。
【００５０】
また、画像変換部１２は、最大のシフト量に応じて拡大率を決定してもよい。この場合、画像の存在しない領域を生じないようにできるだけでなく、シフト量が変化しても画像サイズが変化することがない。最大のシフト量は、立体表示素材の生成時に予めシフト量の最大値を設定してもよく、立体表示素材の生成時に最大のシフト量を記憶するようにしてもよい。さらに、立体表示素材の素材単位だけでなく、シーン単位で最大のシフト量に応じて拡大率を決定してもよい。
【００５１】
図９は、画像の拡大を行う場合の動作を例示している。図９の（Ａ）は、撮像時におけるシフト量の変化を例示している。図９の（Ｂ）は、シフト量に応じて拡大率を設定する場合を示している。図のようにシフト量の絶対値が大きくなるに伴い拡大率を大きくすることで、画像の存在しない領域を生じないようにできる。図９の（Ｃ）は、最大のシフト量に応じて拡大率を設定する場合を示している。この場合、画像の存在しない領域を生じないようにできるだけでなく、シフト量が変化しても画像サイズが変化することがない。図９の（Ｄ）は、シーン単位で最大のシフト量に応じて拡大率を設定する場合を示している。なお、図９ではシーンの切替え位置をシーンチェンジ位置ＳＣとして示している。この場合、不必要に画像を拡大する必要がない。
【００５２】
また、ＧＯＰ（Group Of Pictures）単位で視差調整が行われており、視差調整情報がＧＯＰ毎に行われたシフト量を示す場合、画像変換部１２は、視差調整情報に基づき逆変換処理を行い、ＧＯＰ単位で視差調整前の素材を生成する。また、視差調整がフレーム単位で行われており、視差調整情報がＧＯＰ単位でシフト量を示している場合、前後のＧＯＰの少なくとも何れかのＧＯＰに対応する視差調整情報で示されたシフト量を用いて線形補間を行い、ＧＯＰ内の各フレームのシフト量を算出する。この算出したシフト量を用いて逆変換処理を各フレームに対して行い、視差調整前の素材を生成してもよい。
【００５３】
以上のように、立体表示を行う場合には、視差調整が行われている立体表示素材の出力が行われることから、画像処理装置１０から出力された画像データを用いて立体表示を行えば、立体像をより自然に快適に表示できる。また、平面表示を行う場合、視差調整後の立体表示素材に対して視差調整情報に基づき逆変換処理を行うことで生成した視差調整前の素材である左視点素材または右視点素材の何れかが出力される。したがって、視差調整が行われている立体表示素材を用いても、平面表示において静止しているオブジェクトが動きを生じて表示されてしまうことを防止できる。また、平面表示において画像補間処理が行われることから画像のない領域が生じてしまうことを防止できる。なお、画像全体またはオブジェクト単位の何れかに切り替えてまたは何れかを選択して視差調整を行う場合には、視差調整が画像全体またはオブジェクト単位の何れで行われているかを示す情報や、視差調整を行ったオブジェクトを示す情報を視差調整情報に含めるようにする。
【００５４】
［２−３．画像処理装置の第２の動作］
ところで、第１の動作では、視差調整後の立体表示素材を用いて画像表示を行う場合の動作について説明したが、画像処理装置１０では、視差調整後の立体表示素材だけでなく視差調整前の立体表示素材を利用可能としてもよい。第２の動作では、視差調整前の立体表示素材または視差調整後の立体表示素材の何れも利用可能とする場合について説明する。なお、画像処理装置１０で用いる素材は、立体表示素材が視差調整の行われている素材であるか否かを示す識別情報を有している。識別情報は、例えば立体表示素材のヘッダにフラグとして設ける。ここで、フラグが「０」である場合、立体表示素材は視差調整の行われていない素材、また、フラグが「１」である場合、立体表示素材は視差調整の行われた素材とする。また、フラグが「１」である場合は、視差調整の調整量を示す視差調整情報を設ける。
【００５５】
図１０は、画像処理装置の第２の動作を例示したフローチャートである。ステップＳＴ１１で画像変換部１２は、視差調整が行われた立体表示素材であるか判別する。画像変換部１２は、識別情報に基づき、立体表示素材が視差調整の行われている素材であると判別した場合にステップＳＴ１２に進み、視差調整が行われている素材であると判別されない場合にステップＳＴ１５に進む。
【００５６】
ステップＳＴ１２で画像変換部１２は、平面表示を行うか判別する。画像変換部１２は、平面表示を行う場合、例えばユーザから平面表示の指示がなされた場合や画像表示を行う表示装置が立体表示機能を有していない場合にステップＳＴ１３に進む。また、画像変換部１２は、例えばユーザから立体表示の指示がなされた場合や表示装置が立体表示機能を有している場合にステップＳＴ１４に進む。
【００５７】
ステップＳＴ１３で画像変換部１２は、平面表示処理を行う。画像変換部１２は、情報取得部１１から供給される視差調整情報に基づき逆変換処理を行い、視差調整後の立体表示素材から視差調整前の素材を生成する。さらに画像変換部１２は、生成した視差調整前の素材である左視点素材または右視点素材の何れかを、平面表示素材として出力する。
【００５８】
ステップＳＴ１４で画像変換部１２は、立体表示処理を行う。画像変換部１２は、視差調整後の立体表示素材を出力する。
【００５９】
ステップＳＴ１１からステップＳＴ１５に進むと、画像変換部１２は、平面表示を行うか判別する。画像変換部１２は、平面表示を行う場合、例えばユーザから平面表示の指示がなされた場合や画像表示を行う表示装置が立体表示機能を有していない場合にステップＳＴ１６に進む。また、画像変換部１２は、例えばユーザから立体表示の指示がなされた場合や表示装置が立体表示機能を有している場合にステップＳＴ１７に進む。
【００６０】
ステップＳＴ１６で画像変換部１２は、平面表示処理を行う。画像変換部１２は、立体表示素材が視差調整の行われていない素材であることから、立体表示素材の左視点素材または右視点素材の何れかを、平面表示素材として出力する。
【００６１】
ステップＳＴ１７で画像変換部１２は、立体表示処理を行う。画像変換部１２は、立体表示素材が視差調整の行われていない素材であることから、自然でより快適な立体表示を行うことができるように、立体表示素材に対して視差調整を行う。さらに画像変換部１２は、視差調整後の立体表示素材を出力する。
【００６２】
図１１は、画像処理装置の第２の動作において、視差調整前の素材が記録媒体に記録されている場合を例示した図である。例えば図１１の（Ａ）に示すように、撮像装置で被写体を撮像する。撮像装置で生成された図１１の（Ｂ）に示す左視点素材と右視点素材は例えば記録媒体に記録される。記録媒体に記録されている左視点素材と右視点素材を用いた立体表示において、被写体位置が快適範囲よりも手前に位置する場合、左視点素材と右視点素材に対して視差調整を行い、図１１の（Ｃ）に示すように、被写体の位置を移動させる。このように、視差調整を行うことで、被写体位置が快適範囲の位置とされる。さらに、図１１の（Ｄ）に示すように、視差調整後の左視点素材を用いて左画像、視差調整後の右視点素材を用いて右画像の表示を行う。また、平面表示を行う場合、図１１の（Ｅ）に示すように、記録されている左視点素材または右視点素材の何れかを用いて平面表示を行う。
【００６３】
このような処理を行えば、画像処理装置１０は、画像表示に用いる立体表示素材が視差調整の行われている素材であるか否かに応じて、平面表示または立体表示に適した素材を出力できる。したがって、画像表示に用いる立体表示素材が視差調整の行われている素材であるか否かに係らず、立体表示を行う場合には、立体像を自然により快適に表示することができる。さらに、平面表示を行う場合には、静止しているオブジェクトが動きを生じて表示されてしまうことを表示することができる。
【００６４】
＜３．ソフトウェア処理の場合＞
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【００６５】
図１２は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置８０のＣＰＵ(Central Processing Unit)８０１は、ＲＯＭ(Read Only Memory)８０２、または記録部８０８に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。
【００６６】
ＲＡＭ８０３には、ＣＰＵ８０１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ(Random Access Memory)８０３は、バス８０４により相互に接続されている。
【００６７】
ＣＰＵ８０１にはまた、バス８０４を介して入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、タッチパネルやキーボード、マウス、マイクロフォンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。
【００６８】
入出力インターフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するコンピュータ・プログラムや各種のデータを記録する。通信部８０９は、有線または無線の通信媒体を介してインターネットやローカルエリアネットワークなどに接続して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してコンピュータ・プログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。
【００６９】
ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア８５が装着されたとき、それらを駆動して、記録されているコンピュータ・プログラムやデータなどを取得する。取得されたコンピュータ・プログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。
【００７０】
ＣＰＵ８０１は、上述した一連の処理を行うコンピュータ・プログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている素材や、通信部８０９を介して供給された素材に対して上述の処理を行う。
【００７１】
なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００７２】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  視差調整が行われた立体表示素材についての視差調整情報を取得する情報取得部と、
前記情報取得部で取得した視差調整情報に基づき、前記視差調整が行われた立体表示素材に対して視差調整前の素材に戻す逆変換処理を行うことで平面表示素材を生成する画像変換部と
を備える画像処理装置。
（２）  前記画像変換部は、前記逆変換処理において、画像のない領域が生じないように画像の拡大または画像のない領域の補間処理を行う（１）に記載の画像処理装置。
（３）  前記画像変換部は、視差調整の調整量に応じて画像を拡大することで前記画像のない領域が生じないようにする（２）に記載の画像処理装置。
（４）  前記画像変換部は、視差調整の最大調整量に応じて画像を拡大して、前記画像のない領域が生じないようにする（２）に記載の画像処理装置。
（５）  前記画像変換部は、シーン毎の視差調整の最大調整量に応じて画像を拡大して、前記画像のない領域が生じないようにする（４）に記載の画像処理装置。
（６）  前記画像変換部は、前記視差調整において画像全体がシフトされている場合、前記逆変換処理で逆方向に画像全体をシフトさせる（１）乃至（５）の何れかに記載の画像処理装置。
（７）  前記画像変換部は、前記視差調整においてオブジェクトがシフトされている場合、前記逆変換処理で逆方向に前記オブジェクトをシフトさせる（１）乃至（５）の何れかに記載の画像処理装置。
（８）  前記情報取得部は、立体表示素材が視差調整の行われている素材であるか否かを示す識別情報を取得し、
前記画像変換部は、立体表示を行う場合に、前記情報取得部で取得された識別情報で前記視差調整が行われていないことが示されいるとき前記視差調整を行う（１）乃至（７）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【００７３】
本技術の画像処理装置と画像処理方法およびプログラムでは、視差調整が行われた立体表示素材についての視差調整情報が取得されて、この取得された視差調整情報に基づき、視差調整が行われた立体表示素材から視差調整が行われる前の素材が平面表示素材として生成される。このため、平面表示では、視差調整によって静止しているオブジェクトが動きを生じて表示されてしまうことを防止することができるようになり、自然でより快適に立体表示や平面表示を行えるようになる。したがって、種々の表示素材を用いて画像表示を行う表示装置等に適している。
【符号の説明】
【００７４】
１０・・・画像処理装置、１１・・・情報取得部、１２・・・画像変換部、８０・・・コンピュータ装置、８５・・・リムーバブルメディア、８０１・・・ＣＰＵ(Central Processing Unit)、８０２・・・ＲＯＭ(Read Only Memory)、８０３・・・ＲＡＭ(Random Access Memory)、８０４・・・バス、８０５・・・入出力インターフェース、８０６・・・入力部、８０７・・・出力部、８０８・・・記録部、８０９・・・通信部、８１０・・・ドライブ
【図１】
2013150249.tif 000004
【図２】
2013150249.tif 000005
【図３】
2013150249.tif 000006
【図４】
2013150249.tif 000007
【図５】
2013150249.tif 000008
【図６】
2013150249.tif 000009
【図７】
2013150249.tif 000010
【図８】
2013150249.tif 000011
【図９】
2013150249.tif 000012
【図１０】
2013150249.tif 000013
【図１１】
2013150249.tif 000014
【図１２】
2013150249.tif 000015