(57)【要約】【課題】  オリジナル画像に含まれる遠近感の喪失を抑制しながら、オリジナル画像によって構成される立体画像で表現される物体の違和感を軽減することを可能とする画像処理装置、撮像装置、表示装置及び画像処理方法を提供する。【解決手段】  画像処理装置３００は、複数の視点画像において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向は、前記右目視点画像において左右方向の座標をシフトする方向の反対方向である視差補正処理を適用する画像処理部１３０を備える。【選択図】  図９
2013123102.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を構成する左目視点画像及び右目視点画像を処理する画像処理装置であって、
前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用する画像処理部を備え
前記視差補正処理において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向は、前記右目視点画像において左右方向の座標をシフトする方向の反対方向であることを特徴とする画像処理装置。
【請求項２】
前記立体画像を撮像する撮像部の撮像方向に対して垂直な撮像基準面の傾き及び前記表示基準面の傾きを特定する特定部を備え、
前記画像処理部は、前記視差補正処理において、前記特定部によって特定された傾きに基づいて、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点画像を撮像する撮像部と、
請求項１に記載の画像処理装置を備える撮像装置。
【請求項４】
前記立体画像を表示する表示部と、
請求項１に記載の画像処理装置を備える表示装置。
【請求項５】
立体画像を構成する複数の視点画像を処理する画像処理方法であって、
前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用するステップを備え、
前記視差補正処理において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向は、前記右目視点画像において左右方向の座標をシフトする方向の反対方向であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を構成する複数の視点画像を処理する画像処理装置、撮像装置、表示装置及び画像処理方法に関する。
【背景技術】
【０００２】
水平面や垂直面などの所定投影面に対して斜め方向から撮像された画像においては、遠近法の効果によって、実際には同じサイズの物体であっても、撮像手段から離れているほど物体が小さくなるように画像が歪む。
【０００３】
これに対して、遠近法に伴う画像の歪みを補正する技術が提案されている（例えば、特許文献１）。このような技術によって、所定投影面に対して斜め方向から撮像された画像は、所定投影面に対して正面から撮像された画像に補正される（投影遠近補正処理）。
【０００４】
近年では、複数の視点画像（例えば、左目視点画像及び右目視点画像）によって構成される立体画像を表示する表示装置が知られている。このような立体画像についても、投影遠近補正処理を適用する技術が提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１０７６５４号公報
【特許文献２】特開２００９−２１１７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、立体画像に投影遠近補正処理を適用すると、撮像手段によって撮像された画像（オリジナル画像）によって構成される立体画像で表現される物体の違和感が軽減される。しかしながら、オリジナル画像に含まれる遠近感も一緒に失われてしまう。
【０００７】
そこで、本発明は、上述した課題を解決するためになされてものであり、オリジナル画像に含まれる遠近感の喪失を抑制しながら、オリジナル画像によって構成される立体画像で表現される物体の違和感を軽減することを可能とする画像処理装置、撮像装置、表示装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１の特徴に係る画像処理装置は、立体画像を構成する左目視点画像及び右目視点画像を処理する。画像処理装置は、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用する画像処理部を備える。前記視差補正処理において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向が、前記右目視点画像において左右方向の座標をシフトする方向の反対方向である。
【０００９】
第１の特徴において、画像処理装置は、前記立体画像を撮像する撮像部の撮像方向に対して垂直な撮像基準面の傾き及び前記表示基準面の傾きを特定する特定部を備える。前記画像処理部は、前記視差補正処理において、前記特定部によって特定された傾きに基づいて、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする。
【００１０】
第２の特徴に係る撮像装置は、前記複数の視点画像を撮像する撮像部と、第１の特徴に係る画像処理装置とを備える。
【００１１】
第３の特徴に係る表示装置は、前記立体画像を表示する表示部と、第１の特徴に係る画像処理装置とを備える。
【００１２】
第４の特徴に係る画像処理方法は、立体画像を構成する複数の視点画像を処理する方法である。画像処理方法は、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用するステップを備える。前記視差補正処理において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向が、前記右目視点画像において左右方向の座標をシフトする方向の反対方向である。
【発明の効果】
【００１３】
本発明によれば、オリジナル画像に含まれる遠近感の喪失を抑制しながら、オリジナル画像によって構成される立体画像で表現される物体の違和感を軽減することを可能とする画像処理装置、撮像装置、表示装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、第１実施形態に係る画像処理装置の適用シーンを説明するための図である。
【図２】図２は、第１実施形態に係る画像処理装置の適用シーンを説明するための図である。
【図３】図３は、第１実施形態に係る画像処理装置の適用シーンを説明するための図である。
【図４】図４は、従来例に係る投影遠近補正処理を説明するための図である。
【図５】図５は、従来例に係る投影遠近補正処理を説明するための図である。
【図６】図６は、従来例に係る投影遠近補正処理を説明するための図である。
【図７】図７は、従来例に係る投影遠近補正処理を説明するための図である。
【図８】図８は、従来例に係る投影遠近補正処理を説明するための図である。
【図９】図９は、第１実施形態に係る画像処理装置３００を示すブロック図である。
【図１０】図１０は、第１実施形態に係る視差補正処理を説明するための図である。
【図１１】図１１は、第１実施形態に係る視差補正処理を説明するための図である。
【図１２】図１２は、第１実施形態に係る視差補正処理を説明するための図である。
【図１３】図１３は、第１実施形態に係る視差補正処理を説明するための図である。
【図１４】図１４は、変更例１に係る視差補正処理を説明するための図である。
【図１５】図１５は、変更例１に係る視差補正処理を説明するための図である。
【図１６】図１６は、変更例２に係る画像処理装置の適用シーンを説明するための図である。
【図１７】図１７は、変更例２に係る遠近感の付与を説明するための図である。
【図１８】図１８は、変更例２に係る遠近感の付与を説明するための図である。
【図１９】図１９は、変更例３に係る画像処理装置の適用シーンを説明するための図である。
【発明を実施するための形態】
【００１５】
以下において、本発明の実施形態に係る画像処理装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００１６】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１７】
［実施形態の概要］
実施形態に係る画像処理装置は、立体画像を構成する複数の視点画像を処理する。画像処理装置は、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用する画像処理部を備える。前記視差補正処理において、上下方向の座標が異なる座標について、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、前記左目視点画像において左右方向の座標をシフトする方向が、前記右目視点画像において左右方向の座標をシフトする方向の反対方向である。
【００１８】
実施形態では、画像処理部は、視差補正処理において、上下方向の座標が異なる座標について、左目視点画像及び右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、左目視点画像において左右方向の座標をシフトする方向が、右目視点画像において左右方向の座標をシフトする方向の反対方向となるように、左右方向の座標をシフトする。これによって、オリジナル画像によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面の傾きと撮像基準面の傾きとの違いに伴う物体の倒れ込みや浮き上がりが生じる現象など）が軽減される。表示基準面の傾きと撮像基準面の傾きとの違いというのは、表示基準面と撮像基準面が非平行であること、と言い換えることもできる。
【００１９】
実施形態では、画像処理部は、遠近補正処理を適用せずに、視差補正処理を適用する。これによって、オリジナル画像に含まれる遠近感の喪失が抑制される。
【００２０】
［第１実施形態］
（画像処理装置の適用シーン）
以下において、第１実施形態に係る画像処理装置の適用シーンについて説明する。図１及び図２は、第１実施形態に係る画像処理装置の適用シーンを説明するための図である。
【００２１】
図１に示すように、表示装置１００は、複数の視点画像（第１実施形態では、左目視点画像及び右目視点画像）によって構成される立体画像を表示基準面Ｓ上に表示する表示部を有する。表示装置１００は、例えば、投写型映像表示装置である。但し、表示装置１００は、プラズマディスプレイ、液晶テレビなどの装置であってもよい。この場合、表示装置１００は、映像表示面が表示基準面Ｓと重なるよう設置される。表示基準面Ｓは、例えば、壁面などの垂直面である。なお、表示基準面Ｓは、床面などの水平面であってもよく、垂直面及び水平面に対して傾きを有する斜面であってもよい。
【００２２】
例えば、表示基準面Ｓは、互いに直交するＸ１軸及びＹ１軸によって定義される面と平行である。Ｘ１軸及びＹ１軸に垂直な軸をＺ１軸と称する。Ｘ１軸は、立体画像を観察する観察者の両眼を結ぶ線に沿った軸である。ここで、Ｘ１軸に沿った方向は、”左右方向”と考えてよい。また、Ｙ１軸に沿った方向は、”上下方向”と考えてよい。
【００２３】
これに対して、図２に示すように、撮像装置２００は、複数の視点画像を撮像する撮像部を有する。撮像装置２００は、例えば、垂直面（例えば、垂直面において上下方向に延びるオブジェクトＶ）を主として撮像する。
【００２４】
第１実施形態では、撮像装置２００は、立体画像を表示すべき表示基準面Ｓの垂直方向に対して傾いた方向から複数の視点画像を撮像するケースについて例示する。言い換えると、撮像装置２００の撮像方向（光軸）に垂直な撮像基準面Ｔの傾きは、表示基準面Ｓの傾きと異なる。
【００２５】
例えば、撮像基準面Ｔは、互いに直交するＸ０軸及びＹ０軸によって定義される面と平行である。Ｘ０軸及びＹ０軸に垂直な軸をＺ０軸と称する。Ｘ０軸は、右目視点画像を撮像すべき右眼撮像位置及び左目視点画像を撮像すべき左眼撮像位置を結ぶ線に沿った軸である。Ｚ軸は、撮像装置２００の撮像方向に沿った軸である。ここで、Ｘ０軸に沿った方向は、”左右方向”と考えてよい。また、Ｙ０軸に沿った方向は、”上下方向”と考えてよい。
【００２６】
ここで、垂直面の垂直方向（水平方向）に対して傾いた方向から複数の視点画像を撮像するケースについて考える。より正確には、撮像基準面Ｔが表示基準面Ｓと非平行の状態で撮像するケースについて考える。このようなケースにおいて、図３に示すように、実世界において垂直な線分（オブジェクトＶ）は、右目視点画像において、オブジェクトＲとして記録される。一方で、垂直な線分（オブジェクトＶ）は、左目視点画像において、オブジェクトＬとして記録される。なお、図３は、右目視点画像と左目視点画像を重ねて示した図である。この右目視点画像を右目で観察し、左目視点画像を左目で観察すると、立体画像として観察できるが、オブジェクトＶの部位によって視差が異なるため、オブジェクトＶの上方部分が下方部分と比較して相対的に奥側に認識される。つまり本来垂直な線分であるオブジェクトＶに倒れ込みが生じて認識される。
【００２７】
（従来例に係る投影遠近補正処理）
以下において、従来例に係る投影遠近補正処理について説明する。図４〜８は、従来例に係る投影遠近補正処理を説明するための図である。
【００２８】
図４に示すように、撮像基準面Ｔの傾きが表示基準面Ｓの傾きと異なっている。言い換えると、撮像装置２００の撮像方向（Ｚ０軸）は、表示基準面Ｓの垂直方向（Ｚ１軸）に対して傾いている。Ｙ１軸及びＺ１軸で定義される平面において、Ｚ０軸に対するＺ１軸の傾きはθである。従って、Ｘ０軸、Ｙ０軸及びＺ０軸によって表現される座標について、Ｘ１軸、Ｙ１軸及びＺ１軸によって表現される座標に座標変換した後に、投影変換する。
【００２９】
ここで、右目視点画像を撮像する撮像手段の撮像方向（光軸）及び左目視点画像を撮像する撮像手段の撮像方向（光軸）が平行である場合には、このような座標変換は、右目視点画像及び左目視点画像のそれぞれについて、Ｘ０軸を中心として回転することによって行われる。具体的には、このような座標変換は、以下の式によって行うことができる。
【数１】
2013123102.tif 000003
【００３０】
続いて、Ｘ１軸、Ｙ１軸及びＺ１軸によって表現される座標空間上で、撮像位置即ち視点（原点）に対して、Ｚ０軸に垂直な撮像基準面Ｔを、Ｚ１軸に垂直な表示基準面Ｓと平行な面に投影する。このような投影変換は、以下の式によって行うことができる。
【数２】
2013123102.tif 000004
【００３１】
但し、投影する面は表示基準面Ｓと平行であれば良いので、ｚ２の値は一例であり、このような値に限定されない。
【００３２】
このように、座標変換及び投影変換（投影遠近補正処理）によって、図５に示すように、矩形のオリジナル画像は、歪んだ画像に変換される。続いて、図６に示すように、表示基準面Ｓに表示すべき画像として、矩形の画像が切り出される。
【００３３】
なお、右目視点画像を撮像する撮像手段の撮像方向（光軸）及び左目視点画像を撮像する撮像手段の撮像方向（光軸）が交差する場合には、上述した座標変換は、右目視点画像及び左目視点画像のそれぞれについて、Ｘ０軸及びＹ０軸を中心として回転することによって行われる。具体的には、このような座標変換は、以下の式によって行うことができる。
【数３】
2013123102.tif 000005
【００３４】
なお、θ１は、Ｙ１軸及びＺ１軸で定義される平面において、Ｚ０軸に対するＺ１軸の傾きである。θ２は、Ｘ１軸及びＺ１軸で定義される平面において、Ｚ０軸に対するＺ１軸の傾きである。また、θ２は、右目視点画像の座標変換と左目視点画像の座標変換とで、相対的に逆方向の回転角度となる。
【００３５】
続いて、Ｘ１軸、Ｙ１軸及びＺ１軸によって表現される座標空間上で、視点（原点）に対して、Ｚ０軸に垂直な撮像基準面Ｔを、Ｚ１軸に垂直な表示基準面Ｓと平行な面に投影する。このような投影変換は、以下の式によって行うことができる。
【数４】
2013123102.tif 000006
【００３６】
但し、投影する面は表示基準面Ｓと平行であれば良いので、ｚ２の値は一例であり、このような値に限定されない。
【００３７】
このような座標変換及び投影変換（投影遠近補正処理）によって、右目視点画像は、図７のように変換され、左目視点画像は、図８のように変換される。続いて、図示しないが、表示基準面Ｓに表示すべき画像として、矩形の画像が切り出される。
【００３８】
以上の投影遠近補正処理の結果、撮像装置２００によって撮像された画像（オリジナル画像）によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面Ｓの傾きと撮像基準面Ｔの傾きとの違いに伴う物体の倒れ込みや浮き上がりが生じる現象など）が軽減される。しかしながら、物体の形状も補正されてしまうため、オリジナル画像に含まれる遠近感も一緒に失われる。
【００３９】
（画像処理装置）
以下において、第１実施形態に係る画像処理装置について説明する。図９は、第１実施形態に係る画像処理装置３００を示す図である。図９に示すように、画像処理装置３００は、取得部３１０と、特定部３２０と、画像処理部１３０とを有する。
【００４０】
画像処理装置３００は、表示装置１００に設けられていてもよく、撮像装置２００に設けられていてもよい。また、画像処理装置３００は、テレビチューナ、ＤＶＤプレーヤ或いはパーソナルコンピュータなどの装置に設けられていてもよい。
【００４１】
取得部３１０は、立体画像（左目視点画像及び右目視点画像）を構成する入力信号を取得する。例えば、取得部３１０は、テレビチューナ、ＤＶＤプレーヤ或いはパーソナルコンピュータなどの装置から入力信号を取得する。
【００４２】
特定部３２０は、表示基準面Ｓの傾き及び撮像基準面Ｔの傾きを特定する。最終的には、表示基準面Ｓの傾きと撮像基準面Ｔの傾きの合計が特定されればよく、言い換えると、特定部３２０は、Ｙ１軸及びＺ１軸で定義される平面においてＺ０軸に対するＺ１軸の傾き、Ｘ１軸及びＺ１軸で定義される平面においてＺ０軸に対するＺ１軸の傾きを特定する。
【００４３】
第１実施形態において、撮像基準面Ｔの傾きを示すパラメータは、撮像基準面Ｔの傾きを検出するセンサによって検出されて、取得部３１０によって取得されてもよい。撮像基準面Ｔの傾きを検出するセンサは、例えば、撮像装置２００に設けられる。或いは、撮像基準面Ｔの傾きを示すパラメータは、立体画像を構成する入力信号に付与されており、入力信号とともに取得部３１０によって取得されてもよい。或いは、撮像基準面Ｔの傾きを示すパラメータは、ユーザーインターフェースを介して観察者によって手動で入力されて、取得部３１０によって取得されてもよい。或いは、撮像基準面Ｔの傾きを示すパラメータは、ユーザーインターフェースを介して観察者によって手動で入力された後、立体画像を構成する入力信号に付与されて、入力信号とともに取得部３１０によって取得されてもよい。或いは、撮像基準面Ｔの傾きを示すパラメータは、既知であってもよい。これは撮像条件が固定されている場合に相当する。
【００４４】
表示基準面Ｓの傾きを示すパラメータは、表示基準面Ｓの傾きを検出するセンサによって検出されて、センサから取得部３１０によって取得されてもよい。表示基準面Ｓの傾きを検出するセンサは、例えば、表示装置１００に設けられる。或いは、表示基準面Ｓの傾きを示すパラメータは、ユーザーインターフェースを介して観察者によって手動で入力されて取得部３１０によって取得されてもよい。或いは、表示基準面Ｓの傾きを示すパラメータは、既知であってもよい。これは表示条件が固定されている場合に相当する。例えば多くのパソコン用モニターは表示面の角度調整が可能であるのに対し、多くのテレビは表示面の角度が固定されている。
【００４５】
画像処理部１３０は、前記左目視点画像及び前記右目視点画像において座標を左右方向にシフトする視差補正処理を適用する。具体的には、画像処理部１３０は、視差補正処理において、上下方向の座標が異なる座標について、左目視点画像及び右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、左目視点画像において左右方向の座標をシフトする方向が、右目視点画像において左右方向の座標をシフトする方向の反対方向であるように、座標を左右方向にシフトする。視差補正処理を適用する。例えば、画像処理部１３０は、視差補正処理において、特定部３２０によって特定された傾きに基づいて、座標を左右方向にシフトする。
【００４６】
具体的には、画像処理部１３０は、図４及び図５に示す手法を用いて、ｘ座標のシフト量Δｘ（ｙ）を特定する。続いて、画像処理部１３０は、全てのｘ座標に対して、シフト量Δｘ（ｙ）を加算する。すなわち、画像処理部１３０は、座標（ｘ，ｙ）を座標（ｘ＋Δｘ（ｙ），ｙ）に変換する。
【００４７】
例えば、図１０に示すように、左右方向における中心線のシフト量Δｘ（ｙ）が全てのｘ座標に適用される。結果として、図１１に示すように、矩形の画像は、平行四辺形の画像に変換される。続いて、図示しないが、表示基準面Ｓに表示すべき画像として、矩形の画像が切り出される。
【００４８】
このように、左右方向の座標（ｘ座標）が変換されると、遠近補正処理が適用されず、オリジナル画像に含まれる遠近感の喪失が抑制される。
【００４９】
例えば、このような視差補正処理によって、右目視点画像は、図１２に示すように変換され、左目視点画像は、図１３に示すように変換される。この結果、撮像装置２００によって撮像された画像（オリジナル画像）によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面Ｓの傾きと撮像基準面Ｔの傾きとの違いに伴う物体の倒れ込みや浮き上がりが生じる現象など）が軽減される。一方で、オリジナル画像に含まれる遠近感は維持される。
【００５０】
（作用及び効果）
第１実施形態では、画像処理部１３０は、視差補正処理において、上下方向の座標が異なる座標について、左目視点画像及び右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、左目視点画像において左右方向の座標をシフトする方向が、右目視点画像において左右方向の座標をシフトする方向の反対方向となるように、左右方向の座標をシフトする。これによって、オリジナル画像によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面Ｓの傾きと撮像基準面Ｔの傾きとの違いに伴う物体の倒れ込みや浮き上がりが生じる現象など）が軽減される。
【００５１】
第１実施形態では、画像処理部１３０は、遠近補正処理を適用せずに、視差補正処理を適用する。これによって、オリジナル画像に含まれる遠近感の喪失が抑制される。
【００５２】
［変更例１］
以下において、第１実施形態の変更例１について説明する。以下においては、第１実施形態に対する相違点について主として説明する。
【００５３】
第１実施形態では、撮像基準面Ｔの傾きが既知であるケースについて例示した。これに対して、変更例１では、撮像基準面Ｔの傾きが未知であり、表示基準面Ｓが垂直であるケースについて説明する。
【００５４】
変更例１では、右目視点画像と左目視点画像において、互いに対応するエッジが画像に記録される際の傾きが異なることを利用する。仮に実世界における垂直なエッジが画像の中央に記録される場合、図３の垂直な線分の場合と同様に、右目視点画像ではエッジが右に傾いて記録される。また、左目視点画像ではエッジが左に傾いて記録される。言い換えると、右目視点画像のエッジは、左目視点画像のエッジに対して、相対的に右に傾いて記録される。画像の中央以外にエッジが記録される場合も同様である。例えば、図１４の補正前の（右目視点）画像と、図１５の補正前の（左目視点）画像は、各々のオブジェクトの互いに対応するエッジ（Ｒ１とＬ１、Ｒ２とＬ２、Ｒ３とＬ３、Ｒ４とＬ４、Ｒ５とＬ５、Ｒ６とＬ６）の傾きが異なる。そして、各々の対応するエッジ（Ｒ１とＬ１、Ｒ２とＬ２、Ｒ３とＬ３、Ｒ４とＬ４、Ｒ５とＬ５、Ｒ６とＬ６）の傾きを比較すると、いずれも、右目視点画像のエッジは、左目視点画像のエッジに対して、相対的に右に傾いて記録される。つまり、補正前の右目視点画像のエッジの角度の平均値と補正前の左目視点画像のエッジの角度の平均値を算出すると、右目視点画像のエッジの角度の平均値は、左目視点画像のエッジの角度の平均値に対して、相対的に右に傾いた角度となる。なお、平均値を算出するためにエッジの角度を加算する際に、エッジの長さで重み付けしてもよい。
【００５５】
続いて、右目視点画像のエッジの角度の平均値と左目視点画像のエッジの角度の平均値とが等しくなるような変換量を算出し、右目視点画像と左目視点画像とを、平行四辺形の画像に変換する。例えば、右目視点画像のエッジの角度の平均値がψＲ、左目視点画像のエッジの角度の平均値がψＬである場合、変換量を（ψＲ＋ψＬ）／２とし、右目視点画像を、画像の右下の角の角度が９０−（ψＲ＋ψＬ）／２となる平行四辺形に変換する。また、左目視点画像を、画像の右下の角の角度が９０＋（ψＲ＋ψＬ）／２となる平行四辺形に変換する。この際、変換後の右目視点画像と左目視点画像は、互いに線対称の関係にある平行四辺形となる。結果として、右目視点画像は、図１４に示すように変換され、左目視点画像は、図１５に示すように変換される。続いて、図示しないが、表示基準面Ｓに表示すべき画像として、矩形の画像が切り出される。
【００５６】
この結果、撮像装置２００によって撮像された画像（オリジナル画像）によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面Ｓの傾きと撮像基準面Ｔの傾きとの違いに伴う物体の倒れ込みや浮き上がりが生じる現象など）が軽減される。一方で、オリジナル画像に含まれる遠近感は維持される。
【００５７】
また変更例１は、右目視点画像のエッジの傾きの平均値と左目視点画像のエッジの傾きの平均値との相対的な違いを除去する処理であるため、実世界において垂直ではないエッジが混在していても、精度よく変換される。
【００５８】
なお、エッジの角度の平均値は、全てのエッジの角度から算出する必要はなく、実世界で垂直に近いエッジのみを選択するために、傾きが所定の角度以上のエッジのみ、例えば４５度以上のエッジのみを選択して算出してもよい。
【００５９】
また、変更例１では、表示基準面Ｓが垂直であるケースについて述べたが、表示基準面Ｓが垂直ではないケースについては、右目視点画像のエッジの角度の平均値と左目視点画像のエッジの角度の平均値とが、表示基準面Ｓの角度によって決まる所定の角度関係になるように、右目視点画像と左目視点画像とを、平行四辺形の画像に変換するとよい。例えば、表示基準面Ｓが垂直よりも少し上に向くように傾いている場合には、右目視点画像のエッジの角度の平均値が、左目視点画像のエッジの角度の平均値に対して、相対的に少し左に傾く角度になるよう変換する。そして、表示基準面Ｓの垂直より上に向く傾きが大きいほど、右目視点画像のエッジの角度の平均値が左目視点画像のエッジの角度の平均値に対して左に傾く角度が大きくなるよう変換する。
【００６０】
また、補正前の右目視点画像のエッジの角度の平均値と左目視点画像のエッジの角度の平均値との関係から、撮像基準面Ｔの傾きを特定することも可能であり、特定した撮像基準面Ｔの傾きを基に、第１実施形態の投影遠近補正処理を行ってもよい。例えば、右目視点画像のエッジの角度の平均値と左目視点画像のエッジの角度の平均値との差が小さい場合は、撮像基準面Ｔの傾きは小さいと判断できる。右目視点画像のエッジの角度の平均値と左目視点画像のエッジの角度の平均値との差が大きくなるほど、撮像基準面Ｔの傾きが大きいと判断できる。
【００６１】
変更例１において、右目視点画像と左目視点画像を平行四辺形に変換する変換量は、ユーザーインターフェースを介して観察者によって手動で入力され、取得部３１０によって取得されてもよい。入力が完了すると、変換量が立体画像を構成する入力信号に付与されて、入力信号とともに取得部３１０によって取得されてもよい。或いは、観察者が立体画像を観察しながら、ユーザーインターフェースを介して変換量を手動で入力してもよい。入力が完了すると、変換量が立体画像を構成する入力信号に付与されて、入力信号とともに取得部３１０によって取得されてもよい。或いは、左目視点画像と右目視点画像に夫々エッジの角度の平均値に基づく指標画像（例えば平均値の角度をもつ線分）が表示され、観察者がその指標画像を確認しながら変換量を手動で入力してもよい。入力が完了すると、変換量が立体画像を構成する入力信号に付与されて、入力信号とともに取得部３１０によって取得されてもよい。或いは、変換量は、既知であってもよい。これは撮像条件、表示条件が固定されている場合に相当する。
【００６２】
［変更例２］
以下において、第１実施形態の変更例２について説明する。以下においては、第１実施形態に対する相違点について主として説明する。
【００６３】
第１実施形態では、撮像装置２００は、撮像基準面Ｔが表示基準面Ｓと非平行の状態で複数の視点画像を撮像する。これに対して、変更例２では、撮像装置２００は、図１６に示すように、撮像基準面Ｔが表示基準面Ｓと平行な状態で複数の視点画像を撮像する。
【００６４】
このようなケースでは、視点画像に含まれる物体（例えば、高層ビルディング）の遠近感が存在しない。そこで、画像処理装置３００は、視点画像の上方に向けて左右方向のサイズが小さくなるように視点画像を補正する。
【００６５】
このような補正によって、右目視点画像は、図１７に示すように変換され、左目視点画像は、図１８に示すように変換される。この結果、立体画像を構成する複数の視点画像に遠近感が付与される。
【００６６】
なお、通常は物体を見上げることで上下方向のサイズが小さくなることを考慮し、画像の上下方向を縮小してもよい。
【００６７】
この結果、立体画像で表現される物体の違和感（物体の倒れ込みや浮き上がりなど）がなく、遠近感のある映像が得られる。
【００６８】
変更例２において、立体画像で表現される物体の立体感と、遠近感に関して、第１実施形態と同じ効果が得られている。また、このような画像は、コンピュータグラフィックスを利用しても直接生成することはできず、一旦生成した画像を変換することで得られるものである。
【００６９】
［変更例３］
以下において、第１実施形態の変更例３について説明する。以下においては、第１実施形態に対する相違点について主として説明する。
【００７０】
第１実施形態では、撮像装置２００は、例えば、垂直面を主として撮像するケースについて例示した。これに対して、変更例３では、撮像装置２００は、例えば、図１９に示すように、水平面（例えば、水平面において上下方向に延びるオブジェクトＶ）を主として撮像する。このようなケースにおいても、第１実施形態は適用可能である。なお、変更例３において、“上下方向”は、画像における上下方向を意味しており、垂直方向を意味していないことに留意すべきである。
【００７１】
この結果、撮像装置２００によって撮像された画像（オリジナル画像）によって構成される立体画像で表現される物体の違和感（すなわち、立体画像において、表示基準面Ｓの傾きと撮像基準面Ｔの傾きとの違いに伴う水平面の傾きが生じる現象など）が軽減される。一方で、オリジナル画像に含まれる遠近感は維持される。
【００７２】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【００７３】
実施形態では特に触れていないが、視差補正処理が適用された複数の視点画像を表示する表示装置１００が提供されてもよい。視差補正処理においては、第１実施形態と同様に、上下方向の座標が異なる座標について、左目視点画像及び右目視点画像において座標を左右方向にシフトする量が異なっており、上下方向の座標が同じである座標について、左目視点画像において左右方向の座標をシフトする方向が、右目視点画像において左右方向の座標をシフトする方向の反対方向である。
【００７４】
［産業上の利用分野］
本発明は、例えば以下の分野で利用できる。
【００７５】
・建築の分野において、立体画像の撮像装置で建造物を見上げるように撮影し、立体映像を表示する表示装置で垂直面もしくは垂直から傾いた面に表示する。
【００７６】
・立体画像の撮影装置と表示装置、角度の検出センサを備える携帯端末で、撮影した立体画像を表示する。撮像の際は、撮像基準面Ｔの傾きをセンサにより取得する。そして、表示の際、表示装置の角度が変動しても、リアルタイムに表示基準面Ｓの傾きをセンサにより検出して、立体画像を補正し、表示する。
【００７７】
・建築の分野において、立体画像の撮像装置で町並みを上空から斜め下方に向けて撮像し、水平面（床面やテーブル面）、あるいは斜面に設置した立体映像を表示する表示装置で表示する。
【符号の説明】
【００７８】
１００…表示装置、２００…撮像装置、３００…画像処理装置、３１０…取得部、３２０…特定部、３３０…画像処理部
【図１】
2013123102.tif 000007
【図２】
2013123102.tif 000008
【図３】
2013123102.tif 000009
【図４】
2013123102.tif 000010
【図５】
2013123102.tif 000011
【図６】
2013123102.tif 000012
【図７】
2013123102.tif 000013
【図８】
2013123102.tif 000014
【図９】
2013123102.tif 000015
【図１０】
2013123102.tif 000016
【図１１】
2013123102.tif 000017
【図１２】
2013123102.tif 000018
【図１３】
2013123102.tif 000019
【図１４】
2013123102.tif 000020
【図１５】
2013123102.tif 000021
【図１６】
2013123102.tif 000022
【図１７】
2013123102.tif 000023
【図１８】
2013123102.tif 000024
【図１９】
2013123102.tif 000025