(57)【要約】【課題】より立体感を高めた表示用画像を生成する画像処理装置を構成する。【解決手段】２次元画像から表示用画像を生成する画像処理装置であって、２次元画像から、近景に対応する画像領域である近景領域と近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する抽出部と、２次元画像内の各対象物に依存せず、かつ近景領域および遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む表示用画像を２次元画像から生成する画像生成部と、を備える画像処理装置を提供する。【選択図】図１
2010226391.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像から表示用画像を生成する画像処理装置であって、
前記２次元画像から、近景に対応する画像領域である近景領域と前記近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する抽出部と、
前記２次元画像内の各対象物に依存せず、かつ前記近景領域および前記遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む前記表示用画像を前記２次元画像から生成する画像生成部と、
を備える画像処理装置。
【請求項２】
前記表示用画像の外縁に設ける外枠の画像を生成する外枠生成部を更に備え、
前記画像生成部は、右眼用の画像および左眼用の画像における前記遠景領域の画像の位置を前記外枠に対して相対的にずらした前記表示用画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記抽出部は、
前記２次元画像を解析して前記２次元画像中の対象物の距離を算出する解析部と、
前記解析部が算出した対象物の距離に基づいて、当該対象物に対応する画像領域を前記近景領域および前記遠景領域のいずれかに分類する分類部と、
を有する請求項１または２に記載の画像処理装置。
【請求項４】
複数種類の対象物のそれぞれに対応付けて、当該対象物の基準サイズを記憶する基準サイズ記憶部を更に備え、
前記解析部は、前記２次元画像中に撮像された対象物の種類を前記２次元画像から識別して、当該対象物の種類に対応して前記基準サイズ記憶部に記憶された基準サイズ、および当該対象物の前記２次元画像中におけるサイズに基づいて、当該対象物の距離を算出する
請求項３に記載の画像処理装置。
【請求項５】
前記解析部は、前記２次元画像内に撮影された顔を検出して、検出した顔のサイズに応じて顔までの距離を算出する請求項３または４に記載の画像処理装置。
【請求項６】
前記抽出部は、前記２次元画像中の各対象物のうち、合焦状態が基準以上の画像領域を前記近景領域に分類する請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記抽出部は、前記２次元画像内の少なくとも１箇所に対して付加された、撮像時における対象物までの距離に基づいて、当該対象物に対応する画像領域を前記近景領域および前記遠景領域のいずれかに分類する請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記抽出部は、前記２次元画像内の複数の領域のそれぞれについて、領域に付加された対象物までの距離が基準より小さい領域を前記近景領域に分類し、距離が基準以上の領域を前記遠景領域に分類する請求項７に記載の画像処理装置。
【請求項９】
前記近景領域を前記遠景領域と比較して相対的に拡大する近景拡大部を更に備え、
前記画像生成部は、拡大された前記近景領域および前記遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を生成する
請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記近景拡大部は、前記２次元画像から前記近景領域を切り出した近景画像、および前記２次元画像から前記近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、前記遠景画像における近景を切り出し後の画像領域を隠すことができる拡大率で、前記近景画像を拡大する請求項９に記載の画像処理装置。
【請求項１１】
前記近景拡大部は、前記２次元画像から前記近景領域を切り出した近景画像を拡大して、前記２次元画像から前記近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、前記遠景画像における近景を切り出し後の画像領域を隠すことができる大きさのシフト量を決定する請求項９に記載の画像処理装置。
【請求項１２】
前記遠景領域の画像をぼかすぼかし処理部を更に備える請求項１から１１のいずれかに記載の画像処理装置。
【請求項１３】
前記ぼかし処理部は、前記２次元画像から前記近景領域を切り出した近景画像、および前記２次元画像から前記近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、前記遠景画像における近景を切り出し後の画像領域に、前記遠景画像における当該画像領域から所定範囲内の画像をぼかしたぼかし画像を挿入する
請求項１から１２のいずれかに記載の画像処理装置。
【請求項１４】
前記２次元画像から前記近景領域を切り出した近景画像、および前記２次元画像から前記近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、前記遠景画像における近景を切り出し後の画像領域を、当該画像領域に対応する遠景が撮像された他の２次元画像により補う補償部を更に備える請求項１から１３のいずれかに記載の画像処理装置。
【請求項１５】
２次元画像から表示用画像を生成する画像処理装置として、コンピュータを機能させるためのプログラムであって、
前記コンピュータを、
前記２次元画像から、近景に対応する画像領域である近景領域と前記近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する抽出部と、
前記２次元画像内の各対象物に依存せず、かつ前記近景領域および前記遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む前記表示用画像を前記２次元画像から生成する画像生成部と、
して機能させるプログラム。
【請求項１６】
２次元画像から表示用画像を生成する画像処理方法であって、
前記２次元画像から、近景に対応する画像領域である近景領域と前記近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する段階と、
前記２次元画像内の各対象物に依存せず、かつ前記近景領域および前記遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む前記表示用画像を前記２次元画像から生成する段階と、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来より、観視者の右眼および左眼に対して、視差情報を含む右眼用画像および左眼用画像を表示する立体視技術（ステレオ立体視技術）が知られている。また、２次元画像を左右にずらすことにより立体画像を提示する技術が提案されている。また、拡大、縮小率等をレイヤ毎に変えた画像データのレイヤを複数生成し、重ねてモニタに表示することにより、立体視をさせずに２次元画像を立体的かつ自然に見せうる技術も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１１７３６２号公報
【特許文献２】特開２００２−２６２３１０号公報
【特許文献３】特開平８−２０５２０１号公報
【特許文献４】特開２００６−２０８７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、このようなステレオ立体視技術は、視差情報を使用して観視者に立体画像を認識させることを目的として、予め視差情報を含む２種類の画像を撮影しなければならない。しかし、左眼用画像および右眼用画像に一定のシフト量を与える技術も提案されているが、表示する画像の種類によっては、立体感をより高めたい場合もありうる。
【０００５】
さらに、特殊なフィルタまたは眼鏡を用いることなく、立体視をさせずに２次元画像を立体的かつ自然に見せうる技術がある。しかし、当該技術においては視差を設けていない一方、表示する画像の種類によっては、立体感をより高めたい場合もありうる。
【０００６】
そこで本発明は、上記の課題を解決することのできる画像処理装置、プログラムおよび画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の第１の態様においては、２次元画像から表示用画像を生成する画像処理装置であって、２次元画像から、近景に対応する画像領域である近景領域と近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する抽出部と、２次元画像内の各対象物に依存せず、かつ近景領域および遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む表示用画像を２次元画像から生成する画像生成部と、を備える画像処理装置、プログラムおよび画像処理方法を提供する。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
【図１】出力部１４０に接続された本実施形態に係る画像処理装置１００の構成を示す。
【図２】表示部１４２による表示の一例を示す。
【図３】左側画像上の表示点、右側画像上の表示点、及び、ユーザにより知覚される像の一例を示す。
【図４】左側画像または右側画像の一方だけが表示される非対応領域およびクロストークの一例を示す。
【図５】外枠画像の一例を示す。
【図６Ａ】元の２次元画像６１０および近景拡大処理をしない場合の左眼用画像６２０および右眼用画像６３０を示す。
【図６Ｂ】元の２次元画像６１０および近景拡大部が近景拡大処理をした場合の左眼用画像６４０および右眼用画像６５０を示す。
【図７】出力部１４０に接続された本実施形態の第１変形例に係る画像処理装置７００の構成を示す。
【図８】出力部１４０に接続された本実施形態の第２変形例に係る画像処理装置８００の構成を示す。
【図９】本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、出力部１４０に接続された本実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、２次元画像から表示用画像を生成する。より具体的には、画像処理装置１００は、与えられた２次元画像に基づき、観視者の右眼に対して出力する画像および当該観視者の左眼に対して出力する画像を生成することにより、立体的に見えうる画像を生成して、表示装置に表示する。なお、与えられる２次元画像は、静止画像であっても、時間的に連続する複数の静止画像を含む動画像であってもよい。
【００１２】
画像処理装置１００は、抽出部１１０と、画像生成部１２０と、外枠生成部１３０と、基準サイズ記憶部１７０と、近景拡大部１８０とを備える。抽出部１１０は、一例として、画像を撮像する撮像装置、記録媒体からデータを再生する再生装置または伝送されたデータを受信する受信装置から、２次元画像を受け取る。
【００１３】
抽出部１１０は、２次元画像から、近景に対応する画像領域である近景領域と近景より遠方の遠景に対応する画像領域である遠景領域とを抽出する。抽出部１１０は、被写体までの複数の距離範囲に応じて複数の近景／遠景領域として抽出してもよい。以下では、説明を簡潔にすることを目的として、抽出部１１０が、それぞれ１つの近景および遠景領域を抽出する場合を説明する。
【００１４】
基準サイズ記憶部１７０は、複数種類の対象物のそれぞれに対応付けて、当該対象物の基準サイズを記憶する。基準サイズ記憶部１７０は、人物、顔、動植物、建物、乗り物、山、海、空等の様々な対象物の基準サイズを記憶してもよい。
【００１５】
抽出部１１０は、解析部１５０と、分類部１６０とを有する。解析部１５０は、２次元画像を解析して２次元画像中の対象物の距離を算出する。解析部１５０は、２次元画像中に撮像された対象物の種類を２次元画像から識別して、当該対象物の種類に対応して基準サイズ記憶部１７０に記憶された基準サイズ、および当該対象物の２次元画像中におけるサイズに基づいて、当該対象物までの距離を算出してもよい。
【００１６】
解析部１５０は、２次元画像内の対象物が、人物、顔、動植物、建物、乗り物、山、海、空等の様々な対象物のいずれであるかを特定し、画面内における対象物の大きさに基づいて距離を判別してもよい。特定された対象物が、人物、顔、動植物、建物、乗り物等である場合は、解析部１５０は対象物を近景として距離を算出してもよい。特定された対象物が、山、海、空等である場合は、解析部１５０は対象物を遠景として距離を算出してもよい。
【００１７】
解析部１５０は、例えば夜景等の２次元画像内の明るさ、例えば赤色等である前進色および／または青色等の後退色等の色、例えば閉空間である室内／屋外等の情報を解析して距離を判別してもよい。
【００１８】
解析部１５０は、２次元画像内に撮影された顔を検出して、検出した顔のサイズに応じて顔までの距離を算出してもよい。すなわち、解析部１５０は、顔のサイズが、ほぼ既知の範囲内であることを利用する。基準サイズ記憶部１７０は、顔のサイズの範囲をあらかじめ記憶してもよい。解析部１５０は、検出された顔のサイズと、基準サイズ記憶部１７０に記憶されている顔のサイズの範囲とから、顔までの距離を算出してもよい。
【００１９】
なお、２次元画像の撮像時に撮像装置が測定した被写体までの距離情報が、２次元画像内の少なくとも１つの点に付加されている場合には、解析部１５０は当該情報を用いて距離を出力してもよい。分類部１６０は、解析部１５０が算出した対象物の距離に基づいて、当該対象物に対応する画像領域を近景領域および遠景領域のいずれかに分類する。
【００２０】
画像生成部１２０は、２次元画像内の各対象物に依存せず、かつ近景領域および遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を含む表示用画像を、２次元画像から生成する。ここで、画像生成部１２０は、近景領域のシフト量を遠景領域のシフト量よりも小さくすることによって、近景領域を遠景領域より近くにあるように観視者に見せることができる。
【００２１】
なお、画像生成部１２０は、同一の２次元静止画像から右眼用画像および左眼用画像を生成してもよい。また、画像生成部１２０は、同一の２次元動画ストリームから取り出したフレームを左右に異なるシフト量分ずらした右眼用のフレームおよび左眼用のフレームを生成してもよい。
【００２２】
表示用画像を表示する表示領域は、テレビジョン装置またはコンピュータのモニタ内の表示面であってもよい。また、表示領域は、ヘッドマウントディスプレイの表示面等のように２つの画面により形成された領域であってもよい。画像生成部１２０は、与えられた２次元画像の画素サイズと表示領域の大きさとに応じて、左側画像および右側画像間の表示領域上における距離が瞳孔間距離となるように、左側画像と右側画像と間のデータ上における距離を変更してもよい。
【００２３】
また、当該画像処理装置１００が１個の表示領域を有する表示装置により表示用画像を提供する場合、画像生成部１２０は、当該表示領域の水平ラインを垂直方向に所定本ずつ交互に選択した場合における一方の水平ライン（例えば偶数ライン）に表示される画像を、左側画像としてもよい。この場合、画像生成部１２０は、表示領域の水平ラインを垂直方向に所定本ずつ交互に選択した場合における他方の水平ライン（例えば奇数ライン）に表示される画像を、右側画像としてもよい。
【００２４】
また、当該画像処理装置１００が１個の表示領域を有する表示装置により表示用画像を提供する場合、画像生成部１２０は、動画像に含まれる各フレームを時間順に所定枚ずつ交互に選択した場合における一方のフレーム（例えば偶数フレーム）に表示される画像を、左側画像としてもよい。この場合、画像生成部１２０は、動画像に含まれる各フレームを時間順に所定枚ずつ交互に選択した場合における他方のフレーム（例えば奇数フレーム）に表示される画像を、右側画像としてもよい。
【００２５】
また、当該画像処理装置１００がヘッドマウントディスプレイのような左眼用表示領域および右眼用表示領域を有する表示装置により観視者に対して表示用画像を提供する場合、画像生成部１２０は、左眼用表示領域に表示される画像を左側画像とする。また、この場合、画像生成部１２０は、右眼用表示領域に表示される画像を右側画像とする。
【００２６】
また、画像生成部１２０は、コンピュータのソフトウェア演算により左側画像および右側画像を生成する処理をしてもよい。これに代えて、画像生成部１２０は、リアルタイムで伝送または再生されるビデオ信号に対してリアルタイムで画像処理してもよい。
【００２７】
外枠生成部１３０は、表示用画像が表示される表示領域の外枠として表示されるべき外枠画像を生成する。画像生成部１２０は、右眼用の画像および左眼用の画像における遠景領域の画像の位置を外枠に対して相対的にずらした表示用画像を生成してもよい。画像生成部１２０は、遠景領域のシフト量を、外枠のシフト量より大きくしてもよい。
【００２８】
本実施形態においては、出力部１４０は、表示部１４２と、観察用メガネ１４４とを有する。表示部１４２は、画像表示部１４６と、外枠表示部１４８とを含む。表示部１４２は、外枠の内側の表示領域に、左側画像および右側画像を含む表示用画像を表示する。外枠表示部１４８は、外枠に対応する表示領域に、外枠画像を表示する。
【００２９】
表示部１４２は、一例として、２次元マトリクス状に配置された複数の画素を含み、観視者の左眼および右眼に対して画像を表示する画素ラインが交互に配置された表示領域を有する。表示部１４２は、左眼用の各画素ラインにより、外枠画像が合成された左側画像を表示する。表示部１４２は、一例として、左眼用画素ラインから第１回転方向の円偏光を発する。
【００３０】
また、表示部１４２は、右眼用の画素ラインにより、外枠画像が合成された右側画像を表示する。表示部１４２は、一例として、右眼用画素ラインから第１回転方向の円偏光とは逆回転の第２回転方向の円偏光を発する。このような表示部１４２は、表示部１４２に左側画像および右側画像を含む表示用画像を表示し、外枠表示部１４８に外枠画像を表示することができる。
【００３１】
観察用メガネ１４４は、表示部１４２の右眼用の画素ラインにより表示された画像を右眼だけに与え、表示部１４２の左眼用の画素ラインにより表示された画像を左眼だけに与える。観察用メガネ１４４は、一例として、第１回転方向の円偏光を透過して第２回転方向の円偏光を遮断する観視者の左眼上に配置される左眼用偏光フィルタと、第２回転方向の円偏光を透過して第１回転方向の円偏光を遮断する観視者の右眼上に配置される右眼用偏光フィルタとを有する。
【００３２】
このような表示部１４２および観察用メガネ１４４を有する出力部１４０は、左側画像を観視者の左眼に対して出力し、右側画像を観視者の右眼に対して出力することができる。さらに、このような出力部１４０は、外枠画像を観視者の左眼および右眼の両方に対して出力することができる。
【００３３】
なお、出力部１４０は、左側画像を観視者の左眼だけに与え、右側画像を観視者の右眼だけに与え、外枠画像を観視者の左眼および右眼の両方に与えることができれば、どのような構成であってもよい。出力部１４０は、一例として、外枠画像が合成された左側画像および外枠画像が合成された右側画像を時間的に交互に表示する表示装置と、表示装置に同期したシャッタを有するシャッタ付メガネとを有してもよい。ここで、シャッタ付メガネは、観察用メガネ１４４の代わりに用いられ、外枠画像が合成された左側画像が表示されている期間において左眼のシャッタを開いて右眼のシャッタを閉じ、外枠画像が合成された右側画像が表示されている期間において右眼のシャッタを開いて左眼のシャッタを閉じる。
【００３４】
また、出力部１４０は、左眼用表示領域と右眼用表示領域とを有するヘッドマウントディスプレイであってもよい。また、出力部１４０は、色フィルタまたは分光特性差、偏向方向の違い等を利用して、左側画像を観視者の左眼だけに表示し、右側画像を観視者の右眼だけに表示する装置であってもよい。
【００３５】
近景拡大部１８０は、近景領域を遠景領域と比較して相対的に拡大する。これにより、画像生成部１２０は、拡大された近景領域および遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を生成することができる。
【００３６】
画像生成部１２０が近景領域および遠景領域を左右に異なるシフト量分ずらした右眼用の画像および左眼用の画像を生成することによって、出力部１４０は、観視者に、近景領域が遠景領域よりも近くにあるように感じさせる表示用画像を出力することができる。このようにして、画像処理装置１００は、立体感をより高めた画像を観視者に提供することができる。
【００３７】
図２は、表示部１４２による遠景画像の表示の一例を示す。表示部１４２は、一例として、水平ラインを垂直方向に１本ずつ交互に選択した場合における一方（例えば偶数ライン）が左眼用画素ラインであり、他方（例えば奇数ライン）が右眼用画素ラインである表示領域を有する。そして、画像生成部１２０は、このような表示部１４２の表示領域における左眼用画素ラインに対応する２次元画像の各画素から左側画像を生成すると共に、表示領域における右眼用画素ラインに対応する２次元画像の各画素から右側画像を生成して、表示部１４２に与える。これにより、表示部１４２は、観察用メガネ１４４を介して、左眼用画素ラインにより表示された左側画像を左眼だけに与え、右眼用画素ラインにより表示された右側画像を右眼だけに与えることができる。
【００３８】
図３は、左側画像上の表示点、右側画像上の表示点、及び、ユーザにより知覚される像の一例を示す。人間が近距離の２次元画像を見ている場合、左眼に与えられている画像と右眼に与えられているが画像とは同一ではなく視差がある。人間は、この視差から、見ているものが２次元画像であると認識する。また、人間が無限遠（例えば１０ｍ以上）の物体を見ている場合、左眼に与えられている画像と右眼に与えられている画像とは、視差がなく同一となる。人間は、無限遠を見ている場合、左眼に与えられている画像と右眼に与えられている画像との間に視差が無いことにより、見ている物体及び景色等に立体感および臨場感を感じる。
【００３９】
画像処理装置１００は、無限遠に位置する遠景画像に対して、ユーザの瞳孔間距離と同じだけ左右に距離ずらした視差のない（即ち、互いに同じ）左側画像および右側画像を生成する。そして、画像処理装置１００は、左側画像をユーザの左眼に与え、右側画像をユーザの右眼に与える。この結果、画像処理装置１００は、ユーザの左眼および右眼の視線を平行状態とする、即ち、ユーザの視線を輻輳させない（左眼および右眼の視線を交差させない）状態とすることができる。これにより、画像処理装置１００は、ユーザを、無限遠を見ている状態にすることができる。即ち、例えば、図３に示されるように、画像処理装置１００は、ユーザに、Ａ点（黒丸の点）およびＢ点（三角の点）をともに無限遠に位置する点として知覚させることができる。
【００４０】
このように画像処理装置１００は、ユーザに無限遠を見ている状態として且つ左眼と右眼とに視差のない画像を与えることにより、ユーザに立体的を感じる画像を提供することができる。例えば、画像処理装置１００は、例えば風景画像等に、窓から外を見たような臨場感を与えることができる。また、画像処理装置１００は、マクロ撮影などの近距離撮影の画像に、虫眼鏡でみたような実物感を与えることができる。
【００４１】
画像処理装置１００が、以上のような臨場感および実物感といった現実感を画像に与えることができる理由は、以下のように推定される。画像処理装置１００は、ユーザの視線を輻輳させないので、視差による像の位置の特定をさせることができない。しかし、視差が無い場合であっても、人間は、経験常識から導き出される実際の対象物の大きさと画角から、像の位置を推定している。そして、人間は、このような位置の推定を無意識かつ瞬時に行い、立体感とともに実寸の感覚を得る。従って、画像処理装置１００は、ユーザの視線を輻輳させなくても、以上のような現実感を画像に与えることができると推定される。
【００４２】
また、人間は、動画像を見ている場合、遠くの物体は動きが小さく、近くの物体は動きが大きく感じる。人間は、動画像を見ている場合、視差よりも、このような物体の動きに、より強く立体感を感じる。従って、画像処理装置１００は、動画像を表示する場合には、ユーザに立体感をより強く感じさせることができる。
【００４３】
さらに、画像処理装置１００は、書割り効果と呼ばれる平面が立って見える現象、および、箱庭効果と呼ばれる、奥行きおよび飛び出し感を強調することによって画面の横方向の拡がり感を低下させる現象を発生させない。従って、画像処理装置１００によれば、自然な立体感および臨場感を有する立体画像を提供することができる。
【００４４】
また、画像処理装置１００は、遠景画像において、ユーザの視線を輻輳させないので、視覚の輻輳と調節との不一致が生じず、不快感を少なくすることができる。また、本実施形態においては、画像処理装置１００は、近景画像については遠景画像と異なるシフト量を与えて立体感を増す。そこで、画像処理装置１００は、近景画像においても、ユーザの視線を輻輳させないことによって、同様に不快感を少なくすることができる。
【００４５】
また、画像処理装置１００は、画面よりも遠い位置に立体像を知覚させるので、枠（例えば、窓枠および虫眼鏡の枠等）を通してみるような感覚をユーザに与えることができる。従って、画像処理装置１００によれば、画面より前に飛び出して見える像が画面枠で不自然に切断される現象が生じず、自然な立体画像をユーザに提供することができる。
【００４６】
図４は、左側画像または右側画像の一方だけが表示される非対応領域およびクロストークの一例を示す。外枠画像を表示しない場合における表示領域の左辺部分には、１枚の２次元画像を左右にずらして左側画像および右側画像を生成した場合における左側画面は表示されるが右側画面は表示されない領域（即ち、右側画像および左側画像が重ならない非対応領域）が存在する。同様に、外枠画像を表示しない場合における表示領域の右辺部分には、右側画面は表示されるが左側画面は表示されない非対応領域が存在する。
【００４７】
また、表示領域の右端から瞳孔間距離分内側の位置、および、表示領域の左端から瞳孔間距離分内側の位置には、縦方向の線に見えるクロストーク（またはゴースト）が観察される。このような非対応領域およびクロストークは、観視者に不自然感を与えてしまう。
【００４８】
図５は、外枠画像の一例を示す。そこで、外枠生成部１３０は、表示用画像に含まれる少なくとも非対応領域およびクロストークを覆う外枠画像を生成することが好ましい。即ち、外枠生成部１３０は、左辺および右辺のそれぞれの枠幅が少なくとも瞳孔間距離以上である外枠画像を生成することが好ましい。これにより画像処理装置１００によれば、表示用画像において不自然感を与える非対応領域およびクロストーク部分を隠して、観視者に自然な表示用画像を提供することができる。
【００４９】
また、外枠生成部１３０は、左辺部分および右辺部分だけを有する外枠画像を生成してもよい。即ち、上辺部分および下辺部分を有さない外枠画像を生成してもよい。また、画像処理装置１００は、一部だけ外枠画像を生成して、残りの部分に物理的な枠を用いてもよい。これにより、画像処理装置１００は、少なくとも非対応領域およびクロストーク部分を隠した表示用画像を提供することができる。
【００５０】
図６Ａは、元の２次元画像６１０および近景拡大処理をしない場合の左眼用画像６２０および右眼用画像６３０を示す。
【００５１】
近景拡大部１８０を有しない画像処理装置１００において、抽出部１１０は、一例として木が近景画像として描かれている元の２次元画像６１０から近景領域および遠景領域を抽出する。画像生成部１２０は、元の２次元画像６１０から近景領域を切り出した近景画像、および２次元画像から近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらすことによって、左眼用画像６２０および右眼用画像６３０を生成する。
【００５２】
左眼用画像６２０および右眼用画像６３０は、近景拡大処理をしない場合の左眼用画像および右眼用画像である。ここで、左眼用画像６２０および右眼用画像６３０は、近景領域のシフト量と、遠景領域のシフト量との差に起因する隙間部分を有する。
【００５３】
図６Ｂは、元の２次元画像６１０および近景拡大部１８０が近景拡大処理をした場合の、左眼用画像６４０および右眼用画像６５０を示す。解析部１５０は、元の２次元画像６１０を解析して、領域ごとの距離データを出力する。分類部１６０は、解析部１５０が出力する領域ごとの距離データを用いて、元の２次元画像６１０の近景領域および遠景領域を分類する。
【００５４】
一例では、分類部１６０は、２次元画像中の各対象物のうち、合焦状態が基準以上の画像領域を近景領域に分類する。図６Ｂ内の２次元画像の撮像時に、撮像装置の焦点が元の２次元画像６１０に描かれている木に合っていた場合に、分類部１６０は、当該木が描かれている領域を近景領域に分類してもよい。
【００５５】
一例では、分類部１６０は、２次元画像内の少なくとも１箇所に対して付加された、撮像時における対象物までの距離に基づいて、当該対象物に対応する画像領域を近景領域および遠景領域のいずれかに分類する。図６Ｂ内の２次元画像の撮像時に、当該木が描かれている領域に当該木までの距離が付加された場合に、分類部１６０は、当該距離の関数に基づいて、当該領域を近景領域に分類してもよい。
【００５６】
一例では、分類部１６０は、２次元画像内の複数の領域のそれぞれについて、領域に付加された対象物までの距離が基準より小さい領域を近景領域に分類し、距離が基準以上の領域を遠景領域に分類する。木が描かれている領域に対して付加された距離が基準値未満である場合に、分類部１６０は、しきい値関数である当該距離の関数に基づいて、当該領域を近景領域に分類してもよい。
【００５７】
近景拡大部１８０は、分類された近景領域を拡大する。近景拡大部１８０は、２次元画像から近景領域を切り出した近景画像、および２次元画像から近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、遠景画像における近景を切り出し後の画像領域を隠すことができる拡大率で、近景画像を拡大してもよい。
【００５８】
画像生成部１２０は、遠景領域および拡大された近景領域から、隙間をなくした左眼用画像６４０および右眼用画像６５０を生成する。左眼用画像６４０および右眼用画像６５０内の実線は、抽出部１１０が近景を切り出した後に、近景拡大部１８０が遠景画像における近景を切り出し後の画像領域を隠すことができる拡大率で拡大した近景画像を示す。
【００５９】
近景拡大部１８０は、２次元画像から近景領域を切り出した近景画像を拡大して、２次元画像から近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、遠景画像における近景を切り出し後の画像領域を隠すことができる大きさのシフト量を決定してもよい。
【００６０】
図７は、本実施形態の第１変形例に係る画像処理装置７００の構成を示す。出力部１４０に接続された画像処理装置７００は、抽出部１１０と、画像生成部１２０と、近景拡大部１８０と、ぼかし処理部７１０を備える。図７において、図１と同じ符号を付した部材は、図１と同様の機能および構成をとるので、説明を省略する。
【００６１】
ぼかし処理部７１０は、遠景領域の画像をぼかす。ぼかし処理部７１０は、２次元画像から近景領域を切り出した近景画像、および２次元画像から近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、遠景画像における近景を切り出し後の画像領域に、遠景画像における当該画像領域から所定範囲内の画像をぼかしたぼかし画像を挿入してもよい。
【００６２】
ぼかし処理部７１０は、当該所定範囲内の画像として、遠景画像全体をぼかしてもよい。こうすると、画像処理装置７００は、観視者に近景画像に焦点が合っている感覚をもたらすことができる。
【００６３】
ぼかし処理部７１０は、図６Ａ内の左眼用画像６２０および右眼用画像６３０に示されている隙間に、遠景画像をぼかしたぼかし画像を挿入してもよい。こうすると、画像処理装置７００は、観視者に近景画像をより強調させて見せることができ、より立体感を増すことができる。
【００６４】
図８は、出力部１４０に接続された本実施形態の第２変形例に係る画像処理装置８００の構成を示す。画像処理装置８００は、抽出部１１０と、画像生成部１２０と、近景拡大部１８０と、補償部８１０を備える。図８において、図１と同じ符号を付した部材は、図１と同様の機能および構成をとるので、説明を省略する。
【００６５】
補償部８１０は、２次元画像から近景領域を切り出した近景画像、および２次元画像から近景領域を切り出した残りの遠景画像を左右に異なるシフト量分ずらす場合に、遠景画像における近景を切り出し後の画像領域を、当該画像領域に対応する遠景が撮像された他の２次元画像により補う。補償部８１０は、切り出した部分の周辺における遠景に写った物にあわせて、当該他の２次元画像として、空、海、レンガの壁等の規則的な模様を使用してもよい。
【００６６】
補償部８１０は、当該他の２次元画像として、同じ遠景画像を含む２次元画像を使用してもよい。このように、補償部８１０が遠景画像における近景を切り出し後の画像領域を補償することによって、画像処理装置８００は、観視者により自然な立体的画像を見せることができる。
【００６７】
補償部８１０は、当該他の２次元画像として、任意の２次元画像を使用してもよい。このようにして、画像処理装置８００は、観視者にとって好ましい２次元画像を背景の遠景画像として使用した立体的画像を見せることができる。
【００６８】
図９は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＤＶＤドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
【００６９】
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部を制御する。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７０】
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＤＶＤドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＤＶＤドライブ２０６０は、ＤＶＤ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
【００７１】
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。
【００７２】
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＤＶＤ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
【００７３】
コンピュータ１９００にインストールされ、コンピュータ１９００を画像処理装置１００として機能させるプログラムは、解析モジュールと分類モジュールとを有する抽出モジュールと、画像生成モジュールと、外枠生成モジュールと、出力モジュールと、基準サイズ記憶モジュールと、近景拡大モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、解析部１５０と分類部１６０とを有する抽出部１１０、画像生成部１２０、外枠生成部１３０、基準サイズ記憶部１７０および近景拡大部１８０としてそれぞれ機能させる。
【００７４】
これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である、解析部１５０と分類部１６０とを有する抽出部１１０、画像生成部１２０、外枠生成部１３０、基準サイズ記憶部１７０および近景拡大部１８０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理装置１００が構築される。
【００７５】
一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＤＶＤ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
【００７６】
また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＤＶＤドライブ２０６０（ＤＶＤ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。
【００７７】
また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
【００７８】
また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
【００７９】
以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＤＶＤ２０９５の他に、ＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
【００８０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８２】
１００  画像処理装置、１１０  抽出部、１２０  画像生成部、１３０  外枠生成部、１４０  出力部、１４２  表示部、１４４  観察用メガネ、１４６  画像表示部、１４８  外枠表示部、１５０  解析部、１６０  分類部、１７０  基準サイズ記憶部、１８０  近景拡大部、６１０  元の２次元画像、６２０  左眼用画像、６３０  右眼用画像、６４０  左眼用画像、６５０  右眼用画像、７００  画像処理装置、７１０  ぼかし処理部、８００  画像処理装置、８１０  補償部、１９００  コンピュータ、２０００  ＣＰＵ、２０１０  ＲＯＭ、２０２０  ＲＡＭ、２０３０  通信インターフェイス、２０４０  ハードディスクドライブ、２０５０  フレキシブルディスク・ドライブ、２０６０  ＤＶＤドライブ、２０７０  入出力チップ、２０７５  グラフィック・コントローラ、２０８０  表示装置、２０８２  ホスト・コントローラ、２０８４  入出力コントローラ、２０９０  フレキシブルディスク、２０９５  ＤＶＤ
【図１】
2010226391.tif 000003
【図２】
2010226391.tif 000004
【図３】
2010226391.tif 000005
【図４】
2010226391.tif 000006
【図５】
2010226391.tif 000007
【図６Ａ】
2010226391.tif 000008
【図６Ｂ】
2010226391.tif 000009
【図７】
2010226391.tif 000010
【図８】
2010226391.tif 000011
【図９】
2010226391.tif 000012