(57)【要約】【課題】立体視用画像を容易に得ることができる立体視用画像生成システムを提供することを、目的とする。【解決手段】魚眼レンズ２０を備えるカメラ１２と、カメラ１２が撮影した画像を加工し、立体画像を生成する処理装置１４とを備え、処理装置１４は、画像のエッジ検出をする検出部２２と、エッジ検出の結果に基づいて画像に含まれる被写体１８を特定し、特定した被写体１８の飛び出し量を決定し、決定した飛び出し量に応じて、画像を処理することにより、立体視用画像を生成する生成部２６とを備える。【選択図】図１
2014150294.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズを備えるカメラと、
前記カメラが撮影した画像を処理することにより、立体視用画像を生成する処理装置とを備え、
前記処理装置は、
前記画像のエッジ検出をする検出部と、
エッジ検出の結果に基づいて前記画像に含まれる被写体を特定し、特定した前記被写体の飛び出し量を決定し、決定した飛び出し量に応じて、前記画像を処理することにより、前記立体視用画像を生成する生成部とを備える、立体視用画像生成システム。
【請求項２】
請求項１に記載の立体視用画像生成システムであって、
前記処理装置はさらに、前記立体視用画像からノイズを取り除く除去部を備える、立体視用画像生成システム。
【請求項３】
請求項１又は２に記載の立体視用画像生成システムであってさらに、
前記立体視用画像を表示する表示装置を備える、立体視用画像生成システム。
【請求項４】
請求項３に記載の立体視用画像生成システムであって、
前記処理装置はさらに、前記表示装置に応じて前記立体視用画像のデータを変換する変換部を備える、立体視用画像生成システム。
【請求項５】
請求項１〜４の何れか１項に記載の立体視用画像生成システムであって、
前記魚眼レンズが、対角線魚眼レンズである、立体視用画像生成システム。
【請求項６】
請求項１〜５の何れか１項に記載の立体視用画像生成システムであって、
前記処理装置はさらに、前記立体視用画像を記憶する記憶部を備える、立体視用画像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用画像生成システムに関する。
【背景技術】
【０００２】
観察者に立体画像を見せる立体表示装置が、従来から知られている。立体表示装置には、液晶シャッタ眼鏡等の特殊な眼鏡を用いる眼鏡式と、特殊な眼鏡を用いない裸眼式とがある。何れの方式の立体表示装置であっても、観察者の左右の眼に異なる立体視用画像を見せることで、観察者に立体画像を見せるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−３１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
異なる立体視用画像を得るためには、複数のカメラで撮影する必要がある。そのため、立体視用画像を容易に得ることが難しい。
【０００５】
本発明の目的は、立体視用画像を容易に得ることができる立体視用画像生成システムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の立体視用画像生成システムは、魚眼レンズを備えるカメラと、前記カメラが撮影した画像を処理することにより、立体視用画像を生成する処理装置とを備え、前記処理装置は、前記画像のエッジ検出をする検出部と、エッジ検出の結果に基づいて前記画像に含まれる被写体を特定し、特定した前記被写体の飛び出し量を決定し、決定した飛び出し量に応じて、前記画像を処理することにより、前記立体視用画像を生成する生成部とを備える。
【発明の効果】
【０００７】
本発明の立体視用画像生成システムによれば、立体視用画像を容易に得ることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１の実施形態としての立体視用画像生成システムを示すブロック図である。
【図２】図２は、カメラが被写体の後方からの反射光も取り込んでいることを示す概念図である。
【図３】図３は、図１に示す処理装置の機能ブロック図である。
【図４】図４は、生成部が実行する処理について説明するために用いる人物画である。
【図５】図５は、生成部が実行する処理について説明するために用いる人物画である。
【図６】図６は、第１の実施形態の応用例１としての立体視用画像生成システムが備える処理装置の機能ブロック図である。
【図７】図７は、第１の実施形態の応用例２としての立体視用画像生成システムが備える処理装置の機能ブロック図である。
【図８】図８は、本発明の第２の実施形態としての立体視用画像生成システムを示すブロック図である。
【図９】図９は、図８に示す処理装置の機能ブロック図である。
【発明を実施するための形態】
【０００９】
本発明の実施の形態による立体視用画像生成システムは、魚眼レンズを備えるカメラと、前記カメラが撮影した画像を処理することにより、立体視用画像を生成する処理装置とを備え、前記処理装置は、前記画像のエッジ検出をする検出部と、エッジ検出の結果に基づいて前記画像に含まれる被写体を特定し、特定した前記被写体の飛び出し量を決定し、決定した飛び出し量に応じて、前記画像を処理することにより、前記立体視用画像を生成する生成部とを備える（第１の構成）。
【００１０】
第１の構成においては、カメラが魚眼レンズを備える。そのため、カメラが撮影した画像は、被写体の後方からの反射光も取り込む。これにより、カメラが撮影した画像には、被写体の飛び出し量を決定するために必要な情報が盛り込まれる。その結果、１台のカメラで撮影しても、被写体の飛び出し量が設定し易い。従って、立体視用画像を容易に得ることができる。
【００１１】
第２の構成は、前記第１の構成において、前記処理装置はさらに、前記立体視用画像からノイズを取り除く除去部を備える構成である。このような構成においては、立体視用画像の画質が向上する。
【００１２】
第３の構成は、前記第１又は第２の構成において、前記立体視用画像を表示する表示装置を備える構成である。このような構成においては、カメラが撮影した画像を即時に表示することができる。
【００１３】
第４の構成は、前記第３の構成において、前記処理装置はさらに、前記表示装置に応じて前記立体視用画像のデータを変換する変換部を備える構成である。このような構成においては、表示装置に応じた立体視用画像を表示することができる。
【００１４】
第５の構成は、前記第１〜第４の構成の何れか１つにおいて、前記魚眼レンズが、対角線魚眼レンズとされている構成である。このような構成においては、魚眼レンズが円周魚眼レンズである場合に比して、画像を処理するときの負担が少なくなる。
【００１５】
第６の構成は、前記第１〜第５の構成の何れか１つにおいて、前記処理装置はさらに、前記立体視用画像を記憶する記憶部を備える構成である。
【００１６】
以下、本発明のより具体的な実施形態について、図面を参照しながら説明する。
【００１７】
［第１の実施形態］
図１に、本発明の第１の実施形態としての立体視用画像生成システム１０を示す。立体視用画像生成システム１０の用途としては、例えば、テレビ受像機、ゲーム機等がある。
【００１８】
立体視用画像生成システム１０は、カメラ１２と、処理装置１４と、表示装置１６とを備える。カメラ１２が撮影した画像を処理装置１４が処理することで、立体視用画像が得られる。立体視用画像が表示装置１６に表示されることで、観察者は立体画像を見ることができる。
【００１９】
カメラ１２は、被写体１８を撮影する。カメラ１２は、例えば、ビデオカメラ等の動画を撮影するカメラであってもよいし、写真を撮影するスチルカメラであってもよい。カメラ１２は、魚眼レンズ２０を備える。
【００２０】
魚眼レンズ２０は、中心射影方式と異なる射影方式を採用しているレンズである。魚眼レンズ２０の射影方式は、例えば、等距離射影方式であってもよいし、等立体角射影方式であってもよい。
【００２１】
魚眼レンズ２０は、例えば、円周魚眼レンズであってもよいし、対角線魚眼レンズであってもよい。円周魚眼レンズの場合、得られる画像は円形である。対角線魚眼レンズの場合、得られる画像は矩形である。円形画像よりも矩形画像のほうが加工し易い。従って、本実施形態では、魚眼レンズ２０として、対角線魚眼レンズが採用されている。
【００２２】
魚眼レンズ２０の画角は、１８０度に限定されない。例えば、１８０度より大きくてもよいし、１８０度より小さくてもよい。
【００２３】
処理装置１４は、カメラ１２が撮影した画像を処理することで、立体視用画像を生成する。カメラ１２は、図２に示すように、被写体１８の後方からの反射光も取り込む。具体的には、カメラ１２は、被写体１８の右側前方からの反射光ＲＦだけでなく、被写体１８の右側後方からの反射光ＲＢも取り込む。また、カメラ１２は、被写体１８の左側前方からの反射光ＬＦだけでなく、被写体１８の左側後方からの反射光ＬＢも取り込む。そのため、カメラ１２が撮影した画像は、被写体１８が膨らんで見える。換言すれば、カメラ１２が撮影した画像そのものが、疑似的な立体画像になっている。そのため、カメラ１２が撮影した画像には、被写体１８の飛び出し量を決定するための情報が盛り込まれている。処理装置１４は、カメラ１２が撮影した画像に盛り込まれている情報から最適な飛び出し量を決定し、立体視用画像を生成する。
【００２４】
処理装置１４は、カメラ１２が撮影した画像のエッジ検出をする。処理装置１４は、エッジ検出の結果に基づいて、カメラ１２が撮影した画像に含まれる被写体１８を特定する。処理装置１４は、カメラ１２が撮影した画像に含まれる被写体１８の飛び出し量を決定する。処理装置１４は、被写体１８の飛び出し量に応じて、カメラ１２が撮影した画像を処理し、立体視用画像を生成する。
【００２５】
処理装置１４は、図２に示すように、検出部２２と、生成部２６と、除去部２４と、変換部２８とを備える。
【００２６】
検出部２２は、カメラ１２が撮影した画像のエッジ検出をする。エッジ検出には、例えば、零交差法等が用いられる。エッジ検出の前に、平滑化を行ってもよい。
【００２７】
生成部２６は、エッジ検出の結果に基づいて、カメラ１２が撮影した画像に含まれる被写体１８を特定する。エッジ検出によって特定される被写体１８は、１つに限定されず、複数であってもよい。被写体１８を特定するアルゴリズムは、例えば、ゼロクロス法である。デジタル画像は、離散的な値をとるので、近傍画素との差分または、画素の座標値の偏微分に基づく勾配を求めるため、畳込み演算を行ってエッジの強さを求めることになる。画像のエッジとは、画素値が急峻に変化する点であるが、画素値の変化の大きさを、一般的に「勾配」、或いは「エッジの強さ」と呼んでいる。また、偏微分で求めたエッジの強さが変化する場合、画素値が急峻に変化するという。ゼロクロス法は、この演算された数値が、ゼロでない値を持つ箇所にエッジがあると考え、このゼロクロス点を抽出する。実際には、ゼロでない値を持つとは、その近傍に存在する値がゼロの点であることを意味する。勾配を求めるためには、近接画像との差分を抽出する必要があるが、１例としては、次の方法がある。まず、画像に対して、水平方向の座標値、鉛直方向の座標値を抽出する。その後、水平方向、鉛直方向の２方向における勾配を求める。つまり、勾配とは２点間の差分であるため、水平方向、鉛直方向の２点間の座標値の差分を抽出する。ここで、エッジ検出を行うが、エッジの強さとは、水平方向、鉛直方向の勾配の値を用いて、この２種類の数値の２乗平均平方根をとる方法がある。これにより、エッジの強さが求められる。画像全体から見ると、被写体は１つではなく、複数あるので、それぞれのエッジから、エッジの強さが求められる。
【００２８】
生成部２６は、特定した被写体１８の飛び出し量を決定する。カメラ１２が撮影した画像には、被写体１８の飛び出し量を決定するための情報が盛り込まれている。この情報を基にして、生成部２６は、被写体１８の飛び出し量を決定する。通常、多視点の立体表示方法においては、１例としては、液晶シャッターを開閉して、左眼用画像と右眼用画像を観察者に交互に見せることで、画像の立体視を実現する。この場合、液晶シャッターの開閉のやり方を変えることで、画像としての飛び出し量を設定している。しかし、本発明では、他の立体視の場合の飛び出し量と概念が異なる。本発明では、画像の立体視をさせるために必要となる、液晶シャッター、或いは、偏光レンズ、レンチキュラーレンズ等のツールがないため、画像の飛び出し具合は、カメラ１２で撮影した画像を処理することで設定する。立体視を実現するには、例えば、１例としては、２視点カメラで撮影し、右眼用画像、左眼用画像を生成する。これらの画像を表示する際に液晶シャッターを開閉させて、立体視できるようにしている。しかし、本発明では、カメラが単数であるので、左眼用画像、右眼用画像がないため、まず、撮影した画像のエッジの強さを検出し、エッジを特定する。そのとき、隣り合う画像（領域）の色彩、輝度を検出して、隣り合う画像（領域）において、色彩、輝度の差を調整する。デジタル画像における色彩、または輝度はデジタル値であるため、これらの値を変化させることで、エッジを境界として隣り合う画像（領域）の見え方を変化させることができる。この設定する数値が、概念的に、本発明における飛び出し量とみなされる。目視では、画像のエッジの左右で輝度、あるいは色彩の差があれば、ここに陰影が生じて立体視できる。たとえば、図４に示した人物画について説明する。人物画像（被写体１８）には、光の当たる部分、当たらない部分、及び色彩の異なる部分などが存在する。今、顔の輪郭１８ａをエッジとすると、そのエッジを境界にして、隣り合う画像（領域）は、明るさ、及び色彩が異なる。その画像（領域）の光の具合、及び色彩を説明する為に、図５について説明する。図５に示すとおり、たとえば、人の顔（被写体１８ａ）でも、光の当たる部分１８ｂ、光の当たらない部分１８ｃがある。また、黒い髪の部分１８ｄ、明るい肌色の部分（光の当たる部分１８ｂ）もある。これらの部分において、立体視できるような最適な画像処理を行う。一般的には、陰影をつけるような処理となる。この場合、被写体１８の飛び出し量を決定するアルゴリズムとしては、例えば、レイトレーシング等がある。レイトレーシングは、投影平面に入ってくる光線を追跡し、物体の表面の色や輝度を計算することにより、光の屈折、透過、反射も再現するので、写真のようなリアリティのある画像を得ることができる。デジタル画像におけるデジタル値を、レイトレーシング法にて処理する際、輝度、色彩等のデータをどのように設定するかで、それらのデジタル値を表示装置に出力した際、表示装置の正面から画像を目視した場合、立体視の度合いが変化するので、輝度、色彩等のデジタル値を最適な値に設定することで、本発明における飛び出し量を、好適に設定することができる。
【００２９】
生成部２６は、決定した被写体１８の飛び出し量に応じて、カメラ１２で撮影した画像を処理し、立体視用画像を生成する。従来の立体視用画像の生成装置においては、1例としては、複数のカメラで撮影した画像を元に、右眼用画像、左眼用画像を生成し、それを交互に表示することで、立体視できるようにしている。しかし、本発明では、複数のカメラ画像が存在しないので、左眼用画像、右眼用画像と呼べるものがない。そこで、画像が飛び出して見えるようにする為には、前述の通り、画像のエッジの強さ検出し、そのエッジの強さを調整することで、表示装置の正面から目視した場合、画像が立体視できるようにしている。エッジの強さを検出する方法としては、例えば、フィルタリング法がある。フィルタリング法は、隣り合う画素値を抽出し、微分によりその画素値の傾きを検出し、その値を調整することで、より好適に立体視できるように、画像のデジタル値を設定するものである。また、カメラ１２から撮影されたデジタル画像において、ひずみ、汚れ等があれば、図３に記載した本発明の一実施形態の機能ブロック図にある生成部２６にて、誤ったデジタル値によるデジタル画像が生成されるので、検出部の後段には、ひずみ、汚れを除去する為、除去部２４が必要となる。デジタル画像において、ひずみ、汚れ等を除去して原画像を復元するアルゴリズムとしては、メジアンフィルタ法がある。メジアンフィルタは、処理対象の画素とその周辺の画素を大きい順に並べ替え、並べ替えたデータに、適切な係数を与えるが、そこで、並べ替えたデータの中心にのみ、荷重を与える方法である。メジアンフィルタは、エッジ保全性は良いが、細部の保存性はあまり良くないという特徴がある。これは、画素を昇順に並べ替えることによる、信号の時間または、位置情報が消滅する為である。そこで、このメジアンフィルタ法を改善した方法として、荷重メジアン法がある。荷重メジアン法は、メジアンフィルタ法と違い、時間または画素の位置情報を反映させている。荷重メジアン法では、処理対象画素に重みをつけることで、メジアン値として処理対象画素が、選択されるか確立が増える為、細部の信号の保存性は、メジアンフィルタ法より良好である。つまり、メジアンフィルタ法より、荷重メジアン法のほうが、エッジがよりきれいに見えることになり、画像がクリアに表示される。前述の通り、デジタル画像のひずみ、汚れを除去するには、複数の方法があるが、システム開発に許される費用、費用対効果等を意慮して、どの処理方法、アルゴリズムを採用するかを決定することになる。
【００３０】
除去部２４は、立体視用画像に含まれるノイズを除去する。これにより、立体視用画像の画質が向上する。
【００３１】
変換部２８は、例えば、表示装置１６の表示能力（例えば、解像度等）に応じて、立体視用画像のデータを変更する。これにより、表示装置１６は、最適な立体視用画像を表示することができる。
【００３２】
処理装置１４は、カメラ１２及び表示装置１６の他に別途設けられてもよいし、カメラ１２及び表示装置１６の何れか一方に設けられてもよい。
【００３３】
表示装置１６は、処理装置１４が生成した立体画像を表示する。表示装置１６は、これらにのみ限定されないが、例えば、液晶表示装置、プラズマ表示装置、有機ＥＬ（electroluminescence）表示装置等である。
【００３４】
このような立体視用画像生成システム１０においては、立体視用画像を得るために必要なカメラ１２が１台でよいので、立体視用画像を容易に得ることができる。
【００３５】
複数のカメラを必要としないので、システムの構成を簡単にすることができる。その結果、コストを抑えることができる。
【００３６】
表示装置１０を備えているので、立体視用画像をリアルタイムに表示することができる。
【００３７】
［第１の実施形態の応用例１］
本応用例では、図６に示すように、処理装置１４が、除去部２４と、変換部２８を備えていない。この応用例は、より低コストでシステムを構成する為のものであり、立体視するためのシステムとしては、差し支えないものである。この場合、変換部２８がないため、入力されたデジタル画像を、その都度、前述した飛び出し量をと設定する為のデジタル処理を行うことなしに、生成部２６から出力されたデジタル画像データを、表示する表示装置１６に表示することになる。しかし、この場合でも、最適な飛び出し量は、予め生成部２６に伝達されており、表示装置に表示される画像は、最適な立体視用画像として、目視することができる。
【００３８】
［第１の実施形態の応用例２］
本応用例では、図７に示すように、処理装置１４が、変換部２８を備えていない。この場合、処理装置１４が変換部２８を備えていないので、得られる画像の解像度等を表示装置１６の表示能力に応じて予め設定しておく必要があるが、第１の実施形態と同様に、立体視用画像を容易に得ることができる。処理装置１４が除去部２８を備えているので、立体視用画像の画質が向上する。
【００３９】
［第２の実施形態］
続いて、本発明の第２の実施形態としての立体視用画像生成システム１０について、図８及び図９に基づいて、説明する。なお、以下の説明において、第１の実施形態と同様な構造とされた部材及び部位については、図中に、第１の実施形態と同一の符号を付すことにより、それらの詳細な説明を省略する。
【００４０】
図８に示すように、本実施形態の立体視用画像生成システム３０は、第１の実施形態の立体視用画像生成システム１０に比して、表示装置１６を備えていない。図９に示すように、処理装置１４は、除去部２４及び変換部２８を備えていないが、その代わりに、記憶部３２を備える。
【００４１】
記憶部３２は、生成部２６が生成した立体視用画像を記憶する。記憶部３２は、例えば、ＨＤＤ（Hard Disc Drive）、ブルーレイレコーダ等である。
【００４２】
記憶部３２に記憶した立体視用画像は外部に持ち出すことができる。これにより、記憶部３２に記載した立体視用画像を、別途用意した表示装置に表示することができる。この場合、表示装置において、記憶部３２に記憶した立体視用画像のデータを、表示装置の表示能力に応じて変換しても良い。立体視用画像を表示装置に表示する場合、デジタル値である画像データを表示装置に送信するが、より鮮明に立体視できるようにするには、ある程度の解像度が必要となる。なぜなら、低い解像度の表示装置では、画素をドライブする速度が遅く、より立体視できるように、画像のエッジにある画素を高速で駆動しようとしても、それができないからである。つまり、画素を高速でドライブすることで、画素値を細かく設定し、画像のエッジを強調したり、ぼやかしたりすることができるので、画像に変化がつき、目視した場合、立体的に見えやすくなるためである。
【００４３】
別途用意した表示装置を処理装置１４に接続し、記憶部３２に記憶した立体画像を、処理装置１４に接続した表示装置に表示してもよい。この場合、記憶部３２に記憶した立体画像を、いつでも見ることができる。
【００４４】
以上、本発明の実施形態について、詳述してきたが、これらはあくまでも例示であって、本発明は、上述の実施形態によって、何等、限定されない。
【符号の説明】
【００４５】
１０：立体視用画像生成システム，１２：カメラ，１４：処理装置，１６：表示装置，２０：魚眼レンズ，２２：検出部，２４：生成部，２６：除去部，２８：変換部，３２：記憶部
【図１】
2014150294.tif 000003
【図２】
2014150294.tif 000004
【図３】
2014150294.tif 000005
【図４】
2014150294.tif 000006
【図５】
2014150294.tif 000007
【図６】
2014150294.tif 000008
【図７】
2014150294.tif 000009
【図８】
2014150294.tif 000010
【図９】
2014150294.tif 000011