(57)【要約】  実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成可能な技術を提供することを図る。該目的を達成するために、情報処理装置は、互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段と、前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報を取得する取得手段と、前記判定用情報に基づいて前記幾何学的関係を判定する判定手段と、互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成手段と備えるようにした。
2012090309.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段と、
前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報を取得する取得手段と、
前記判定用情報に基づいて前記幾何学的関係を判定する判定手段と、
互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成手段と、
を備える情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記撮像結果から得られた第１ソース画像が前記第１の生成処理の対象とされ、
前記撮像結果から得られた第２ソース画像が前記第２の生成処理の対象とされ、
前記撮像結果からの前記第１ソース画像と前記第２ソース画像との選択規則が互いに異なる情報処理装置。
【請求項３】
請求項２に記載された情報処理装置であって、
前記選択規則は、
前記配列方向が水平方向であると判定されたときは、前記第１の撮像系によって得た第１の画像と、前記第２の撮像系によって得た第２の画像とを、前記第１ソース画像として採用し、
前記配列方向が水平方向以外であると判定されたときは、前記第１画像と、前記第２の画像との何か一方の画像を、前記第２ソース画像として採用する、
という規則である情報処理装置。
【請求項４】
請求項３に記載された情報処理装置であって、
前記生成手段が、前記何れか一方の画像を画像空間において空間的に変形させた第３の画像を生成するとともに、該第３の画像を前記第２ソース画像として前記第２の生成処理を行う情報処理装置。
【請求項５】
請求項３または請求項４に記載された情報処理装置であって、
前記生成手段が、前記何れか一方の画像から推定された前記撮像手段と前記被写体との距離情報に基づいて前記第２の生成処理を行う情報処理装置。
【請求項６】
請求項３から請求項５の何れか１つの請求項に記載された情報処理装置であって、
表示手段を更に備え、
前記生成手段が、前記第１の画像と前記第２の画像とのうち前記表示手段に表示されている画像を前記第２ソース画像として前記第２の生成処理を行う情報処理装置。
【請求項７】
請求項３から請求項６の何れか１つの請求項に記載された情報処理装置であって、
前記判定用情報に基づいて前記撮像手段によって前記第１と第２の画像が得られたときの前記情報処理装置の姿勢情報を検出する検出手段と、
前記立体視画像を、前記検出手段によって検出された前記情報処理装置の姿勢情報と相互に対応づけて記憶する記憶手段と、
をさらに備える情報処理装置。
【請求項８】
請求項７に記載された情報処理装置であって、
前記検出手段が、前記撮像手段の光軸まわりに互いに９０度異なる２通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する情報処理装置。
【請求項９】
請求項７に記載された情報処理装置であって、
前記検出手段が、前記撮像手段の光軸まわりに互いに９０度ずつ異なる４通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する情報処理装置。
【請求項１０】
請求項３から請求項９の何れか１つの請求項に記載された情報処理装置であって、
前記判定用情報が、前記情報処理装置が操作されたことにより発生した操作信号、前記第１の画像および前記第２の画像の少なくとも一方、および前記情報処理装置に設けられた姿勢センサの出力信号のうち少なくとも１つを含む情報処理装置。
【請求項１１】
請求項３から請求項１０の何れか１つの請求項に記載された情報処理装置であって、
前記第１の生成処理および前記第２の生成処理は、前記立体視画像を生成するにあたって、前記第１ソース画像および第２ソース画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用する情報処理装置。
【請求項１２】
請求項３から請求項１１の何れか１つの請求項に記載された情報処理装置であって、
前記生成手段が、前記第１の生成処理および前記第２の生成処理において前記立体視画像を構成する画像群における視差の状態と、前記第１の画像と前記第２の画像との視差の状態とが異なるように前記立体視画像を生成する情報処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された情報処理装置であって、
前記情報処理装置が、携帯型情報端末、デジタルスチルカメラ、またはデジタルビデオカメラである情報処理装置。
【請求項１４】
情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を請求項１から請求項１３の何れか１つの請求項に記載の情報処理装置として機能させることを特徴とするプログラム。
【請求項１５】
互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段における前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報に基づいて前記幾何学的関係を判定する判定工程と、
互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成工程と、
を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視画像を生成する情報処理技術に関する。
【背景技術】
【０００２】
近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用の画像群（立体視画像）を容易に生成可能な技術が望まれている。このため、所定の視点から被写体を撮影したときに得られる画像についての疑似画像を模擬的に生成する装置が、各種三次元表示装置用の立体視画像を生成する用途などに活用され始めている。【０００３】
例えば、特許文献１には、左右２台のカメラを有するステレオカメラによって被写体が撮影された左画像と右画像とを対象としたパターンマッチングを行って左画像と右画像とのそれぞれの対応画素を探索し、相互に対応した２つの対応画素の画素間距離の内挿、または外挿を行うことによって、左画像と右画像との配列方向に沿った所定の各位置における疑似画像をそれぞれ作成する多眼視画像作成システムが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２４３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像素子の縦横比などに起因して、左右のカメラの配列方向が、例えば、鉛直方向となるように姿勢が調整されたステレオカメラによって被写体が撮影された場合には、生成された各画像における被写体の同一点にそれぞれ対応した各対応画素の間での各画像の画像空間における座標のずれ、すなわち視差は鉛直方向に生ずる。一方、画像の観察者は、目線が上向き、下向き、および水平の何れの状態であっても、通常、左右の目が水平方向に並んだ状態で被写体を観察する。このため、鉛直方向の視差を有する画像群がそのままの状態で立体視画像を構成する画像群として観察者に提示されたとしても、観察者の両目の配列方向と、立体視画像を構成する画像群の視差の方向とが異なるために、観察者は立体を認識することができない。また、例えば、表示装置の向きの変更により画像間の視差の方向が水平方向に変更された立体視画像が、観察者に提示された場合には、観察者は立体を認識できるものの、被写体の向きが、例えば、９０度回転されて横向きに変わってしまうために観察者は違和感を覚える。【０００６】
また、特許文献１の多眼視画像作成システムが立体視画像の生成に用いられたとしても、左右のカメラの配列方向が、観察者の左右の目の配列方向、すなわち水平方向とは異なる方向である場合には、該異なる方向に沿った左右画像間の視差の量が種々に異なった画像群が生成されるものの、観察者の立体視に係る上述した問題は、なお解決されない。【０００７】
本発明は、こうした問題を解決するためになされたもので、ステレオカメラを構成する２台のカメラの配列方向が水平方向である場合でも、また、水平方向でない場合でも、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、第１の態様に係る情報処理装置は、互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段と、前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報を取得する取得手段と、前記判定用情報に基づいて前記幾何学的関係を判定する判定手段と、互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成手段とを備える。【０００９】
第２の態様に係る情報処理装置は、第１の態様に係る情報処理装置であって、前記撮像結果から得られた第１ソース画像が前記第１の生成処理の対象とされ、前記撮像結果から得られた第２ソース画像が前記第２の生成処理の対象とされ、前記撮像結果からの前記第１ソース画像と前記第２ソース画像との選択規則が互いに異なる。【００１０】
第３の態様に係る情報処理装置は、第２の態様に係る情報処理装置であって、前記選択規則は、前記配列方向が水平方向であると判定されたときは、前記第１の撮像系によって得た第１の画像と、前記第２の撮像系によって得た第２の画像とを、前記第１ソース画像として採用し、前記配列方向が水平方向以外であると判定されたときは、前記第１画像と、前記第２の画像との何か一方の画像を、前記第２ソース画像として採用する、という規則である。【００１１】
第４の態様に係る情報処理装置は、第３の態様に係る情報処理装置であって、前記生成手段が、前記何れか一方の画像を画像空間において空間的に変形させた第３の画像を生成するとともに、該第３の画像を前記第２ソース画像として前記第２の生成処理を行う。【００１２】
第５の態様に係る情報処理装置は、第３または第４の態様に係る情報処理装置であって、前記生成手段が、前記何れか一方の画像から推定された前記撮像手段と前記被写体との距離情報に基づいて前記第２の生成処理を行う。【００１３】
第６の態様に係る情報処理装置は、第３から第５の何れか１つの態様に係る情報処理装置であって、表示手段を更に備え、前記生成手段が、前記第１の画像と前記第２の画像とのうち前記表示手段に表示されている画像を前記第２ソース画像として前記第２の生成処理を行う。【００１４】
第７の態様に係る情報処理装置は、第３から第６の何れか１つの請求項に記載された情報処理装置であって、前記判定用情報に基づいて前記撮像手段によって前記第１と第２の画像が得られたときの前記情報処理装置の姿勢情報を検出する検出手段と、前記立体視画像を、前記検出手段によって検出された前記情報処理装置の姿勢情報と相互に対応づけて記憶する記憶手段とをさらに備える。【００１５】
第８の態様に係る情報処理装置は、第７の態様に係る情報処理装置であって、前記検出手段が、前記撮像手段の光軸まわりに互いに９０度異なる２通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する。【００１６】
第９の態様に係る情報処理装置は、第７の態様に係る情報処理装置であって、前記検出手段が、前記撮像手段の光軸まわりに互いに９０度ずつ異なる４通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する。【００１７】
第１０の態様に係る情報処理装置は、第３から第９の何れか１つの態様に係る情報処理装置であって、前記判定用情報が、前記情報処理装置が操作されたことにより発生した操作信号、前記第１の画像および前記第２の画像の少なくとも一方、および前記情報処理装置に設けられた姿勢センサの出力信号のうち少なくとも１つを含む。【００１８】
第１１の態様に係る情報処理装置は、第３から第１０の何れか１つ態様に係る情報処理装置であって、前記第１の生成処理および前記第２の生成処理は、前記立体視画像を生成するにあたって、前記第１ソース画像および第２ソース画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用する。【００１９】
第１２の態様に係る情報処理装置は、第３から第１１の何れか１つの態様に係る情報処理装置であって、前記生成手段が、前記第１の生成処理および前記第２の生成処理において前記立体視画像を構成する画像群における視差の状態と、前記第１の画像と前記第２の画像との視差の状態とが異なるように前記立体視画像を生成する。【００２０】
第１３の態様に係る情報処理装置は、第１から第１２の何れか１つの態様に係る情報処理装置であって、前記情報処理装置が、携帯型情報端末、デジタルスチルカメラ、またはデジタルビデオカメラである。【００２１】
第１４の態様に係るプログラムは、情報処理装置に搭載されたコンピュータにおいて実行されることにより、当該情報処理装置を第１から第１３の何れか１つの態様に係る情報処理装置として機能させる。【００２２】
第１５の態様に係る情報処理方法は、互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段における前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報に基づいて前記幾何学的関係を判定する判定工程と、互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成工程とを備える。
【発明の効果】
【００２３】
第１から第１３の何れの態様に係る情報処理装置、第１４の態様に係るプログラム、または第１５の態様に係る情報処理方法によっても、第１の撮像系と第２の撮像系との配列方向と、水平方向との幾何学的関係を判定し、該判定結果に応じて互いに異なる第１の生成処理と第２の生成処理とのうち、該幾何学的関係の判定結果に応じて選択した一方の生成処理を、撮像手段による撮像結果に基づいて行うことにより被写体の立体視画像を生成するので、第１の撮像系と第２の撮像系との配列方向が水平方向である場合でも、また、水平方向とは異なる場合でも、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成し得る。
【図面の簡単な説明】
【００２４】
【図１】図１は、実施形態に係る情報処理装置の外観の概略を示す模式図である。
【図２】図２は、実施形態に係る情報処理装置の外観の概略を示す模式図である。
【図３】図３は、実施形態に係る情報処理装置の外観の概略を示す模式図である。
【図４】図４は、実施形態に係る情報処理装置の主な構成の１例を示す図である。
【図５】図５は、実施形態に係る情報処理装置の機能構成の１例を示す図である。
【図６】図６は、実施形態に係るステレオカメラの主な機能構成の１例を示す図である。
【図７】図７は、左画像と右画像との視差の１例を示す図である。
【図８】図８は、上画像と下画像との視差の１例を示す図である。
【図９】図９は、上画像の１例を示す図である。
【図１０】図１０は、下画像の１例を示す図である。
【図１１】図１１は、視差画像の１例を示す図である。
【図１２】図１２は、視差画像の１例を示す図である。
【図１３】図１３は、左目用画像の１例を示す図である。
【図１４】図１４は、右目用画像の１例を示す図である。
【図１５】図１５は、立体視画像の生成手順の１例の概念を示す図である。
【図１６】図１６は、立体視画像の生成手順の１例の概念を示す図である。
【図１７】図１７は、立体視画像の生成手順の１例の概念を示す図である。
【図１８】図１８は、ソース画像の部分画像と、立体視画像の部分画像とのそれぞれにおける各画素の対応関係の１例を示す図である。
【図１９】図１９は、ソース画像の部分画像の画素座標および画素ずらし値と、立体視画像の部分画像の画素座標との対応関係の１例を示す図である。
【図２０】図２０は、左画像の１例を示す図である。
【図２１】図２１は、右画像の１例を示す図である。
【図２２】図２２は、左画像の視差画像の１例を示す図である。
【図２３】図２３は、右画像の視差画像の１例を示す図である。
【図２４】図２４は、左画像の視差画像の１例を示す図である。
【図２５】図２５は、右画像の視差画像の１例を示す図である。
【図２６】図２６は、左目用画像の１例を示す図である。
【図２７】図２７は、右目用画像の１例を示す図である。
【図２８】図２８は、上画像および下画像と、各立体視画像との対応関係の１例を説明するための図である。
【図２９】図２９は、上画像および下画像と、各立体視画像との対応関係の１例を説明するための図である。
【図３０】図３０は、左画像および右画像と、各立体視画像との対応関係の１例を説明するための図である。
【図３１】図３１は、立体視画像と、情報処理装置の姿勢情報との対応づけの１例を示す図である。
【図３２】図３２は、実施形態に係る情報処理装置の動作フローを例示する図である。
【図３３】図３３は、実施形態に係る情報処理装置の動作フローを例示する図である。
【図３４】図３４は、実施形態に係る情報処理装置の動作フローを例示する図である。
【図３５】図３５は、実施形態に係る情報処理装置の動作フローを例示する図である。
【発明を実施するための形態】
【００２５】
＜実施形態について：＞
＜◎情報処理装置１００Ａの外観構成について：＞
図１〜図３は、本発明の実施形態に係る情報処理装置１００Ａの外観構成の概略を示す模式図である。なお、図１および図１以降の図では方位関係を明確化するために、ＸＹＺの相互に直交する３軸、またはＸＹの相互に直交する２軸が適宜付されている。
【００２６】
情報処理装置１００Ａは、携帯電話、カメラ、およびサーバ装置との間で無線通信等により各種情報の送受信を行う端末装置などとして機能する折り畳み式の携帯型情報端末として構成され、図１〜図３に示されるように、筐体２００Ａと、筐体２００Ｂと、ヒンジ部４００とを有している。ヒンジ部４００は、筐体２００Ａと筐体２００Ｂとを機械的に回動可能に接続するとともに、筐体２００Ａと筐体２００Ｂとを電気的にも接続している。ヒンジ部４００によって情報処理装置１００Ａは、折り畳み可能となっている。
【００２７】
図１〜図３は、情報処理装置１００Ａが開かれた外観をそれぞれ示している。図１には、情報処理装置１００Ａが折り畳まれたときに情報処理装置１００Ａの外面となる面（「うら面」とも称される）が示されている。また、図２および図３には、情報処理装置１００Ａが開かれた状態における該うら面以外の面（「おもて面」とも称される）が示されている。
【００２８】
筐体２００Ａおよび筐体２００Ｂは、それぞれ板状の部材であり、各種電子部材を格納する筐体としての役割を有している。具体的には、筐体２００Ａは、そのうら面側に第１カメラ６１および第２カメラ６２を備えたステレオカメラ３００（図４）を有するとともに、そのおもて面に表示部４３を有している。また、筐体２００Ｂは、ボタン等の操作部４２をそのおもて面に有するともに、情報処理装置１００Ａを電気的に制御するＣＰＵ（Central Processing Unit）１１Ａ（図４）などをその内部に有している。
【００２９】
また、情報処理装置１００Ａは、図２および図３などの各種姿勢においてステレオカメラ３００によって撮影された被写体の画像に基づいて操作者が立体視可能な立体視画像を生成し、表示部４３に表示する。
【００３０】
＜◎ステレオカメラ３００の構成と動作：＞
次に、ステレオカメラ３００の構成と動作について説明する。図６は、実施形態に係る情報処理装置１００Ａに設けられたステレオカメラ３００の主な機能構成の１例を示す図である。図６に示されるように、ステレオカメラ３００は、第１カメラ６１および第２カメラ６２を主に備えて構成されている。また、第１カメラ６１と第２カメラ６２とは、所定の基線長を隔てて設けられている。第１カメラ６１は、撮影光学系７２ａ、撮像素子７５ａ、および制御処理回路８５ａを主に備えて構成されている。また、第２カメラ６２は、撮影光学系７２ｂ、撮像素子７５ｂ、および制御処理回路８５ｂを主に備えて構成されている。
【００３１】
ステレオカメラ３００の各種動作は、ＣＰＵ１１Ａの制御部１３から入出力部４１およびデータ線ＤＬを介して供給される制御信号５６（図５）に基づいて制御される。ステレオカメラ３００は、被写体７１からの光を第１カメラ６１および第２カメラ６２で撮影してステレオ画像を構成する第１画像２１および第２画像２２を取得する。生成された第１画像２１および第２画像２２は、データ線ＤＬを介して入出力部４１（図４）へと供給される。
【００３２】
撮影光学系７２ａおよび７２ｂは、薄肉レンズと該レンズを支持する不図示の鏡胴とを主に備えて構成されており、被写体７１の画像をそれぞれ撮像素子７５ａおよび７５ｂ上に結像させる光学系である。このとき、被写体７１上の物点Ｍの像は、光学中心７３ａおよび７３ｂをそれぞれ通過する主光線７６ａおよび７６ｂに沿って撮像素子７５ａおよび７５ｂ上にそれぞれ像点ＰａおよびＰｂとして結像される。光学中心７３ａおよび７３ｂは、通常、撮像光学系の主点であるが、例えば、撮像光学系としてテレセントリック光学系が採用された場合には、通常、撮像光学系の焦点が光学中心となる。
【００３３】
また、仮想主光線７６ａｖは、光学中心７３ｂを通るように主光線７６ａを平行移動した仮想の主光線であり、像点Ｐａに対応する仮想の像点Ｐａｖは仮想主光線７６ａｖに沿って撮像素子７５ｂ上に設定される。
【００３４】
第１カメラ６１および第２カメラ６２の結像中心７７ａおよび７７ｂは、それぞれ撮像素子７５ａと光軸７４ａとの交点、および撮像素子７５ｂと光軸７４ｂとの交点であり、また、撮影光学系７２ａおよび７２ｂ間の基線長ｂは、光学中心７３ａおよび７３ｂ間の距離である。
【００３５】
仮想の像点Ｐａｖと像点Ｐｂとの距離ｄは、被写体７１上の同一物点Ｍに対応する各像点ＰａおよびＰｂを、結像中心の座標が等しい共通の画像座標系で表現したときの各像点位置間の距離であり、物点Ｍに対する第１カメラ６１と第２カメラ６２との視差に相当する。
【００３６】
ここで、ステレオカメラ３００については、撮影光学系７２ａおよび７２ｂのそれぞれ焦点距離ｆｒ（より正確には、光学中心と撮像素子との距離）は等しく、それぞれの光軸７４ａおよび７４ｂは平行である。また、撮影光学系７２ａおよび７２ｂの各主平面は光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にあり、それぞれの光学中心７３ａおよび７３ｂも、該同一平面上にある。さらに、それぞれの撮影光学系の撮像素子７５ａおよび７５ｂは、光軸７４ａおよび７４ｂのそれぞれに垂直な同一平面上にある。また、第１画像２１および第２画像２２の相互間での対応点探索処理が容易に行えるように、撮像素子７５ａおよび７５ｂは、それぞれの走査線が平行になるように設置されている。
【００３７】
実際の構成においては、通常、上述した構成条件に対して誤差があるが、第１カメラ６１および第２カメラ６２からそれぞれ供給される第１画像２１および第２画像２２に対して、ＣＰＵ１１Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称される）を行うことによってステレオカメラ３００の各機能要素が上述した構成条件を満たす場合と同等の状態が実現され得る。
【００３８】
平行化処理が行われた場合には、撮影光学系７２ａおよび７２ｂの主平面と物点Ｍとの距離Ｄは、視差ｄ、焦点距離ｆｒ、および撮影光学系７２ａおよび７２ｂ間の基線長ｂを用いて（１）式によって与えられる。
【００３９】
【数１】
2012090309.tif 000003
【００４０】
（１）式に示されるように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっている。
【００４１】
撮像素子７５ａおよび７５ｂは、例えば、３４５６×２５９２画素サイズの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成される撮像素子であり、撮像素子７５ａおよび７５ｂに結像された像の強度に応じた画像信号を生成して制御処理回路８５ａおよび制御処理回路８５ｂに供給する。なお、撮像素子７５ａおよび７５ｂは、カラーイメージセンサであっても、モノクロイメージセンサであっても本発明の有用性を損なうものではない。また、撮像素子７５ａおよび７５ｂについて、主走査方向（水平走査方向）の画素数と、副走査方向（垂直走査方向）の画素数とのうち何れか一方が他方よりも多いとしても、また、両者が同数であるとしても、本発明の有用性を損なうものではない。
【００４２】
図６に示される制御処理回路８５ａおよび制御処理回路８５ｂは、撮像素子７５ａおよび７５ｂから供給される各画像信号を同期して処理してデジタル画像に変換することにより、各撮像素子の有効画素数に応じた第１画像２１および第２画像２２を生成する。生成された第１画像２１および第２画像２２は、被写体のステレオ画像を構成する。
【００４３】
なお、第１画像２１と第２画像２２とのそれぞれの撮影時におけるステレオカメラ３００に対する被写体の位置関係が同じであれば、第１画像２１と第２画像２２とは、同時刻に撮影されていなくても良い。また、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の第１画像２１および複数の第２画像２２（「時系列ステレオ画像」とも称される）を生成することもできる。
【００４４】
＜◎情報処理装置１００Ａの構成について：＞
図４は、実施形態に係る情報処理装置１００Ａの主な構成の１例を示すブロック図である。図４に示されるように、情報処理装置１００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７および上述したステレオカメラ３００を主に備えて構成されている。
【００４５】
入出力部４１は、例えば、ステレオカメラ３００および姿勢センサ４７のそれぞれと電気的に接続されたデータ線ＤＬと、信号線４９とを電気的に接続するコネクタなどによって構成され、ステレオカメラ３００とＣＰＵ１１Ａなどとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、データ線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。また、入出力部４１は、ステレオカメラ３００が撮影した第１画像２１および第２画像２２をＲＡＭ４５およびＣＰＵ１１Ａなどへとそれぞれ供給するとともに、姿勢センサ４７が出力する出力信号５１をＣＰＵ１１Ａに供給する。なお、入出力部４１は、ＵＳＢインタフェースなどの外部機器用のインタフェースもまた備えている。このため、情報処理装置１００Ａは、予め撮影されてコンピュータなどの外部機器に記憶された第１画像２１および第２画像２２を入出力部４１を介して取得することもできる。
【００４６】
操作部４２は、例えば、筐体２００Ｂのおもて面に設けられた各種の操作ボタンなどによって構成されており、操作者が操作部４２を操作することによって、該操作に対応した操作信号５２が操作部４２からＣＰＵ１１Ａへと供給される。ＣＰＵ１１Ａは、供給された操作信号５２に基づいて情報処理装置１００Ａの各種制御パラメータおよび各種動作モードの設定などを行う。また、情報処理装置１００Ａの各機能部は、操作部４２を介して設定された各動作モードに応じた処理を行う。操作部４２には、被写体を撮影するときの情報処理装置１００Ａの姿勢を操作者が情報処理装置１００Ａに入力するためのボタンまたはスイッチなどが設けられている。該姿勢は、例えば、図２に示されるように第１カメラ６１と第２カメラ６２との配列方向が水平方向（Ｘ軸方向）となる情報処理装置１００Ａの姿勢、あるいは、図３に示されるように該配列方向が鉛直方向（Ｙ軸方向）となる情報処理装置１００Ａの姿勢などである。この場合、操作信号５２は、操作者による該姿勢の入力結果、あるいは該姿勢に関する情報を情報処理装置１００Ａに設定するために操作者が設定したスイッチの設定状態に対応した信号などである。また、操作部４２に、情報処理装置１００Ａの各姿勢に応じて、操作者が操作しやすい位置にステレオカメラ３００の撮影ボタンがそれぞれ設けられるとともに、各撮影ボタンのうち何れが操作されたかを示す操作信号５２がＣＰＵ１１Ａに供給されたとしても本発明の有用性を損なうものではない。
【００４７】
表示部４３は、ＣＰＵ１１Ａからの制御に応じて表示部４３における各バリア部の空間的な分布方向を、例えば、図２のＸ軸方向とＹ軸方向などの複数の方向のそれぞれに切り替え可能なパララックスバリア方式を採用した３次元表示用の液晶ディスプレイなどによって構成される。表示部４３に表示する右目用画像と左目用画像との視差の方向に応じてＣＰＵ１１Ａが表示部４３のバリアの方向を切り替えることなどによって、表示部４３に表示された立体視画像を観察する観察者が裸眼で立体を視認可能な方向が切り替えられる。また、例えば、表示部４３が、左目用画像および右目用画像を交互に高速で切り替えて表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体視画像が観察される三次元表示方式が採用されたとしても本発明の有用性を損なうものではない。該三次元表示方式においては、ＣＰＵ１１Ａが、表示部４３に表示される左目用画像と右目用画像との視差の方向を切り替えることによって、専用めがねを着用した観察者が立体視画像を観察して立体を認識可能な方向を切り替えることができる。なお、表示部４３は、ステレオカメラ３００から供給される第１画像２１、第２画像２２、および情報処理装置１００Ａに関する各種設定情報などが、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。
【００４８】
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムなどを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。
【００４９】
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリである。ＲＡＭ４５は、ステレオカメラ３００が撮影した各種画像、情報処理装置１００Ａが生成した立体視画像、視差情報（視差画像）などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。
【００５０】
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリや小型のハードディスク装置等によって構成されており、情報処理装置１００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には、情報処理装置１００Ａが生成した立体視画像と、姿勢センサ４７からの出力信号５１（図５）に基づいて検出された情報処理装置１００Ａの姿勢情報とが相互に対応づけられて恒久的に記憶される。
【００５１】
姿勢センサ４７は、例えば、３軸のジャイロ・センサと３軸の加速度センサとがＭＥＭＳ（Micro Electro Mechanical Systems）技術などによって搭載された小型の姿勢センサなどによって構成される。姿勢センサ４７は、データ線ＤＬによって入出力部４１と電気的に接続されており、鉛直方向（重力方向）に対する情報処理装置１００Ａの姿勢に応じた出力信号５１（図５）を、逐次、入出力部４１へと供給する。また、ＣＰＵ１１Ａは、入出力部４１に供給される出力信号５１を所定のタイミングで取得する。
【００５２】
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置１００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムに従った制御および処理を実行する。ＣＰＵ１１Ａは、後述するように、取得部１２、制御部１３、判定部１４、検出部１５、および生成部１６としても機能する。
【００５３】
ＣＰＵ１１Ａは、これらの各機能部などによって、ステレオカメラ３００によって撮影された被写体の画像から、被写体についての立体視画像を構成する左目用画像２７および右目用画像２８を生成する。また、ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御などを行うとともに、表示部４３を制御して、各種画像、立体視画像、算出結果、および各種制御情報などを表示部４３に表示させる。
【００５４】
また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６、姿勢センサ４７等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、姿勢センサ４７からの出力信号５１の取得、および表示部４３への表示等を所定のタイミングで実行できる。
【００５５】
なお、図１に示される構成例では、取得部１２、制御部１３、判定部１４、検出部１５、および生成部１６の各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。
【００５６】
＜◎情報処理装置１００Ａの各機能部の動作について：＞
図５は、実施形態に係る情報処理装置１００Ａの主な機能構成の１例を示すブロック図である。図５に示されるように、情報処理装置１００Ａは、ステレオカメラ３００の第１カメラ６１（図１）による被写体の撮影に基づいて得られる第１画像２１と、第２カメラ６２（図１）による該被写体の撮影に基づいて得られる第２画像２２とのうち少なくとも一方に基づいて、該被写体についての立体視画像２９、すなわち左目用画像２７および右目用画像２８をそれぞれ生成する。
【００５７】
図３２〜図３４は、実施形態に係る情報処理装置１００Ａが立体視画像２９を生成する動作フローＳ１００を例示する図である。以下に、図５および図３２〜３４を参照しつつ、情報処理装置１００Ａの各機能部の動作について説明する。
【００５８】
情報処理装置１００Ａによる被写体の立体視画像２９の生成処理に先立って、ステレオカメラ３００に設けられた第１カメラ６１と第２カメラ６２との両方から該被写体が撮影できるように、情報処理装置１００Ａの位置および姿勢が操作者によって調整される。
【００５９】
○ステレオカメラ３００および制御部１３の動作：
情報処理装置１００Ａの位置および姿勢が調整された状態で、操作部４２に設けられた撮影ボタンが操作されると、図５に示されるように、ステレオカメラ３００による撮影動作の開始を指示する操作信号が操作信号５２として取得部１２を介して制御部１３に供給される。そして、制御部１３は、ステレオカメラ３００に撮影動作を行わせる制御信号５６（図５）をステレオカメラ３００と取得部１２とのそれぞれに供給する。
【００６０】
ステレオカメラ３００は、制御信号５６が供給されると、第１カメラ６１および第２カメラ６２によって互いに異なる方向から被写体の撮影を行う撮影動作を開始する。該撮影動作が終了すると、ステレオカメラ３００の第１カメラ６１および第２カメラ６２によってそれぞれ撮影された被写体についてのステレオ画像を構成する第１画像２１および第２画像２２がそれぞれ生成される。
【００６１】
○取得部１２の動作：
生成された被写体の第１画像２１および第２画像２２は、入出力部４１（図４）を介して取得部１２へと供給され、取得部１２によってそれぞれ取得される（図３２のステップＳ１１０）。第１画像２１および第２画像２２が取得されると、取得部１２は、第１カメラ６１と第２カメラ６２との配列方向と、水平方向との幾何学的関係を判定部１４が判定するための判定用情報５５（図５）を、取得する（ステップＳ１２０）。なお、第１カメラ６１と第２カメラ６２との配列方向は、具体的には、例えば、光学中心７３ａ（図６）と光学中心７３ｂ（図６）とを結んだステレオカメラ３００の基線の方向である。
【００６２】
また、取得部１２は、判定用情報５５として、具体的には、例えば、操作部４２が操作されたことにより発生した操作信号５２と、第１画像２１および第２画像２２の少なくとも一方と、姿勢センサ４７の出力信号５１とのうち少なくとも１つを取得する。取得された判定用情報５５は、判定部１４および検出部１５のそれぞれに供給される。
【００６３】
○判定部１４の動作：
判定部１４は、供給された判定用情報５５に基づいて第１カメラ６１と第２カメラ６２との配列方向が、例えば、水平方向であるか、あるいは水平方向と垂直な鉛直方向であるか、あるいは水平方向に対して斜めの方向であるかなどを判定する。すなわち、判定部１４は、判定用情報５５に基づいて第１カメラ６１と第２カメラ６２との配列方向と、水平方向との幾何学的関係を判定する（図３２のステップＳ１３０）。該判定のための処理として、判定部１４は、例えば、操作信号５２のうち撮影時の情報処理装置１００Ａの姿勢を表現した信号に基づいて該幾何学的関係を判定する処理、出力信号５１に基づいて該幾何学的関係を判定する処理、第１画像２１および第２画像２２の少なくとも一方に対してＯＣＲ（optical character recognition）を施して画像中の文字の方向を判定することなどによって該幾何学的関係を判定する処理のうち少なくとも１つの処理を行う。また、第１画像２１および第２画像２２に対する処理として、例えば、画像に対する人物認識処理を施して抽出された人物の両目の配列方向などの特徴部分に基づいて該幾何学的関係を判定する処理が採用されてもよい。また、判定部１４によって判定された該幾何学的関係の判定結果は、判定結果情報５３として生成部１６に供給される。
【００６４】
○検出部１５の動作：
次に、検出部１５は、生成部１６によって立体視画像２９の生成に用いられる被写体の画像がステレオカメラ３００によって撮影されたときの情報処理装置１００Ａの姿勢情報５４（図５）を判定用情報５５に基づいて検出する（ステップＳ１４０）。なお、検出された姿勢情報５４は、立体視画像２９と相互に対応づけられてＲＡＭ４５に一時的に記憶されるとともに、操作部４２からの所定の操作信号に応答して記憶装置４６に恒久的に記憶される。また、検出部１５は、例えば、記憶装置４６に記憶された立体視画像を表示部４３に表示する場合など、ステレオカメラ３００の撮影時以外にも取得部１２に供給される判定用情報５５を取得して、情報処理装置１００Ａの姿勢情報５４（図５）を検出する。
【００６５】
◎生成部１６の動作：
姿勢情報５４が検出されると、生成部１６は、判定部１４から供給された判定結果情報５３に基づいて、第１カメラ６１と第２カメラ６２との配列方向が水平方向であると判定されたかどうかを確認する（図３２のステップＳ１５０）。
【００６６】
ステップＳ１５０での確認の結果、第１カメラ６１と第２カメラ６２との配列方向が水平方向以外であると判定された場合には、生成部１６は、立体視画像２９を生成するための生成処理Ａを行う。また、ステップＳ１５０での確認の結果、第１カメラ６１と第２カメラ６２との配列方向が水平方向であると判定された場合には、生成部１６は、立体視画像２９を生成するための生成処理Ｂを行う。なお、生成処理ＡおよびＢは、相互に異なる処理であり、情報処理装置１００Ａによる被写体の撮像結果に基づいて行われる。すなわち、生成部１６は、第１カメラ６１と第２カメラ６２との配列方向と、水平方向との幾何学的関係についての判定結果に応じて相互に異なる生成処理Ａと生成処理Ｂとを選択的に行うことによって、被写体の立体視画像２９を生成する。
【００６７】
以下に、生成部１６による生成処理Ａと生成処理Ｂとの切り替えについて説明するとともに、生成処理Ａおよび生成処理Ｂのそれぞれについても説明する。
【００６８】
◎生成処理Ａと生成処理Ｂとの切り替えについて：
ここでは、情報処理装置１００Ａの姿勢が、図２に示される姿勢と、図３に示される姿勢とにそれぞれ設定されて立体視画像２９の生成が行われる場合を例として、生成処理Ａと生成処理Ｂとの切り替えについて説明する。図２では、第１カメラ６１と第２カメラ６２との配列方向が水平方向（Ｘ軸方向）であり、図３では、該配列方向が鉛直方向（Ｙ軸方向）である。
【００６９】
情報処理装置１００Ａの姿勢が図２に示される姿勢である場合には、左側（−Ｘ方向側）の第１カメラ６１によって撮影された被写体の第１画像２１が左画像２５である。また、右側（＋Ｘ方向側）の第２カメラ６２によって撮影された該被写体の第２画像２２が右画像２６である。情報処理装置１００Ａの姿勢が図３に示される姿勢である場合には、上側（−Ｙ方向側）の第２カメラ６２によって被写体が撮影された第２画像２２が上画像２３である。また、下側（＋Ｙ方向側）の第１カメラ６１によって該被写体が撮影された第１画像２１が下画像２４である。
【００７０】
また、図７は、情報処理装置１００Ａの姿勢が図２に示される姿勢である場合における左画像２５ｅ（第１画像２１ｅ）と右画像２６ｅ（第２画像２２ｅ）との視差の１例を示す図である。図８は、情報処理装置１００Ａの姿勢が図３に示される姿勢である場合における上画像２３ｆ（第２画像２２ｆ）と下画像２４ｆ（第１画像２１ｆ）との視差の１例を示す図である。なお、第１画像２１ｅおよび第１画像２１ｆは、第１画像２１の１例であり、第２画像２２ｅおよび第２画像２２ｆは、第２画像２２の１例である。また、上画像２３ｆ、下画像２４ｆ、左画像２５ｅ、および右画像２６ｅは、それぞれ上画像２３、下画像２４、左画像２５、および右画像２６の１例である。
【００７１】
図７において、左画像２５ｅと、右画像２６ｅとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ｃおよび６６ｄがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ｃおよび６７ｄがそれぞれ撮影されている。図７においては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、近景被写体像６６ｃ上の画素６８ｃおよび近景被写体像６６ｄ上の画素６８ｄは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ｃ上の画素６９ｃおよび遠景被写体像６７ｄ上の画素６９ｄは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ｃは、画素６８ｃと画素６８ｄとについての視差であり、視差９ｄは、画素６９ｃと画素６９ｄとについての視差である。図７においては、左画像２５ｅと右画像２６ｅとは、視差の把握を容易にするため該両画像の左端（右端）のＸ座標が等しくなるように鉛直方向（図７のＹ軸方向）に並べて表示されている。
【００７２】
図７に示されるように、視差９ｃおよび視差９ｄは、水平方向（Ｘ軸方向）に生じている。また、ステレオカメラ３００に対する近側被写体と遠側被写体とのそれぞれの距離の差異に起因して視差９ｃと視差９ｄとは異なった値となっている。より詳細には、近側被写体に対応した視差９ｃの方が遠側被写体に対応した視差９ｄよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点のステレオカメラ３００からの距離に応じて変動する。
【００７３】
図８において、上画像２３ｆと、下画像２４ｆとには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ａおよび６６ｂがそれぞれ撮影されているとともに、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ａおよび６７ｂがそれぞれ撮影されている。また、近景被写体像６６ａ上の画素６８ａおよび近景被写体像６６ｂ上の画素６８ｂは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ａ上の画素６９ａおよび遠景被写体像６７ｂ上の画素６９ｂは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ａと画素６８ｂとについての視差であり、視差９ｂは、画素６９ａと画素６９ｂとについての視差である。なお、図８においては、図７と同様に、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。また、上画像２３ｆと下画像２４fとは、視差の把握を容易にするため該両画像の上端（下端）のＹ座標が等しくなるように水平方向（図８のＸ軸方向）に並べて表示されている。視差９ａおよび視差９ｂは、それぞれ鉛直方向（Ｙ軸方向）に生じており、また、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。
【００７４】
図７および図８に示されるように、情報処理装置１００Ａの姿勢が図２に示される姿勢である場合、すなわち、第１カメラ６１と第２カメラ６２との配列方向が水平方向（Ｘ軸方向）である場合には、左画像２５ｅと右画像２６ｅとの視差は、水平方向（Ｘ軸方向、左右方向）に発生する。一方、情報処理装置１００Ａの姿勢が図３に示される姿勢である場合、すなわち、第１カメラ６１と第２カメラ６２との配列方向が鉛直方向（Ｙ軸方向）である場合には、上画像２３ｆと下画像２４ｆとの視差は、鉛直方向（Ｙ軸方向、上下方向）に発生する。
【００７５】
従って、図２に示される情報処理装置１００Ａの表示部４３を観察する観察者の左目と右目との配列方向が、水平方向（Ｘ軸方向）である場合には、例えば、図７に示された座標系に対する左画像２５ｅおよび右画像２６ｅの向きが、図２に示された座標系に対しても維持されるように、左画像２５ｅおよび右画像２６ｅがそれぞれ左目用画像２７および右目用画像２８として表示部４３に表示された場合には、観察者の両目の配列方向と、画像間の視差の方向とが一致するため、観察者は立体を認識できる。なお、表示部４３が、例えば、パララックスバリア方式のディスプレイである場合には、表示部４３における各バリアの長手方向はＹ軸方向（鉛直方向）に沿うように設定される。また、表示部４３についての該設定は、例えば、ＣＰＵ１１Ａが、検出部１５が取得した情報処理装置１００Ａの姿勢情報５４などに基づいて表示部４３を制御することなどよって行われる。
【００７６】
しかしながら、情報処理装置１００Ａの姿勢が図３に示される姿勢である場合には、図８に示された座標系に対する上画像２３ｆおよび下画像２４ｆの向きが、図３に示された座標系に対しても維持されるように、上画像２３ｆおよび下画像２４ｆがそれぞれ左目用画像２７および右目用画像２８として表示部４３に表示された場合には、観察者の両目の配列方向と、上画像２３ｆと下画像２４ｆとの視差の方向とが異なるために、観察者は立体を認識することができない。なお、図３の表示部４３を観察する観察者の左右の目の配列方向は水平方向（Ｘ軸方向）である。さらに、例えば、パララックスバリア方式のディスプレイである表示部４３の各バリアの長手方向の向きは、上述した図２の場合における各バリアの長手方向の向きから情報処理装置１００Ａに対して相対的にＺ軸まわりに９０度回転されて、該長手方向が図３のＹ軸方向（鉛直方向）に沿うように設定されている。
【００７７】
なお、この場合には、図３の表示部４３に表示された上画像２３ｆおよび下画像２４ｆの向きを、例えば、図３に示された座標系のＺ軸周りに９０度回転されれば、観察者の両目の配列方向と、表示部４３に表示された上画像２３ｆおよび下画像２４ｆの視差の方向とが一致するために、観察者は立体を認識できる。しかし、表示部４３に表示された被写体の向きと、実際の被写体の向きとが異なるため、観察者は違和感を覚える。
【００７８】
上述したように、視差の方向が水平方向（横方向）である左画像２５ｅおよび右画像２６ｅを、そのまま立体視画像２９の左目用画像２７および右目用画像２８として表示部４３に表示しても、表示部４３の観察者は、立体を認識できる。また、画像の向きについても違和感を覚えることはない。しかし、視差の方向が鉛直方向（縦方向）である上画像２３ｆおよび下画像２４ｆを、そのまま、左目用画像２７および右目用画像２８として表示部４３に表示した場合、すなわち、視差の方向が水平方向（横方向）である左画像２５ｅおよび右画像２６ｅに対する立体視画像２９の生成方法と同じ生成方法によって上画像２３ｆおよび下画像２４ｆに対する立体視画像２９を生成したとしても、表示部４３の観察者は、立体を認識することができないか、あるいは、立体を認識できたとしても画像の向きに違和感を覚える。
【００７９】
このように立体視画像においては、観察者の両目の配列方向と、立体視画像の視差の方向との異同が、立体視画像の視認性に影響を与える。このため、鉛直方向の視差を有する上画像２３ｆおよび下画像２４ｆに基づいて、観察者が立体を認識できるとともに、画像の向きについても観察者が違和感を覚えることがない立体視画像を生成するためには、水平方向（横方向）の視差を有する左画像２５ｅおよび右画像２６ｅに対する立体視画像の生成処理とは異なった生成処理が採用される必要がある。
【００８０】
なお、２次元画像として観察者に視認されればよい単一の画像については視差が存在しない。このため、画像の向きが、観察者の両目の配列方向に対して異なる向きであるとしても、画像の向きは、該画像の２次元画像としての視認性には影響を与えない。例えば、実際の向きとは異なる被写体画像の向きに対して観察者が違和感を覚える場合であっても、画像の向きを観察者に対して相対的に変更することによって、２次元画像としての視認性を損なうことなく画像の向きについての違和感を解消できる。従って、２次元画像として観察者に視認されればよい単一の画像の生成においては、カメラの姿勢に応じて画像の生成処理を切り替える必要は無い。
【００８１】
情報処理装置１００Ａにおいては、第１カメラ６１と第２カメラ６２との配列方向と、水平方向との幾何学的関係を判定し、該判定結果に応じて相互に異なる生成処理Ａと生成処理Ｂとを選択的に行うことにより被写体の立体視画像を生成する。従って、情報処理装置１００Ａによれば、第１カメラ６１と第２カメラ６２との配列方向が水平方向である場合でも、また、水平方向とは異なる場合でも、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成し得る。これらの生成処理について、以下に説明する。なお、本願においては、画像空間における空間的な変形を施されることにより、または該変形を施されることなくそのままの状態で被写体の立体視画像２９を構成する画像として用いられる該被写体の画像の名称として「ソース画像」という用語を使用する。
【００８２】
◎生成処理Ａについて：
図２８は、図３に示された姿勢の情報処理装置１００Ａにおける第２カメラ６２および第１カメラ６１によってそれぞれ撮影された上画像２３および下画像２４と、各立体視画像である左目用画像２７および右目用画像２８との生成処理Ａにおける対応関係の１例を説明するための図である。
【００８３】
生成処理Ａにおいては、図２８に示されるように、上画像２３と下画像２４とのうち何れか一方がソース画像として特定され、特定されたソース画像に対して該ソース画像の画像空間における空間的な変形が施されることによって左目用画像２７と右目用画像２８とがそれぞれ生成される。
【００８４】
図９は、上画像２３の１例として上画像２３ａを示す図である。また、図１０は、下画像２４の１例として下画像２４ａを示す図である。また、図１１は、視差画像の１例として視差画像３０ａを示す図である。また、図１２は、視差画像の１例として視差画像３１ａを示す図である。また、図１３は、左目用画像２７の１例として左目用画像２７ａを示す図である。また、図１４は、右目用画像２８の１例として右目用画像２８ａを示す図である。なお、図９〜図１４においては、図示の便宜上、各画像の画素数についての縦横比は、実際の画像の縦横比とは必ずしも一致していない。また、後述する図２０〜図２７の各画像についても同様である。
【００８５】
図３２のステップＳ１５０での確認の結果、第１カメラ６１と第２カメラ６２との配列方向が水平方向以外であると判定された場合には、生成部１６は、第１画像２１と第２画像２２とのうち何れか一方をソース画像として特定する（図３３のステップＳ１６０）。なお、生成部１６が、第１画像２１と第２画像２２とのうち表示部４３に表示されている画像をソース画像として特定し生成処理Ａを行ったとしても本発明の有用性を損なうものではない。表示部４３に表示されている画像がソース画像として特定されれば、表示部４３において、ソース画像の表示と、ソース画像から生成された立体視画像の表示とが変更されたとしても、該変更時に表示部４３を観察していた観察者が、違和感を覚えることが少なくなる。
【００８６】
図２８に示された例と同様に上画像２３ａ（図９）がソース画像として特定されると、生成部１６は、ソース画像である上画像２３ａの視差画像３０ａ（図１１）を取得する（図３３のステップＳ１７０）。
【００８７】
なお、「視差画像」とは、異なる視点（方向）から同一の被写体がそれぞれ撮影された２つの画像のうち一方の画像の各画素と、該一方の画像の各画素に対応した他方の画像における各対応画素との各視差が、該一方の画像における各画素の画素配列に応じて配列された画像である。（１）式に示されたように視差と距離とは相互に変換可能であることから、視差画像において視差に代えて被写体の各点の距離が用いられた場合には、視差画像は、「距離画像」とも称される。一方の画像の各画素にそれぞれ対応した他方の画像の各対応画素は、例えば、一方の画像と他方の画像とを対象として相関演算手法を用いた対応点探索処理が行われることなどによって特定される。対応点探索処理に用いられる相関演算手法としては、例えば、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などが採用される。生成部１６は、上画像２３ａ（図９）を基準として上画像２３ａと下画像２４ａ（図１０）との対応点探索処理を行うことなどによって、視差画像３０ａ（図１１）を取得する。
【００８８】
また、上画像２３と下画像２４とのうちのソース画像についての視差画像を取得する他の手法として、ソース画像として特定されなかった画像を用いない手法が採用されたとしても本発明の有用性を損なうものではない。通常、被写体を撮影した画像の彩度は、被写体が近いほど彩度が高く、被写体が遠いほど彩度が低くなるので、例えば、ソース画像の彩度に基づいて、ソース画像の各画素に対応する距離を推定することができる。この他にも、例えば、画面内の部位に応じて距離を推定する手法など、単一のソース画像から距離を推定可能な手法として各種の手法を採用し得る。また、単一のソース画像からの推定によって取得された距離が、例えば、（１）式によって視差に変換されて取得されてもよい。すなわち、上画像２３と下画像２４とのうち何れか一方の画像から推定されたステレオカメラ３００と被写体との距離情報に基づいて、生成部１６が生成処理Ａを行ったとしても、本発明の有用性を損なうものではない。なお、本願においては、視差と、距離との総称として「距離情報」という用語を使用する。
【００８９】
また、上画像２３と下画像２４とのうち何れか一方の画像から推定された距離情報に基づいて、生成部１６が生成処理Ａを行う場合には、上画像２３と下画像２４とのうち該何れか一方の画像、すなわちソース画像のみが撮影されるとしても本発明の有用性を損なうものではない。
【００９０】
視差画像３０ａが取得されると、生成部１６は、視差画像３０ａに対してスムージング処理（平滑化処理）を行い（図３３のステップＳ１８０）、該スムージング処理の結果として視差画像３１ａ（図１２）を生成する。該スムージング処理は、例えば、対応点探索処理における探索の誤差によって生じた視差画像３０ａにおけるランダムノイズを低減すること、および対応点が求められなかった画素についての視差を周辺の画素についての視差を用いて生成することなどを目的として行われる。該スムージング処理としては、例えば、平均化フィルタ、メディアンフィルタ、またはガウシアンフィルタなどの各種の平滑化フィルタを用いた平滑化フィルタ処理などが採用される。また、平滑化フィルタの平滑化強度は、例えば、フィルタのサイズを変更することなどによって変更され得る。平滑化フィルタとして平均化フィルタが採用される場合において、視差画像３０ａの画像サイズが、例えば、３４５６画素×２５９２画素であれば、縦方向および横方向のそれぞれ画素数（要素数）が等しい平均化フィルタについての各方向のサイズとしては、例えば、１５０〜３００画素（要素）程度の値が採用される。なお、視差画像３０ａに対してステップＳ１８０におけるスムージング処理が施されないとしても本発明の有用性を損なうものではない。また、後述する図３４におけるステップＳ２２０のスムージング処理についても同様である。
【００９１】
ステップＳ１８０におけるスムージング処理が終了すると、生成部１６は、視差画像３１ａの視差の値を調整する視差調整を行う（図３３のステップＳ１９０）。視差調整が終了すると、生成部１６は、視差調整が施された視差画像３１ａ（図１２）に基づいて左目用画像２７ａ（図１３）および右目用画像２８ａ（図１４）をそれぞれ生成する（図３３のステップＳ２００）。
【００９２】
○生成処理Ａの視差調整ステップについて:
図１５は、生成処理Ａにおける立体視画像の生成手順の１例の概念を示す図である。図１５においては、上画像２３ｃと下画像２４ｃとに基づいて左目用画像２７ｃと右目用画像２８ｃとが生成処理Ａによって生成される手順の１例の概念が示されている。以下に、図１５を適宜参照しつつ、生成処理Ａにおける視差調整の処理ステップ（図３３のステップＳ１９０）について詳しく説明する。なお、図１５においては、図示の便宜上、各画像について撮像素子における主走査方向（水平走査方向）の画素数と、副走査方向（垂直走査方向）の画素数とは、実際に撮像素子に対応した画素数とは異なった画素数となっている。また、各画像における画像座標系の向きを代表して表現した１の座標系が設けられており、各画像における画像座標系の原点は各画像の左上端（−Ｘ端、かつ、−Ｙ端）である。また、後述する図１６および図１７の各画像の画素数および画像座標系についても図１５と同様である。
【００９３】
なお、視差調整の目的の１つは、立体視画像の水平方向の画素数に対して視差の量が大きすぎることにより、立体視画像の観察者が左目用画像２７と右目用画像２８とにおける対応点同士を対応付けできないために、立体視ができない現象の発生を抑制することである。また、視差調整の目的としては他に、例えば、観察者が立体視画像に対して知覚する最短の距離を、表示部４３の距離に設定することなどが挙げられる。また、ステップＳ１９０における視差調整が行われないとしても本発明の有用性を損なうものではない。また、後述する図３４におけるステップＳ２３０の視差調整についても同様である。
【００９４】
図１５において、上画像２３ｃには座標（１０，２８）の画素ｐ１と、座標（４０，２４）の画素ｐ２とが設定されている。また、下画像２４ｃには、座標（１０，２０）の画素ｐ３と、座標（４０，２０）の画素ｐ４とが設定されている。画素ｐ１およびｐ３は、被写体上の同一の点に対応しており、画素ｐ２およびｐ４も、被写体上の同一の点に対応している。
【００９５】
視差画像３１ｃ（図１５）は、上画像２３ｃがソース画像として設定されたときの上画像２３ｃを基準とした上画像２３ｃと下画像２４ｃとの視差画像であり、ステップＳ１８０におけるスムージング処理が施されている。視差画像３１ｃにおいては、上画像２３ｃの画素ｐ１およびｐ２にそれぞれ対応した視差の値が８および４となっている。なお、上画像２３ｃにおいて画素ｐ１と画素ｐ２とは、ステレオカメラ３００から最も近い被写体上の点と最も遠い点とにそれぞれ対応した画素である。従って、視差８が視差画像３１ｃにおける最大の視差であり、視差４が最小の視差である。また、後述する図１６の画素ｑ１および画素ｑ２の関係についても画素ｐ１および画素ｐ２と同様の関係である。
【００９６】
視差画像３２ｃ（図１５）は、視差画像３１ｃにおける各視差の値が（２）式および（３）式によって調整された結果の視差ｄ２を視差値として有する視差画像である。なお、視差画像３２ｃにおける各視差の値は、（２）式におけるＷｍａｘの値を２、すなわちｋ１の値を０．５として求められている。視差画像３２ｃにおいては、上画像２３ｃの画素ｐ１およびｐ２にそれぞれ対応した視差の値が４および２となっている。なお、（３）式においては、立体視画像における視差の値が大きすぎることによって立体視ができない現象の発生を抑制することを目的として、視差画像３２ｃにおける視差の分布幅の最大値が、Ｗｍａｘとなるように視差画像３１ｃにおける視差の値が調整されている。なお、視差画像３１ｃにおける視差のうちＷｍａｘよりも小さな視差に対しては、（３）式による調整が行われないとしても本発明の有用性を損なうものではない。
【００９７】
視差画像３３ｃ（図１５）は、視差画像３２ｃにおける各視差の値が（４）式によって調整された結果の視差ｄ３を視差値として有する視差画像である。視差画像３３ｃにおいては、上画像２３ｃの画素ｐ１およびｐ２にそれぞれ対応した視差の値が０および−２となっている。なお、（４）式においては、観察者が立体視画像に対して知覚する最短の距離を、表示部４３の距離に設定することを目的として、視差画像３２ｃにおける各視差の値が全体的にずらされている。視差画像３３ｃの生成によって、視差調整処理は終了される。また、後述する図３４のステップＳ２３０に示される生成処理Ｂにおける視差調整ステップにおいても、生成処理Ａにおける視差調整ステップと同様に、（２）式〜（４）式によって視差調整処理が行われる。
【００９８】
【数２】
2012090309.tif 000004
【００９９】
○生成処理Ａの立体視画像の生成処理ステップ：
以下に、図１５を適宜参照しつつ、生成処理Ａにおける立体視画像の生成処理ステップ（図３３のステップＳ２００）について詳しく説明する。
【０１００】
・（ａ−１）画素ずらし値の算出：
視差調整（図３３のステップＳ１９０）が終了すると、立体視画像の生成処理ステップ（図３３のステップＳ２００）が開始され、先ず、（５）式および（６）式によって、生成処理Ａにおける画素ずらし値の算出処理が行われる。該画素ずらし値の算出処理は、１つのソース画像（例えば、図１５の上画像２３ｃ）に対応した視差調整後の視差画像（例えば、図１５の視差画像３３ｃ）における各視差を、左目用画像２７の画素ずらしの分担率ｒＬと、右目用画像２８の画素ずらしの分担率ｒＲとに基づいて左目用画像２７と右目用画像２８とに振り分ける処理である。（５）式によって、左目用画像２７の画素に対する画素ずらし値ｄＬが算出され、（６）式によって、右目用画像２８の画素に対する画素ずらし値ｄＲが算出される。なお、例えば、視差画像の視差が左目用画像２７と右目用画像２８とのそれぞれに均等に割り振られる場合には、分担率ｒＬおよびｒＲの値はそれぞれ０．５となる。また、例えば、視差画像の視差が左目用画像２７と右目用画像２８との何れか一方に全て振られる場合には、該一方についての分担率が１となり、他方についての分担率が０となる。このように、分担率ｒＬおよびｒＲの値を、０〜１の区間で調整することによって、視差調整された視差画像における視差を左目用画像２７と右目用画像２８とに振り分ける際の割合を適宜調整することができる。なお、後述する生成処理Ｂにおける画素ずらし値の算出処理を規定した（９）式および（１０）式においては、割り振られる対象の視差が生成処理Ａのものとは異なるものの、分担率ｒＬおよびｒＲの作用および設定手法は、（５）式および（６）式における分担率ｒＬおよびｒＲについての作用および設定手法と同様である。
【０１０１】
【数３】
2012090309.tif 000005
【０１０２】
・（ａ−２）立体視画像の座標の算出：
左目用画像２７および右目用画像２８のそれぞれについて画素ずらし値が算出されると、（７）式によって左目用画像２７の画素のＸ座標が算出されるとともに、（８）式によって右目用画像２８の画素のＸ座標が算出される。
【０１０３】
【数４】
2012090309.tif 000006
【０１０４】
・（ａ−３）画素ずらしによる立体視画像の生成：
ソース画像における各画素にそれぞれ対応した左目用画像２７および右目用画像２８の画素のＸ座標が算出されると、算出されたＸ座標に基づいてソース画像の各画素がずらされることによって左目用画像２７および右目用画像２８が生成される。
【０１０５】
例えば、図１５における左目用画像２７ｃおよび右目用画像２８ｃは、視差画像３３ｃを用いて生成された立体視画像である。ソース画像である上画像２３ｃにおける画素ｐ１およびｐ２は、左目用画像２７ｃにおいては座標（１０，２８）の画素ｐ５および座標（３９，２４）の画素ｐ６へとそれぞれずらされている。また、該画素ｐ１およびｐ２は、２８ｃにおいては、座標（１０，２８）の画素ｐ７および座標（４１，２４）の画素ｐ８へとずらされている。
【０１０６】
次に、画素ずらしによって、ソース画像から立体視画像の全体を作成する手順について、左目用画像２７の生成を例として説明する。なお、画素ずらしは上述したようにソース画像の画素値を画素単位で空間的にシフトさせる処理でもある。図３５は、情報処理装置１００Ａが画素ずらしによって立体視画像を生成する動作フローＳ１０の１例を示す図である。図３５の動作フローＳ１０の処理が開始されると、ソース画像の上端（−Ｙ方向端）における水平走査方向（Ｘ軸方向）の１ライン分の部分画像５８ａ（図１８）が選択される（ステップＳ２０）。
【０１０７】
図１８は、ソース画像の上端（−Ｙ方向端）の水平走査方向（Ｘ軸方向）の１ライン分の部分画像５８ａの一部の各画素７ａ〜７ｊと、ソース画像に対応した左目用画像２７の上端（−Ｙ方向端）の水平走査方向の１ライン分の部分画像５８ｂの一部の各画素８ａ〜８ｊとの対応関係の１例を示す図である。また、部分画像５８ａと部分画像５８ｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ〜７ｊと、各画素８ａ〜８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。
【０１０８】
図１９は、ソース画像の部分画像５８ａ（図１８）の各画素７ａ〜７ｊの画素座標および画素ずらし値と、立体視画像（左目用画像２７）の部分画像５８ｂ（図１８）の各画素８ａ〜８ｊの画素座標との対応関係の１例を示す図である。図１９の第１行目と第５行目には、部分画像５８ａの各画素７ａ〜７ｊをそれぞれ特定する画素番号と、部分画像５８ｂの各画素８ａ〜８ｊをそれぞれ特定する画素番号とが示されている。また、図１９の第２行目には、各画素７ａ〜７ｊのＸ座標が第１行目に示された画素番号に対応づけられて示されている。また、図１９の第３行目には各画素７ａ〜７ｊに対応した画素ずらし値が第１行目に示された画素番号に対応づけられて示されている。
【０１０９】
図３５のステップＳ２０において、ソース画像の１ライン分の部分画像５８ａが選択されると、選択された部分画像５８ａの各画素について、左目用画像２７において対応する画素、すなわち部分画像５８ｂの各画素８ａ〜８ｊの水平走査方向（Ｘ軸方向）の画素座標（Ｘ座標）が取得される（図３５のステップＳ３０）。
【０１１０】
既述したように部分画像５８ｂの各画素のＸ座標は、（５）式によって算出される画素ずらし値を用いて（７）式によって算出される。図１９の第４行目には、（７）式によって算出された各画素８ａ〜８ｊのＸ座標がそれぞれ第５行目に示された各画素番号に対応づけられて示されている。
【０１１１】
左目用画像２７の水平方向の１ライン分の部分画像５８ｂにおける各画素の画素座標が取得されると、次に、部分画像５８ｂの各画素の画素値がそれぞれ取得される。すなわち、１ライン分の部分画像５８ｂの画像が生成される（図３５のステップＳ４０）。次に、ステップＳ４０における処理を、図１８に示された部分画像５８ａの各画素７ａ〜７ｊと、部分画像５８ｂの各画素８ａ〜８ｊを例として説明する。
【０１１２】
図１９の第４行目に示された各画素８ａ〜８ｊのＸ座標によれば、部分画像５８ａの各画素７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ、７ｇ、７ｈ、７ｉ、７ｊは、部分画像５８ｂの各画素８ａ、８ｂ、８ｂ、８ｃ、８ｄ、８ｄ、８ｅ、８ｇ、８ｉ、８ｊにそれぞれ対応している。すなわち、各画素８ａ〜８ｊには、各画素７ａ〜７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ〜７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在している。
【０１１３】
図３５のステップＳ４０の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像５８ａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像５８ａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素の画素値としては、例えば、部分画像５８ａとの対応関係に基づいて画素値が取得された部分画像５８ｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像５８ｂの画像は、部分画像５８ｂの各画素についてそれぞれ特定された画素座標（Ｘ座標）と、画素値とによって特定される。
【０１１４】
ステップＳ４０の処理が終了すると、ソース画像の水平方向（Ｘ軸方向）の全てのラインについて、対応する左目用画像２７の部分画像を生成する処理（ステップＳ３０〜Ｓ４０）が終了したか否かが確認される（図３５のステップＳ５０）。ステップＳ５０での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像２１のうち、処理されたラインの＋Ｙ方向の次のラインが新たな処理対象として選択されて（図３５のステップＳ６０）、処理はステップＳ３０へと戻される。また、ステップＳ５０での確認の結果、水平方向の全てのラインについて左目用画像２７の部分画像を生成する処理が終了していれば、左目用画像２７の生成処理は終了される。
【０１１５】
なお、視差に基づいたソース画像の変形は、画素サイズを最小単位として行えばよい。従って、画素サイズ単位で視差が取得されれば立体視画像を取得できるが、例えば、視差を求めるための対応点探索を画素サイズ以下のサブピクセル単位で実施することにより視差をサブピクセル単位で取得したとしても、視差に基づいたソース画像の変形の際に、該変形量を画素単位で行えば立体視画像が取得できるので、本発明の有用性を損なうものではない。
【０１１６】
なお、画素ずらし値を求める式と、立体視画像における画素のＸ座標を求める式とが図３５を用いて上述した手順とは異なるものの、画素ずらしによって生成処理Ａにおけるソース画像から右目用画像２８を生成する処理、および後述する生成処理Ｂにおいて画素ずらしによってソース画像から左目用画像２７および右目用画像２８を生成する処理についても、図３５を用いて上述した手順によって実現される。
【０１１７】
図２９は、図２８と同様に、図３に示された姿勢の情報処理装置１００Ａにおける第２カメラ６２および第１カメラ６１によってそれぞれ撮影された上画像２３および下画像２４と、各立体視画像である左目用画像２７および右目用画像２８との生成処理Ａにおける対応関係の１例を説明するための図である。図２９の例では、生成部１６は、上画像２３と下画像２４との視差に基づいて、一旦、上画像２３の各画素を鉛直方向にずらすことによって中間画像５９を生成し、中間画像５９を新たなソース画像として左目用画像２７および右目用画像２８を生成する生成処理Ａを行う。このように、生成部１６が、上画像２３と下画像２４とのうち何れか一方の画像を画像空間において空間的に変形させた中間画像５９を生成するとともに、中間画像５９を新たなソース画像として生成処理Ａを行ったとしても立体視画像２９を生成できるので本発明の有用性を損なうものではない。
【０１１８】
生成処理Ａにおける立体視画像の生成処理（図３３のステップＳ２００）が終了すると、処理は、立体視画像の表示する処理（図３４のステップＳ２５０）へと移される。該立体視画像の表示処理は、後述する生成処理Ｂにおける立体視画像の表示処理と同じ処理である。生成処理ＡおよびＢにおける立体視画像の表示処理については後述する。
【０１１９】
なお、生成処理Ａにおいては、第１カメラ６１と第２カメラ６２との配列方向が、水平方向に対して斜め方向であっても、第１画像２１と第２画像２２とのうち何れか一方の画像のみがソース画像として採用される。従って、単一のソース画像から左目用画像２７と右目用画像２８とが生成されるので、左目用画像２７と右目用画像２８とは該配列方向が鉛直方向である場合と同様に、鉛直方向の視差成分を生じない。
【０１２０】
◎生成処理Ｂについて：
図３０は、図２に示された姿勢の情報処理装置１００Ａにおける第１カメラ６１および第２カメラ６２によってそれぞれ撮影された左画像２５および右画像２６と、各立体視画像である左目用画像２７および右目用画像２８との生成処理Ｂにおける対応関係の１例を説明するための図である。
【０１２１】
生成処理Ｂにおいては、図３０に示されるように、左画像２５と右画像２６とがそれぞれソース画像として特定される。そして、左画像２５に対して左画像２５の画像空間における空間的な変形が施されることによって左目用画像２７が生成されるとともに、右画像２６に対して右画像２６の画像空間における空間的な変形が施されることによって右目用画像２８が生成される。
【０１２２】
図２０は、左画像２５の１例として左画像２５ｂを示す図である。また、図２１は、右画像２６の１例として右画像２６ｂを示す図である。また、図２２は、左画像２５ｂの視差画像の１例として視差画像３０Ｌｂを示す図である。また、図２３は、右画像２６ｂの視差画像の１例として視差画像３０Ｒｂを示す図である。また、図２４は、左画像２５ｂの視差画像の１例として視差画像３１Ｌｂを示す図である。また、図２５は、右画像２６ｂの視差画像の１例として視差画像３１Ｒｂを示す図である。また、図２６は、左目用画像２７の１例として左目用画像２７ｂを示す図である。また、図２７は、右目用画像２８の１例として右目用画像２８ｂを示す図である。
【０１２３】
図３２のステップＳ１５０での確認の結果、第１カメラ６１と第２カメラ６２との配列方向が水平方向であると判定された場合には、生成部１６は、図３０に示された例と同様に、第１画像２１と第２画像２２とをそれぞれソース画像として特定する。次に、生成部１６は、ソース画像である第１画像２１、すなわち左画像２５ｂについて、左画像２５ｂを基準とした第２画像２２、すなわち右画像２６ｂとの視差画像３０Ｌｂを取得する。同様に、生成部１６は、ソース画像である第２画像２２、すなわち右画像２６ｂについて、右画像２６ｂを基準とした左画像２５ｂとの視差画像３０Ｒｂを取得する（図３４のステップＳ２１０）。これらの視差画像は、生成部１６が、生成処理Ａと同様に対応点探索処理を行うことなどによって取得される。また、情報処理装置１００Ａにおける視差画像の生成処理においては、左画像２５ｂ、右画像２６ｂとの何れを基準として視差画像が生成される場合にも、被写体がステレオカメラ３００に近ければ近いほど、視差の値が大きくなるように、視差画像が生成される。
【０１２４】
視差画像３０Ｌｂおよび３０Ｒｂがそれぞれ取得されると、生成部１６は、視差画像３０Ｌｂおよび３０Ｒｂのそれぞれに対してスムージング処理（平滑化処理）を行い（図３４のステップＳ２２０）、該スムージング処理の結果として視差画像３１Ｌｂおよび３１Ｒｂ（それぞれ図２４、図２５）を生成する。
【０１２５】
ステップＳ２２０におけるスムージング処理が終了すると、生成部１６は、視差画像３１Ｌｂおよび３１Ｒｂのそれぞれの視差の値を調整する視差調整を行う（図３４のステップＳ２３０）。視差調整が終了すると、生成部１６は、視差調整が施された視差画像３１Ｌｂおよび３１Ｒｂに基づいて左目用画像２７ｂ（図２６）および右目用画像２８ｂ（図２７）をそれぞれ生成する（図３４のステップＳ２４０）。
【０１２６】
○生成処理Ｂの視差調整ステップについて:
図１６および図１７は、生成処理Ｂにおける立体視画像の生成手順の１例の概念を示す図である。図１６および図１７においては、左画像２５ｄと右画像２６ｄとに基づいて左目用画像２７ｄと右目用画像２８ｄとが生成処理Ｂによって生成される手順の１例の概念が示されている。以下に、図１６および図１７を適宜参照しつつ、生成処理Ｂにおける視差調整の処理ステップ（図３４のステップＳ２３０）について詳しく説明する。
【０１２７】
図１６において、左画像２５ｄには座標（２４，１０）の画素ｑ１と、座標（２８，４０）の画素ｑ２とが設定されている。また、右画像２６ｄには、座標（２０，１０）の画素ｑ３と、座標（２０，４０）の画素ｑ４とが設定されている。画素ｑ１およびｑ３は、被写体上の同一の点に対応しており、画素ｑ２およびｑ４も、被写体上の同一の点に対応している。
【０１２８】
視差画像３１Ｌｄ（図１６）は、左画像２５ｄがソース画像として設定されたときの左画像２５ｄを基準とした左画像２５ｄと右画像２６ｄとの視差画像であり、ステップＳ２２０におけるスムージング処理が施されている。視差画像３１Ｒｄ（図１６）は、右画像２６ｄがソース画像として設定されたときの右画像２６ｄを基準とした右画像２６ｄと左画像２５ｄとの視差画像であり、ステップＳ２２０におけるスムージング処理が施されている。視差画像３１Ｌｄにおいては、左画像２５ｄの画素ｑ１およびｑ２にそれぞれ対応した視差の値が４および８となっている。なお、左画像２５ｄにおいて画素ｑ１と画素ｑ２とは、ステレオカメラ３００から最も遠い被写体上の点と最も近い被写体上の点とにそれぞれ対応した画素である。従って、視差８が視差画像３１Ｌｄにおける最大の視差であり、視差４が最小の視差である。視差画像３１Ｒｄにおいては、右画像２６ｄの画素ｑ３およびｑ４にそれぞれ対応した視差の値が４および８となっている。なお、右画像２６ｄにおいて画素ｑ３と画素ｑ４とは、ステレオカメラ３００から最も遠い被写体上の点と最も近い被写体上の点とにそれぞれ対応した画素である。従って、視差８が視差画像３１Ｒｄにおける最大の視差であり、視差４が最小の視差である。
【０１２９】
視差画像３２Ｌｄおよび３２Ｒｄ（図１６）は、視差画像３１Ｌｄおよび３１Ｒｄにおける各視差の値が（２）式および（３）式によってそれぞれ調整された結果の視差ｄ２を視差値として有する視差画像である。なお、視差画像３２Ｌｄおよび３２Ｒｄにおける各視差の値は、（２）式におけるＷｍａｘの値を２、すなわちｋ１の値を０．５として求められている。視差画像３２Ｌｄにおいては、左画像２５ｄの画素ｑ１およびｑ２にそれぞれ対応した視差の値が２および４となっている。視差画像３２Ｒｄにおいては、右画像２６ｄの画素ｑ３およびｑ４にそれぞれ対応した視差の値が２および４となっている。
【０１３０】
視差画像３３Ｌｄ（図１７）および３３Ｒｄ（図１７）は、視差画像３２Ｌｄおよび３２Ｒｄにおける各視差の値が（４）式によってそれぞれ調整された結果の視差ｄ３を視差値として有する視差画像である。視差画像３３Ｌｄにおいては、左画像２５ｄの画素ｑ１およびｑ２にそれぞれ対応した視差の値が−２および０となっている。また、視差画像３３Ｒｄにおいては、右画像２６ｄの画素ｑ３およびｑ４にそれぞれ対応した視差の値が−２および０となっている。
【０１３１】
○生成処理Ｂの立体視画像の生成処理ステップ：
以下に、図１６および図１７を適宜参照しつつ、生成処理Ｂにおける立体視画像の生成処理ステップ（図３４のステップＳ２４０）について詳しく説明する。
【０１３２】
・（ｂ−１）画素ずらし値の算出：
視差調整（図３４のステップＳ２３０）が終了すると、立体視画像の生成処理ステップ（図３４ステップＳ２４０）が開始され、先ず、（９）式および（１０）式によって、生成処理Ｂにおける画素ずらし値の算出処理が行われる。該画素ずらし値の算出処理は、２つのソース画像（左画像２５ｄおよび右画像２６ｄ）にそれぞれ対応した視差調整後の視差画像（視差画像３３Ｌｄおよび３３Ｒｄ）における各視差と、同じく２つのソース画像に対応した当初の視差画像（視差画像３１Ｌｄおよび３１Ｒｄ）における各視差との差を、左目用画像２７ｄの画素ずらしの分担率ｒＬと、右目用画像２８ｄの画素ずらしの分担率ｒＲとに基づいて左目用画像２７ｄと右目用画像２８ｄとに振り分ける処理である。生成処理Ｂにおいては、生成処理Ａとは異なり、図３０に示されるように左画像２５ｄに基づいて左目用画像２７ｄが生成され、右画像２６ｄに基づいて右目用画像２８ｄが生成される。従って（９）式および（１０）式に示されるように、割り振られる視差の算出方法が生成処理Ａとは異なる。なお、（９）式によって、左目用画像２７ｄの画素に対する画素ずらし値ｄＬが算出され、（１０）式によって、右目用画像２８ｄの画素に対する画素ずらし値ｄＲが算出される。ここで、（９）式および（１０）式においては割り振られる対象の視差が生成処理Ａのものとは異なるものの、分担率ｒＬおよびｒＲの作用および設定手法は、（５）式および（６）式における分担率ｒＬおよびｒＲについての作用および設定手法と同様である。
【０１３３】
【数５】
2012090309.tif 000007
【０１３４】
・（ｂ−２）立体視画像の座標の算出：
左目用画像２７ｄおよび右目用画像２８ｄのそれぞれについて画素ずらし値が算出されると、（１１）式によって左目用画像２７ｄの画素のＸ座標が算出されるとともに、（１２）式によって右目用画像２８ｄの画素のＸ座標が算出される。
【０１３５】
【数６】
2012090309.tif 000008
【０１３６】
・（ｂ−３）画素ずらしによる立体視画像の生成：
ソース画像、すなわち左画像２５ｄおよび右画像２６ｄにおける各画素にそれぞれ対応した左目用画像２７ｄおよび右目用画像２８ｄの画素のＸ座標が算出されると、算出されたＸ座標に基づいて各ソース画像の各画素がずらされることによって左目用画像２７ｄおよび右目用画像２８ｄ（それぞれ図１７）が生成される。
【０１３７】
生成された左目用画像２７ｄにおいては、そのソース画像である左画像２５ｄにおける画素ｑ１およびｑ２は、それぞれ座標（２１，１０）の画素ｑ５および座標（２４，４０）の画素ｑ６へとずらされている。生成された右目用画像２８ｄにおいては、そのソース画像である右画像２６ｄにおける画素ｑ３およびｑ４は、それぞれ座標（２３，１０）の画素ｑ７および座標（２４，４０）の画素ｑ８へとずらされている。
【０１３８】
なお、左目用画像２７ｄおよび右目用画像２８ｄの画像全体の生成は、図１８、図１９および図３５を参照しつつ既述した生成処理Ａにおける生成手法と同様の処理によってそれぞれ行われる。
【０１３９】
生成処理Ｂにおける立体視画像の生成処理（図３３のステップＳ２００）が終了すると、処理は、生成処理ＡおよびＢにおける立体視画像の表示する処理（図３４のステップＳ２５０）へと移される。
【０１４０】
上述したように、情報処理装置１００Ａは、第１カメラ６１と第２カメラ６２との配列方向と、水平方向との幾何学的関係を判定し、該判定結果に応じて、立体視画像の生成処理ＡおよびＢの何れか一方を選択的に実行することによって、第１カメラ６１と第２カメラ６２との配列方向が水平方向である場合でも、また、水平方向とは異なる場合でも、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成し得る。
【０１４１】
○立体視画像の表示処理および記憶処理について：
生成処理ＡまたはＢによって、立体視画像２９（図５）が生成されると、ＣＰＵ１１Ａは、生成された立体視画像２９、すなわち左目用画像２７（図５）および右目用画像２８（図５）を表示部４３に表示する（図３４のステップＳ２５０）。さらに、表示部４３からの画像の記憶を指示する操作などに応答して、ＣＰＵ１１Ａは、生成された立体視画像２９と、立体視画像２９のソース画像が撮影されたときの情報処理装置１００Ａの姿勢情報５４とを相互に対応付けて記憶装置４６に記憶する（図３４のステップＳ２６０）。なお、姿勢情報５４（図５）は、取得部１２が取得した判定用情報５５（図５）に基づいて検出部１５が生成する。
【０１４２】
図３１は立体視画像２９と、情報処理装置１００Ａの姿勢情報５４との対応づけの１例を示す図である。図３１には、第２行〜第５行に、５組みの立体視画像が示されている。また、各立体視画像には立体視画像のソース画像が撮影されたときの情報処理装置１００Ａの各姿勢をそれぞれ示す４通りの指標値０〜３が対応づけられている。なお、第２行目以降の各行において、第１列目が左目用画像２７の記憶用のファイル名であり、第２列目が右目用画像２８の記憶用のファイル名であり、第３列目が情報処理装置１００Ａの姿勢情報についての指標値である。また、第２行目以降の各行のデータが相互に対応づけられて記憶装置４６に記憶される。該ファイル名は、例えば、所定の命名規則に基づいて自動的に生成される。
【０１４３】
例えば、ステレオカメラ３００の撮影時において、ステレオカメラ３００の光軸と、第１カメラ６１および第２カメラ６２の配列方向とのそれぞれに直交する直線について、該直線と該光軸とが鉛直面に含まれている状態から情報処理装置１００Ａが該光軸に平行な回転軸を中心として所定の回転方向に９０度ずつ順次に回転される場合には、第１カメラ６１および第２カメラ６２の配列方向は、例えば、鉛直方向または水平方向など２通り存在する。また、情報処理装置１００Ａの姿勢は、例えば図３１に例示されたように４通り存在する。検出部１５は、設定された動作モードに応じて、第１カメラ６１および第２カメラ６２の配列方向についての２通りの方向のうちステレオカメラ３００の撮影時における該直線の方向に該当する方向を検出する処理、または、情報処理装置１００Ａについての該４通りの姿勢のうち、ステレオカメラ３００の撮影時における情報処理装置１００Ａの姿勢に該当する姿勢を検出する処理などを行う。ここで、第１カメラ６１および第２カメラ６２の配列方向についての２通りの方向のうち１つを検出することは、ステレオカメラ３００の光軸まわりに互いに９０度異なる２通りの姿勢の中から、情報処理装置１００Ａの姿勢情報を特定する処理である。また、情報処理装置１００Ａについての該４通りの姿勢のうち、ステレオカメラ３００の撮影時における情報処理装置１００Ａの姿勢に該当する姿勢を検出する処理は、ステレオカメラ３００の光軸まわりに互いに９０度ずつ異なる４通りの姿勢の中から、情報処理装置１００Ａの姿勢情報を特定する処理である。
【０１４４】
検出部１５が検出した第１カメラ６１および第２カメラ６２の配列方向、または情報処理装置１００Ａの姿勢は、ソース画像が撮影されたときの情報処理装置１００Ａの姿勢情報としてＣＰＵ１１Ａによって立体視画像２９の画像と対応づけられる。そして、ＣＰＵ１１Ａは、立体視画像２９と対応づけられた該姿勢情報５４をＲＡＭ４５に一時的に記憶するとともに、操作部４２からの操作信号５２が、生成された立体視画像の記憶を指示する操作に係る信号であることを検出した場合に、立体視画像２９と、立体視画像のソース画像が撮影されたときの姿勢情報５４とを対応づけて記憶装置４６に恒久的に記憶する。
【０１４５】
立体視画像２９と対応づけられて記憶された情報処理装置１００Ａの姿勢情報が、上述した２通りの方向である場合には、例えば、情報処理装置１００Ａは、少なくとも、ソース画像が撮影されたときの第１カメラ６１と第２カメラ６２との配列方向が水平方向であるか否かを判定できるので、情報処理装置１００Ａは、該配列方向についての判定結果に応じて、立体視画像２９の生成処理Ａまたは生成処理Ｂを選択的に実行できる。従って、ＣＰＵ１１Ａは、該配列方向が水平方向であっても、水平方向以外であっても、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成し得る。
【０１４６】
立体視画像２９と対応づけられて記憶された情報処理装置１００Ａの姿勢情報が、上述した４通りの姿勢である場合には、例えば、記憶された立体視画像を表示部４３に表示される場合にも情報処理装置１００Ａの姿勢を検出することによって、該表示時の情報処理装置１００Ａの姿勢と、立体視画像２９のソース画像が生成されたときに情報処理装置１００Ａの姿勢とが異なっているとしても、立体視画像の観察者が、被写体の画像の向きについて違和感を覚えることなく、立体を視認できるように立体視画像を表示し得る。
【０１４７】
上述したように、ＣＰＵ１１Ａは、検出部１５が取得した情報処理装置１００Ａの姿勢情報５４に基づいて、表示部４３に対して必要な制御を行うことによって、立体視画像の視差の方向を、観察者の両目の配列方向とし得るとともに、立体視画像の向きを、実物の被写体の向きと同方向とし得る。すなわち、情報処理装置１００Ａによれば、第１カメラ６１と第２カメラ６２との配列方向が水平方向である場合でも、また、水平方向とは異なる場合でも、立体視画像の観察者が、被写体の画像の向きについて違和感を覚えることなく、立体を視認できるように立体視画像を生成し得るとともに、立体視画像の表示を行い得る。
【０１４８】
＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１４９】
例えば、上述した情報処理装置１００Ａが、例えば、ステレオカメラ３００および姿勢センサ４７などをそれぞれ備えたデジタルスチルカメラ、またはデジタルビデオカメラであったとしても本発明の有用性を損なうものではない。
【符号の説明】
【０１５０】
１００Ａ  情報処理装置
２００Ａ，２００Ｂ  筐体
４００  ヒンジ部
２１  第１画像
２２  第２画像
２３  上画像
２４  下画像
２５  左画像
２６  右画像
２７  左目用画像
２８  右目用画像
２９  立体視画像
５１  出力信号
５２  操作信号
５３  判定結果情報
５４  姿勢情報
５５  判定用情報
５６  制御信号
５８ａ，５８ｂ  部分画像
５９  中間画像
６１  第１カメラ
６２  第２カメラ
６６ａ，６６ｂ  近景被写体
６７ａ，６７ｂ  遠景被写体
ｂ  基線長
【図１】
2012090309.tif 000009
【図２】
2012090309.tif 000010
【図３】
2012090309.tif 000011
【図４】
2012090309.tif 000012
【図５】
2012090309.tif 000013
【図６】
2012090309.tif 000014
【図７】
2012090309.tif 000015
【図８】
2012090309.tif 000016
【図１５】
2012090309.tif 000017
【図１６】
2012090309.tif 000018
【図１７】
2012090309.tif 000019
【図１９】
2012090309.tif 000020
【図２８】
2012090309.tif 000021
【図２９】
2012090309.tif 000022
【図３０】
2012090309.tif 000023
【図３１】
2012090309.tif 000024
【図３２】
2012090309.tif 000025
【図３３】
2012090309.tif 000026
【図３４】
2012090309.tif 000027
【図３５】
2012090309.tif 000028
【図９】
2012090309.tif 000029
【図１０】
2012090309.tif 000030
【図１１】
2012090309.tif 000031
【図１２】
2012090309.tif 000032
【図１３】
2012090309.tif 000033
【図１４】
2012090309.tif 000034
【図１８】
2012090309.tif 000035
【図２０】
2012090309.tif 000036
【図２１】
2012090309.tif 000037
【図２２】
2012090309.tif 000038
【図２３】
2012090309.tif 000039
【図２４】
2012090309.tif 000040
【図２５】
2012090309.tif 000041
【図２６】
2012090309.tif 000042
【図２７】
2012090309.tif 000043
【手続補正書】
【提出日】平成25年4月25日(2013.4.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段と、
前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報を取得する取得手段と、
前記判定用情報に基づいて前記幾何学的関係を判定する判定手段と、
互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成手段と、
を備える情報処理装置。
【請求項２】
請求項１に記載された情報処理装置であって、
前記撮像結果から得られた第１ソース画像が前記第１の生成処理の対象とされ、
前記撮像結果から得られた第２ソース画像が前記第２の生成処理の対象とされ、
前記撮像結果からの前記第１ソース画像と前記第２ソース画像との選択規則が互いに異なる情報処理装置。
【請求項３】
請求項２に記載された情報処理装置であって、
前記選択規則は、
前記配列方向が水平方向であると判定されたときは、前記第１の撮像系によって得た第１の画像と、前記第２の撮像系によって得た第２の画像とを、前記第１ソース画像として採用し、
前記配列方向が水平方向以外であると判定されたときは、前記第１画像と、前記第２の画像との何か一方の画像を、前記第２ソース画像として採用する、
という規則である情報処理装置。
【請求項４】
請求項３に記載された情報処理装置であって、
前記生成手段が、前記何れか一方の画像を画像空間において空間的に変形させた第３の画像を生成するとともに、該第３の画像を前記第２ソース画像として前記第２の生成処理を行う情報処理装置。
【請求項５】
請求項３または請求項４に記載された情報処理装置であって、
前記生成手段が、前記何れか一方の画像から推定された前記撮像手段と前記被写体との距離情報に基づいて前記第２の生成処理を行う情報処理装置。
【請求項６】
請求項３から請求項５の何れか１つの請求項に記載された情報処理装置であって、
表示手段を更に備え、
前記生成手段が、前記第１の画像と前記第２の画像とのうち前記表示手段に表示されている画像を前記第２ソース画像として前記第２の生成処理を行う情報処理装置。
【請求項７】
請求項３から請求項６の何れか１つの請求項に記載された情報処理装置であって、
前記判定用情報に基づいて前記撮像手段によって前記第１と第２の画像が得られたときの前記情報処理装置の姿勢情報を検出する検出手段と、
前記立体視画像を、前記検出手段によって検出された前記情報処理装置の姿勢情報と相互に対応づけて記憶する記憶手段と、
をさらに備える情報処理装置。
【請求項８】
請求項７に記載された情報処理装置であって、
前記検出手段が、前記撮像手段の光軸まわりに互いに９０度異なる２通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する情報処理装置。
【請求項９】
請求項７に記載された情報処理装置であって、
前記検出手段が、前記撮像手段の光軸まわりに互いに９０度ずつ異なる４通りの姿勢の中から、前記情報処理装置の姿勢情報を特定する情報処理装置。
【請求項１０】
請求項３から請求項９の何れか１つの請求項に記載された情報処理装置であって、
前記判定用情報が、前記情報処理装置が操作されたことにより発生した操作信号、前記第１の画像および前記第２の画像の少なくとも一方、および前記情報処理装置に設けられた姿勢センサの出力信号のうち少なくとも１つを含む情報処理装置。
【請求項１１】
請求項３から請求項１０の何れか１つの請求項に記載された情報処理装置であって、
前記第１の生成処理および前記第２の生成処理は、前記立体視画像を生成するにあたって、前記第１ソース画像および第２ソース画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用する情報処理装置。
【請求項１２】
請求項３から請求項１１の何れか１つの請求項に記載された情報処理装置であって、
前記生成手段が、前記第１の生成処理および前記第２の生成処理において前記立体視画像を構成する画像群における視差の状態と、前記第１の画像と前記第２の画像との視差の状態とが異なるように前記立体視画像を生成する情報処理装置。
【請求項１３】
請求項１から請求項１２の何れか１つの請求項に記載された情報処理装置であって、
前記情報処理装置が、携帯型情報端末、デジタルスチルカメラ、またはデジタルビデオカメラである情報処理装置。
【請求項１４】
互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段における前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報に基づいて前記幾何学的関係を判定する判定工程と、
互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成工程と、
を備える情報処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
第１４の態様に係る情報処理方法は、互いに異なる方向から被写体を撮影する第１の撮像系と第２の撮像系とを有する撮像手段における前記第１の撮像系と前記第２の撮像系との配列方向と、水平方向との幾何学的関係を判定するための判定用情報に基づいて前記幾何学的関係を判定する判定工程と、互いに異なる第１の生成処理と第２の生成処理とのうち、前記幾何学的関係の判定結果に応じて選択した一方の生成処理を、前記撮像手段による撮像結果に基づいて行うことにより、前記被写体の立体視画像を生成する生成工程とを備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第１から第１３の何れの態様に係る情報処理装置、または第１４の態様に係る情報処理方法によっても、第１の撮像系と第２の撮像系との配列方向と、水平方向との幾何学的関係を判定し、該判定結果に応じて互いに異なる第１の生成処理と第２の生成処理とのうち、該幾何学的関係の判定結果に応じて選択した一方の生成処理を、撮像手段による撮像結果に基づいて行うことにより被写体の立体視画像を生成するので、第１の撮像系と第２の撮像系との配列方向が水平方向である場合でも、また、水平方向とは異なる場合でも、実物の被写体における水平方向の視差を有する被写体の画像群を被写体の立体視画像として生成し得る。
【国際調査報告】
2012090309.tif 000044
2012090309.tif 000045