(57)【要約】【課題】立体視画像に嵌め込み画像を嵌め込むことが可能な立体視画像処理装置を提供すること。【解決手段】  相互に視差を有する複数の視点画像を利用して得られる立体視画像に対し、２次元又は３次元の第１の嵌め込み画像、及び、文字又は画像を含むインデックスが立体的に飛び出すように表示され、ポップアップ形式でオブジェクトを指し示す第２の嵌め込み画像を生成して嵌め込み、第１及び第２の嵌め込み画像が嵌め込まれた立体視画像を表示する立体視画像処理装置が提供される。また、第１及び第２の嵌め込み画像は、嵌め込まれる奥行きに関する階層情報を含み、複数の第１の嵌め込み画像の重なり部分、及び、複数の第２の嵌め込み画像の重なり部分は、階層情報に基づいて表示される。【選択図】図９
2010268433.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも相互に視差を有する複数の視点画像を利用して得られる立体視画像に対し、少なくとも２次元画像又は３次元画像のうちいずれか一方である第１の嵌め込み画像、及び、文字又は画像を含むインデックスが立体的に飛び出すように表示され、ポップアップ形式でオブジェクトを指し示す第２の嵌め込み画像を生成して嵌め込む画像変換部と、
前記第１及び第２の嵌め込み画像が嵌め込まれた立体視画像を表示する立体視表示部と、
を備え、
前記第１及び第２の嵌め込み画像は、嵌め込まれる奥行きに関する階層情報を含み、
複数の前記第１の嵌め込み画像の重なり部分、及び、複数の前記第２の嵌め込み画像の重なり部分は、前記階層情報に基づいて表示され、
前記画像変換部は、前記第２の嵌め込み画像に含まれる階層情報に応じた飛び出し具合で前記立体視表示部に表示されるように当該第２の嵌め込み画像を前記立体視画像に嵌め込む、
立体視画像処理装置。
【請求項２】
前記画像変換部は、複数の前記第２の嵌め込み画像がある場合、前記階層情報に基づき、階層レベルが上の前記第２の嵌め込み画像の方が飛び出し具合が大きくなるように前記第２の嵌め込み画像を前記立体視画像に嵌め込む、
請求項１に記載の立体視画像処理装置。
【請求項３】
前記第１及び第２の嵌め込み画像は、階層レベルが上である程大きく表示される、
請求項２に記載の立体視画像処理装置。
【請求項４】
前記画像変換部は、前記階層情報に基づいて音源の３次元の奥行きが定まる場合に、前記階層情報に基づいてスピーカーに音声を出力させる、
請求項１に記載の立体視画像処理装置。
【請求項５】
前記複数の視点画像が結合された結合画像を取得する取得部と、
前記結合画像をエンコードするエンコーダと、
前記エンコーダによりエンコードされた結合画像の圧縮データを記録する記録部と、
前記記録部により記録された圧縮データをデコードして結合画像を復元するデコーダと、
前記デコーダにより復元された結合画像を前記複数の視点画像に分離する分離部と、
前記分離部により分離された複数の視点画像から立体視画像を生成する画像生成部と、
を備える、
請求項１に記載の立体視画像処理装置。
【請求項６】
前記取得部は、前記複数の視点画像を１回の撮影により取得する光学アダプタを有し、
前記各視点画像には、前記光学アダプタの情報が対応付けられており、
前記各視点画像に対応する前記結合画像の各領域から、前記光学アダプタの情報に基づいて前記立体視画像として適さない部分を除く有効な領域を切り出す切り出し部をさらに備え、
前記分離部は、前記切り出し部により切り出された有効な領域から、前記複数の視点画像を分離する、
請求項５に記載の立体視画像処理装置。
【請求項７】
前記複数の視点画像は、右視点画像と左視点画像とであり、
前記結合画像は、前記右視点画像及び前記左視点画像を９０度回転させてから結合して得られ、
前記エンコーダは、前記結合画像を水平方向に圧縮して圧縮データを生成し、
前記分離部は、前記結合画像を分離して得られる前記右視点画像及び左視点画像を−９０度又は２７０度回転させる、
請求項５に記載の立体視画像処理装置。
【請求項８】
前記画像生成部は、前記複数の視点画像について前記視点画像間の対応点の視差量を算出し、前記視差量の最大値が所定値を越える場合、当該最大値が所定値以下となるように少なくとも前記視点画像の表示サイズが調整される、
請求項５に記載の立体視画像処理装置。
【請求項９】
前記第１及び第２の嵌め込み画像は、右視点画像及び左視点画像から構成される一の結合画像に含まれるタグ情報により管理される、
請求項２に記載の立体視画像処理装置。
【請求項１０】
前記立体視画像処理装置は、前記立体視画像に含まれる被写体のインデックスとして、前記第１及び第２の嵌め込み画像を嵌め込む、
請求項１に記載の立体視画像処理装置。
【請求項１１】
前記第１及び第２の嵌め込み画像は、少なくとも文字、図形、記号、もしくはフレームのうちいずれか一つ又はこれら任意の組合せから構成される、
請求項１に記載の立体視画像処理装置。
【請求項１２】
少なくとも相互に視差を有する複数の視点画像を利用して得られる立体視画像に対し、少なくとも２次元画像又は３次元画像のうちいずれか一方である第１の嵌め込み画像、及び、文字又は画像を含むインデックスが立体的に飛び出すように表示され、ポップアップ形式でオブジェクトを指し示す第２の嵌め込み画像を生成して嵌め込む嵌め込みステップと、
前記第１及び第２の嵌め込み画像が嵌め込まれた立体視画像を表示する立体視表示ステップと、
を備え、
前記第１及び第２の嵌め込み画像は、嵌め込まれる奥行きに関する階層情報を含み、
複数の前記第１の嵌め込み画像の重なり部分、及び、複数の前記第２の嵌め込み画像の重なり部分は、前記階層情報に基づいて表示され、
前記嵌め込みステップでは、前記第２の嵌め込み画像に含まれる階層情報に応じた飛び出し具合で前記立体視表示ステップにて表示されるように当該第２の嵌め込み画像が前記立体視画像に嵌め込まれる、
立体視画像生成方法。
【請求項１３】
前記嵌め込みステップでは、複数の前記第２の嵌め込み画像がある場合、前記階層情報に基づき、階層レベルが上の前記第２の嵌め込み画像の方が飛び出し具合が大きくなるように前記第２の嵌め込み画像が前記立体視画像に嵌め込まれる、
請求項１２に記載の立体視画像生成方法。
【請求項１４】
前記第１及び第２の嵌め込み画像は、階層レベルが上である程大きく表示される、
請求項１３に記載の立体視画像生成方法。
【請求項１５】
前記嵌め込みステップでは、前記階層情報に基づいて音源の３次元の奥行きが定まる場合に、前記階層情報に基づいて音声を出力する、
請求項１２に記載の立体視画像生成方法。
【請求項１６】
前記複数の視点画像が結合された結合画像を取得する取得ステップと、
前記結合画像をエンコードするエンコードステップと、
前記エンコードステップでエンコードされた結合画像の圧縮データを記録する記録ステップと、
前記記録ステップで記録された圧縮データをデコードして結合画像を復元するデコードステップと、
前記デコードステップで復元された結合画像を前記複数の視点画像に分離する分離ステップと、
前記分離ステップで分離された複数の視点画像から立体視画像を生成する画像生成ステップと、
をさらに含む、
請求項１２に記載の立体視画像生成方法。
【請求項１７】
前記取得ステップでは、前記複数の視点画像を１回の撮影により取得する光学アダプタを用いて前記複数の視点画像を取得し、
前記各視点画像には、前記光学アダプタの情報が対応付けられており、
前記各視点画像に対応する前記結合画像の各領域から、前記光学アダプタの情報に基づいて前記立体視画像として適さない部分を除く有効な領域を切り出す切り出しステップをさらに含み、
前記分離ステップでは、前記切り出しステップで切り出された有効な領域から、前記複数の視点画像を分離する、
請求項１６に記載の立体視画像生成方法。
【請求項１８】
前記複数の視点画像は、右視点画像と左視点画像とであり、
前記結合ステップでは、前記右視点画像及び前記左視点画像を９０度回転させてから結合し、
前記エンコードステップでは、前記結合画像を水平方向に圧縮して圧縮データを生成し、
前記分離ステップでは、前記結合画像を分離して得られる前記右視点画像及び左視点画像を−９０度又は２７０度回転させる、
請求項１６に記載の立体視画像生成方法。
【請求項１９】
前記画像生成ステップでは、前記複数の視点画像について前記視点画像間の対応点の視差量を算出し、前記視差量の最大値が所定値を越える場合、当該最大値が所定値以下となるように少なくとも前記視点画像の表示サイズが調整される、
請求項１６に記載の立体視画像生成方法。
【請求項２０】
前記第１及び第２の嵌め込み画像は、右視点画像及び左視点画像から構成される一の結合画像に含まれるタグ情報により管理される、
請求項１２に記載の立体視画像生成方法。
【請求項２１】
前記嵌め込みステップでは、前記立体視画像に含まれる被写体のインデックスとして、前記第１及び第２の嵌め込み画像を嵌め込む、
請求項１２に記載の立体視画像生成方法。
【請求項２２】
前記第１及び第２の嵌め込み画像は、少なくとも文字、図形、記号、もしくはフレームのうちいずれか一つ又はこれら任意の組合せから構成される、
請求項１２に記載の立体視画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視画像処理装置、及び立体視画像生成方法に関する。
【背景技術】
【０００２】
従来から、左右の眼の視差を利用した２枚の静止画像等を撮影し、それらを左右それぞれの眼で観察することができるように表示することにより、立体的な画像を得られる立体視画像処理装置の存在が知られている。
【０００３】
左眼からの視点による左視点画像（Ｌ画像）と、右眼からの視点による右視点画像（Ｒ画像）とから合成された立体視画像が、ディスプレイなどの表示装置に表示されることにより、立体的に視認することが可能となる（例えば、特許文献１参照）。なお、本願発明に関連する技術文献情報には、次のものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３９５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、立体視画像処理装置において、撮影日時、メッセージ、マークなどの画像等を、３Ｄ表示された立体的な画像に嵌め込むように付加させることが出来ない場合が多かった。
【０００６】
また、嵌め込められた画像（以下、ペイント画像）等が、複数の場合、ペイント画像に奥行きに関する情報がないため、ペイント画像同士の重なり部分については、各ペイント画像を区別することが出来なかった。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、本発明の目的は、立体視画像に嵌め込み画像を嵌め込むことが可能な、新規かつ改良された立体視画像処理装置、及び立体視画像生成方法を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、少なくとも相互に視差を有する複数の視点画像を利用して得られる立体視画像に対し、少なくとも２次元画像又は３次元画像のうちいずれか一方である第１の嵌め込み画像、及び、文字又は画像を含むインデックスが立体的に飛び出すように表示され、ポップアップ形式でオブジェクトを指し示す第２の嵌め込み画像を生成して嵌め込む画像変換部と、前記第１及び第２の嵌め込み画像が嵌め込まれた立体視画像を表示する立体視表示部と、を備え、前記第１及び第２の嵌め込み画像は、嵌め込まれる奥行きに関する階層情報を含み、複数の前記第１の嵌め込み画像の重なり部分、及び、複数の前記第２の嵌め込み画像の重なり部分は、前記階層情報に基づいて表示され、前記画像変換部は、前記第２の嵌め込み画像に含まれる階層情報に応じた飛び出し具合で前記立体視表示部に表示されるように当該第２の嵌め込み画像を前記立体視画像に嵌め込む、立体視画像処理装置が提供される。
【０００９】
また、前記画像変換部は、複数の前記第２の嵌め込み画像がある場合、前記階層情報に基づき、階層レベルが上の前記第２の嵌め込み画像の方が飛び出し具合が大きくなるように前記第２の嵌め込み画像を前記立体視画像に嵌め込むように構成されていてもよい。
【００１０】
また、前記第１及び第２の嵌め込み画像は、階層レベルが上である程大きく表示されるように構成されていてもよい。
【００１１】
また、前記画像変換部は、前記階層情報に基づいて音源の３次元の奥行きが定まる場合に、前記階層情報に基づいてスピーカーに音声を出力させるように構成されていてもよい。
【００１２】
また、上記の立体視画像処理装置は、前記複数の視点画像が結合された結合画像を取得する取得部と、前記結合画像をエンコードするエンコーダと、前記エンコーダによりエンコードされた結合画像の圧縮データを記録する記録部と、前記記録部により記録された圧縮データをデコードして結合画像を復元するデコーダと、前記デコーダにより復元された結合画像を前記複数の視点画像に分離する分離部と、前記分離部により分離された複数の視点画像から立体視画像を生成する画像生成部と、を備えていてもよい。
【００１３】
また、前記取得部は、前記複数の視点画像を１回の撮影により取得する光学アダプタを有し、前記各視点画像には、前記光学アダプタの情報が対応付けられており、前記各視点画像に対応する前記結合画像の各領域から、前記光学アダプタの情報に基づいて前記立体視画像として適さない部分を除く有効な領域を切り出す切り出し部をさらに備え、前記分離部は、前記切り出し部により切り出された有効な領域から、前記複数の視点画像を分離するように構成されていてもよい。
【００１４】
また、前記複数の視点画像は、右視点画像と左視点画像とであってもよく、結合画像は、前記右視点画像及び前記左視点画像を９０度回転させてから結合して得られ、前記エンコーダは、前記結合画像を水平方向に圧縮して圧縮データを生成し、前記分離部は、前記結合画像を分離して得られる前記右視点画像及び左視点画像を−９０度又は２７０度回転させるように構成されていてもよい。
【００１５】
また、前記画像生成部は、前記複数の視点画像について前記視点画像間の対応点の視差量を算出し、前記視差量の最大値が所定値を越える場合、当該最大値が所定値以下となるように少なくとも前記視点画像の表示サイズが調整されるように構成されていてもよい。
【００１６】
また、前記第１及び第２の嵌め込み画像は、右視点画像及び左視点画像から構成される一の結合画像に含まれるタグ情報により管理されるように構成されていてもよい。
【００１７】
また、前記立体視画像処理装置は、前記立体視画像に含まれる被写体のインデックスとして、前記第１及び第２の嵌め込み画像を嵌め込むように構成されていてもよい。
【００１８】
また、前記第１及び第２の嵌め込み画像は、少なくとも文字、図形、記号、もしくはフレームのうちいずれか一つ又はこれら任意の組合せから構成されていてもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、少なくとも相互に視差を有する複数の視点画像を利用して得られる立体視画像に対し、少なくとも２次元画像又は３次元画像のうちいずれか一方である第１の嵌め込み画像、及び、文字又は画像を含むインデックスが立体的に飛び出すように表示され、ポップアップ形式でオブジェクトを指し示す第２の嵌め込み画像を生成して嵌め込む嵌め込みステップと、前記第１及び第２の嵌め込み画像が嵌め込まれた立体視画像を表示する立体視表示ステップと、を備え、前記第１及び第２の嵌め込み画像は、嵌め込まれる奥行きに関する階層情報を含み、複数の前記第１の嵌め込み画像の重なり部分、及び、複数の前記第２の嵌め込み画像の重なり部分は、前記階層情報に基づいて表示され、前記嵌め込みステップでは、前記第２の嵌め込み画像に含まれる階層情報に応じた飛び出し具合で前記立体視表示ステップにて表示されるように当該第２の嵌め込み画像が前記立体視画像に嵌め込まれる、立体視画像生成方法が提供される。
【００２０】
また、前記嵌め込みステップは、複数の前記第２の嵌め込み画像がある場合、前記階層情報に基づき、階層レベルが上の前記第２の嵌め込み画像の方が飛び出し具合が大きくなるように前記第２の嵌め込み画像が前記立体視画像に嵌め込まれる工程であってもよい。
【００２１】
また、前記第１及び第２の嵌め込み画像は、階層レベルが上である程大きく表示されるように構成されていてもよい。
【００２２】
また、前記嵌め込みステップは、前記階層情報に基づいて音源の３次元の奥行きが定まる場合に、前記階層情報に基づいて音声を出力する工程であってもよい。
【００２３】
また、上記の立体視画像生成方法は、前記複数の視点画像が結合された結合画像を取得する取得ステップと、前記結合画像をエンコードするエンコードステップと、前記エンコードステップでエンコードされた結合画像の圧縮データを記録する記録ステップと、前記記録ステップで記録された圧縮データをデコードして結合画像を復元するデコードステップと、前記デコードステップで復元された結合画像を前記複数の視点画像に分離する分離ステップと、前記分離ステップで分離された複数の視点画像から立体視画像を生成する画像生成ステップと、をさらに含んでいてもよい。
【００２４】
また、前記取得ステップでは、前記複数の視点画像を１回の撮影により取得する光学アダプタを用いて前記複数の視点画像を取得し、前記各視点画像には、前記光学アダプタの情報が対応付けられており、前記各視点画像に対応する前記結合画像の各領域から、前記光学アダプタの情報に基づいて前記立体視画像として適さない部分を除く有効な領域を切り出す切り出しステップをさらに含み、前記分離ステップでは、前記切り出しステップで切り出された有効な領域から、前記複数の視点画像を分離するように構成されていてもよい。
【００２５】
また、前記複数の視点画像は、右視点画像と左視点画像とであってもよく、前記結合ステップでは、前記右視点画像及び前記左視点画像を９０度回転させてから結合し、前記エンコードステップでは、前記結合画像を水平方向に圧縮して圧縮データを生成し、前記分離ステップでは、前記結合画像を分離して得られる前記右視点画像及び左視点画像を−９０度又は２７０度回転させるように構成されていてもよい。
【００２６】
また、前記画像生成ステップは、前記複数の視点画像について前記視点画像間の対応点の視差量を算出し、前記視差量の最大値が所定値を越える場合、当該最大値が所定値以下となるように少なくとも前記視点画像の表示サイズが調整される工程であってもよい。
【００２７】
また、前記第１及び第２の嵌め込み画像は、右視点画像及び左視点画像から構成される一の結合画像に含まれるタグ情報により管理されるように構成されていてもよい。
【００２８】
また、前記嵌め込みステップは、前記立体視画像に含まれる被写体のインデックスとして、前記第１及び第２の嵌め込み画像を嵌め込む工程であってもよい。
【００２９】
また、前記第１及び第２の嵌め込み画像は、少なくとも文字、図形、記号、もしくはフレームのうちいずれか一つ又はこれら任意の組合せから構成されていてもよい。
【発明の効果】
【００３０】
以上説明したように本発明によれば、立体視画像処理装置において、撮影日時、メッセージ、マークなどの画像等を、３Ｄ表示された立体的な画像に嵌め込むように付加させることができ、嵌め込められた画像が、複数の場合でも、画像同士の重なり部分も、立体的に区別することが出来きる。
【図面の簡単な説明】
【００３１】
【図１】本実施の形態に係る光学アダプタを装着した撮像装置の概略的構成を示す説明図である。
【図２】図１の光学アダプタの構成例を示す説明図である。
【図３】本実施の形態に係る光学アダプタを装着した撮像装置によって撮影される視差画像を示す説明図である。
【図４】本実施の形態に係るプロジェクタによる立体視画像表示の概略的な構成を示す説明図である。
【図５】本実施の形態に係るコンピュータ装置の概略的な構成を示す説明図である。
【図６】本実施の形態に係るＬ画像とＲ画像を合成して立体視画像生成する処理を説明するための説明図である。
【図７】本実施の形態に係る立体視画像を示す説明図である。
【図８】本実施の形態に係る立体視画像を立体的に視認する概要を説明するための図である。
【図９】本実施の形態に係る立体視画像処理装置の概略的な構成を示すブロック図である。
【図１０】立体視画像処理装置の変形例である。
【図１１】本実施の形態に係る立体視画像ファイルのデータ構造の概略を示す説明図である。
【図１２】本実施の形態に係る結合画像データの概略的な構成を示す説明図である。
【図１３】本実施の形態に係る複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。
【図１４】本実施の形態における視点画像の配置の概略的な構成を示す説明図である。
【図１５】本実施の形態に係る視点画像の画像処理方法の概略を示すフローチャートである。
【図１６】本実施の形態における表示画面の概略的な構成例を示す説明図である。
【図１７】本実施の形態における視点画像の一律回転配置の概略的な構成を示す説明図である。
【図１８】本実施の形態における視点画像の個別回転配置の概略的な構成を示す説明図である。
【図１９】本実施の形態における視点画像の一律回転及びミラー反転配置の概略的な構成を示す説明図である。
【図２０】本実施の形態における視点画像の個別回転及びミラー反転配置の概略的な構成を示す説明図である。
【図２１】本実施の形態に係る結合画像の記録処理の概略を示すフローチャートである。
【図２２】本実施の形態に係る環境情報設定画面の概略的な構成を示す説明図である。
【図２３】本実施の形態に係る立体視画像の表示処理の概略を示すフローチャートである。
【図２４】本実施の形態に係る立体視画像の画像表示処理の概略を示すフローチャートである。
【図２５】本実施の形態に係る“ＰｉｃｔｕｒｅＲｏｔａｔｅＮＭ”のタグのフィールドに設定される値の概略を示す説明図である。
【図２６】本実施の形態に係る立体視画像の画像表示処理の変形例の概略を示すフローチャートである。
【図２７】本実施の形態に係る表示画面例の概略的な構成を示す説明図である。
【図２８】本実施の形態に係る光学アダプタの概略的な構成を示す説明図である。
【図２９】本実施の形態に係る画像処理方法の概略を示すフローチャートである。
【図３０】本実施の形態に係る“ＣｒｏｐＳｉｚｅ”又は“ＣｒｏｐＯｆｆｓｅｔ”のタグのフィールドに設定される値の概略を示す説明図である。
【図３１】本実施の形態に係る切出画像領域の概略的な構成を示す説明図である。
【図３２】本実施の形態に係る表示画面例の概略的な構成を示す説明図である。
【図３３】本実施の形態に係る“ＶａｌｉｄＳｉｚｅ”又は“ＶａｌｉｄＯｆｆｓｅｔ”のタグのフィールドに設定される値の概略を示す説明図である。
【図３４】本実施の形態に係る有効領域の概略的な構成を示す説明図である。
【図３５】本実施の形態に係る表示画面例の概略的な構成を示す説明図である。
【発明を実施するための形態】
【００３２】
以下、本発明の好適な実施の形態について、添付図面を参照しながら詳細に説明する。なお、以下の説明及び添付図面において、略同一の機能及び構成を有する構成要素については、同一符号を付することにより、重複説明を省略する。
【００３３】
人間などの左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して、２次元の画像を立体的に視認させる方法（以下、立体視の方法。）が多数存在する。なお、視差について、特に記載がない場合、水平方向における視差を示すものとする。
【００３４】
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている。
【００３５】
上述したさまざまな立体視の方法を実現するためには、左眼用の左視点画像（Ｌ画像。）と、右眼用の右視点画像（Ｒ画像。）を取得する必要がある。Ｌ画像とＲ画像を取得するためには、同一の被写体に対して、カメラの位置を、例えば人の両眼の間隔だけ移動して２回撮影する方法等が最も容易である。
【００３６】
また、１回の撮影でＬ画像とＲ画像を取得する方法として、例えば、図１及び図２に示すように、ミラーなどから構成される光学アダプタ１０５を、撮像装置１００のレンズ１０３の外側に取り付ける方法が知られている。なお、上記撮像装置１００は、例えば、デジタルカメラなどを例示することができる。
【００３７】
図２は、光学アダプタ１０５の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー１２１によってミラー１２２に向けて反射され、ミラー１２２によって撮影レンズ１０３に向けて反射された後、撮影レンズ１０３によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー１２１及びミラー１２２によって反射されることなく、撮影レンズ１０３によって集光される。
【００３８】
光学アダプタ１０５を介して入射された光学像は、左眼からの視点の領域及び右眼からの視点の領域からなる視差画像として撮影される。この左眼用の領域（左眼用の画像）がＬ画像として利用され、右眼用の領域（右眼用の画像）がＲ画像として利用される。なお、各視点画像のセットを視差画像とし、視点画像が複数存在すれば足りるため、必ずしも両隣に一体的に構成する必要はない。
【００３９】
次に、図３に示すように、各視点画像からなる視差画像を合成して得る立体視用の立体画像（立体視画像、３Ｄ画像）を表示させる方法として、例えば、図４に示すような偏光フィルタ方式がある。
【００４０】
図４に示すように、偏光フィルタ方式は、Ｒ画像を投影するための右眼用プロジェクタ１４１と、Ｌ画像を投影するための左眼用プロジェクタ１４２と、Ｌ画像及びＲ画像の光を反射するスクリーン１４３と、偏光メガネ１４４とから構成される。なお、３Ｄ（ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ：３次元）画像は、立体的に視認可能な立体視画像のことである。
【００４１】
右眼用プロジェクタ１４１は、垂直方向に偏光フィルタを備えている。左眼用プロジェクタ１４２は、水平方向に偏光フィルタを備えている。従って、右眼用プロジェクタ１４１から出力されるＲ画像の光は、図４に示す水平方向の矢印の光が出力される。左眼用プロジェクタ１４２から出力されるＬ画像の光は、図４に示す垂直方向の矢印の光が出力される。
【００４２】
次に、スクリーン１４３上では垂直方向の直線偏光によって投影されたＬ画像と、水平方向の直線偏光によって投影されたＲ画像とが重ね合わさることで、立体視画像が生成される。
【００４３】
そして、左側に水平方向の直線偏光フィルタ、右側に垂直方向の直線偏光フィルタが配置された偏光メガネ１４４を用いることにより、スクリーン１４３により反射された上記立体視画像のうち、右眼用プロジェクタ１４１から投影されたＲ画像は、右側の直線偏光フィルタにしか通過されず、左眼用プロジェクタ１４２から出力されたＬ画像は、左側の直線偏光フィルタにしか通過されない。
【００４４】
従って、偏光メガネ１４４から上記スクリーン１４３上の立体視画像を見ると、例えば、撮影された建造物などが飛び出して見えるなど、画像を立体的に見ることができる。
【００４５】
図４に示すスクリーン１４３に立体視画像を生成する場合の他に、例えば、パソコン（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ：ＰＣ）、コンピュータ装置によって立体視画像を生成し、表示する場合も可能である。次に、本実施の形態に係るコンピュータ装置によって立体視画像が生成される場合を、図５〜図８を参照しながら説明する。
【００４６】
上記説明したように、図２に示すミラー１２１及びミラー１２２により反射されることで、視差画像が生成される。上記視差画像は、図２に示すようにＬ画像とＲ画像とから構成されている。
【００４７】
次に、図５を参照しながら、本実施の形態に係る立体視画像処理装置に適用されるコンピュータ装置について説明する。図５は、本実施の形態に係るコンピュータ装置の概略的な構成を示す説明図である。
【００４８】
コンピュータ装置１５０は、少なくとも中央演算処理部（ＣＰＵ）、記憶部を少なくとも備える情報処理装置であり、一般的にはコンピュータ装置であるが、携帯端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ノート型パーソナルコンピュータ、又はデスクトップ型パーソナルコンピュータなどの情報処理装置も含まれる。
【００４９】
図５に示すように、コンピュータ装置１５０には、立体視画像を生成するコンピュータ装置１５０と、表示された立体視画像を見るときにユーザが使用する偏光メガネ１７１と、立体視画像を表示する立体視表示部１４０と、上記立体視表示部１４０の表示面外側に配置するライン偏光板１７２とが、さらに備えられる。
【００５０】
偏光メガネ１７１は、コンピュータ装置１５０に装着された支持棒１７０により、コンピュータ装置１５０のキーボード付近の上方空間に位置するように支持されている。
【００５１】
次に、生成されたＬ画像及びＲ画像の視差画像は、図６に示すように、次式（１）に従って、Ｌ画像とＲ画像とが合成され、図７に示すような立体視画像が生成される。なお、偶数ライン、奇数ラインは、コンピュータ装置１５０に備わる立体視表示部１４０などに構成される水平方向の列のことである。
【００５２】
例えば、表示部がＵＸＧＡ（Ｕｌｔｒａ  ｅＸｔｅｎｄｅｄ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）の場合、式（１）に示すように、水平方向のラインのうち、最上端を０番ラインとすると、０番ラインは、偶数ラインであり、次に１番ラインは、奇数ラインであり、…、以降最下端ライン（１５９９番ライン）まで続く。
【００５３】
偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）
・・・式（１）
【００５４】
図７に示すように、０番ラインから順に、水平方向の１ラインごとにＬ画像、Ｒ画像を合成することにより、Ｌ画像及びＲ画像が１ラインごと交互に合成された立体視画像が生成される。生成された立体視画像は、例えば、コンピュータ装置に備わる立体視表示部１４０などに表示される。
【００５５】
図８に示すように、ユーザは、立体視表示部１４０に表示された立体視画像を、偏光メガネ１７１を介して見ることになる。なお、立体視表示部１４０には、予めライン偏光板１７２を備えている。
【００５６】
上記ライン偏光板１７２は、水平方向のラインを複数有している。ライン偏光板１７２の複数ラインのうち、最上端から順に、偶数ラインには、垂直方向の偏光板を備え、奇数ラインには、水平方向の偏光板を備える。
【００５７】
また、偏光メガネ１７１の右側には、水平方向の偏光フィルタを備え、左側には、垂直方向の偏光フィルタを備える。従って、ライン偏光板１７２を通過したＬ画像の光又はＲ画像の光のうち、偏光メガネ１７１の左側は、奇数ラインからなるＬ画像の光だけが通過し、右側は、奇数ラインからなるＲ画像の光だけが通過する。すなわち、ユーザは、立体視画像を立体的に視聴することができる。
【００５８】
（立体視画像処理装置）
ここで、図９を参照しながら、本実施の形態に係る立体視画像処理装置について説明する。図９は、本実施の形態に係る立体視画像処理装置の概略的な構成を示すブロック図である。なお、図９に示す、本実施の形態に係る画像変換部１３９は、例えば、本発明に係る画像嵌め込み装置に該当する。
【００５９】
図９に示すように、立体的に視認することが可能な立体視画像を生成する立体視画像処理装置は、撮像部１０１と、画像エンコード部１３２と、画像制御情報生成部１３３と、データ多重化部１３４と、記録媒体１３５と、データ分離部１３６と、画像デコード部１３７と、画像分離部１３８と、画像変換部１３９と、立体視表示部１４０とから構成される。
【００６０】
撮像部１０１は、被写体を撮像する撮像素子（ＣＣＤ）１３０−１及び撮像素子１３０−２と、合成部１３１とを備える。なお、撮像素子１３０−１と撮像素子１３０−２とを、一体化して、一組の撮像素子１３０から構成することも実施可能である。上記の場合、光学アダプタ１０５等を備えることで可能となる。
【００６１】
撮像素子１３０−１により撮像された左眼からの視点の画像（Ｌ画像）と、撮像素子１３０−１により撮像された右眼からの視点の画像（Ｒ画像）とが、合成部１３１に伝送される。なお、図９に示す立体視画像処理装置は、２視点の場合を例に挙げて説明するが、かかる例に限定されず、複数の視点の場合であっても実施可能である。
【００６２】
合成部１３１は、伝送された各視点画像（Ｌ画像、Ｒ画像）を回転等するとともに、合成し、結合画像を生成する。さらに合成部１３１は、生成された結合画像は、記録媒体１３５又はメモリ（図示せず。）に記録されるよう指示する。なお、図９に示す結合画像は、Ｌ画像とＲ画像とが左右に隣り合わせとなっているが、かかる例に限定されず、例えば、Ｌ画像とＲ画像とが上下に隣り合わせの場合であってもよい。上記結合画像については、後述する。
【００６３】
上記結合画像は、画像エンコード部１３２によりエンコードされる。上記エンコードは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式などが例示される。
【００６４】
画像制御情報生成部１３３は、上記結合画像から立体視画像に変換等するためのタグ情報（以下、画像制御情報）を生成する。画像制御情報は、撮像部１０１の撮像時の露出、日時、フラッシュの有無などの撮像情報、又は立体視表示部１４０に適当な立体視画像を生成するための情報等が含まれる。例えば、表示画面上の１ラインごとに左右画像（Ｌ画像、Ｒ画像）を表示するための情報などが例示される。
【００６５】
データ多重化部１３４は、画像エンコード部１３２から伝送される結合画像と、画像制御情報生成部１３３から伝送される画像制御情報とを多重化する。多重化された結合画像及び画像制御情報は、記録媒体１３５に記録される。
【００６６】
記録媒体１３５は、データを読書き可能な記憶デバイスであり、例えば、ＨＤＤ装置（ハードディスクドライブ装置）、ＣＤ−ＲＷ（ＲｅＷｒｉｔａｂｌｅ）、ＤＶＤ−ＲＡＭ（ＤＶＤ−Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、又はメモリスティック（登録商標）などが例示される。
【００６７】
データ分離部１３６は、記録媒体１３５に記録された結合画像及び画像制御情報をそれぞれ取得する。データ分離部１３６は、取得した結合画像を画像デコード部１３７に伝送し、画像制御情報を画像分離部１３８に伝送する。なお、結合画像データ及び画像制御情報は、記録媒体１３５の所定の場所（フォルダなど）に記録されている。
【００６８】
なお、本実施の形態に係るデータ分離部１３６は、記録媒体１３５から結合画像及び画像制御情報を取得する場合を例に挙げて説明したが、結合画像と画像制御情報がリンクされていれば、かかる例に限定されず、例えば、記録先のフォルダが別々の場合や、結合画像と画像制御情報が別々に記録され、ネットワーク上のサーバ等から別々に取得する場合等であっても実施可能である。
【００６９】
画像デコード部１３７は、予めエンコードされた結合画像データをデコードし、画像分離部１３８に伝送する。
【００７０】
画像分離部１３８は、データ分離部１３６から伝送された画像制御情報に基づき、画像制御情報に指定された結合画像を取得し、各視点の画像（Ｌ画像、Ｒ画像）に分離する。なお、Ｌ画像とＲ画像に分離する際、結合画像のＬ画像とＲ画像の有効領域を切り出し、所定角度回転又は拡大／縮小処理してもよい。なお、画像分離部１３８は、分離した結果、Ｌ画像とＲ画像の向きが同じになるように処理する。なお、有効領域については後述する。
【００７１】
画像変換部１３９は、画像分離部１３８から伝送されたＬ画像、Ｒ画像を、上記説明した通り、重ね合わせ等することにより、立体視画像に変換する。なお、画像制御情報に切出領域などが指定された場合、画像変換部１３９は、切出処理や拡大／縮小処理等して、立体視画像に変換してもよい。なお、切出領域については、後述する。
【００７２】
立体視表示部１４０は、画像変換部１３９により合成された立体視画像を表示する。立体視表示部１４０は、後程説明するコンピュータ装置に備わるディスプレイなどの表示部、又は投影してスクリーンに表示するプロジェクタ装置などが例示される。
【００７３】
なお、本実施の形態に係る立体視表示部１４０は、立体視画像を表示する場合に限られず、例えば、２Ｄである静止画像、動画像などの表示、さらには音声の出力等をする場合、又は立体視表示部１４０の代わりにプリントアウト手段を備え、アナグリフ方式の立体視画像を紙などの媒体に出力する等の場合であっても実施可能である。
【００７４】
さらに、図１０を参照しながら、図９に示す本実施の形態に係る立体視画像処理装置の変形例について説明する。図１０は、図９に示す立体視画像処理装置の変形例である。以下、図９に示す立体視画像処理装置との相違点について説明する。
【００７５】
図１０に示すように、立体視画像処理装置は、図９に示す立体視画像処理装置と比べて、１つの撮像装置１００が備わる点で異なる。さらに、撮像装置１００は、光学アダプタ１０５を備えている点でも異なる。
【００７６】
従って、光学アダプタ１０５を備えた撮像装置１００は、１回の撮影（シャッター）で、左眼用の視点画像と右眼用の視点画像を撮像し、上記２視点画像からなる結合画像データを生成することができる。
【００７７】
（撮像装置１００）
次に、本実施の形態に係る撮像装置１００について説明すると、撮像装置１００は、少なくともレンズ１０３と撮像素子１３０を備え、上記レンズ１０３には、さらに光学アダプタ１０５が装着可能となっている。また、図９に示すように、撮像装置１００は、撮像部１０１内に備わってもよく、撮像装置１００は、合成部１３１を備えている場合でもよい。
【００７８】
また、本実施の形態に係る画像エンコード部１３２、画像制御情報生成部１３３、データ多重化部１３４、及び記録媒体１３５は、撮像装置１００に備わらない場合を例に挙げて説明したが、かかる例に限定されず、例えば、画像エンコード部１３２、画像制御情報生成部１３３、データ多重化部１３４、もしくは記録媒体１３５等のうちいずれか１つ又は任意の組合せが撮像装置１００に備わる場合であっても実施可能である。
【００７９】
（コンピュータ装置１５０）
図５に示すコンピュータ装置１５０は、図９に示す立体視画像処理装置に構成するデータ分離部１３６、画像デコード部１３７、画像分離部１３８、画像変換部１３９、及び立体視表示部１４０を備える。なお、コンピュータ装置１５０は、画像エンコード部１３２、画像制御情報生成部１３３、データ多重化部１３４、記録媒体１３５をさらに備える場合でもよい。
【００８０】
コンピュータ装置１５０は、図１に示す光学アダプタ１０５が装着された撮像装置１００によって撮影された結合画像データを取込む。又は、コンピュータ装置１５０は、光学アダプタ１０５が装着されていない状態で撮影された画像データなどを取り込む。なお、本実施の形態に係る撮像装置１００は、例えば、ディジタルスチルカメラ、ディジタルビデオカメラなどが例示される。
【００８１】
さらに、コンピュータ装置１５０は、取込んだ結合画像データ又は連続的に撮影された２枚の画像データから立体視画像データを生成する。生成された立体視画像データは、立体視画像として立体視表示部１４０に表示される。
【００８２】
なお、撮像装置１００からコンピュータ装置１５０に取り込まれる結合画像等の画像データには、画像制御情報生成部１３３により生成された画像制御情報が付与されている。
【００８３】
（立体視画像ファイル）
次に、図１１を参照しながら、本実施の形態に係る立体視画像ファイルについて説明する。図１１は、本実施の形態に係る立体視画像ファイルのデータ構造の概略を示す説明図である。
【００８４】
図１１に示すように、立体視画像ファイルは、例えば、ファイル名が“ファイル１．ｊｐｇ”など、拡張子が“．ｊｐｇ”のＪＰＥＧ形式の圧縮データファイルである。
【００８５】
また、立体視画像ファイルは、ＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）規格に準拠して記録し、これにアプリケーション・マーカセグメント（ＡＰＰ１）を挿入する。
【００８６】
ＡＰＰ１は、立体視画像ファイルの始まりを示すＳＯＩ（Ｓｔａｒｔ  Ｏｆ  Ｉｍａｇｅ）マーカの直後に配置される。
【００８７】
さらに、ＡＰＰ１の直後には、結合画像データが配置され、最後に立体視画像ファイルの終了を示すＥＯＩ（Ｅｎｄ  Ｏｆ  Ｉｍａｇｅ）が配置される。なお、結合画像については、後程説明する。
【００８８】
上記ＡＰＰ１の領域には、図１１に示すように、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）の識別情報、及び付属情報本体（Ｔｉｆｆ  ｈｅａｄｅｒ、ＩＦＤ０、ＩＦＤ１）から構成される。これら全てを含むＡＰＰ１の大きさは、ＪＰＥＧの規格により６４ｋＢｙｔｅを越えてはならない。
【００８９】
付属情報は、Ｆｉｌｅ  Ｈｅａｄｅｒ（Ｔｉｆｆ  ｈｅａｄｅｒ）を含むＴｉｆｆの構造をとり、最大二つのＩＦＤ（ＩＦＤ０（０ｔｈ  ＩＦＤ）、ＩＦＤ１（１ｓｔ  ＩＦＤ））を記録できる。なお、ＩＦＤは、“Ｉｍａｇｅ  Ｆｉｌｅ  Ｄｉｒｅｃｔｏｒｙ”の略である。
【００９０】
ＩＦＤ０は、圧縮されている画像（主画像）又は立体視画像（３Ｄ画像）などに関する付属情報を記録する。図１１に示すように、ＩＦＤ０領域には、Ｅｘｉｆ  ＩＦＤのポインタが入るＥｘｉｆポインタ部と、ＧＰＳ  ＩＦＤのポインタが入るＧＰＳポインタ部と、３Ｄ  ＩＦＤのポインタが入る３Ｄポインタ部とが配置される。
【００９１】
さらに、ＩＦＤ０領域には、各ポインタ部の後に、Ｅｘｉｆ  ＩＦＤと、Ｅｘｉｆ  ＩＦＤ  Ｖａｌｕｅと、ＧＰＳ  ＩＦＤと、ＧＰＳ  ＩＦＤ  Ｖａｌｕｅと、３Ｄ  ＩＦＤと、３Ｄ  ＩＦＤ  Ｖａｌｕｅとが配置される。
【００９２】
Ｅｘｉｆ  ＩＦＤ及びＥｘｉｆ  ＩＦＤ  Ｖａｌｕｅには、画像データの特性、構造、ユーザ情報、撮影条件、もしくは日時等に関連するタグ又はタグ値が記録される。例えば、ユーザコメントのためのタグ“ＵｓｅｒＣｏｍｍｅｎｔ”タグ、露出時間を示すためのタグ“ＥｘｐｏｓｕｒｅＴｉｍｅ”、フラッシュの有無を示すためのタグ“Ｆｌａｓｈ”タグなどが例示される。
【００９３】
ＧＰＳ  ＩＦＤ及びＧＰＳ  ＩＦＤ  Ｖａｌｕｅには、ＧＰＳ（ｇｌｏｂａｌ  ｐｏｓｉｔｉｏｎｉｎｇ  ｓｙｓｔｅｍ）に関するタグ又はタグ値が記録される領域である。例えば、緯度を示すタグ“ＧＰＳＬａｔｉｔｕｄｅ”、高度を示すタグ“ＧＰＳＡｌｔｉｔｕｄｅ”などが例示される。
【００９４】
上記３Ｄ  ＩＦＤ及び３Ｄ  ＩＦＤ  Ｖａｌｕｅに、３Ｄ画像である立体視画像に変換するための処理等を制御する画像制御情報に関するタグ又はタグ値（Ｖａｌｕｅ）が記録される。なお、画像制御情報については、後程詳述する。また、本実施の形態に係る結合画像ファイルについても、立体視画像ファイルとほぼ同様のデータ構造である。
【００９５】
なお、本実施の形態に係る立体視画像ファイルのデータ構造は、かかる例に限定されず、他のデータ構造である場合であっても実施することが可能である。
【００９６】
例えば、立体視画像用ファイルのデータ構造がＪＰＥＧデータからなる場合、各ＪＰＥＧデータには、ＪＰＥＧヘッダと圧縮画像データとＥＯＩ（Ｅｎｄ  Ｏｆ  Ｉｍａｇｅ）とが含まれる場合でもよい。上記ＪＰＥＧヘッダには、ＳＯＩ（Ｓｔａｒｔ  Ｏｆ  Ｉｍａｇｅ）や色管理情報等の付属情報が存在する。
【００９７】
また、視点画像データの視点番号などの視点情報は、例えば、各々のＪＰＥＧヘッダに存在させることもできる。視点が異なる複数の視点画像は、ファイルヘッダとそれに続く複数のＪＰＧＥデータとその全体の終わりを示すファイルエンド情報とすることができる。全体に対するヘッダを存在させない場合（結合画像の場合）には、視点情報が、ＪＰＥＧヘッダ内（アプリケーションマーカー／ＩＦＤ）に格納される。
【００９８】
（画像情報）
本実施の形態に係る立体視画像ファイルは、少なくとも撮影又は記録等により生成される主画像となる視点画像データと、画像制御情報とから構成されている。なお、視点画像データ、画像制御情報については、ＤＣＦ規格に規定されている。
【００９９】
（画像フォーマット）
次に、図１２を参照しながら、本実施の形態に係る結合画像データについて説明する。図１２は、本実施の形態に係る結合画像データの概略的な構成を示す説明図である。
【０１００】
図１２（ａ）及び図１２（ｂ）に示すように、本実施の形態に係る視差画像データは、左眼用の視点画像（Ｌ画像）と右眼用の視点画像（Ｒ画像）から構成されている。なお、Ｌ画像及びＲ画像は、各視点において撮像された視点画像である。静止画像である上記視点画像から３Ｄの立体視画像に合成される。
【０１０１】
上記結合画像データは、１つの画像に、Ｌ画像データ及びＲ画像データが一体となるように構成される画像データである。従って、結合画像データは、視差画像データと比べて、複数の視点画像から構成されている点では共通するが、特に各視点画像が別個・独立していない点で、視差画像データとは、大きく異なる。結合画像のＬ画像及びＲ画像は、結合され、一体化されている。
【０１０２】
図１２（ａ）に示す結合画像３５０−１は、水平方向、左右にＬ画像とＲ画像とが両隣に並ぶように構成される。また、図１２（ｂ）に示す結合画像３５０−２は、垂直方向、上下にＬ画像とＲ画像とが一体的に結合されている。
【０１０３】
なお、本実施の形態に係る結合画像は、２視点である場合を例に挙げて説明したが、かかる例に限定されず、複数視点から撮影した画像を一枚の結合画像に結合して記録する場合であっても実施可能である。
【０１０４】
また、図１２（ｃ）に示すように、垂直方向上下に結合された上記結合画像３５０−２の他に、全部で合計４つのパターンの結合画像（３５０−３、３５０−４、３５０−５、３５０−６）が存在する。
【０１０５】
図１２（ｃ）に示す結合画像（３５０−３、３５０−４、３５０−５、３５０−６）は、垂直方向上下に結合された上記結合画像３５０−２の配置形式から、上下の画像を一体化した状態で、左右に倒すことで配置されている（時計方向右回りに９０度回転、又は時計方向左回り９０度回転）。
【０１０６】
結合画像（３５０−３、３５０−４、３５０−５、３５０−６）は、図１２（ｂ）に示す結合画像３５０−２よりも、特にアスペクト比が３：４等のディスプレイに結合画像を表示する際、収まりがよく、１画面内に表示することができる。
【０１０７】
また、上記結合画像（３５０−３、３５０−４、３５０−５、３５０−６）は、立体視画像に合成等するための画像制御情報とともに記録媒体１３５に記録されているため、ネットワーク等を介して、結合画像と画像制御情報を配信することが容易にできる。
【０１０８】
なお、結合画像（３５０−３、３５０−４、３５０−５、３５０−６）と画像制御情報が相互にリンクされていれば記録方法については、限定されない。例えば、同一ファイル内に結合画像と画像制御情報を記録する場合や、ネットワークに接続された別々のサーバに結合画像と画像制御情報が別々に記録される場合等でも実施可能である。
【０１０９】
また、結合画像（３５０−３、３５０−４、３５０−５、３５０−６）を水平方向に圧縮することで、結合画像から立体視画像に合成し、表示する際には、回転して元に戻した状態の画像の垂直成分のみが圧縮された状態となるので、水平方向の画質を劣化させることなく立体視画像を表示することができる。
【０１１０】
結合画像（３５０−３、３５０−４、３５０−５、３５０−６）のうち、どの配置パターンで保存するかについては、２種の指定パターンがある。１つ目のパターンは、各結合画像（３５０−３、３５０−４、３５０−５、３５０−６）のそれぞれについて、“１”、“２”、“３”、“４”などのＩＤを付与することで配置パターンを指定するパターンである。
【０１１１】
２つ目のパターンは、結合画像（３５０−３、３５０−４、３５０−５、３５０−６）のうち、まず結合画像（３５０−３、３５０−５）又は結合画像（３５０−４、３５０−６）のどちらであるかを指定し、さらに右視点画像（Ｒ画像）が右側であるのか左側に配置されるのかを指定するパターンである。詳細については後述する。
【０１１２】
結合画像３５０−３は、図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態の画像である。さらに結合画像３５０−３は、図１２（ｃ）に示すように、左側にＲ画像、右側にＬ画像が配置された構成の画像である。また、左側のＲ画像と右側のＬ画像とともに、画像の向き（天地）は、上側が水平左方向であり、下側が水平右方向である。
【０１１３】
結合画像３５０−４は、図１２（ｂ）に示す結合画像３５０−２を左側に倒した状態での画像である。さらに結合画像３５０−４は、図１２（ｃ）に示すように、左側にＬ画像、右側にＲ画像が配置された構成の画像である。また、左側のＬ画像と右側のＲ画像とともに、画像の向き（天地）は、上側（天井側）が水平右方向であり、下側（地面側）が水平左方向である。
【０１１４】
結合画像３５０−５は、結合画像３５０−３の状態から、画像の向きはそのままにして、Ｌ画像とＲ画像を左右で入れ替えた状態の画像となっており、結合画像３５０−６は、結合画像３５０−４の状態から、画像の向きはそのままにして、Ｌ画像とＲ画像を左右で入れ替えた状態の画像となっている。
【０１１５】
図１２（ｃ）に示す結合画像（３５０−３、３５０−４、３５０−５、３５０−６）は、各視点画像であるＲ画像、Ｌ画像の画枠を、例えば縦×横が２×３等のワイド画像にしても、１画面内に左右並べて表示することが可能であり、さらにＲ画像とＬ画像をそれぞれ９０度回転することで、合成後の立体視画像もワイドな画像に表示される。以下、特に明記されない場合、結合画像は、図１２（ｃ）に示す画像のいずれかを示すものとする。
【０１１６】
（複数視点の視点画像）
ここで、図１３を参照しながら、本実施の形態に係る複数の視点から撮像した場合の視点画像について説明する。図１３は、本実施の形態に係る複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。
【０１１７】
図１３（ａ）に示すように、被写体２３０に対して複数台の撮像装置１００（１００−１、１００−２、１００−３、…、１００−６）が配置されている。撮像装置１００を識別するために、各撮像装置１００に対して視点位置が付される。
【０１１８】
なお、本実施の形態に係る撮像装置１００（１００−１、１００−２、１００−３、…、１００−６）は、６つの視点から撮影するために、配置される場合を例に挙げて説明するが、１又は２以上の撮像装置１００が配置される限り、かかる例に限定されない。
【０１１９】
上記視点位置は、図１３（ａ）に示すように、水平方向（ｘ）、垂直方向（ｙ）の（ｘ，ｙ）座標に基づき、撮像装置１００−１である左上から順にＡ１、Ａ２、Ａ３、…と表わされる。例えば、Ａ１は、座標で表わすと、（水平方向座標，垂直方向座標）＝（１，０）などとなる。
【０１２０】
従って、撮像装置１００から撮像された視点画像に各視点の視点位置が付加されることで、どの視点から撮像された視点画像であるか、識別することが可能となる。
【０１２１】
例えば、撮像装置１００の視点位置が“Ａ１”の場合、図１３（ｂ）に示すように、撮像装置１００により撮像された視点画像の視点位置も“Ａ１”である。
【０１２２】
従って、撮像装置１００の画像制御情報生成部１３３は、画像制御情報を生成し、上記画像制御情報における所定のタグのフィールドに、上記視点位置“Ａ１”（１，０）を設定する。上記視点位置に係る所定のタグについては後述する。
【０１２３】
（画像制御情報）
本実施の形態に係る結合画像データから立体視画像データに合成し、表示するためには、上記説明したように、タグ情報としての画像制御情報を例えば、ハードディスク、記録媒体などに記録する必要がある。
【０１２４】
次に、本実施の形態に係る画像制御情報に関するタグについて説明する。本実施の形態に係るタグには、３Ｄ画像であることを示す“３Ｄタグ”、上記画像制御情報のサイズを示す“画像制御情報サイズタグ”、３Ｄ画像のサイズを示す“３Ｄ画像サイズタグ”、使用者が任意のデータを管理等できる“使用者データ領域タグ（ＡｐｐｌｉｃａｔｉｏｎＤａｔａ）”、データ構成種別を管理するための“データ構成種別タグ”、又は上記画像制御情報のバージョンを示す“画像制御情報バージョンタグ”が存在する。画像制御情報に含まれるタグを用いることによって、適当な立体視画像を生成したり、編集したり様々な処理を施すことができる。
【０１２５】
また、さらに本実施の形態に係る画像制御情報に係るタグには、例えば図１３に示した“Ａ１”〜“Ｂ３”の視点位置を示すためのタグ（視点位置タグ）、３Ｄ画像が結合画像であるか否かを示す“結合画像タグ”、３Ｄ画像の回転状況等を示す“回転タグ”、３Ｄ画像から所定領域切り出された切出領域の水平方向のサイズを示す“切出サイズタグＸ（ＣｒｏｐＳｉｚｅＸ）”、３Ｄ画像から所定領域切り出された切出領域の垂直方向のサイズを示す“切出サイズタグＹ（ＣｒｏｐＳｉｚｅＹ）”、３Ｄ画像における切出領域の水平方向のオフセットを示す“切出オフセットタグＸ（ＣｒｏｐＯｆｆｓｅｔＸ）”、又は３Ｄ画像における切出領域の垂直方向のオフセットを示す“切出オフセットタグＹ（ＣｒｏｐＯｆｆｓｅｔＹ）”が存在する。なお、“ＣｒｏｐＯｆｆｓｅｔＸ”、“ＣｒｏｐＯｆｆｓｅｔＹ”は、複数の視点から３Ｄ画像がなる場合、各視点のオフセットを示す。なお、上記回転タグには、例えば、回転角度情報など、視点画像が回転した角度等が設定される。
【０１２６】
また、さらに本実施の形態に係る画像制御情報に係るタグには、３Ｄ画像における有効領域の水平方向のサイズを示す“有効サイズタグＸ（ＶａｌｉｄＳｉｚｅＸ）”、３Ｄ画像における有効領域の垂直方向のサイズを示す“有効サイズタグＹ（ＶａｌｉｄＳｉｚｅＹ）”、３Ｄ画像における有効領域の水平方向のオフセットを示す“有効オフセットタグＸ（ＶａｌｉｄＯｆｆｓｅｔＸ）”、又は３Ｄ画像における有効領域の垂直方向のオフセットを示す“有効オフセットタグＹ（ＶａｌｉｄＯｆｆｓｅｔＹ）”が存在する。なお、“有効オフセットタグＸ”、“有効オフセットタグＹ”は、複数の視点から３Ｄ画像がなる場合、各視点のオフセットを示す。
【０１２７】
また、さらに本実施の形態に係る画像制御情報に係るタグには、３Ｄ画像（立体視画像）を表示可能な立体視表示部１４０に、適正なサイズの立体視画像を表示するためのタグである“想定表示サイズタグ”、又は立体視画像の注目参照点を示すための“リマークポイントタグ”などが存在する。
【０１２８】
たとえば、上記“回転タグ”は、３バイトからなる。なお、“回転タグ”は、結合画像における各視点画像の回転角、左右ミラー反転の有無を示し、０〜７のいずれかの値が設定される。０〜７の値に応じて回転角、ミラーの有無が決定する。
【０１２９】
また、“ＣｒｏｐＯｆｆｓｅｔＸ”は、各視点６バイトからなるタグである。従って、例えば２視点の場合は、１２バイトとなる。なお、“ＣｒｏｐＯｆｆｓｅｔＸ”は、切出領域の水平方向のオフセットを示す。切出領域の水平方向のオフセットは、水平方向の切出領域の開始位置（始点）を示す。
【０１３０】
“ＣｒｏｐＯｆｆｓｅｔＹ”は、各視点６バイトからなるタグである。従って、例えば２視点の場合は、１２バイトとなる。なお、“ＣｒｏｐＯｆｆｓｅｔＹ”は、切出領域の垂直方向のオフセットを示す。各視点の画像の上下ずれ補正量も含み、ずれ量が不明の場合は、上記“ＣｒｏｐＯｆｆｓｅｔＹ”には、“０”の値が設定される。切出領域の垂直方向のオフセットは、垂直方向の切出領域の開始位置（始点）を示す。切出領域の垂直／水平方向のオフセットが定まることにより、切出領域の開始位置が定まる。
【０１３１】
“ＶａｌｉｄＳｉｚｅＸ”は、各視点６バイトのタグである。なお、“ＶａｌｉｄＳｉｚｅＸ”は、結合画像から３Ｄ画像に変換することが可能な領域を示す有効領域の水平方向のサイズである。
【０１３２】
“ＶａｌｉｄＳｉｚｅＹ”は、各視点６バイトのタグである。なお、“ＶａｌｉｄＳｉｚｅＹ”は、有効領域の垂直方向のサイズである。
【０１３３】
“ＶａｌｉｄＯｆｆｓｅｔＸ”は、各視点６バイトのタグである。例えば、３視点の場合は、１８バイトである。なお、“ＶａｌｉｄＯｆｆｓｅｔＸ”は、有効領域の水平方向のオフセットである。有効領域の水平方向のオフセットは、水平方向の有効領域の開始位置（始点）を示す。
【０１３４】
“ＶａｌｉｄＯｆｆｓｅｔＹ”は、各視点６バイトのタグである。例えば、３視点の場合は、１８バイトである。なお、“ＶａｌｉｄＯｆｆｓｅｔＹ”は、有効領域の垂直方向のオフセットである。有効領域の垂直方向のオフセットは、垂直方向の有効領域の開始位置（始点）を示す。
【０１３５】
“想定表示サイズタグ”は、４バイトのタグである。なお、
“想定表示サイズタグ”のタグのフィールドには、例えば、立体視表示部１４０の種類と大きさが設定される。立体視表示部１４０の大きさは、本実施の形態ではインチ（ｉｎｃｈ）により表されるが、かかる例に限定されない。
【０１３６】
“リマークポイントタグ”は、６バイトのタグである。なお、“Ｒｅｍａｒｋｐｏｉｎｔ”は、立体視画像の注目点を示すためのタグである。
【０１３７】
立体視表示部１４０に立体視画像を表示する場合、立体視表示部１４０の中心点には、参照注目点に該当する立体視画像が表示される。従って、立体視表示部１４０の中心点と、立体視画像の注目点とは一致する。
【０１３８】
“リマークポイント”のタグから注目点が設定されることにより、例えば、立体視画像の大きさよりも立体視表示部１４０が小さい場合、立体視画像全体を表示することはできないが、立体視画像を少なくとも部分的に視認することが可能となる。
【０１３９】
（メタファイル形式による画像制御情報）
次に、本実施の形態に係る画像制御情報生成部１３３はＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式などのメタファイルである付帯情報を生成すると、直接、記録媒体１３５は、上記付帯情報を、多重化された画像ファイルとは別ファイルとして記録するようにしてもよい。
【０１４０】
次に、本実施の形態に係る立体視画像処理装置における各種機能の説明をする。
【０１４１】
（結合画像における視点画像の配置）
まず、図１４を参照しながら、本実施の形態における視点画像の配置について説明する。図１４は、本実施の形態における視点画像の配置の概略的な構成を示す説明図である。
【０１４２】
（平行配置）
視点画像の配置には、２つの配置がある。図１４（ａ）に示すように、右眼用の画像（以下、Ｒ画像）が右側で、左眼用の画像（以下、Ｌ画像）が左側である一般的な配置の場合を、平行配置とする。従って、平行配置の結合画像は、ユーザの左右の眼から見える視点と同じ配置である。なお、上記平行配置による結合画像を、いわゆる平行法によって見た場合、結合画像を立体的に見ることができる。平行法とは、対象より遠いところに眼の焦点を合わせたまま、手前にある対象を見る方法である。
【０１４３】
（交差配置）
次に、図１４（ｂ）に示すように、Ｌ画像が右側で、Ｒ画像が左側である場合、つまり逆転層が生じ、平行配置と比べ左右反転したような配置の場合を、交差配置とする。なお、交差配置又は平行配置は、結合画像タグに、右視点画像（Ｒ画像）が左右のうちどちら側であるかを設定することで、交差配置又は平行配置のどちらであるかを指定することができる。
【０１４４】
上記交差配置の視差画像は、いわゆる交差法による方法で、裸眼で立体視が可能な視差画像である。本実施の形態に係る光学アダプタ１０５を装着した撮像装置１００の撮像により生成される視差画像は、交差配置の視差画像である。交差法とは、対象とするものよりも手前で眼の焦点を合わせた上で、対象を見る方法である。
【０１４５】
結合画像から立体視画像に変換する際に、平行配置の画像であると仮定した場合、右側がＲ画像であるため、正常な立体視画像に変換することが可能であるが、交差配置であった場合では、右側がＬ画像であるため、正常な立体視画像に変換することができない。従って、交差配置の場合、左側がＲ画像であることを指定する必要がある。なお、視差画像の平行配置と交差配置とは、上述した結合画像タグにより、画像配置を変換することが可能であるが、詳細は後述する。
【０１４６】
（視点画像の画像処理方法）
次に、図１５を参照しながら、本実施の形態に係る視点画像の画像処理方法について説明する。図１５は、本実施の形態に係る視点画像の画像処理方法の概略を示すフローチャートである。
【０１４７】
まず、予め撮像装置１００に、平行配置の結合画像データを生成するのか、もしくは交差配置の結合画像データを生成するのか少なくとも設定する。設定する場合、撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。なお、平行配置又は交差配置のどちらか一方のみが予め決まっている場合、設定する必要はない。
【０１４８】
次に、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データを、設定された平行配置又は交差配置に従い、結合画像データを生成する。
【０１４９】
また、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“結合画像タグ”のタグのフィールドに、平行配置又は交差配置を示す値を設定する。
【０１５０】
上記“結合画像タグ”のタグのフィールドに設定される値は、例えば、“平行配置”である場合は、“０”であり、“交差配置”である場合は、“１”の２値のいずれかである。つまり右視点画像が右側であれば、平行配置となり、右視点画像が左側であれば交差配置となる。なお、本実施の形態に係る“結合画像タグ”のタグのフィールドに設定される値は、かかる例に限定されず、他のいかなる値が設定される場合であってもよい。
【０１５１】
次に、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０１５２】
ここで、コンピュータ装置１５０は、記録媒体１３５から上記結合画像データ及び画像制御情報を読み込む。次に、コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０１５３】
画像分離部１３８は、Ｌ画像データとＲ画像データとに分離時、画像制御情報の“結合画像タグ”に設定された値に基づき、デコードされた結合画像データのうちどちらが、Ｒ画像データであるかを認識する。
【０１５４】
“結合画像タグ”に設定された値が“０”である場合、画像分離部１３８は、右側の画像データをＲ画像データであると認識し、“１”である場合、画像分離部１３８は、交差配置になるよう上記双方の視点画像を左右反転処理し、左側の画像データをＲ画像データであると認識する。
【０１５５】
認識されたＲ画像データ及びＬ画像データは、画像分離部１３８により、画像変換部１３９に伝送される。画像変換部１３９は、上記Ｒ画像データと、Ｌ画像データとを配置し、立体視画像データを生成する。
【０１５６】
上記Ｒ画像データと、Ｌ画像データとが配置された立体視画像データは、立体視表示部１４０により表示される（Ｓ６００）。以上から、本実施の形態に係る視点画像の画像処理が終了する。
【０１５７】
なお、図１６に示すように、立体視画像データを生成後であっても、コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを左右反転させ、再度、立体視画像データを生成することができる。
【０１５８】
図１６に示すように、ＧＵＩ画面２２０は、立体視画像が表示されるメインエリア２２２と、ペイント画像２２４とから構成されている。メインエリア２２２には、生成された立体視画像データの立体視画像が表示される。
【０１５９】
「ＬＲ置換」ボタンが、コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下されると、画像分離部１３８は、画像制御情報の“結合画像タグ”に設定された値を反転する。例えば、“０”（平行配置）の場合は、“１”（交差配置）に更新する。
【０１６０】
画像分離部１３８は、変更した画像制御情報の“結合画像タグ”に設定された値に基づき、結合画像データのうちどちらがＲ画像データであるかを認識し、認識されたＬ画像データ及びＲ画像データを画像変換部１３９に伝送する。
【０１６１】
伝送されたＬ画像データ及びＲ画像データは、画像変換部１３９により配置され、立体視画像データが生成される。Ｌ画像データ及びＲ画像データが配置された立体視画像データは、立体視表示部１４０に表示される。
【０１６２】
なお、上記画像変換部１３９は、例えば図１４に示すようなＬ画像とＲ画像とからなる視差画像データを、そのまま立体視表示部１４０に伝送し、立体視表示部１４０は、上記視差画像データを表示する場合であっても実施可能である。立体視表示部１４０に表示される視差画像を、平行法又は交差法等により見つめることで、各方法によって立体感の異なる立体的な画像を視認することができる。
【０１６３】
（視点画像の回転、ミラー反転）
次に、図１７〜図２０を参照しながら、本実施の形態における各視点画像の回転又はミラー反転について説明する。図１７、図１８、図１９、図２０は、本実施の形態における視点画像の配置の概略的な構成を示す説明図である。
【０１６４】
なお、図１７〜図２０に示す視点画像は、いずれもＡ１＝（０，０）、Ａ２＝（０，１）からなる２視点の画像で、交差配置の場合であるが、かかる例に限定されず、複数視点（Ａ１，Ａ２，…）の画像で、平行配置等の場合であっても実施可能である。
【０１６５】
（回転角度０度）
図１７（ａ）に示すように、各視点の視点画像とも回転角度０度の場合、各視点の視点画像（右眼用の画像、左眼用の画像）ともに回転されない。従って、回転前後の結合画像の視点画像は、変化せず、同じである。
【０１６６】
（回転角度右９０度）
次に、図１７（ｂ）に示すように、各視点（Ａ１，Ａ２）の視点画像とも回転角度右９０度の場合、各視点の視点画像（右眼用の画像、左眼用の画像）は、図１７（ａ）に示す各視点画像の位置から、時計回りに、９０度回転する。
【０１６７】
（回転角度右１８０度）
次に、図１７（ｃ）に示すように、各視点（Ａ１，Ａ２）の視点画像とも回転角度右１８０度の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１７（ａ）に示す各視点画像の位置から、時計回りに、１８０度回転する。
【０１６８】
（回転角度右２７０度）
次に、図１７（ｄ）に示すように、各視点（Ａ１，Ａ２）の視点画像とも回転角度右２７０度の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１７（ａ）に示す各視点画像の位置から、時計回りに、２７０度回転する。
【０１６９】
以上から、各視点の視点画像が適当な角度に回転した場合であっても、いずれの視点画像とも同じ角度だけ回転しているため、回転後の視点画像でも、立体的に視認可能な立体視画像を容易に生成することが可能である。
【０１７０】
なお、本実施の形態に係る視点画像の回転は、各視点の視点画像が個別に回転する場合でも実施可能である。ここで、図１８を参照しながら、各視点の視点画像を回転する場合について説明する。
【０１７１】
（Ａ１、Ａ２ともに回転角度０度）
上記説明の通り、図１８（ａ）に示すように、各視点の視点画像とも回転角度０度の場合、各視点の視点画像（右眼用の画像、左眼用の画像）ともに回転されない。従って、回転前後の各視点画像は、変化せず、同じである。
【０１７２】
（Ａ２が回転角度右９０度）
次に、図１８（ｂ）に示すように、各視点（Ａ１，Ａ２）のうちＡ２の視点画像のみが、回転角度右９０度の場合、Ａ２の視点画像（左眼用の画像）は、図１８（ａ）に示すＡ２の視点画像の位置から、時計回りに、９０度回転する。
【０１７３】
（Ａ２が回転角度右１８０度）
次に、図１８（ｃ）に示すように、各視点（Ａ１，Ａ２）のうちＡ２の視点画像のみが、回転角度右１８０度の場合、Ａ２の視点画像（左眼用の画像）は、図１８（ａ）に示すＡ２の視点画像の位置から、時計回りに、１８０度回転する。
【０１７４】
（Ａ１が回転角度右９０度、Ａ２が回転角度右１８０度）
次に、図１８（ｄ）に示すように、各視点（Ａ１，Ａ２）のうちＡ１の視点画像が回転角度右９０度であり、Ａ２の視点画像が回転角度右１８０度の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１８（ａ）に示すＡ１及びＡ２の視点画像の位置から、Ａ１の視点画像は、時計回りに、９０度回転し、Ａ２の視点画像は、時計回りに、１８０度回転する。
【０１７５】
次に、図１９を参照しながら、本実施の形態に係る回転及びミラー反転について説明する。
【０１７６】
（回転角度０度及びミラー反転）
図１９（ａ）に示すように、各視点の視点画像とも回転及びミラー反転角度０度の場合、各視点の視点画像（右眼用の画像、左眼用の画像）ともに回転されないが、垂直方向に対して、右眼用の画像と左眼用の画像とが接する上下方向の垂直軸に対して、それぞれミラー反転する。なお、本実施の形態に係るミラー反転は、各視点の視点画像（右眼用の画像、左眼用の画像）のうちいずれかを、垂直軸に対して、ミラー反転する場合であっても実施可能である。詳細は後述する。
【０１７７】
（回転角度右９０度及びミラー反転）
次に、図１９（ｂ）に示すように、各視点の視点画像とも回転角度右９０度及びミラー反転の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１９（ａ）に示す各視点画像の位置から、まず時計回り方向に、９０度回転する。さらに各視点画像が右９０度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像がそれぞれミラー反転する。
【０１７８】
（回転角度右１８０度及びミラー反転）
次に、図１９（ｃ）に示すように、各視点の視点画像とも回転角度右１８０度及びミラー反転の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１９（ａ）に示す各視点画像の位置から、まず時計回り方向に、１８０度回転する。さらに、各視点画像が右１８０度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像がそれぞれミラー反転する。
【０１７９】
（回転角度右２７０度及びミラー反転）
次に、図１９（ｄ）に示すように、各視点の視点画像とも回転角度右２７０度及びミラー反転の場合、各視点画像（右眼用の画像、左眼用の画像）は、図１９（ａ）に示す各視点画像の位置から、まず時計回り方向に、２７０度回転する。さらに、各視点画像が右２７０度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像が、それぞれミラー反転する。
【０１８０】
以上から、各視点の視点画像が適当な角度に回転及びミラー反転した場合であっても、いずれの視点画像とも同じ角度だけ回転及びミラー反転しているため、各視点の視点画像から立体的に視認可能な立体視画像を容易に生成することが可能である。
【０１８１】
なお、本実施の形態に係る視点画像の回転及びミラー反転は、各視点の視点画像が個別に回転及びミラー反転してもよい。ここで、図２０を参照しながら、各視点の視点画像を回転及びミラー反転する場合について説明する。
【０１８２】
（回転角度０度）
図２０（ａ）に示すように、上記説明の通り、各視点の視点画像とも回転角度０度及びミラー反転なしの場合、各視点の視点画像（右眼用の画像、左眼用の画像）ともに回転及びミラー反転されない。従って、回転及びミラー反転前後の各視点画像は、変化せず、同じである。
【０１８３】
（Ａ２が回転角度右９０度及びミラー反転）
次に、図２０（ｂ）に示すように、各視点（Ａ１、Ａ２）のうちＡ２の視点画像のみが、回転角度右９０度及びミラー反転の場合、Ａ２の視点画像（左眼用の画像）は、図２０（ａ）に示すＡ２の視点画像の位置から、まず時計回りに、９０度回転する。さらに、Ａ２の視点画像が右９０度回転した状態から、上下方向の垂直軸に対して、Ａ２の視点画像のみが、ミラー反転する。
【０１８４】
（Ａ２が回転角度右１８０度及びミラー反転）
次に、図２０（ｃ）に示すように、各視点（Ａ１，Ａ２）のうちＡ２の視点画像のみが、回転角度右１８０度及びミラー反転の場合、Ａ２の視点画像（左眼用の画像）は、図２０（ａ）に示すＡ２の視点画像の位置から、まず時計回りに、１８０度回転する。さらに、Ａ２の視点画像が右１８０度回転した状態から、上下方向の垂直軸に対して、Ａ２の視点画像のみが、ミラー反転する。
【０１８５】
（Ａ１が回転角度右９０度及びミラー反転、Ａ２が回転角度右１８０度及びミラー反転）
次に、図２０（ｄ）に示すように、各視点（Ａ１，Ａ２）のうちＡ１の視点画像が回転角度右９０度及びミラー反転であり、Ａ２の視点画像が回転角度右１８０度及びミラー反転の場合、各視点画像（右眼用の画像、左眼用の画像）は、図２０（ａ）に示すＡ１及びＡ２の視点画像の位置から、Ａ１の視点画像は、時計回りに、９０度回転し、Ａ２の視点画像は、時計回りに、１８０度回転する。さらに、Ａ１の視点画像が右９０度回転した状態から、上下方向の垂直軸に対して、Ａ１の視点画像がミラー反転し、Ａ２の視点画像が右１８０度回転した状態から、上下方向の垂直軸に対して、Ａ２の視点画像がミラー反転する。
【０１８６】
次に、図２１を参照しながら、本実施の形態に係る結合画像の記録処理について説明する。図２１は、本実施の形態に係る結合画像の記録処理の概略を示すフローチャートである。
【０１８７】
図２１に示すように、まず、撮像装置１００により被写体が撮影される（Ｓ６５０）。撮影直後の撮像素子１３０から伝送される視点画像データを、撮像部１０１の合成部１３１は、予め撮像装置１００に設定された環境情報により結合画像データに変換する。なお、結合画像データに変換せず、例えば図１３に示すような単に視点画像データに変換し、後ほどコンピュータ装置１５０等により結合画像データに変換する場合でもよい。
【０１８８】
次に、結合画像データに変換するため、合成部１３１は、撮像直後の視点画像データのうち必要な画像領域だけを切り出す（Ｓ６５１）。切り出し処理については、後ほど説明するが、必要な画像領域は、アダプタなどの特性により予め有効領域が定まっている場合、又は予め環境情報に領域が設定されている場合などを例示することができる。
【０１８９】
次に、左右の視点画像から必要な画像領域が切り出されると（Ｓ６５１）、上記説明したように、結合画像データの配置パターンを設定する（Ｓ６５２）。上記配置パターンの設定は、例えば、予め撮像装置１００のＧＵＩが表示される表示部（図示せず。）を介して環境情報として配置パターンを設定する場合、撮影するたびに配置パターンを設定する場合などを例示することができる。
【０１９０】
ここで、図２２を参照しながら、配置パターンの設定について説明する。図２２に示すように、結合画像データに変換するための環境情報設定画面は、右視点画像を左右のどちら側に配置するのかを指定する指定領域６５４と、双方の視点画像がどちら向きに倒れた状態であるかを指定する指定領域６５５とから構成される。なお、図２２は、本実施の形態に係る環境情報設定画面の概略的な構成を示す説明図である。
【０１９１】
指定領域６５４及び指定領域６５５の各々の領域に表示されたラジオ・ボタンを入力部（図示せず。）により選択することで、結合画像データの配置パターンが設定される。なお、本実施の形態に係る環境情報設定画面は、撮像装置１００の表示部に表示される場合を例に挙げて説明したが、かかる例に限定されず、例えば、環境情報設定画面は、コンピュータ装置１５０等に表示される場合等でもよい。
【０１９２】
上記の場合、図１６に示す「回転」ボタンが押下された場合、上記環境情報設定画面が表示され、結合画像データに変換される。また、本実施の形態に係る結合画像は、２視点だが、かかる例に限定されず、複数の視点の場合でもよい。また、上記ラジオ・ボタンの他に、マークをし、選択可能であれば、かかる例に限定されず、例えば、チェックボックスなどの場合でもよい。
【０１９３】
上記配置パターン設定（Ｓ６５２）後、合成部１３１は、各視点画像のＬ画像データ（左眼用の画像）及びＲ画像データ（右眼用の画像）を、設定された配置パターンに従い回転等し、一体化し、結合画像データを生成する。なお、結合画像データはＬ画像データとＲ画像データとが、図１２（ｃ）に示す結合画像３５０のうちいずれかの配置形式で、一体化されている。
【０１９４】
さらに、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、ミラー反転及び回転の種類を示す値を設定する。なお上記“回転タグ”については、後述する。
【０１９５】
次に、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録されると（Ｓ６５３）、本実施の形態に係る結合画像の記録方法の一連の処理が終了する。
【０１９６】
結合画像及び当該結合画像の画像制御情報を記録媒体１３５に記録し、管理することにより、上記結合画像と画像制御情報とから立体視画像を容易に自動的に生成し、表示することができる。さらに、結合画像と画像制御情報を、ネットワークを介して、配信することができ、別のコンピュータ装置１５０等で、立体視画像を表示することができる。
【０１９７】
次に、図２３を参照しながら、本実施の形態に係る立体視画像を表示する立体視画像表示処理について説明する。図２３は、本実施の形態に係る立体視画像表示処理の概略を示すフローチャートである。
【０１９８】
図２３に示すように、まず、コンピュータ装置１５０は、入力部（図示せず。）からの指示に従い、記録媒体１３５に記録された上記結合画像データ及び画像制御情報を読み込む。
【０１９９】
次に、コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０２００】
次に、図２３に示すように、画像分離部１３８は、デコードされた結合画像データをＬ画像データとＲ画像データとに分離する前に、まず必要な画像領域を切り出す（Ｓ６５６）。なお、画像分離部１３８は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識しておく。
【０２０１】
次に、図２３に示すように、立体視表示部１４０に表示させるため、画像分離部１３８は、画像制御情報の“回転タグ”のフィールドの最下位桁から数えて、２バイト目から３バイト目に設定された値（“１”又は“３”）に基づき、元の位置に戻すため、各視点画像データ（Ｌ画像データ、Ｒ画像データ）全体を一体として、全体回転角度右９０度又は右２７０度に、全体回転する（Ｓ６５７）。
【０２０２】
全体回転は、各視点画像データ個別に回転するのではなく、各視点画像データを一組とする結合画像データ全体を回転することである。従って、上下に横長のＬ画像データとＲ画像データとが重なっていることになる。なお、結合画像の記録処理時に回転した角度が回転角度右９０度の場合は、回転角度右２７０度となり、結合画像の記録処理時に回転した角度が回転角度右２７０度の場合は、回転角度右９０度となる。
【０２０３】
例えば、図１２（ｃ）に示す結合画像のうち結合画像３５０−３の場合、結合画像３５０−３全体を時計回りに９０度回転することで、結合画像３５０−３は、上下にＲ画像とＬ画像とが配置する状態となる。
【０２０４】
なお、上記全体回転の他にも、例えば、各視点画像データを９０度又は右２７０度回転し、その後、双方の視点画像データが上下に位置するように、配列処理する等の場合でもよい。
【０２０５】
上記回転処理（Ｓ６５７）が行われると、画像分離部１３８は、結合画像データに構成するＲ画像データとＬ画像データとを分離し、上記Ｌ画像データとＲ画像データとをそれぞれ画像変換部１３９に伝送する。
【０２０６】
画像変換部１３９は、上記説明の通り、画像分離部１３８から伝送されたＲ画像データ及びＬ画像データを適当に重ね合わせ処理等をすることで、立体視画像データに合成する（Ｓ６５８）。なお、画像変換部１３９は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
【０２０７】
従って、立体視表示部１４０のアスペクトと適応するような比率の立体視画像データが、立体視表示部１４０に表示される（Ｓ６５９）。
【０２０８】
なお、図１６に示すように、立体視画像データを生成後であっても、コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを回転又は回転及びミラー反転させて、再度、立体視画像データを生成することができる。
【０２０９】
図１６に示すように、ＧＵＩ画面２２０の「回転」ボタンを、コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下し、所定の回転角度又はミラー反転の有無を選択すると、画像分離部１３８は、画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば、“０”（回転角度０度）から、“５”（回転角度右９０度及びミラー反転）などに更新する。
【０２１０】
さらに、図２２に示すように、上記「回転」ボタンの押下の際、表示される環境情報画面に、所定事項を入力すると、結合画像の配置パターンを変更することができる。
【０２１１】
次に、図２４を参照しながら、本実施の形態に係る立体視画像の画像表示方法について説明する。図２４は、本実施の形態に係る立体視画像の画像表示処理の概略を示すフローチャートである。
【０２１２】
まず、予め撮像装置１００に、各視点画像データを回転する種類を選択する。選択する場合、撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。
【０２１３】
例えば、ＧＵＩ画面には、例えば、視点画像ごとに“０（回転０度）”、“１（回転右９０度）”、“２（回転右１８０度）”、“３（回転右２７０度）”、“４（回転０度、ミラー反転）”、“５（回転角度右９０度及びミラー反転）”、“６（回転角度右１８０度及びミラー反転）”、“７（回転角度右２７０度及びミラー反転）”等と表示される。なお、予め回転角度が設定されており、選択することができない場合、選択する必要はない。
【０２１４】
次に、図２４に示すように、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データを、結合画像タグで設定された平行配置又は交差配置に従い、配置する。
【０２１５】
さらに、記録媒体１３５に記憶された視点画像データから立体視画像を効率よく生成するため、合成部１３１により、視点画像データを時計回り９０度又は２７０度それぞれ回転する第１回転工程が行われる（Ｓ６０１）。
【０２１６】
上記第１回転工程（Ｓ６０１）後、合成部１３１は、各視点画像のＬ画像データ（左眼用の画像）及びＲ画像データ（右眼用の画像）を一体化し、第１結合画像データを生成する。なお、第１結合画像データはＬ画像データとＲ画像データとが一体化され、記録媒体１３５に画像制御情報と共に、記録されている。
【０２１７】
また、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、ミラー反転及び回転の種類を示す値を設定する。
【０２１８】
ここで、図２５を参照しながら、“回転タグ”のタグのフィールドに設定される値について説明する。図２５は、本実施の形態に係る“回転タグ”のタグのフィールドに設定される値の概略を示す説明図である。
【０２１９】
上記“回転タグ”は、各視点画像に対して設定可能であり、“回転タグ”のタグのバイト数は、５バイトである。上記５バイトのうち、最下位桁から数えて１バイト目までの１バイトには、視点位置（Ａ１、Ａ２、Ａ３、…）のうち、水平方向の視点位置（水平方向座標）を表わす値が設定され、次に最下位桁から数えて、１バイト目から２バイト目までの１バイトには、視点位置（Ａ１、Ａ２、Ａ３、…）のうち、垂直方向の視点位置（垂直方向座標）を表わす値が設定され、最下位桁から数えて２バイト目から３バイト目までの１バイトには、回転、回転及びミラー反転の種類を表す値が設定される。なお、上記バイトの構成に限らない。
【０２２０】
図２５に示すように、上記最下位桁から数えて２バイト目から３バイト目までの１バイトに設定される値は、７種類の値から構成されている。上記１バイトに該当するビット列は、１ビット目から、順に８ビット目まで続いている。なお、初期設定値は、“０”とする。なお、本実施の形態に係る回転又は回転及びミラー反転の種類を表す値は、７種類の値である場合を例に挙げて説明したが、１又は２以上の種類からなる値からなる場合であれば、かかる例に限定されない。
【０２２１】
図２５に示すように、１ビット目及び２ビット目に“０”又は“１”の値が設定されることにより、回転の種類の値を表わしている。例えば、１ビット目に“０”が設定され、２ビット目に“１”が設定された場合、回転の種類の値は、“２”となり、回転角度右１８０度の回転となる。
【０２２２】
次に、３ビット目は、ミラー反転の有無を表わしている。３ビット目に“０”が設定された場合、ミラー反転は“無し”であり、“１”が設定された場合、ミラー反転は“有り”である。
【０２２３】
なお、上記最下位桁から１バイト目まで（水平方向視点位置）、及び１バイト目から２バイト目まで（垂直方向視点位置）がいずれも“−１”の場合（−１，−１）、２バイト目から３バイト目に設定される回転種類の値は、全視点画像に対して有効であるとする。例えば、視点位置が“Ａ１”、“Ａ２”、“Ａ３”からなる３視点の場合で、全視点画像に対して、回転角度右９０度及びミラー反転の場合、“回転タグ”の最下位桁から１バイトごとに“（５，−１，−１）”を設定することにより、一回の設定で、３視点の視点画像全てに対して、回転又はミラー反転することができる。“（−１，−１）”を設定しない場合は、“（５，０，０）”、“（５，０，１）”、及び“（５，０，２）”などと、３回の設定が必要となる。
【０２２４】
なお、図２５に示すように、４ビット目から８ビット目はいずれも“０”が設定されているが、かかる例に限定されず、例えば、４ビット目に各視点画像全体を回転する“全体回転”を示す値を設定する場合などであってもよい。
【０２２５】
従って、各視点画像全てに回転又は回転及びミラー反転する場合、画像制御情報生成部１３３は、効率的に画像制御情報の“回転タグ”のタグのフィールドに値を設定することができる。
【０２２６】
なお、本実施の形態に係る画像表示処理においては、上記“回転タグ”には、回転角度右９０度（回転タグの２バイト目から３バイト目に設定される値“１”）又は回転角度右２７０度（回転タグの２バイト目から３バイト目に設定される値“３”）の値が設定される。
【０２２７】
次に、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０２２８】
次に、コンピュータ装置１５０は、記録媒体１３５から上記結合画像データ及び画像制御情報を読み込む。
【０２２９】
コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０２３０】
画像分離部１３８は、デコードされた結合画像データをＬ画像データとＲ画像データとに分離する。なお、上記分離処理は、後述の切出処理などが例示される。なお、画像分離部１３８は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
【０２３１】
次に、図２４に示すように、立体視表示部１４０に表示させるため、画像分離部１３８は、画像制御情報の“回転タグ”のフィールドの最下位桁から数えて、２バイト目から３バイト目に設定された値（“１”又は“３”）から、各視点画像データ（Ｌ画像データ、Ｒ画像データ）全体を一体として、全体回転角度右９０度又は右２７０度に、全体回転する第２回転工程が行われる（Ｓ６０３）。
【０２３２】
全体回転は、各視点画像データ個別に回転するのではなく、各視点画像データを一組とする第２結合画像データ全体を回転することである。従って、第１回転工程（Ｓ６０１）前の元の状態となり、図１２（ｂ）に示すような、上下に横長のＬ画像データとＲ画像データとが重なっていることになる。
【０２３３】
上記第２回転工程（Ｓ６０３）が行われると、上記Ｌ画像データとＲ画像データとの組からなる第２結合画像データが、画像分離部１３８により、画像変換部１３９に伝送される。
【０２３４】
画像変換部１３９は、上下に並んだ上記第２結合画像データに含まれるＬ画像データとＲ画像データとを合成し（Ｓ６０４）、立体視画像データを生成する。
【０２３５】
従って、立体視表示部１４０のアスペクトと適応するような比率の立体視画像データが、立体視表示部１４０に表示される。なお、画像変換部１３９は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
【０２３６】
なお、図１６に示すように、立体視画像データを生成後であっても、コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面２２０からＲ画像データとＬ画像データとを回転又は回転及びミラー反転させて、再度、立体視画像データを生成することができる。
【０２３７】
図１６に示すように、ＧＵＩ画面２２０の「回転」ボタンを、コンピュータ装置１５０に備わるマウスなどの入力部（図示せず。）により押下し、所定の回転角度又はミラー反転の有無を選択すると、画像分離部１３８は、画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば、“０”（回転角度０度）から、“５”（回転角度右９０度及びミラー反転）などに更新する。
【０２３８】
画像分離部１３８は、変更後の画像制御情報の“回転タグ”のフィールドに設定された値に基づき、第２結合画像データを全体回転する（Ｓ６０３）。
【０２３９】
画像変換部１３９は、Ｌ画像データ及びＲ画像データを合成し（Ｓ６０４）、立体視画像データを生成することにより、立体視画像データは、立体視表示部１４０に表示される。
【０２４０】
従って、回転角度０度であるにもかかわらず、回転角度右２７０度として認識され、立体視画像データに変換された場合であっても、適当な立体視画像データを生成することが可能となる。
【０２４１】
また、図２６を参照しながら、本実施の形態に係る立体視画像の画像表示方法の変形例について説明する。図２６は、本実施の形態に係る立体視画像の画像表示処理の変形例の概略を示すフローチャートである。なお、図２４を参照しながら説明した本実施の形態に係る立体視画像の画像表示方法との差異点について特に詳述する。
【０２４２】
まず、予め撮像装置１００に、各視点画像データを回転する種類を選択する。選択する場合、撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面等により設定する。
【０２４３】
次に、図２６に示すように、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データを、設定された平行配置又は交差配置に従い、配置する。
【０２４４】
さらに、合成部１３１により、９０度又は２７０度それぞれ同方向に回転する第１回転工程が行われる（Ｓ６０６）。
【０２４５】
上記第１回転工程（Ｓ６０６）後、合成部１３１は、Ｌ画像データ及びＲ画像データを一体化し、第１結合画像データを得る。なお、第１結合画像データはＬ画像データとＲ画像データとが一体化されている。Ｌ画像データとＲ画像データとのアスペクトは縦長の画像となっている。
【０２４６】
また、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、回転及びミラー反転又は回転の種類を示す値を設定する。
【０２４７】
なお、本実施の形態に係る画像表示処理においては、上記“回転タグ”のフィールドには、各視点位置と回転角度右９０度（“１”）又は回転角度右２７０度（“３”）の値が設定される。
【０２４８】
次に、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０２４９】
また、コンピュータ装置１５０は、記録媒体１３５から上記結合画像データ及び画像制御情報を読み込む。
【０２５０】
コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０２５１】
画像分離部１３８は、デコードされた上記第１結合画像データをＬ画像データとＲ画像データとに分離する。なお、上記分離処理は、後述の切出処理などが例示される。
【０２５２】
次に、図２６に示すように、立体視表示部１４０の画面を回転角度右９０度又は右２７０度に回転する画面回転工程が行われる（Ｓ６０８）。回転前の立体視表示部１４０には、Ｌ画像データとＲ画像データは左右に縦長に表示された状態であり、回転により、立体視表示部１４０には、縦長のＬ画像データとＲ画像データとが左右に表示された状態となる。
【０２５３】
上記画面回転工程（Ｓ６０８）が行われると、上記Ｌ画像データとＲ画像データとが、画像分離部１３８により、画像変換部１３９に伝送される。
【０２５４】
画像変換部１３９は、左右に並んだ縦長のＬ画像データとＲ画像データとを合成し（Ｓ６１０）、立体視画像データを生成する。
【０２５５】
従って、立体視表示部１４０の縦長画面のアスペクトと適応するような比率の縦長の立体視画像データが、立体視表示部１４０に表示される。なお、立体視表示部１４０は、４枚ミラーなどのアダプタを装着したプロジェクタなどの場合でもよい。
【０２５６】
なお、本実施の形態に係る視点画像の回転は２視点である場合を例に挙げて説明したが、かかる例に限定されず、複数の視点である場合であっても実施可能である。
【０２５７】
従って、立体視表示部１４０は、立体視表示部１４０の画面を９０度又は２７０度回転するだけで、Ｒ画像データとＬ画像データとを合成することで、横長ワイドの立体視画像を表示することができる。
【０２５８】
（アダプタ型番情報）
次に、本実施の形態に係るアダプタ型番情報について説明する。本実施の形態に係るアダプタ型番情報は、光学アダプタ１０５の光学情報を識別するための情報である。なお、アダプタ型番情報は、例えば、複数存在する画像制御情報のタグのうち、“使用者データ領域タグ”等のタグのフィールドに記録される。
【０２５９】
図２に示すように、光学アダプタ１０５は、例えば、ミラー１２１及びミラー１２２を備える２枚ミラーのアダプタを例示することができる。矢印“右”方向の視点から入射される光は、ミラー１２１及びミラー１２２によって反射され、Ｒ画像として視差画像が生成される。
【０２６０】
また、図２に示す、矢印“左”方向の視点から入射される光は、ミラー１２１及びミラー１２２によって反射されず、そのままスルーし、Ｌ画像として視差画像が生成される。
【０２６１】
ミラー１２１及びミラー１２２によって反射されて生成されるＲ画像は、Ｌ画像と比較して、例えば、画質（輝度、彩度、解像度等）が劣化している。また、Ｒ画像の周辺部（上辺部、下辺部、及び左辺部）は、中心部に比較して輝度が低下している。また、Ｒ画像は、本来、矩形である画像が台形に歪んだものとなる。
【０２６２】
上記輝度、彩度、解像度、又は台形の歪みは、光学アダプタ１０５固有であるため、立体視画像に変換する際に、Ｒ画像を補正するための補正量は予め決まっている。
【０２６３】
従って、コンピュータ装置１５０は、光学情報として輝度、彩度、解像度、又は台形の歪みなどの補正情報を、各光学アダプタ１０５のアダプタ型番情報と一対一対応するように、記憶部（図示せず）記憶することで、適正な立体視画像に変換することができる。なお、上記補正情報は、光学アダプタ１０５ごとに補正内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
【０２６４】
また、本実施の形態に係る光学アダプタ１０５は、ミラー１２１及びミラー１２２を備えた２枚ミラーアダプタであるが、かかる例に限定されず、図２８に示すように、４枚ミラーアダプタ、山形プリズムアダプタ、アナモルフィックレンズアダプタ、バリアングルプリズムアダプタ（ＶＡＰアダプタ）などを例示することができる。
【０２６５】
本実施の形態に係るアダプタ型番情報は、光学アダプタ１０５の種類等に応じて異なる。以下、図２８を参照しながら、２枚ミラーアダプタ以外の光学アダプタ１０５について説明する。
【０２６６】
図２８（ａ）に示す光学アダプタ１０５−１は、ミラー５５１−１、ミラー５５１−２、ミラー５５１−３、及びミラー５５１−４を備える４枚ミラーアダプタである。
【０２６７】
上記光学アダプタ１０５−１を撮像装置１００に備えることで、１回の撮影（シャッター）で２視点からなる視点画像を撮ることができる。例えば、左眼用のＬ画像と、右眼用のＲ画像などのように、一度に２視点画像を撮ることができる。
【０２６８】
なお、本実施の形態に係る光学アダプタ１０５−１は、上記説明したミラー１２１及びミラー１２２を備えた２枚ミラーアダプタの場合と同様に、台形歪み等が発生する。
【０２６９】
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪みを無くす等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み等の補正量は光学アダプタ１０５−１固有である。
【０２７０】
なお、上記光学アダプタ１０５−１に関する補正は、光学アダプタ１０５ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
【０２７１】
次に、図２８（ｂ）に示す光学アダプタ１０５−２は、山形プリズムアダプタである。上記山形プリズムアダプタからなる光学アダプタ１０５−２を撮像装置１００に備えることで、４枚ミラーアダプタ等と同様に、１回の撮影（シャッター）で、例えば２視点画像等を撮ることができる。
【０２７２】
なお、本実施の形態に係る光学アダプタ１０５−２は、１つの山形プリズムアダプタから構成される場合を例に挙げて説明するが、かかる例に限定されず、例えば、光学アダプタ１０５−２は、複数の山形プリズムアダプタから構成される場合であっても実施可能である。
【０２７３】
なお、本実施の形態に係る光学アダプタ１０５−２は、上記説明した２枚ミラーアダプタ、４枚ミラーアダプタの場合と同様に、台形歪み、色収差等が発生する。
【０２７４】
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪みを除く補正、及び色収差等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み及び色収差等の補正量は光学アダプタ１０５−２固有である。また、本実施の形態に係る色収差の補正については、例えば、色が滲んでいる個所については黒く塗りつぶすなどの補正を例示することができる。
【０２７５】
上記光学アダプタ１０５−２に関する補正は、光学アダプタ１０５ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
【０２７６】
図２８（ｃ）に示す光学アダプタ１０５−３は、ミラー（図示せず。）及びアナモルフィックレンズを備えるアナモルフィックレンズアダプタである。なお、上記アナモルフィックレンズは、縦横の２方向にそれぞれ焦点距離の異なる光軸を持つレンズであり、光学的に画像の縦横比率（アスペクト比）を変倍することができる。
【０２７７】
従って、上記光学アダプタ１０５−３には、上記アナモルフィックレンズと、ミラー（図示せず。）から構成されているため、光学アダプタ１０５−３を撮像装置１００に備えることで、１回の撮影（シャッター）で、例えば２視点からなるアスペクト比が変倍された視点画像を撮ることができる。
【０２７８】
なお、本実施の形態に係るアスペクト比の変倍は、例えば、３：４を９対１６に変倍するが、かかる例に限定されず、倍率が２倍程度弱であれば、その他いかなる倍率であってもアスペクト比を変倍することは実施可能である。
【０２７９】
なお、本実施の形態に係る光学アダプタ１０５−３は、上記説明したミラー２枚ミラーアダプタ、４枚ミラーアダプタ等の場合と同様に、台形歪み等が発生する。
【０２８０】
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪み等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み等の補正量は光学アダプタ１０５−３固有である。
【０２８１】
また、左眼用及び右眼用の視点画像のアスペクト比が変倍されているため、必要に応じて、上記２視点画像から立体視画像に変換する際に、上記アスペクト比を補正する必要がある。なお、上記アスペクト比の変倍は、アナモルフィックレンズごとに予め固有のものである。
【０２８２】
なお、上記光学アダプタ１０５−３に関する補正は、光学アダプタ１０５のアダプタ型番ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
【０２８３】
次に、本実施の形態に係るアダプタ型番情報の設定方法について説明する。
【０２８４】
まず、予め装置撮像装置１００に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合、撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面２２１により設定する。
【０２８５】
図２７に示すように、ＧＵＩ画面２２１には、“１番”〜“６番”からなる各アダプタ型番名と、アダプタ型番を選択するためのアダプタ選択部２２３と、「選択」ボタンとが表示される。
【０２８６】
なお、図２７に示す“１番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  １．０”であり、上記“１番”のアダプタは、４枚ミラーアダプタである。また、“２番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  ２．０”であり、上記“１番”のアダプタは、山形プリズムアダプタである。
【０２８７】
さらに、図２７に示す“３番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  ３．０”であり、上記“３番”のアダプタは、２枚ミラーアダプタである。“４番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  ４．０”であり、上記“４番”のアダプタは、４枚ミラーとアナモルフィックレンズとが備わるアダプタである。
【０２８８】
“５番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  ５．０”であり、上記“５番”のアダプタは、山形プリズムとアナモルフィックレンズとが備わるアダプタである。
【０２８９】
“６番”のアダプタ型番は、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  ６．０”であり、上記“６番”のアダプタは、２枚ミラーとアナモルフィックレンズとが備わるアダプタである。
【０２９０】
次に、表示されたアダプタ型番名の中から、ジョグダイヤルなどの入力部により、撮像装置１００に装着された光学アダプタ１０５のアダプタ型番が選択されると、アダプタ選択部２２３は、上記選択されたアダプタ型番が設定されたアダプタ型番情報を生成する。なお、上記アダプタ型番情報は、撮像装置１００の記憶部（図示せず。）等に一時的に記憶される。
【０２９１】
次に、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データ（Ｌ画像データ、Ｒ画像データ）を合成し、結合画像データを生成する。
【０２９２】
また、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、一時記憶された上記アダプタ型番情報を、画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。
【０２９３】
なお、画像制御情報生成部１３３は、上記“使用者データ領域タグ”のタグのフィールドに、上記アダプタ型番情報を設定する前に、“使用者データ領域サイズタグ”のタグのフィールドに、上記アダプタ型番情報のデータサイズ（バイト長）等を設定する。
【０２９４】
図２７に示す“２番”のアダプタ型番名が選択された場合、アダプタ型番情報には、“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  １．０”が設定されている。上記アダプタ型番情報が、“使用者データ領域タグ”のタグのフィールドに設定される。
【０２９５】
なお、上記“使用者データ領域タグ”のタグのフィールドにアダプタ型番情報を設定する場合、予めアダプタ型番情報の設定の有無を示す“使用者データ領域サイズタグ”等のタグのフィールドに、例えば、設定する旨を示す“１”が格納される。設定しない場合、“０”が格納される。
【０２９６】
次に、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０２９７】
コンピュータ装置１５０は、記録媒体１３５から上記結合画像データ及び画像制御情報を読み込む。次に、コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０２９８】
画像分離部１３８は、画像制御情報の“使用者データ領域タグ”のフィールドに設定されたアダプタ型番情報を取得し、上記アダプタ型番情報に基づき、記憶部（図示せず。）から上記アダプタ型番情報と一意的に定まる補正内容情報（図示せず。）を取得する。
【０２９９】
上記補正内容情報は、アダプタ型番ごとに行われる補正内容が指示されている情報である。例えば、アダプタ型番が“ＭＯＮＹ  ＦＳ＿Ａｄａｐｔｏｒ  １．０”である場合の補正内容情報は、台形歪みを除去する補正、Ｒ画像データの輝度のレベルを所定レベル下げる補正、及びＲ画像データの彩度のレベルを所定レベル上げる補正等である。上記補正内容情報は、アダプタ型番ごとに固有の情報である。
【０３００】
画像分離部１３８は、補正内容情報に基づき、デコードされた結合画像データの各視点画像データ（Ｌ画像データ又はＲ画像データ）を補正する。なお、アダプタ型番に係る補正内容情報が存在しない場合、何も補正せずに、画像変換部１３９に伝送する。なお、画像分離部１３８、画像変換部１３９は、画像制御情報のうち結合画像タグに設定された値に基づき、結合画像の右視点画像がどちらであるかを認識している。
【０３０１】
画像分離部１３８から伝送されたＲ画像データ及びＬ画像データは、画像変換部１３９により、立体視画像データに変換される。
【０３０２】
なお、補正内容情報に基づき補正された立体視画像データが生成された後であっても、コンピュータ装置１５０の立体視表示部１４０に表示されるＧＵＩ画面（図示せず。）を介して、Ｒ画像データ又はＬ画像データを補正し、再度、立体視画像データを生成することも実施可能である。
【０３０３】
（ペイント画像データ、階層情報）
次に、本実施の形態に係るペイント画像データ及び階層情報について説明する。本実施の形態に係るペイント画像データは、例えば、文字、図形、記号、又はフレームなどから構成される静止画像データである。
【０３０４】
上記ペイント画像データがフレーム画像である場合、当該フレーム画像データは、例えば、視点画像の縁部、又は視点画像の枠（フレーム）周辺の画像などを示す。
【０３０５】
なお、本実施の形態に係るペイント画像データのうち、文字、図形、記号、又はフレームなどから構成される静止画像データは、平面表示である２Ｄ画像又は立体表示である３Ｄ画像のどちらの場合でもよい。
【０３０６】
また、本実施の形態に係るペイント画像データは、静止画像データである場合を例に挙げて説明したが、かかる例に限定されず、例えば、ペイント画像データは、アニメーション等の動画像データである場合でも実施可能である。
【０３０７】
本実施の形態に係る階層情報は、文字、図形、記号、又はフレームなどの上記ペイント画像ごとに設定することが可能である。また、視点画像全体に対して階層情報を設定することも可能である。
【０３０８】
ペイント画像データを立体視画像データに重畳させる場合、まず、画像制御情報の“データ構成種別タグ”のタグのフィールドに、ペイント画像データが存在する旨の値を設定する必要がある。
【０３０９】
“データ構成種別タグ”は、撮像装置１００の合成部１３１が生成するデータ種別を示す。データの種別毎に、立体視画像ファイル内部にデータが存在するか否かを示す。データ種別は、例えば、視差画像データ（結合画像データ）、又はペイント画像データ等が存在する。なお、立体視画像ファイル外部にリンクするようにしてペイント画像データが存在する場合であってもよい。
【０３１０】
“データ構成種別タグ”のタグのフィールドは、１バイトであり、上記１バイト（８ビット）のうち、最下位ビット（ｂｉｔ０）は、視差画像データ又は結合画像データの存在の有無を示す。
【０３１１】
上記最下位ビットに、“０”が設定された場合、視差画像データ又は結合画像データは存在しない。“１”が設定された場合、視差画像データ又は結合画像データは存在する。
【０３１２】
次に、上記最下位ビットの次桁のビット（ｂｉｔ１）は、ペイント画像データの存在の有無を示す。上記ｂｉｔ１に、“０”が設定された場合、ペイント画像データは存在しない。“１”が設定された場合、ペイント画像データは存在する。
【０３１３】
なお、上記１バイトのうち残りの６ビットは、予約ビットであり、データ種別が追加された場合、必要に応じて、値が設定される。追加されない場合、初期値の“０”が各ビット（ｂｉｔ２〜ｂｉｔ７）に設定されている。
【０３１４】
また、本実施の形態に係るｂｉｔ２〜ｂｉｔ７は、予約ビットである場合を例に挙げて説明したが、かかる例に限定されず、例えば、ｂｉｔ２にはペイント画像データのうち２Ｄの文字の有無を示す値が設定され、ｂｉｔ３には３Ｄの文字の有無を示す値が設定され、ｂｉｔ４には２Ｄの図形の有無を示す値が設定され、ｂｉｔ５には３Ｄの図形の有無を示す値が設定され、ｂｉｔ６には２Ｄの枠の有無を示す値が設定され、ｂｉｔ７には３Ｄの枠の有無を示す値が設定される等の場合であってもよい。
【０３１５】
また、ペイント画像データは、画像の奥行きを示す階層情報を付属している。なお、ペイントデータの階層情報を、ペイントデータの左右方向オフセット値として管理することも可能である。上記階層情報は、複数のペイント画像データが存在する場合、例えば、ペイント画像データの重なり具合を相対的に管理する等の情報である。
【０３１６】
階層情報は、レベル１、レベル２、レベル３、…とレベルが増加するにつれて階層が下になる。レベル１の階層が一番上の階層となる。従って、レベル１の階層情報は、レベル２の階層情報よりも階層が上となる。
【０３１７】
例えば、階層情報がレベル１の“Ａ”の文字からなるペイント画像データと、階層情報がレベル２の“Ｂ”の文字からなるペイント画像データが重なり合う場合、“Ａ”のペイント画像データの階層情報の方が、階層が上のため、“Ａ”及び“Ｂ”の重なり合う部分は、“Ａ”のペイント画像データが表示される。
【０３１８】
また、図１６に示すように、ＧＵＩ画面２２０に表示される「ペイント入力」ボタンが押下されると、上記ペイント画像データを生成し、ペイント画像２２４、ペイント画像２２５、又はメインエリア２２２に表示される立体視画像のフレームのペイント画像（“☆”等のような星印でハッチングされたフレーム。）等を表示することができる。
【０３１９】
メインエリア２２２には、メインエリア２２２に表示されている立体視画像に重畳して、任意の文字又は記号等からなるペイント画像が表示される。「ペイント入力」ボタンが押下され、適当な文字又は記号等が指定されると、指定された文字等のペイント画像が、立体的に視認されるように立体視画像に重畳される。
【０３２０】
従って、図２９に示すように、「ペイント入力」ボタンが押下されると、画像変換部１３９は、ペイント画像データを生成し、立体視画像データにペイント画像データを嵌め込む嵌込工程が行われる（Ｓ６１２）。なお、メインエリア２２２に表示されるペイント画像は、マウスのドラッグ・アンド・ドロップ等により、任意の位置に移動することができる。図２９は、本実施の形態に係る画像処理方法の概略を示すフローチャートである。
【０３２１】
また、ペイント画像２２４−１の階層は、ペイント画像２２４−２の階層よりも下であるため、重なり合う部分は、ペイント画像２２４−２が表示されている。上記ペイント画像２２４−１をマウスのクリック等で選択し、ＧＵＩ画面２２０に表示された「近く」ボタンを押下することにより、ペイント画像２２４−１の階層情報に設定されたレベルが上がる。
【０３２２】
ペイント画像２２４−１の階層のレベルが上がると、ペイント画像２２４−２との重なり部分は、ペイント画像２２４−１が表示される。また、ペイント画像２２４−１が選択された状態で、「近く」ボタンが押下されると、ペイント画像２２４−１が、遠近感が近づく画像になる。なお、階層情報の階層のレベルを下げ、ペイント画像２２４を立体視したときの遠近感を遠ざける場合には、「遠く」ボタンが、押下される。
【０３２３】
さらに、右眼用の視点画像及び左眼用の視点画像におけるオブジェクトの配置と、上記階層情報とを関連付けることで、図１６に示すように、立体視画像のオブジェクトの配置に関連付けられた階層情報に応じて、吹き出しのようにペイント画像２２５を、インデックスとして表示することもできる。
【０３２４】
上記ペイント画像２２５は、ポップアップ形式に立体視画像におけるオブジェクトを指し示すペイント画像データである。例えば、図１６に示すペイント画像２２５−１には、オブジェクト“やしの木”の文字等のインデックスが表示され、ペイントインデックス画像２２５−２には、オブジェクト“ヨット”の文字等のインデックスが立体的に飛び出すように表示される。
【０３２５】
上記ペイント画像２２５は、立体視画像における適当なオブジェクトを、入力部によりクリックすることで、オブジェクトを選択すると、ペイント画像２２５が、表示される。なお、ペイント画像２２５の立体的に飛び出す具合は、表示されるペイント画像２２５に付属する階層情報に基づいて、表示される。
【０３２６】
ここで、上記ペイント画像２２５に付属する階層情報に階層のレベルが設定されていない場合、上記説明のように、“近く”ボタン又は“遠く”ボタンをクリックなどにより選択することで、適当な階層のレベルが階層情報に設定される。
【０３２７】
なお、本実施の形態に係る階層情報の設定は、Ｌ画像とＲ画像の視点画像における対応点での色差等に基づき算出される値から、階層のレベルを設定してもよい。
【０３２８】
また、ペイント画像２２５の枠内には“やしの木”などの文字が入力、又は“やしの木”の図形などが貼り付けられる。なお、予めオブジェクトに対応する文字又は図形などがオブジェクトテーブル（図示せず。）等に定義することで、オブジェクトをクリックするだけで、自動的にペイント画像２２５の枠内にオブジェクトテーブルで対応付けられた文字又は図形などが設定される場合でもよい。なお、オブジェクトテーブルは、撮像装置１００又はコンピュータ装置１５０に備わる記憶部（図示せず。）等に記憶される。
【０３２９】
なお、本実施の形態に係るペイント画像２２５には、“ヨット”又は“やしの木”などの文字が表示される場合を、例に挙げて説明したが、かかる例に限定されず、例えば、ペイント画像２２５には、“ヨット”又は“やしの木”などの図形が表示される場合であっても実施可能である。
【０３３０】
また、上記ペイント画像２２５−１とペイント画像２２５−２は、オブジェクトの配置に関連付けられた階層情報に応じて、ペイント画像２２５が立体的に飛び出す度合いが異なる。
【０３３１】
ペイント画像２２５−１のオブジェクトは、“やしの木”で、ペイントインデックス画像２２５−２のオブジェクトは、“ヨット”のため、立体視画像における双方のオブジェクトの配置関係では、上記“やしの木”のオブジェクトの方が手前に位置している。
【０３３２】
つまり、上記“やしの木”のオブジェクトに対応するペイント画像２２５−１の階層情報の方が、“ヨット”のオブジェクトに対応するペイント画像２２５−２の階層情報ようりも、レベルが低く、階層は上である。
【０３３３】
従って、上記“やしの木”に係るペイント画像２２５−１の方が、上記“ヨット”に係るペイント画像２２５−２よりも手前に立体的に飛び出すように（飛び出す度合いが高い。）、表示される。なお、かかる例に限定されず、ペイント画像２２５は、平面的に表示される場合であってもよい。平面的に表示する際、階層情報における階層が上である程ペイント画像２２５の表示を大きくする場合等でもよい。
【０３３４】
遠くに配置されたオブジェクトについては遠くに、近くに配置されたオブジェクトについては近くに、階層情報に応じてペイント画像２２５が表示されることで、オブジェクトとペイント画像２２５の対応関係の認識を一層深め、立体視画像に構成されるオブジェクトの視認性が高まる。
【０３３５】
また、ペイント画像２２５が平面的な２Ｄ画像の場合よりも、３Ｄ画像の方が、表示可能な領域が３次元と広く、画像が立体的に表示されるため、視認性が高まる。
【０３３６】
また、本実施の形態に係る立体視画像内のオブジェクトに対応付けられた階層情報に基づき、ペイント画像２２５の立体的な飛び出し度合いが定まる場合を例に挙げて説明したが、かかる例に限定されず、上記階層情報に基づき、３Ｄ音声などのように、音源の３次元の奥行きが定まる場合であっても実施可能である。
【０３３７】
従って、オブジェクトを入力部によるクリック等で選択すると、上記オブジェクトと対応するペイント画像２２５に付属する階層情報に基づき、オブジェクトの３次元における位置が定まり、オブジェクトの位置する方向から臨場感のある音声が発生する。なお、音声は立体視表示部１４０に備わるスピーカーを介して出力される。
【０３３８】
（視点画像データの切出し）
次に、本実施の形態に係る視点画像データの切出について説明する。本実施の形態に係る視点画像データの切出には、（１）切出画像領域の設定による切出と、（２）有効領域の設定による切出とが存在する。
【０３３９】
（切出画像領域）
上記（１）切出画像領域の大きさ、位置、オフセット値などは、上記説明の画像制御情報の“ＣｒｏｐＳｉｚｅＸ”、“ＣｒｏｐＳｉｚｅＹ”、“ＣｒｏｐＯｆｆｓｅｔＸ”、及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに格納される。
【０３４０】
“ＣｒｏｐＳｉｚｅＸ”及び“ＣｒｏｐＳｉｚｅＹ”のタグは、切出画像領域のサイズ（水平方向（Ｘ）、垂直方向（Ｙ））を示す。“ＣｒｏｐＯｆｆｓｅｔＸ”及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグは、各切出画像領域のオフセット（水平方向（Ｘ）、垂直方向（Ｙ））を示す。
【０３４１】
図３０に示すように、“ＣｒｏｐＳｉｚｅＸ”及び“ＣｒｏｐＳｉｚｅＹ”のタグのバイト長は、それぞれ４バイトであり、ＣｒｏｐＯｆｆｓｅｔＸ”及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのバイト長は、それぞれ６バイトである。
【０３４２】
また、“ＣｒｏｐＳｉｚｅＸ”、“ＣｒｏｐＳｉｚｅＹ”のフィールドに設定可能な領域サイズは、１〜４２９４９６７２９５（ｄｏｔ）である。また、“ＣｒｏｐＯｆｆｓｅｔＸ”、“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の１バイト目には、水平方向の視点位置のＸ座標が設定され、２バイト目には、垂直方向の視点位置のＹ座標が設定され、３バイト目〜６バイト目には、オフセットの値が設定される。なお、“ＣｒｏｐＯｆｆｓｅｔＹ”には各視点画像の垂直方向のずれの補正量を含めるが、ずれの補正量が不明の場合には、上記オフセットの値は“０”となる。
【０３４３】
上記切出画像領域の設定により、撮像装置１００の撮像により生成される各視点の視点画像データのうち、立体視画像として表示する個所を指定することを可能とする。視点画像から立体視画像として表示する個所を指定することを、画像の切出し、とする。指定された切出の領域を切出画像領域とする。
【０３４４】
なお、本実施の形態に係る切出画像領域を除く、それ以外の結合画像領域については、例えば、そのまま記憶される場合、又は切出画像領域を指定後、切出画像領域以外の結合画像領域については、記憶せず、削除してしまう場合等でもよい。
【０３４５】
ここで、図３１を参照しながら、本実施の形態に係る切出画像領域について説明する。図３１は、本実施の形態に係る切出画像領域の概略的な構成を示す説明図である。なお、図３１に示す視差画像は、２視点画像（Ｌ画像、Ｒ画像）からなる平行配置の結合画像である場合を例に挙げて説明するが、かかる例に限定されない。
【０３４６】
図３１に示すように、グレー色でハッチングされた領域で表される切出画像領域は、左上の位置の座標及び画像サイズで指定される。左上の位置の座標は、図３１に示す“×”のマークに該当する。
【０３４７】
なお、図３１に示す右側の切出画像領域（Ｒ画像）の左右両サイドには、破線部で表された領域（マージン領域）が存在する。Ｌ画像及びＲ画像の切出画像領域から立体視画像を生成する際、水平方向の視差が必要なため、切出画像領域を水平方向にずらす。
【０３４８】
上記の場合、切出後の切出画像領域以外の領域には画像が存在しないため、マージン領域を用いることで、立体視画像の両サイドも適切な立体視画像を生成することができる。通常、マージン領域が無い場合、両サイドの画像が存在しないため、その周辺は黒色等になってしまう
【０３４９】
切出画像領域は、各視点の視点画像データごとに指定するため、各オフセット（“ＣｒｏｐＯｆｆｓｅｔ”）の値を設定するフィールドは、視点の数だけ存在するが、各切出画像領域のサイズは同じであるため、サイズ（“ＣｒｏｐＳｉｚｅ”）を設定するためのフィールドは、共通して１つずつ存在する。
【０３５０】
なお、オフセット値の設定をする際、“ＣｒｏｐＯｆｆｓｅｔＸ”、“ＣｒｏｐＯｆｆｓｅｔＹ”のフィールドのうち上記１バイト目の水平方向の視点位置のＸ座標、２バイト目の垂直方向の視点位置のＹ座標に、“（−１，−１）”と指定することにより、複数の視点画像が存在する場合、３バイト目に設定される値は、全視点画像に対するオフセット値となる。上記一括指定により、視点位置の設定処理の効率化を図れる。例えば、最初の“ＣｒｏｐＯｆｆｓｅｔＸ”、“ＣｒｏｐＯｆｆｓｅｔＹ”の視点位置を“（−１，−１）”とすれば一括指定となる場合等を例示することができる。
【０３５１】
従って、上記水平方向視点位置及び垂直方向視点位置“（Ｘ，Ｙ）”に、“（−１，−１）”と指定することにより、オフセットの一括指定が可能になる。
【０３５２】
ここで、例えば複数視点（４×４視点）の１６視点画像のうち、視点位置が“（２，３）”の水平方向のオフセット値だけを、“８”で、残りの１５視点からの視点画像の水平方向のオフセット値は、“１０”に設定する場合について説明する。
【０３５３】
上記の場合、“ＣｒｏｐＯｆｆｓｅｔＸ”のフィールドには、（１バイト目，２バイト目，３バイト目）のように設定されるとすると、まず１５視点の視点画像のオフセットとして、水平方向のオフセットは、（−１，−１，１０）と一度にセットでき、残りの視点位置“（２，３）”の水平方向のオフセットは、“（２，３，８）”とすれば済む。
【０３５４】
また、切出画像領域が指定されることにより、切出された各視点画像データによる視差画像データ（結合画像データ）から立体視画像データが生成されると、例えば、テレ撮影された被写体（オブジェクト）など、切り出される位置により、立体感の強い（飛び出し度合いの大きい）立体視画像が立体視表示部１４０に表示される場合があるが、例えば、警告画面（図示せず。）を表示することで、オフセットを調整させることで、視差の平均化を行い、立体感のバランスをとる、又は立体感を弱めることにより、眼精疲労を抑えることができる。
【０３５５】
なお、図３１に示す“ＣｒｏｐＯｆｆｓｅｔＸ”（ｘ１，ｘ２）は、切出領域の水平方向のオフセットを示し、“ＣｒｏｐＯｆｆｓｅｔＹ”（ｙ１，ｙ２）は、切出領域の垂直方向のオフセットを示し、“ＣｒｏｐＳｉｚｅＸ”（Ｌ）は、結合画像のうち切出領域として所定領域を切り出すための水平方向の長さ（サイズ）を示し、“ＣｒｏｐＳｉｚｅＹ”（Ｈ）は、結合画像のうち切出領域として所定領域を切り出すための垂直方向の長さ（サイズ）を示す。
【０３５６】
次に、本実施の形態に係る切出画像領域の切出処理について説明する。
【０３５７】
まず、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データ（Ｌ画像データ、Ｒ画像データ）を合成し、結合画像データを生成する。
【０３５８】
次に、画像エンコード部１３２は、合成部１３１から伝送された結合画像データをエンコードし、上記エンコード処理とともに画像制御情報生成部１３３は、画像制御情報を生成する。エンコード及び生成処理終了後、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０３５９】
コンピュータ装置１５０は、記録媒体１３５から、指定された結合画像データ及び画像制御情報を読み込むと、データ分離部１３６は、結合画像データと、画像制御情報とに分離し、画像デコード部１３７及び画像分離部１３８それぞれに伝送する。
【０３６０】
デコードされた結合画像データと、画像制御情報とが、画像分離部１３８に伝送されると、図３２に示すように、コンピュータ装置１５０の立体視表示部１４０に、切出画像領域を設定するための編集画面３００が表示される。
【０３６１】
編集画面３００のメインエリア２２２内に、視点画像とともに切出画像領域を示す矩形３０２−１が表示される。上記矩形３０２−１の大きさは、マウスのドラッグなどにより変更することが可能である。なお、矩形３０２−１の大きさ及び位置が上記切出画像領域となる。
【０３６２】
また、上記矩形３０２−１は、マウスのドラッグ・アンド・ドロップなどにより、移動することが可能である。なお、本実施の形態に係る編集画面３００は、視点画像の表示が１視点ずつ画像表示される場合を例に挙げて説明するが、かかる例に限定されず、複数視点の視点画像を同時に表示する場合であっても実施可能である。
【０３６３】
さらに、矩形３０２−１、又は矩形３０２−２を切り出すとき、その矩形の範囲内で奥行きオフセット量を自動的に調整し、オフセット量を最適化して画像制御情報に保存することができ、保存後、上記視点画像を読み出して表示する際に画像制御情報からオフセット量を参照することができる。
【０３６４】
また、例えば、上記画像制御情報に保存されるオフセット量に応じて、画像を切出したり、リマークポイントが設定された領域の立体視画像を保存されたオフセット量に応じて、拡大／縮小表示したり、上記オフセット、切出し、リマークポイントを連携して使用したりすることもできる。
【０３６５】
図３２に示す「クロップ決定」ボタンがマウスなどのクリックにより押下されると、画像分離部１３８は、矩形３０２−１の大きさ及び位置に基づき、“ＣｒｏｐＳｉｚｅＸ”、“ＣｒｏｐＳｉｚｅＹ”、“ＣｒｏｐＯｆｆｓｅｔＸ”、及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定する値を求め、上記各タグに値を設定する。
【０３６６】
設定後、さらに画像分離部１３８は、結合画像データにおける各視点画像データ（Ｌ画像、Ｒ画像）を、上記求められた値（切出画像領域）に従って、切り出す。切り出されたＬ画像データ、Ｒ画像データは、画像変換部１３９に伝送されて、立体視画像データに変換される。
【０３６７】
上記各タグのフィールドに切出画像領域の値をそれぞれ設定することで、再度Ｌ画像データ及びＲ画像データから切出画像領域を決定後、立体視画像データに変換する際に、上記各タグに設定された値を読み取ることで、迅速的、効率的に切出画像領域の決定をすることができる。
【０３６８】
なお、画像変換部１３９により、Ｌ画像データ及びＲ画像データから立体視画像データに変換される際、上記切り出されたＬ画像データ及びＲ画像データを、立体視表示部１４０の画面寸法（サイズ）に適合するよう、それぞれ拡大（リサイズ）し、立体視画像データに変換する。
【０３６９】
また、Ｌ画像データ、Ｒ画像データが、画像変換部１３９により拡大された際に、Ｌ画像データと、Ｒ画像データとの視差が、例えば、所定の閾値を超えた場合、又は視差の平均値等を超えた場合、上記説明の警告画面（図示せず。）が表示される。
【０３７０】
さらに、画像変換部１３９は、閾値の範囲内に視差が小さくなるよう、オフセット調整を行う。例えば、なお、本実施の形態に係るＬ画像データと、Ｒ画像データとの視差は、上下方向の視差、又は左右方向の視差などが例示される。
【０３７１】
さらに、本実施の形態に係る切出画像領域の切出処理の変形例について説明する。
【０３７２】
立体視画像のうち、特に遠方にある、奥行きのある被写体等を切り出して、立体視表示部１４０に表示する場合、表示される立体視画像は立体感のある被写体が多く表示されるため、ユーザには非常に見づらく、眼精疲労を及ぼしやすい。
【０３７３】
図３２に示すように、編集画面３００に表示された立体視画像に矩形３０２−２が、マウス等の入力部により設定されている。矩形３０２−２は、奥行きのあるヨット及び背景の空を切出画像領域としている。
【０３７４】
次に、図３２に示す「クロップ決定」ボタンがマウス等のクリックにより押下されると、矩形３０２−２の大きさ及び位置に基づき、“ＣｒｏｐＳｉｚｅＸ”、“ＣｒｏｐＳｉｚｅＹ”、“ＣｒｏｐＯｆｆｓｅｔＸ”、及び“ＣｒｏｐＯｆｆｓｅｔＹ”のタグのフィールドに設定する値を求め、上記各タグに値を設定する。
【０３７５】
設定後、さらに画像分離部１３８は、結合画像データにおける各視点画像データ（Ｌ画像、Ｒ画像）を、上記求められた値（切出画像領域）に従って、切り出す。切り出されたＬ画像データ、Ｒ画像データは、画像変換部１３９に伝送される。
【０３７６】
画像変換部１３９では、伝送されたＬ画像データ、Ｒ画像データを対応点マッチングすることで、最小の視差量を例えば“０”などに変換し、最大の視差量が眼間距離である６５ｍｍを超えないように、視差を調整する。なお、視差が眼間距離の６５ｍｍを超えると、３Ｄ表示が破綻し、立体感のある画像を表示することができない。なお、対応点マッチングする場合には、予め対応点マッチングする旨の確認画面が立体視表示部１４０に表示される。
【０３７７】
調整後、画像変換部１３９は、Ｌ画像データ、Ｒ画像データを立体視画像データに合成し、立体視表示部１４０に表示する。表示される立体視画像には、少なくとも最小の視差が“０”であるので、立体感のある画像領域と、立体感が抑えられた画像領域とが含まれているため、メリハリのある視認性の高い立体視画像となる。従って、上記立体視画像の回転による微調整等の編集処理が迅速に行われる。従来ではユーザは、切出後の立体視画像を視認することが容易でない場合が多く、編集処理等に支障をきたしていた。
【０３７８】
上記対応点マッチングでは、まず上記Ｒ画像データ及びＬ画像データに含まれる対応点の抽出が行われる。上記対応点の抽出は、ユーザが抽出又は自動的に抽出される場合のどちらの場合でもよい。なお、抽出される対応点は、例えば３個所であるが、かかる例に限定されない。
【０３７９】
また、対応点は、同一被写体としてＬ画像とＲ画像とで対応する一致点である。つまり、対応点はＬ画像とＲ画像の全てに存在する必要がある。なお、上記対応点は、２視点の場合に限定されず、複数の視点画像の場合でもよい。
【０３８０】
対応点の具体例として、例えば、２視点の場合、被写体がコップである場合、Ｌ画像に撮影されたコップとＲ画像に撮影されたコップとが、撮影位置、角度、大きさ、各画像全体のうちコップの占める範囲などがほぼ同程度に一致する点を対応点とする。
【０３８１】
なお、対応点を抽出する際には、各視点画像のコントラストを上げる、又は各視点画像を二値化することで、適当な対応点を効率的に抽出することができる。なお、画像の二値化は、例えば視点画像の各画素の輝度（明るさ）に対して１又は２以上の閾値を設け、閾値以下ならば“０”（黒）、閾値より大きければ“１”（白）等とすることである。
【０３８２】
対応点が抽出されると、視点画像ごとに該当する対応点同士を結び、対応点間の距離を求める。さらに求められた対応点間の距離それぞれの差分をとることで視差量が求められる。例えば、２視点の場合、Ｌ画像とＲ画像に３個所ずつ対応点が抽出され、Ｌ画像とＲ画像で該当する対応点同士が結ばれ、３つの対応点間の距離（Ａ，Ｂ，Ｃ）が求められる。
【０３８３】
次に、求められた３つの対応点間の距離に基づき、相互に差分（Ａ−Ｂ，Ａ−Ｃ，Ｂ−Ｃ）の絶対値をとることで、それぞれの視差量が求められる。なお、対応点の抽出は、視点画像のうち奥行のある遠方周辺部について行われるが、かかる例に限定されない。
【０３８４】
次に、求められた視差量の中から、最小の視差量を選択し、当該最小視差量が０ｍｍであるか否かを確認する。最小視差量が０ｍｍでない場合、最小視差量が０ｍｍになるように各視点画像の表示サイズ等が調整される。なお、視差量の調整前、立体感のある画像が多い旨の警告が立体視表示部１４０に表示される。
【０３８５】
上記最小視差量が０ｍｍに調整後、そのまま立体視画像を表示してもよいが、かかる例に限定されず、さらに求められた視差量の中から、最大の視差量を選択し、当該最大視差量が眼間距離の６５ｍｍを超えているか否かを確認してもよい。最大視差量が６５ｍｍを超えていない場合、切出画像領域の上記最大視差量が決定する。
【０３８６】
また、最大視差量が６５ｍｍを超えた場合、最大視差量が６５ｍｍよりも小さくなるように各視点画像の表示サイズ、画像左右シフト量等が調整され、最大視差量が決定する。また表示サイズも決定される。なお、上記調整する前に最大視差量が６５ｍｍを超えて立体視画像を表示できない旨の警告が立体視表示部１４０に表示される。
【０３８７】
上記切出画像領域の視差が調整されると、切出画像領域の立体視画像が立体視表示部１４０に表示される。
【０３８８】
なお、本実施の形態に係る切出画像領域の切出処理の変形例と同様に、リマークポイント（参照注目点）を設定し、拡大表示等する場合においても、対応点マッチングや、視差の調整後、立体視画像が表示される場合であっても実施可能である。なお、警告等も画面に表示される。
【０３８９】
（有効領域）
次に、上記（２）有効領域の大きさ、位置、及びオフセット値などは、上記説明の画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”、“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに、設定される。
【０３９０】
“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”は、有効領域のサイズ（水平方向（Ｘ）、垂直方向（Ｙ））を示す。“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”は、各有効領域とのオフセット（水平方向（Ｘ）、垂直方向（Ｙ））を示す。
【０３９１】
図３３に示すように、“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”は、それぞれ６バイトであり、“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”は、それぞれ６バイトである。
【０３９２】
また、“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の１バイト目には、水平方向視点位置のＸ座標が設定され、２バイト目には、垂直方向視点位置のＹ座標が設定され、３バイト目〜６バイト目には、オフセットの値が設定される。
【０３９３】
また、“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の１バイト目には、水平方向視点位置のＸ座標が設定され、２バイト目には、垂直方向視点位置のＹ座標が設定され、３バイト目〜６バイト目には、上記視点位置とのオフセットの値が設定される。
【０３９４】
例えば、光学アダプタ１０５を備える撮像装置１００による撮像など、３Ｄ撮影した各視点画像は、光学アダプタ１０５等の影響により、端の部分は立体視画像として適さない場合がある。上記端の部分の領域は、光学アダプタ１０５の種類によって異なる。従って、上記有効領域の設定により、立体視画像として有効な領域の範囲を指定することを可能とする。
【０３９５】
ここで、図３４を参照しながら、本実施の形態に係る有効領域について説明する。図３４は、本実施の形態に係る有効領域の概略的な構成を示す説明図である。なお、図３４に示す結合画像は、２視点画像（Ｌ画像、Ｒ画像）からなる平行配置である場合を例に挙げて説明するが、かかる例に限定されず、結合画像が交差配置である場合でもよい。
【０３９６】
図３４に示すように、グレー色のハッチングで表される有効領域の大きさ、位置、オフセット値等は、左上の位置の座標及び画像サイズを基準として指定される。左上の位置の座標は、図３４に示す“×”のマークに該当する。なお、基準とする位置は、左上の位置に限定されず、他の適当な位置であってもよい。
【０３９７】
各オフセットの値は、視点画像ごとに指定する必要があり、有効領域のサイズの値についても、各視点画像において有効領域が異なる場合があり、視点画像ごとに設定する。なお、切出画像領域が有効領域からはみ出した場合の、はみ出し部分の処理は、コンピュータ装置１５０などの画像処理装置等に依存する。
【０３９８】
なお、図３４に示す“ｘ１”はＬ画像の“ＶａｌｉｄＯｆｆｓｅｔＸ”のタグのフィールドに設定され、“ｘ２”はＲ画像の“ＶａｌｉｄＯｆｆｓｅｔＸ”のタグのフィールドに設定され、“ｙ１”はＬ画像の“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定され、“ｙ２”はＲ画像の“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定され、“Ｌ１”はＬ画像の“ＶａｌｉｄＳｉｚｅＸ”のタグのフィールドに設定され、“Ｌ２”はＲ画像の“ＶａｌｉｄＳｉｚｅＸ”のタグのフィールドに設定され、“Ｈ１”はＬ画像の“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定され、“Ｈ２”はＲ画像の“ＶａｌｉｄＳｉｚｅＹ”のタグのフィールドに設定される。
【０３９９】
図３１に示す上記“ＶａｌｉｄＯｆｆｓｅｔＸ”（ｘ１，ｘ２）は、Ｒ画像、Ｌ画像の有効領域における左上頂点から水平方向のオフセットを示し、“ＶａｌｉｄＯｆｆｓｅｔＹ”（ｙ１，ｙ２）は、Ｒ画像、Ｌ画像の有効領域における左上頂点から垂直方向のオフセットを示し、“ＶａｌｉｄＳｉｚｅＸ”（Ｌ１，Ｌ２）は、Ｌ画像又はＲ画像の有効領域の水平方向の長さ（サイズ）を示し、“ＶａｌｉｄＳｉｚｅＹ”（Ｈ１，Ｈ２）は、Ｌ画像又はＲ画像の有効領域の垂直方向の長さ（サイズ）を示す。
【０４００】
次に、本実施の形態に係る有効領域の切出処理について説明する。
【０４０１】
まず、予め撮像装置１００に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合、撮像装置１００の表示部（図示せず。）に表示されるＧＵＩ画面２２１から設定する。なお、アダプタ型番の種類の選択は、本実施の形態に係るアダプタ型番情報における説明と、ほぼ同様であるため詳細な説明は省略する。
【０４０２】
図２７に示すように、ＧＵＩ画面２２１には、“１番”〜“４番”からなる各アダプタ型番名と、アダプタ型番を選択するためのアダプタ選択部２２３と、「選択」ボタンとが表示される。
【０４０３】
次に、表示されたアダプタ型番名の中から、撮像装置１００に装着する光学アダプタ１０５のアダプタ型番名を、入力部であるジョグダイヤルなどにより選択し、「選択」ボタンを押下すると、アダプタ選択部２２３は、アダプタ型番名が設定されたアダプタ型番情報を生成する。なお、上記アダプタ型番情報は、撮像装置１００の記憶部（図示せず。）等に記憶される。
【０４０４】
次に、撮像装置１００を用いて被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データ（Ｌ画像データ、Ｒ画像データ）を合成し、結合画像データを生成する。
【０４０５】
また、画像制御情報生成部１３３は、生成された上記結合画像データに対する画像制御情報を生成し、撮像装置１００の記憶部に記憶されたアダプタ型番情報を、画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。
【０４０６】
さらに、画像制御情報生成部１３３は、記憶部に記憶された上記光学アダプタ１０５のアダプタ型番情報に基づき、立体視画像として適さない端の部分が除かれた有効領域情報を生成する。
【０４０７】
次に、画像制御情報生成部１３３は、有効領域情報を、上記画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”、“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定する。
【０４０８】
なお、画像制御情報生成部１３３は、上記有効領域情報を、アダプタ型番情報に基づき生成したが、かかる例に限定されず、予め有効領域設定のＧＵＩ画面を介して、入力部により有効領域情報を定める場合であっても、実施可能である。
【０４０９】
次に、画像エンコード部１３２は、合成部１３１から伝送された結合画像データをエンコードし、上記エンコード処理と共に画像制御情報生成部１３３は、画像制御情報を生成する。エンコード及び生成処理終了後、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０４１０】
コンピュータ装置１５０は、記録媒体１３５から上記結合画像データ及び画像制御情報を読み込む。
【０４１１】
次に、コンピュータ装置１５０のデータ分離部１３６は、結合画像データと、画像制御情報とに分離する。
【０４１２】
次に、画像分離部１３８は、画像デコード部１３７によりデコードされた結合画像データと、画像制御情報とを受信する。
【０４１３】
画像分離部１３８は、画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”、“ＶａｌｉｄＯｆｆｓｅｔＸ”、及び“ＶａｌｉｄＯｆｆｓｅｔＹ”のタグのフィールドに設定された値（有効領域情報）に基づき、図３４に示すように、結合画像領域のうち有効領域に該当する領域を、切り出す。
【０４１４】
なお、上記画像制御情報の“ＶａｌｉｄＳｉｚｅＸ”、“ＶａｌｉｄＳｉｚｅＹ”、“ＶａｌｉｄＯｆｆｓｅｔＸ”、“ＶａｌｉｄＯｆｆｓｅｔＹ”のフィールドに値（有効領域情報）が設定されていなかった場合、画像分離部１３８は、実際の画像領域である視点画像データ全体を、画像変換部１３９に伝送する。
【０４１５】
画像変換部１３９は、画像分離部１３８から伝送された各視点画像データ（Ｌ画像データ、Ｒ画像データ）から、立体視画像データに変換する。従って、立体視表示部１４０に立体視画像が表示される。
【０４１６】
なお、切り出された有効領域は、撮像装置１００に装着した光学アダプタ１０５のアダプタ型番情報によって定まる。従って画像分離部１３８は、アダプタ型番情報に基づき決定した有効領域に応じて、適当にＬ画像データとＲ画像データとのオフセットを調整することができる。
【０４１７】
（参照注目点）
また、切出領域又は有効領域を指定する他に、視点画像データにおいて、立体視画像を表示する際の中心となる注視点に関する注視点（参照注目点、リマークポイント）情報を、上記説明の画像制御情報に含まれる“リマークポイントタグ”のタグに設定することができる。
【０４１８】
立体視画像の中心を、必ずしも立体視表示部１４０の中心に配置して表示する場合のみに限られず、予め視点画像データの“リマークポイント”のタグのフィールドに立体視表示部１４０の中心となる点（参照注目点）を設定することができる。特に、例えば携帯端末、ＰＤＡなど立体視表示部１４０のサイズが立体視画像データのサイズよりも小さい場合に、ユーザに注視させたい部分を参照注目点に設定することで、視認性の高い立体視画像を表示することができる。
【０４１９】
参照注目点は、水平方向をｘ軸とし、垂直方向をｙ軸とする“（ｘ，ｙ）”で表わされ、図３１、図３４に示す有効領域又は切出画像領域内に設定可能である。“リマークポイントタグ”のタグのフィールドは、６バイトからなり、最下位桁の１バイト目から３バイト目は、参照注目点のｘ座標を示し、４バイト目から６バイト目は、参照注目点のｙ座標を示す。
【０４２０】
次に、本実施の形態に係る参照注目点の設定処理について説明する。
【０４２１】
まず、撮像装置１００により被写体が撮像されると、撮像部１０１の合成部１３１は、撮像素子１３０から伝送される視点画像データ（Ｌ画像データ、Ｒ画像データ）を結合し、結合画像データを生成する。
【０４２２】
次に、画像エンコード部１３２は上記結合画像データをエンコードし、画像制御情報生成部１３３が上記結合画像データに対応する画像制御情報を生成すると、結合画像データ及び画像制御情報は、データ多重化部１３４により多重化され、記録媒体１３５に記録される。
【０４２３】
コンピュータ装置１５０は、記録媒体１３５から、指定された結合画像データ及び画像制御情報を読み込む。次に、データ分離部１３６は、結合画像データと、画像制御情報とに分離し、画像デコード部１３７及び画像分離部１３８それぞれに伝送する。
【０４２４】
デコードされた結合画像データと、画像制御情報とが、画像分離部１３８に伝送されると、図３５に示すように、コンピュータ装置１５０の立体視表示部１４０に、参照注目点を設定するための編集画面３２０が表示される。
【０４２５】
編集画面３２０のメインエリア２２２内には、各視点画像から立体視画像に変換する際の参照注目点を示すマーク３０３が表示される。また、上記マーク３０３は、マウスのドラッグ・アンド・ドロップなどにより、移動することが可能である。
【０４２６】
なお、本実施の形態に係る参照注目点は、各視点画像ともに同一である場合を例に挙げて説明するが、かかる例に限定されず、参照注目点が各視点の視点画像間で相違する場合であっても実施可能である。なお、相違する場合は、例えば、複数の注目参照点のうちいずれか一つを選択する選択処理をする必要がある。
【０４２７】
図３５（ａ）に示す参照注目点を設定する「リマークポイント決定」ボタンがマウスのクリックなどにより押下されると、画像分離部１３８は、結合画像データに対する画像制御情報の“リマークポイントタグ”のタグのフィールドに、上記マーク３０３の参照注目点“（ｘ，ｙ）”の値を設定する。
【０４２８】
設定後、画像分離部１３８は、結合画像データを、Ｌ画像データと、Ｒ画像データとに分離する。分離されたＬ画像データ、Ｒ画像データは、画像変換部１３９に伝送されて、立体視画像データに変換される。なお、分離する際、例えば、切出画像領域が設定された場合、画像分離部１３８は、Ｌ画像データ及びＲ画像データの切出処理等も行う。
【０４２９】
画像変換部１３９は、上記立体視画像データに変換する際に、“リマークポイントタグ”に設定された参照注目点に従い、上記参照注目点が、立体視表示部１４０の中央部に位置するように、Ｌ画像データ及びＲ画像データを移動する。
【０４３０】
また、立体視表示部１４０の画面サイズに適応するよう、画像変換部１３９は、Ｌ画像データ及びＲ画像データを拡大し、立体視画像データに変換する。従って、図３５（ｂ）に示すように、参照注目点が立体視表示部１４０の中央に位置した、拡大された立体視画像が表示される。
【０４３１】
さらに、画像変換部１３９は、上記立体視画像データを拡大表示する際に、“リマークポイントタグ”に設定された参照注目点と、参照注目点を中心とした視点画像の一部領域のオフセット位置に基づき、一部領域の立体視画像を拡大表示することもできる。
【０４３２】
なお、オフセット位置は立体視画像の奥行きの前後関係を調整することができる。オフセット位置の調整は、例えば２視点の場合、Ｒ画像、Ｌ画像を重ね合わせて立体視表示する際に、上下位置調整、左右シフト量（飛び出し量に相当。）を調整することでもある。
【０４３３】
例えば、図３２を参照しながら説明すると、一部領域である矩形３０２−２は船の立体視画像であるが、上記船の画像は、矩形３０２−１の人物の立体視画像よりも後方に位置している。従って、船の画像の方が奥の方にあるため、上記矩形３０２−２に表示された“船”に参照注目点としてマーク３０３を設定し、拡大表示する場合、画像変換部１３９は、上記矩形３０２−２の船の画像が前の方に表示されるように、オフセット位置を調整し、当該矩形３０２−２の船の立体視画像を拡大表示する。
【０４３４】
これにより、図３２に示す“人物”よりも奥の方に表示された“船”の画像を拡大表示した際に、一回の拡大処理で矩形３０２−１に表示された人物の立体視画像と同等な程度、前方に立体的に表示されるため、視認しやすい。逆に、マーク３０３を矩形３０２−１の領域に表示された人物に設定すると、もともと前方に位置し、表示されているため、オフセット位置の調整量は、少なく拡大表示される。
【０４３５】
上記参照注目点が“リマークポイントタグ”のタグのフィールドに設定されることで、図３５（ｂ）に示す立体視画像から、さらに参照注目点を中心として立体視画像を拡大する等の場合、改めて拡大する中心点を定義、又は参照注目点を設定しなくても、注目点を中心に立体視画像を迅速に拡大することが可能となる。
【０４３６】
なお、上記参照注目点を中心として立体視画像を拡大する場合、編集画面３２０は、警告画面（図示せず。）に切替わり、“立体視が困難になる可能性があります”等の警告メッセージが表示される。
【０４３７】
上記警告画面が表示されるのは、立体視画像の拡大により視差が大きくなるため、立体的に視認することが難しくなるためである。また、視差の拡大により眼精疲労が促進されるためである。
【０４３８】
なお、本実施の形態に係る参照注目点は、立体視画像を拡大する際の中心点である場合を例に挙げて説明したが、かかる場合に限定されず、例えば、参照注目点は、立体視画像を縮小する際の中心点である場合等であってもよい。
【０４３９】
また、本実施の形態に係る参照注目点は、上記説明したように、本実施の形態に係る切出画像領域の切出処理の変形例と同様に、リマークポイント（参照注目点）を設定し、拡大表示等する場合においても、対応点マッチングや、視差の調整後、立体視画像を表示する場合であっても実施可能である。なお、警告等も画面に表示する。
【０４４０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例又は修正例を想定し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０４４１】
上記実施形態においては、２視点画像から立体視画像に合成する場合を例にあげて説明したが、本発明はかかる例に限定されない。例えば、３視点以上の複数の視点画像の場合であっても実施することができる。
【符号の説明】
【０４４２】
１００    撮像装置
１０１    撮像部
１０３    レンズ
１０５    光学アダプタ
１２１、１２２    ミラー
１３０    撮像素子
１３１    合成部
１３２    画像エンコード部
１３３    画像制御情報生成部
１３４    データ多重化部
１３５    記録媒体
１３６    データ分離部
１３７    画像デコード部
１３８    画像分離部
１３９    画像変換部
１４０    立体視表示部
１４１    右眼用プロジェクタ
１４２    左眼用プロジェクタ
１４３    スクリーン
１４４    偏光メガネ
１５０    コンピュータ装置
１７０    支持棒
１７１    偏光メガネ
１７２    ライン偏光板
２２０、２２１    ＧＵＩ画面
２２２    メインエリア
２２３    アダプタ選択部
２２４    ペイント画像
３００、３２０    編集画面
３０２    矩形
３０３    マーク
３５０    結合画像
５５１    ミラー
６５４、６５５    指定領域
【図１】
2010268433.tif 000003
【図２】
2010268433.tif 000004
【図３】
2010268433.tif 000005
【図４】
2010268433.tif 000006
【図５】
2010268433.tif 000007
【図６】
2010268433.tif 000008
【図７】
2010268433.tif 000009
【図８】
2010268433.tif 000010
【図９】
2010268433.tif 000011
【図１０】
2010268433.tif 000012
【図１１】
2010268433.tif 000013
【図１２】
2010268433.tif 000014
【図１３】
2010268433.tif 000015
【図１４】
2010268433.tif 000016
【図１５】
2010268433.tif 000017
【図１６】
2010268433.tif 000018
【図１７】
2010268433.tif 000019
【図１８】
2010268433.tif 000020
【図１９】
2010268433.tif 000021
【図２０】
2010268433.tif 000022
【図２１】
2010268433.tif 000023
【図２２】
2010268433.tif 000024
【図２３】
2010268433.tif 000025
【図２４】
2010268433.tif 000026
【図２５】
2010268433.tif 000027
【図２６】
2010268433.tif 000028
【図２７】
2010268433.tif 000029
【図２８】
2010268433.tif 000030
【図２９】
2010268433.tif 000031
【図３０】
2010268433.tif 000032
【図３１】
2010268433.tif 000033
【図３２】
2010268433.tif 000034
【図３３】
2010268433.tif 000035
【図３４】
2010268433.tif 000036
【図３５】
2010268433.tif 000037