(57)【要約】【課題】多眼式立体画像を最終的に完成させる前にその立体感を確認可能にすることにより、自然な立体感を与える多眼式立体画像を容易に生成可能とする。【解決手段】少なくとも３つ以上の異なる視点位置から見た立体視対象物の画像に基づいて立体視用の多眼式立体画像を生成する画像生成システム１００において、画像処理装置１は、多眼式立体画像に対する観察者の視点位置を設定し、その設定された視点位置に応じた二眼式立体画像を生成し、生成された二眼式立体画像を表示部３に表示することにより、ユーザに、表示部３に表示された画像の立体感を確認させる。ユーザにより立体感が不適切と判断された場合は、多眼式立体画像に対する視点位置（又は観察位置）が調整され、調整された視点位置に応じた二眼式立体画像が表示部３に表示される。【選択図】図１
2006203668.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも３つ以上の異なる視点位置から見た立体視対象物の画像に基づいて立体視用の多眼式立体画像を生成する画像生成システムにおいて、
前記多眼式立体画像に対する観察者の視点位置を設定する設定手段と、
前記設定手段により設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成手段と、
前記二眼式立体画像生成手段により生成された二眼式立体画像を表示する表示手段と、
を備えることを特徴とする画像生成システム。
【請求項２】
前記二眼式立体画像生成手段は、各視点位置での立体視対象物の画像を示す各視点画像の中から、前記設定された視点位置に対応する左目用画像及び右目用画像を選択することによって前記二眼式立体画像を生成することを特徴とする請求項１に記載の画像生成システム。
【請求項３】
前記二眼式立体画像生成手段は、各視点位置での立体視対象物の画像を示す各視点画像の中に、前記設定された視点位置に対応する左目用画像及び／又は右目用画像が存在しない場合、当該視点位置での視点方向の近傍に存在する複数の視点画像のデータを補間処理することによって左目用画像及び／又は右目用画像を生成することを特徴とする請求項２に記載の画像生成システム。
【請求項４】
前記表示手段により表示された二眼式立体画像に基づいて前記多眼式立体画像に対する観察距離を調整する調整手段と、
前記調整手段により調整された観察距離に応じた二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再構成する再構成手段と、
を備えることを特徴とする請求項１〜３の何れか一項に記載の画像生成システム。
【請求項５】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成手段は、前記多視点再構成画像と前記遮蔽板との距離の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項６】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成手段は、前記多視点再構成画像と前記遮蔽板との間の間隙部の屈折率の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項７】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記多視点再構成画像と前記微小レンズアレイとの距離の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項８】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記多視点再構成画像と前記微小レンズアレイとの間の間隙部の屈折率の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項９】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記微小レンズアレイの焦点距離の調整に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項１０】
前記多眼式立体画像は、各視点画像に基づいて生成される多視点再構成画像により構成され、
前記再構成手段は、前記多視点再構成画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記多眼式立体画像を再構成することを特徴とする請求項４に記載の画像生成システム。
【請求項１１】
前記表示手段は、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴とする請求項１〜１０の何れか一項に記載の画像生成システム。
【請求項１２】
前記表示手段は、左目には左目用画像、右目には右目用画像を視認させるための表示処理を行うことを特徴とする請求項１〜１１の何れか一項に記載の画像生成システム。
【請求項１３】
少なくとも３つ以上の異なる視点位置から見た立体視対象物の画像に基づいて立体視用の多眼式立体画像を生成する画像生成方法において、
前記多眼式立体画像に対する観察者の視点位置を設定する設定工程と、
前記設定工程において設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成工程と、
前記二眼式立体画像生成工程において生成された二眼式立体画像を表示する表示工程と、
を含むことを特徴とする画像生成方法。
【請求項１４】
前記二眼式立体画像生成工程では、各視点位置での立体視対象物の画像を示す各視点画像の中から、前記設定された視点位置に対応する左目用画像及び右目用画像を選択することによって前記二眼式立体画像が生成されることを特徴とする請求項１３に記載の画像生成方法。
【請求項１５】
前記二眼式立体画像生成工程では、各視点位置での立体視対象物の画像を示す各視点画像の中に、前記設定された視点位置に対応する左目用画像及び／又は右目用画像が存在しない場合、当該視点位置での視点方向の近傍に存在する複数の視点画像のデータを補間処理することによって左目用画像及び／又は右目用画像が生成されることを特徴とする請求項１４に記載の画像生成方法。
【請求項１６】
前記表示工程において表示された二眼式立体画像に基づいて前記多眼式立体画像に対する観察距離を調整する調整工程と、
前記調整工程において調整された観察距離に応じた二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再構成する再構成工程と、
を含むことを特徴とする請求項１３〜１５の何れか一項に記載の画像生成方法。
【請求項１７】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成工程では、前記多視点再構成画像と前記遮蔽板との距離の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項１８】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成工程では、前記多視点再構成画像と前記遮蔽板との間の間隙部の屈折率の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項１９】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記多視点再構成画像と前記微小レンズアレイとの距離の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項２０】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記多視点再構成画像と前記微小レンズアレイとの間の間隙部の屈折率の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項２１】
前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記微小レンズアレイの焦点距離の調整に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項２２】
前記多眼式立体画像は、各視点画像に基づいて生成される多視点再構成画像により構成され、
前記再構成工程では、前記多視点再構成画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記多眼式立体画像が再構成されることを特徴とする請求項１６に記載の画像生成方法。
【請求項２３】
前記表示工程では、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴とする請求項１３〜２２の何れか一項に記載の画像生成方法。
【請求項２４】
前記表示工程では、左目には左目用画像、右目には右目用画像を視認させるための表示処理が行われることを特徴とする請求項１３〜２３の何れか一項に記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用の画像を生成する画像生成システム及び画像生成方法に関する。
【背景技術】
【０００２】
従来から、立体視用の画像として、左目視点からの画像と右目視点からの画像により作成される二眼式立体画像がよく知られている。これは、両視点から得られた画像を左右各々の目で分離して観察する方式であり、偏光メガネ方式、二色メガネ方式（アナグリフ）、頭部搭載型ディスプレイ（ＨＭＤ）方式、パララックスバリア方式など様々な方式が知られている。二眼式立体画像では、両眼の視差により立体感を得ることができるものの、観察者の視点が固定されていることが前提であり、視点の変化に応じて得られる画像が変化するものではないため、臨場感のある立体感を得ることはできない。
【０００３】
そこで、異なる３視点以上の視点位置で得られた視点画像を予め用意しておき、それらの中から観察者の視点に応じた視点画像を視覚可能な多眼式立体画像を用いることにより、より臨場感のある立体感を得ることができる。このような多眼式立体画像としては、インテグラルフォトグラフィが代表的である（例えば、非特許文献１参照。）。
【非特許文献１】谷中一寿、外５名「Shade(TM)によるインテグラルフォトグラフィ画像の合成」３ＤImage Conference 2004, p.173-176
【発明の開示】
【発明が解決しようとする課題】
【０００４】
多眼式立体画像では、各種の視点パラメータ等を調整すると、その立体感は大きく変化するため、多眼式立体画像の作成時においてはその立体感を確認しながら、最適な立体感が得られる視点パラメータを選択することが望ましい。このとき、多眼式立体画像を印刷（ハードコピー）してから、その立体感を確認して視点パラメータ等を調整するという作業工程では、作業に係る時間、製作コスト等が大きくなってしまうという問題がある。
【０００５】
本発明の課題は、多眼式立体画像を最終的に完成させる前にその立体感を確認可能にすることにより、自然な立体感を与える多眼式立体画像を容易に生成可能とすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、少なくとも３つ以上の異なる視点位置から見た立体視対象物の画像に基づいて立体視用の多眼式立体画像を生成する画像生成システムにおいて、前記多眼式立体画像に対する観察者の視点位置を設定する設定手段と、前記設定手段により設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成手段と、前記二眼式立体画像生成手段により生成された二眼式立体画像を表示する表示手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像生成システムにおいて、前記二眼式立体画像生成手段は、前記多眼式立体画像を構成する各視点画像の中から、前記設定された視点位置に対応する左目用画像及び右目用画像を選択することによって前記二眼式立体画像を生成することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像生成システムにおいて、前記二眼式立体画像生成手段は、前記多眼式立体画像を構成する各視点画像の中に、前記設定された視点位置に対応する左目用画像及び／又は右目用画像が存在しない場合、当該視点位置での視点方向の近傍に存在する複数の視点画像のデータを補間処理することによって左目用画像及び／又は右目用画像を生成することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像生成システムにおいて、前記表示手段により表示された二眼式立体画像に基づいて前記多眼式立体画像に対する観察距離を調整する調整手段と、前記調整手段により調整された観察距離に応じた二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再構成する再構成手段と、を備えることを特徴としている。
【００１０】
請求項５に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成手段は、前記多視点再構成画像と前記遮蔽板との距離の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成手段は、前記多視点再構成画像と前記遮蔽板との間の間隙部の屈折率の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記多視点再構成画像と前記微小レンズアレイとの距離の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記多視点再構成画像と前記微小レンズアレイとの間の間隙部の屈折率の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴としている。
【００１４】
請求項９に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成手段は、前記微小レンズアレイの焦点距離の調整に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像を再構成することを特徴としている。
【００１５】
請求項１０に記載の発明は、請求項４に記載の画像生成システムにおいて、前記多眼式立体画像は、各視点画像に基づいて生成される多視点再構成画像により構成され、
前記再構成手段は、前記多視点再構成画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記多眼式立体画像を再構成することを特徴としている。
【００１６】
なお、請求項５〜請求項１０に記載した各多眼式立体画像を再構成する方法は、それぞれの請求項に記載の方法のみによらず、各請求項に記載された方法を任意に組み合わせて実現するようにしてもよい。
【００１７】
請求項１１に記載の発明は、請求項１〜１０の何れか一項に記載の画像生成システムにおいて、前記表示手段は、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴としている。
【００１８】
請求項１２に記載の発明は、請求項１〜１１の何れか一項に記載の画像生成システムにおいて、前記表示手段は、左目には左目用画像、右目には右目用画像を視認させるための表示処理を行うことを特徴としている。
【００１９】
請求項１３に記載の発明は、少なくとも３つ以上の異なる視点位置から見た立体視対象物の画像に基づいて立体視用の多眼式立体画像を生成する画像生成方法において、前記多眼式立体画像に対する観察者の視点位置を設定する設定工程と、前記設定工程において設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成工程と、前記二眼式立体画像生成工程において生成された二眼式立体画像を表示する表示工程と、を含むことを特徴としている。
【００２０】
請求項１４に記載の発明は、請求項１３に記載の画像生成方法において、前記二眼式立体画像生成工程では、前記多眼式立体画像を構成する各視点画像の中から、前記設定された視点位置に対応する左目用画像及び右目用画像を選択することによって前記二眼式立体画像が生成されることを特徴としている。
【００２１】
請求項１５に記載の発明は、請求項１４に記載の画像生成方法において、前記二眼式立体画像生成工程では、前記多眼式立体画像を構成する各視点画像の中に、前記設定された視点位置に対応する左目用画像及び／又は右目用画像が存在しない場合、当該視点位置での視点方向の近傍に存在する複数の視点画像のデータを補間処理することによって左目用画像及び／又は右目用画像が生成されることを特徴としている。
【００２２】
請求項１６に記載の発明は、請求項１３〜１５の何れか一項に記載の画像生成方法において、前記表示工程において表示された二眼式立体画像に基づいて前記多眼式立体画像に対する観察距離を調整する調整工程と、前記調整工程において調整された観察距離に応じた二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再構成する再構成工程と、を含むことを特徴としている。
【００２３】
請求項１７に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成工程では、前記多視点再構成画像と前記遮蔽板との距離の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴としている。
【００２４】
請求項１８に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は、微小穴アレイを有する遮蔽板であって、
前記再構成工程では、前記多視点再構成画像と前記遮蔽板との間の間隙部の屈折率の変化に応じて前記微小穴アレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴としている。
【００２５】
請求項１９に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記多視点再構成画像と前記微小レンズアレイとの距離の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴としている。
【００２６】
請求項２０に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記多視点再構成画像と前記微小レンズアレイとの間の間隙部の屈折率の変化に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴としている。
【００２７】
請求項２１に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて作成される多視点再構成画像と、視点方向に応じて視認可能な画像情報を選択する視認画像選択手段により構成され、
前記視認画像選択手段は微小レンズアレイであって、
前記再構成工程では、前記微小レンズアレイの焦点距離の調整に応じて当該微小レンズアレイを通過する視点方向で視認可能な多眼式立体画像上の画素を変化させることにより、前記多眼式立体画像が再構成されることを特徴としている。
【００２８】
請求項２２に記載の発明は、請求項１６に記載の画像生成方法において、前記多眼式立体画像は、各視点画像に基づいて生成される多視点再構成画像により構成され、
前記再構成工程では、前記多視点再構成画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記多眼式立体画像が再構成されることを特徴としている。
【００２９】
なお、請求項１７〜請求項２２に記載した各多眼式立体画像を再構成する方法は、それぞれの請求項に記載の方法のみによらず、各請求項に記載された方法を任意に組み合わせて実現するようにしてもよい。
【００３０】
請求項２３に記載の発明は、請求項１３〜２２の何れか一項に記載の画像生成方法において、前記表示工程では、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴としている。
【００３１】
請求項２４に記載の発明は、請求項１３〜２３の何れか一項に記載の画像生成方法において、前記表示工程では、左目には左目用画像、右目には右目用画像を視認させるための表示処理が行われることを特徴としている。
【発明の効果】
【００３２】
本発明によれば、最終生成物である多眼式立体画像を生成する前に、二眼式立体画像を表示してその立体感を確認可能にしたことにより、多眼式立体画像を何度も作り直すことなく自然な立体感を与える多眼式立体画像を容易に生成することが可能となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。
【００３４】
図１に、本発明の実施形態に係る画像生成システム１００の構成を示す。画像生成システム１００は、図１に示すように、画像処理装置１、ＣＧ・ＣＡＤ作成装置７、撮像装置８、印刷装置９により構成される。
【００３５】
画像処理装置１は、操作部２、表示部３、記憶装置４、外部インターフェイス５、制御部６により構成される。
【００３６】
操作部２は、文字入力キー、テンキー、カーソルキー及び各種機能キーを備えたキー入力装置や、マウス等のポインティングデバイスを備え、キー入力装置やポインティングデバイスの操作による操作信号を制御部６に出力する。また、操作部２がタッチパネルを備える構成としてもよい。この場合、操作部２のタッチパネルは、表示部３の表示ディスプレイを覆うように設けられ、電磁誘導式、磁気歪式、感圧式等の座標読み取り原理でタッチ指示された座標を検出し、検出した座標を位置信号として制御部６に出力する。
【００３７】
表示部３は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示ディスプレイを備え、制御部６から入力される表示制御信号に従って所要の表示処理を行う。
【００３８】
記憶装置４は、ＨＤ（Hard Disc）等により構成されており、外部インターフェイス５を介して入力された画像や、制御部６で実行された画像処理結果等のデータを記憶する。
【００３９】
外部インターフェイス５は、画像処理装置１に接続された外部装置（ＣＧ・ＣＡＤ作成装置７、撮像装置８、印刷装置９）との間で、データの受け渡しを行う。
【００４０】
制御部６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等により構成される。ＣＰＵは、ＲＡＭの所定領域を作業領域として、ＲＯＭに記憶されている各種制御プログラムを実行し、画像処理装置１を構成する各部の動作を制御する。本実施形態において制御部６は、複数（少なくとも３つ以上）の異なる視点位置から見た立体視対象物の画像（以下、「多視点画像」と呼ぶ。）に基づいて多眼式立体画像を生成する多眼式立体画像生成処理（図５参照）を実行する。多眼式立体画像については後に図２〜図４を参照して詳細に説明する。
【００４１】
ＣＧ・ＣＡＤ作成装置７は、ＣＧ（Computer Graphics）又はＣＡＤ（Computer-Aided Design）により３次元データやレンダリングデータを作成する。
【００４２】
撮像装置８は、複数の異なる位置に配置されたカメラ（デジタルカメラ等）を有し、各カメラは撮影光軸を被写体（立体視対象物）の特定点に向けて同時に撮影し、撮影により得られた画像データを画像処理装置１に出力する。カメラの配置方法は、例えば、水平方向に一列に配置する方法、格子状又はハニカム状に等間隔に配置する方法等がある。撮像装置８での撮影により、撮像装置８が有するカメラの台数分の視点画像が取得され、その取得された各視点画像をカメラの配置に従って並べることにより多視点画像が得られる。また、図２に示すように、カメラを特定点に向けて配置せず、各カメラの光軸が平行になるように配置して撮影し、各視点方向の画像作成時に異なるカメラの撮影画像をピクセル毎に選択・補間する方法もある。
【００４３】
印刷装置９は、画像処理装置１で生成された画像を印刷出力するプリンタであり、インクジェットプリンタや熱昇華型プリンタ等により構成される。
【００４４】
なお、図１では、ＣＧ・ＣＡＤ作成装置７、撮像装置８及び印刷装置９が画像処理装置１に接続されている場合を示したが、必ずしも接続されている必要はない。例えば、ＣＧ・ＣＡＤ作成装置７、撮像装置８で得られた画像データをメモリカード等の記録媒体に記録し、画像処理装置１では、その記録媒体に記録された画像データを読み込んで画像処理を行うようにしてもよい。また、画像処理装置１で作成された印刷データをメモリカード等の記録媒体に記録し、印刷装置９において、その記録媒体に記録された印刷データを読み込んで印刷処理を行うようにしてもよい。
【００４５】
次に、図２〜図４を参照して、多眼式立体画像について説明する。
多視点画像としては、例えば、図２に示すように、撮像装置８が有する複数台のカメラによる被写体（立体視対象物）の撮影により得られる画像や、ＣＧ・ＣＡＤ作成装置７においてＣＧ、ＣＡＤ等からレンダリングして得られる画像が含まれる。
【００４６】
図３（ａ）に、格子状に視点画像が配置された多視点画像と、当該多視点画像から生成される多視点再構成画像の一例を示す。図３（ａ）では、多視点再構成画像がＩＰ（Integral Photography）画像である例を示している。この多視点画像において、左側からｉ番目、上からｊ番目の視点位置を(i,j)、視点位置(i,j)での視点画像をＶ(i,j)、視点画像Ｖ(i,j)内の座標を（x,y）、視点画像Ｖ(i,j)の座標(x,y)におけるピクセル（画素）をＩ(i,j,x,y)とする。多視点画像が、水平方向にｍ枚、垂直方向にｎ枚からなる視点画像Ｖ(i,j)（i＝1,2,…,m、j＝1,2,…,n）から構成されているとすると、各視点画像Ｖ(i,j)の同一座標(x,y)のピクセルＩ(i,j,x,y)を、m×nピクセルから構成される矩形領域に寄せ集めることによって、多視点再構成画像内のピクセルｒ(x,y)が形成される。以下では、図３（ｂ）に示すように、多視点再構成画像内のピクセルｒ(x,y)を構成する各ピクセルＩ(i,j,x,y)を「サブピクセル」と呼ぶ。即ち、多視点再構成画像の各ピクセルは、水平方向にｍ個、垂直方向にｎ個に配置されたサブピクセルから構成される。ピクセルｒ(x,y)内の各サブピクセルＩ(i,j,x,y)は、視点位置(i,j)の並びに従って配置される。図３（ａ）では、各視点画像が、１８０×１８０画素から構成されているものとし、水平方向に９視点分（m＝9）、垂直方向に９視点分（n＝9）、即ち、９×９＝８１個の異なる視点画像から構成される多視点画像から１枚の多視点再構成画像（ＩＰ画像）が生成される例を示している。
【００４７】
なお、多視点再構成画像の各ピクセルを構成するサブピクセルの構成は、多視点画像を構成する視点画像の構成（m×n）に一致させる必要はない。例えば、ピクセル内のサブピクセルデータの間引き処理や、ピクセルの一部（中央部）のみを抽出することによって、m×nよりも小さい構成とすることが可能である。また、ピクセル内にサブピクセルデータを挿入することにより、m×nよりも大きい構成とすることが可能である。
【００４８】
次に、図４を参照して、プリント技術を用いたインテグラルフォトグラフィの原理について説明する。
【００４９】
図４に示すように、上側透明シートにはピンホールアレイが、下側透明シートには、多視点再構成画像としてのＩＰ画像が、それぞれ予めプリントされている。２枚の透明シートの間隔を一定に保つため、両透明シートの間に中間透明板が挿入されている。また、ＩＰ画像を照らすため、その下に光源（バックライト）が配置されている。これらが全体として「多眼式立体画像」を構成する。
【００５０】
観察者Ｈは、ピンホールアレイを通過してきた光を見るが、右目に入る光が、ＩＰ画像の点Ｑから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。同様に、左目に入る光が、ＩＰ画像の点Ｒから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。従って、両眼視差により、観察者Ｈには、あたかも点Ｓに物体があるように見える。このように、ＩＰ画像から立体視が可能となる。ＩＰ画像は、３次元物体上の点Ｓから放出される光の情報を視点方向毎に適切にピクセル座標に割り当てたサブピクセル（点Ｑ、点Ｒなど）により構成されている。
【００５１】
次に、本実施形態における動作について説明する。
本実施形態における動作として、図５のフローチャートを参照して、画像処理装置１において実行される多眼式立体画像生成処理について説明する。
【００５２】
まず、多眼式立体画像に対する視点位置が設定される（ステップＳ１）。ステップＳ１における視点位置の設定は、操作部２の操作により設定されてもよいし、画像処理装置１に予め登録されている視点位置又は多視点画像データに予め登録されている視点位置を設定するようにしてもよい。
【００５３】
次いで、ステップＳ１で設定された視点位置に基づいて、左目の視点方向及び右目の視点方向が算出される（ステップＳ２）。図６（ａ）に示すように、両眼の中間点である視点位置が決定されると、左目と右目との距離（両眼間隔）が一定であれば、その視点位置に応じて左目の視点方向及び右目の視点方向が決定される。
【００５４】
次いで、多視点画像の中から、ステップＳ２で算出された左目の視点方向及び右目の視点方向に対応する視点画像が、それぞれ、左目用画像及び右目用画像として選択される（ステップＳ３）。図６（ａ）の円形部分（点線）の拡大図を図６（ｂ）に示す。ステップＳ３では、図６（ｂ）に示すように、多視点再構成画像上で左目の視点方向にあるサブピクセルが属する視点画像が左目用画像として選択され、多視点再構成画像上で右目の視点方向にあるサブピクセルが属する視点画像が右目用画像として選択される。図７では、９×９個の視点画像から構成される多視点画像の中から、視点３５の画像、視点７５の画像が、それぞれ、左目用画像、右目用画像に選択された例を示している。
【００５５】
なお、多視点画像の中に、左目の視点方向及び／又は右目の視点方向に正確に一致する視点画像が存在しない場合、その視点方向の近傍に存在する複数の視点画像のピクセルデータを補間処理することによって左目用画像及び／又は右目用画像のピクセルデータを決定すればよい。
【００５６】
例えば、図８に示すように、多視点画像上において、左目の視点方向の近傍に、視点Ａ方向、視点Ｂ方向、視点Ｃ方向、視点Ｄ方向に対応するピクセルデータが存在するものとする。図８において、視点Ａ方向、視点Ｂ方向、視点Ｃ方向、視点Ｄ方向のピクセルデータを、それぞれ、Ｐａ、Ｐｂ、Ｐｃ、Ｐｄとすると、左目の視点方向のピクセルデータＰｌは、線形補間の場合、式（１）のように算出される。
Ｐｌ＝(１−ｒ)(１−ｓ)Ｐａ＋ｒ(１−ｓ)Ｐｂ＋(１−ｒ)ｓＰｃ＋ｒｓＰｄ    （１）
【００５７】
ステップＳ３で左目用画像及び右目用画像が選択されると、これらの左目用画像及び右目用画像を用いて所定の方式により二眼式立体画像が生成され（ステップＳ４）、その生成された二眼式立体画像が表示部３に表示される（ステップＳ５）。ステップＳ４における二眼式立体画像の生成方式は、ステップＳ５での表示方式に従う。二眼式立体画像の表示方式については、後に図１４〜図１９を参照して説明する。
【００５８】
表示部３に表示された二眼式立体画像をユーザが目視で確認し、その二眼式立体画像の立体感が不適切であると判断されると、操作部２の操作により観察距離等が調整されることによって（ステップＳ６；ＮＧ）視点位置が再度設定され（ステップＳ１）、その設定された視点位置についてステップＳ２〜Ｓ５の処理が繰り返される。ここで、観察距離とは、図６（ａ）に示すように、観察者の視点位置と多眼式立体画像との距離を示す。
【００５９】
操作部２の操作により、表示部３に表示された二眼式立体画像の立体感が適切であると判断された場合（ステップＳ６；ＯＫ）、観察距離等の調整に応じて視点調整パラメータが算出される（ステップＳ７）。そして、ステップＳ７で算出された視点調整パラメータに基づいて、調整された多眼式立体画像の生成、即ち、多眼式立体画像の再構成が行われる（ステップＳ８）。
【００６０】
ステップＳ７で算出される「視点調整パラメータ」とは、特定の視点画像を観察するための視点方向角（多眼式立体画像に対する垂直方向と視点方向のなす角）を変化させるパラメータである。図６に示すように、観察距離の調整により、左目の視点方向及び右目の視点方向は変化し、観察される二眼式立体画像も変化する。例えば、図９に示すように、ある多眼式立体画像において観察距離Ｌ１で二眼式立体画像１（図９（ａ））が観察され、同じく観察距離Ｌ２で二眼式立体画像２（図９（ｂ））が観察されたとする。図９（ｃ）に示すように、観察距離Ｌ２で観察された二眼式立体画像２を観察距離Ｌ１で観察するためには、前記多眼式立体画像を構成する多視点再構成画像上の個々のサブピクセルに対して視点方向角を変化させて多眼式立体画像を再構成する必要がある。ここで、観察距離Ｌ１とは、例えば、図５の多眼式立体画像生成処理で最初に設定される観察距離であり、観察距離Ｌ２とは、ステップＳ６の目視確認によって調整された観察距離である。例えば、多眼式立体画像を構成する多視点再構成画像上のあるサブピクセルの視点方向角θをθ’＝ｋθに変換する場合、ｋが視点調整パラメータとなる。一般には、関数ｆによりθ’＝ｆ(θ,ｋ１,ｋ２,…)という変換が行われた場合、ｋ１、ｋ２、…が視点調整パラメータとなる。
【００６１】
ステップＳ８における多眼式立体画像の再構成は、例えば、図１０に示すように、多視点再構成画像のサブピクセルのサブピクセル中心からの距離を一定比率で伸縮させることにより実現される。即ち、サブピクセル中心を原点とした拡大処理又は縮小処理によりサブピクセルが再構成される。図１０では、視点方向２で視認されていた多視点再構成画像上のサブピクセル（図１０（ａ））を、サブピクセルの拡大処理により視点方向１で視認できるようにサブピクセルを再構成する（図１０（ｂ））場合を示している。
【００６２】
多眼式立体画像の再構成を実現する方法の一つとして、遮蔽板を用いる構成において遮蔽板を調整する方法がある。図１１に示すように、多視点再構成画像と当該多視点再構成画像に対する視点位置との間に微小穴アレイを有する遮蔽板（ピンホール、ベリア等）を設け、多視点再構成画像と遮蔽板との距離（間隙部の厚さ）の変化（図１１（ａ）→（ｂ））に応じて、その微小穴アレイを通過する特定の視点方向で視認可能な多眼式立体画像上のサブピクセルを変化させることができる。
【００６３】
また、多眼式立体画像の再構成を実現する他の方法として、フライアイレンズ、レンチキュラーレンズ等のレンズ（微小レンズアレイ）を用いる構成においてレンズを調整する方法がある。図１２に示すように、多視点再構成画像と当該多視点再構成画像に対する視点位置との間にレンズを設け、多視点再構成画像とレンズとの距離（間隙部の厚さ）の変化（図１２（ａ）→（ｂ））に応じてそのレンズを通過する特定の視点方向で視認可能な多眼式立体画像上のサブピクセルを変化させることができる。また、図１２（ｃ）に示すように、レンズの焦点距離（レンズの形状）を併せて調整することによって、レンズによる焦点状態が適切に維持され、サブピクセルの選択性に優れた多眼式立体画像を得ることができる。
【００６４】
なお、レンズと多視点再構成画像の間の間隙部（図４の中間透明板に相当）については、空気やレンズ素材を含む任意の透明部材を使用することが可能である。また、遮蔽板又はレンズと多視点再構成画像との間の間隙部の屈折率を変更することにより、多眼式立体画像を再構成することが可能である。
【００６５】
また、図１０に示すような多視点再構成画像のサブピクセルのサブピクセル中心からの距離の拡大処理又は縮小処理は以下のように実現される。
【００６６】
図１３において、多視点再構成画像の１ピクセルが、m×n個のサブピクセルから構成される矩形領域（図１３では、m＝n＝9）であるものとする。サブピクセル中心とは、多視点再構成画像のピクセル領域の中心位置（図１３では、ピクセル内の左から５番目、上から５番目）である。このサブピクセル中心を原点として、この原点からの相対位置（Δx、Δy）におけるサブピクセルのデータをＰ（Δx、Δy）とし、原点からの距離をｋ倍に変化（拡大処理ではｋ＞１、縮小処理では０＜ｋ＜１）させるときのサブピクセルのデータＰ’（Δx、Δy）は、式（２）のように表される。
Ｐ’（Δx、Δy）＝Ｐ（Δx/k、Δy/k）    （２）
式（２）の右辺Ｐ（Δx/k、Δy/k）の値は、一般に、近接のサブピクセルのデータから補間によって算出される。図１３の例では、原点からの距離を１．３倍に拡大する場合を示しており、サブピクセルのデータは、近接する４つのサブピクセルのデータを用いて線形補間により算出される。
【００６７】
また、原点からの距離をｋ倍に縮小（０＜ｋ＜１）する場合、原点からの相対位置（Δx/k、Δy/k）がピクセル領域から外れてしまう場合は、例えば、以下のように、最も近接する周辺のデータで代用することが可能である。
Δx/k ＜ −(m−1)/2 の場合、Δx/k ← −(m−1)/2；
Δx/k ＞ ＋(m−1)/2 の場合、Δx/k ← ＋(m−1)/2；
Δy/k ＜ −(n−1)/2 の場合、Δy/k ← −(n−1)/2；
Δy/k ＞ ＋(n−1)/2 の場合、Δy/k ← ＋(n−1)/2.
【００６８】
このように、視点調整パラメータに基づいて多眼式立体画像の設計を再構成し、再構成設計に基づいて画像作成・印刷ステップ、構成部材との組み立てステップを経て、本多眼式立体画像生成処理が終了する。
【００６９】
次に、図１４〜図１９を参照して、二眼式立体画像の表示方式について説明する。
図５のステップＳ１〜Ｓ３に示したように、多眼式立体画像に対する観察距離を調整することにより、左目の視点方向及び右目の視点方向が決定され、その決定された両眼の視点方向に応じた左目用画像及び右目用画像が多視点画像から選択（又は補間）される。従って、図１４に示すように、観察距離（又は視点位置）の調整状況に応じて左目用画像及び右目用画像が切換えられるため、表示部３に表示される二眼式立体画像も、観察距離の調整状況に応じて切換えられる。
【００７０】
このとき、表示部３には、図１５に示すように、左目には左目用画像のみ、右目には右目用画像のみが視認できるような表示処理（即ち、左右の目にそれぞれ異なる画像を見せる表示処理）が行われる。以下、二眼式立体画像の表示方式について４つの具体例を挙げて説明する。
【００７１】
第１の方式は、偏光メガネ方式である。偏光メガネ方式は、図１６に示すように、左目用画像と右目用画像を、偏光メガネの偏光選択特性に対応した偏光特性で同時或いは時分割的に投影するものであり、観察者は、この投影された画像を、左目側と右目側で異なる偏光選択特性を有する偏光フィルタで作成された偏光メガネを通して見る。
【００７２】
第２の方式は、アナグリフ方式である。アナグリフ方式は、図１７に示すように、左目用画像と右目用画像を、色メガネの分光透過特性に対応した分光特性で同時或いは時分割的に投影するものであり、観察者は、この投影された画像を、左目側と右目側で異なる分光透過特性を有するカラーフィルタで作成された色メガネを通して見る。
【００７３】
第３の方式は、パララックスバリア方式である。パララックスバリア方式は、図１８に示すように、左目用のピクセル（サブピクセル）と右目用のピクセル（サブピクセル）を交互に配置した画像の手前に、パララックスバリアを配置することで、左目の視点方向からは左目用のピクセル、右目の視点方向からは右目用のピクセルを視認できるようにしたものである。
【００７４】
第４の方式は、レンチキュラー方式である。レンチキュラー方式は、図１９に示すように、左目用のピクセル（サブピクセル）と右目用のピクセル（サブピクセル）を交互に配置した画像の手前に、レンチキュラーレンズを配置することで、左目の視点方向からは左目用のピクセル、右目の視点方向からは右目用のピクセルを視認できるようにしたものである。
【００７５】
なお、以上の方式によらない簡便な方式としては、左目用画像と右目用画像を並べて配置し、観察者自身の視線制御（平行法又は交差法）により立体視する方法もある。平行法の場合は、視線の交絡を避けるための遮蔽板を用いてもよい。また、観察者自身の視線制御に頼らず、光ファイバ束によるライトガイドを用いてもよい。更に、表示装置として頭部搭載型ディスプレイ（ＨＭＤ）を用いて、左目付近で左目用画像を、右目付近で右目用画像を直接表示する方法なども考えられる。
【００７６】
以上のように、本実施形態の画像生成システム１００によれば、画像処理装置１での最終生成物である多眼式立体画像を生成する前に、二眼式立体画像を表示してその立体感を確認可能にしたことにより、多眼式立体画像を何度も作り直すことなく自然な立体感を与える多眼式立体画像を容易に生成することが可能となる。
【図面の簡単な説明】
【００７７】
【図１】本発明の実施形態に係る画像生成システムの構成を示すブロック図。
【図２】各視点位置と被写体との位置関係を示す図。
【図３】多視点画像（視点位置の異なる複数の視点画像）から生成される多眼式立体画像（ａ）と、多眼式立体画像のピクセルを構成するサブピクセル（ｂ）を示す図。
【図４】インテグラルフォトグラフィの原理を説明するための図。
【図５】画像処理装置において実行される多眼式立体画像生成処理を示すフローチャート。
【図６】左目用画像及び右目用画像を選択する方法を示す図。
【図７】二眼式立体画像生成のために多視点画像から選択される左目用画像及び右目用画像を示す図。
【図８】近傍の視点画像のピクセルデータの補間処理によって算出される左目用画像（又は右目用画像）を示す図。
【図９】観察距離と二眼式立体画像と多眼式立体画像の関係を示す図。
【図１０】多眼式立体画像の再構成の一例を示す図。
【図１１】遮蔽板を用いた多眼式立体画像の再構成方法を示す図。
【図１２】レンズを用いた多眼式立体画像の再構成方法を示す図。
【図１３】サブピクセル中心を原点とした拡大・縮小処理によるサブピクセルの再構成を説明する図。
【図１４】観察距離（又は視点位置）の調整による二眼式立体画像の切換えを示す図。
【図１５】視覚選択の概念図。
【図１６】偏光メガネ方式を用いた表示方式を示す図。
【図１７】アナグリフ方式を用いた表示方式を示す図。
【図１８】パララックスバリア方式を用いた表示方式を示す図。
【図１９】レンチキュラー方式を用いた表示方式を示す図。
【符号の説明】
【００７８】
１  画像処理装置
２  操作部
３  表示部
４  記憶装置
５  外部インターフェイス
６  制御部
７  ＣＧ・ＣＡＤ作成装置
８  撮像装置
９  印刷装置
１００  画像生成システム
【図１】
2006203668.tif 000003
【図２】
2006203668.tif 000004
【図３】
2006203668.tif 000005
【図４】
2006203668.tif 000006
【図５】
2006203668.tif 000007
【図６】
2006203668.tif 000008
【図７】
2006203668.tif 000009
【図８】
2006203668.tif 000010
【図９】
2006203668.tif 000011
【図１０】
2006203668.tif 000012
【図１１】
2006203668.tif 000013
【図１２】
2006203668.tif 000014
【図１３】
2006203668.tif 000015
【図１４】
2006203668.tif 000016
【図１５】
2006203668.tif 000017
【図１６】
2006203668.tif 000018
【図１７】
2006203668.tif 000019
【図１８】
2006203668.tif 000020
【図１９】
2006203668.tif 000021