(57)【特許請求の範囲】
【請求項１】
それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部と、
上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部と、
上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部と、
上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記画像入力部が入力する２次元画像は撮影画角を含む撮影条件情報を付帯し、
上記距離推測部は、上記複数の影部分の位置関係に加え、上記撮影条件情報に含まれる撮影画角の情報を参照して対応する被写体部分までの距離を推測する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記距離推測部は、複数の影部分それぞれの最も対応する被写体寄りの位置間の関係によって、対応する被写体部分までの距離を推測することを特徴とする請求項１記載の画像処理装置。
【請求項４】
それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力工程と、
上記画像入力工程で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出工程と、
上記抽出工程で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測工程と、
上記距離推測工程で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成工程と
を有したことを特徴とする画像処理方法。
【請求項５】
それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部と、
上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部と、
上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部と、
上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部と、
上記画像作成部で作成した左右両眼用の画像を投影する投影部と
を具備したことを特徴とする投影装置。
【請求項６】
上記投影部が画像を投影する被投影対象までの距離を取得する距離取得部をさらに具備し、
上記画像作成部は、上記距離推測部で得た距離と上記距離取得部で取得した距離とに基づいて該当部分をずらした左右両眼用の画像を作成する
ことを特徴とする請求項５記載の投影装置。
【請求項７】
画像処理装置が内蔵したコンピュータが実行するプログラムであって、
当該プログラムを、
それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部、
上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部、
上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部、及び
上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像から３次元画像を作成する画像処理装置、画像処理方法、投影装置及びプログラムに関する。
【背景技術】
【０００２】
２次元画像から違和感のない３次元画像を作成するべく、例えば２次元画像の水平方向の輪郭成分を検出し、検出した輪郭成分の水平方向の最大点に応じて左目用画像と右目用画像とを作成するようにした技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３２０１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術では、矩形の画像中の位置に応じて仮想の奥行き位置を設定し、あるいは画像の水平方向の輪郭成分を検出することで画像中の被写体に対する距離を設定して左目用画像と右目用画像との作成するようにしている。
【０００５】
しかしながら、実際に撮影される多くの画像では、予めパターン化された構図以外の構図で撮影されるものや、ピントがあっているが明確な距離感のある水平方向の輪郭成分が得られないようなものが多々あると思われる。したがって、画像中の位置等により設定する奥行き位置あるいは輪郭部分の距離の内容が正しいとは限らず、却って違和感のある３次元画像となる可能性も考えられる。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、すでにある２次元画像から、違和感がなく、より自然な立体感の描写となる３次元画像を作成することが可能な画像処理装置、画像処理方法、投影装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、画像処理装置であって、それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部と、上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部と、上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部と、上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部とを具備したことを特徴とする。
【０００８】
請求項２記載の発明は、上記請求項１記載の発明において、上記画像入力部が入力する２次元画像は撮影画角を含む撮影条件情報を付帯し、上記距離推測部は、上記複数の影部分の位置関係に加え、上記撮影条件情報に含まれる撮影画角の情報を参照して対応する被写体部分までの距離を推測することを特徴とする。
【０００９】
請求項３記載の発明は、上記請求項１記載の発明において、上記距離推測部は、複数の影部分それぞれの最も対応する被写体寄りの位置間の関係によって、対応する被写体部分までの距離を推測することを特徴とする。
【００１０】
請求項４記載の発明は、画像処理方法であって、それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力工程と、上記画像入力工程で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出工程と、上記抽出工程で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測工程と、上記距離推測工程で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成工程とを有したことを特徴とする。
【００１１】
請求項５記載の発明は、投影装置であって、それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部と、上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部と、上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部と、上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部と、上記画像作成部で作成した左右両眼用の画像を投影する投影部とを具備したことを特徴とする。
【００１２】
請求項６記載の発明は、上記請求項５記載の発明において、上記投影部が画像を投影する被投影対象までの距離を取得する距離取得部をさらに具備し、上記画像作成部は、上記距離推測部で得た距離と上記距離取得部で取得した距離とに基づいて該当部分をずらした左右両眼用の画像を作成することを特徴とする。
【００１３】
請求項７記載の発明は、画像処理装置が内蔵したコンピュータが実行するプログラムであって、当該プログラムを、それぞれ影を含んだ複数の被写体が写り込んでいる２次元画像を入力する画像入力部、上記画像入力部で入力した２次元画像中の被写体部分及びその影部分を抽出する抽出部、上記抽出部で抽出した複数の影部分の対応する被写体部分から最も近い位置から画像下辺までの距離に応じて被写体部分までの距離を推測する距離推測部、及び上記距離推測部で得た距離に基づいて該当被写体部分と影部分をそれぞれずらした左右両眼用の画像を作成する画像作成部として機能させる。
【発明の効果】
【００１４】
本発明によれば、すでにある２次元画像中の複数の被写体がそれぞれ影と共に写り込んでいる場合に、上記各被写体の位置関係を再現し、違和感がなく、より自然な立体感の描写となる３次元画像を作成することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係るデータプロジェクタ装置の機能回路の構成を示すブロック図。
【図２】同実施形態に係る２次元の静止画像データを用いた立体画像投影の処理内容を示すフローチャート。
【図３】同実施形態に係る静止画像の一例を示す図。
【図４】同実施形態に係る静止画像の一例を示す図。
【図５】同実施形態に係る被写体の撮影距離ｐと、係数ｋ、撮影画角、及び画像下辺からの距離Ｄとの関係を示す図。
【図６】同実施形態に係る遠近感を付与するための、視差に基づくずらし量の概念を説明する図。
【図７】同実施形態に係る液晶シャッタ眼鏡方式における各投影タイミングを示すタイミングチャート。
【発明を実施するための形態】
【００１６】
以下本発明を、立体画像の投影を行なう、ＤＬＰ（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式のデータプロジェクタ装置に適用した場合の一実施形態について図面を参照して説明する。
【００１７】
なお、立体画像の投影に関しては、例えば液晶シャッタ眼鏡方式の画像を作成するものとする。この液晶シャッタ眼鏡方式は、フィールドシーケンシャル方式、アクティブ・ステレオ方式とも呼称され、１フレーム分の画像を２フィールドに分けて投影するもので、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。
【００１８】
例えば、可視光範囲を外れた赤外光を第１フィールドにのみ画像に重畳して投影させる。この投影に対してユーザが、液晶シャッタ眼鏡を装着する。該液晶シャッタ眼鏡側では、上記赤外光をセンサで検出して、第１フィールドでは右目側を、第２フィールドでは左目側をシャッタ動作する。したがってユーザは、意識せずに左目では左目用の画像のみを、右目では右目用画像のみを分離して見ることができる。
【００１９】
なお、液晶シャッタ眼鏡方式で使用する液晶シャッタ眼鏡自体は、市販の３Ｄテレビ受像機用のものがそのまま使用可能であるものとし、本実施形態では特に構成や動作等については説明を省略する。
【００２０】
図１は、本実施形態に係るデータプロジェクタ装置１０の機能回路の概略構成を示すブロック図である。  
符号１１は入力部である。この入力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）規格の画像／音声入力端子、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタを介して、有線接続される外部機器からのアナログ値の画像信号及び音声信号を入力し、フロントエンド処理としてＡ／Ｄ変換、その他所定の処理を施してデジタル化する。
【００２１】
入力部１１で入力してデジタル化した各種規格の画像信号は、システムバスＳＢを介して投影画像処理部１２に送られる。
【００２２】
投影画像処理部１２は、入力される画像信号を投影に適した所定のフォーマットの画像信号に統一し、表示用のビデオメモリ１３に適宜書込んだ後に、書込んだ画像信号をビデオメモリ１３から読出して投影画像駆動部１４へ送る。
【００２３】
この際、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボルやガイドメッセージ等のキャラクタデータも、必要に応じて投影画像処理部１２によりビデオメモリ１３で画像信号に重畳加工され、加工後の画像信号が読出されて投影画像駆動部１４へ送られる。
【００２４】
投影画像駆動部１４は、送られてきた画像信号に応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、空間的光変調素子（ＳＬＭ）であるマイクロミラー素子１５を表示駆動する。
【００２５】
このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＸＧＡ（横１０２４画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。
【００２６】
一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。この光源部１６からの原色光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。
【００２７】
そして、マイクロミラー素子１５での反射光で光像が形成され、形成された光像が投影レンズユニット１８を介して、投影対象となる図示しないスクリーンに投影表示される。
【００２８】
投影レンズユニット１８は、内部にズームレンズ及びフォーカスレンズを有し、各レンズの移動により投影画角及び合焦位置を可変可能とする。
【００２９】
光源部１６は、赤外光（Ｉｒ）を発する発光ダイオード（以下「Ｉｒ−ＬＥＤ」と称する）１９、赤色（Ｒ）光を発する発光ダイオード（以下「Ｒ−ＬＥＤ」と称する）２０、緑色（Ｇ）光を発する発光ダイオード（以下「Ｇ−ＬＥＤ」と称する）２１、及び青色（Ｂ）光を発する発光ダイオード（以下「Ｂ−ＬＥＤ」と称する）２２を有する。
【００３０】
Ｉｒ−ＬＥＤ１９は、他のＲ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２と異なり、立体画像投影時にフィールド単位で点灯／消灯を切り替えて発光駆動される。Ｉｒ−ＬＥＤ１９の発する赤外光は、ダイクロイックミラー２３を透過した後、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。
【００３１】
Ｒ−ＬＥＤ２０の発する赤色光は、ダイクロイックミラー２５で反射された後、上記ダイクロイックミラー２３でも反射され、インテグレータ２４で輝度分布が略均一な光束とされた後に上記ミラー１７へ送られる。
【００３２】
Ｇ−ＬＥＤ２１の発する緑色光は、ダイクロイックミラー２６で反射された後、上記ダイクロイックミラー２５を透過し、それから上記ダイクロイックミラー２３でも反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。
【００３３】
Ｂ−ＬＥＤ２２の発する青色光は、ミラー２７で反射された後に上記ダイクロイックミラー２６，２５を透過し、その後に上記ダイクロイックミラー２３で反射され、上記インテグレータ２４を介して上記ミラー１７へ送られる。  
上記ダイクロイックミラー２３は、赤外光を透過する一方で、赤色光、緑色光及び青色光を反射する。上記ダイクロイックミラー２５は、赤色光を反射する一方で、緑色光及び青色光を透過する。上記ダイクロイックミラー２６は、緑色光を反射する一方で、青色光を透過する。
【００３４】
光源部１６の各ＬＥＤ１９〜２２の発光タイミングや駆動信号の波形等を投影光駆動部２８が統括して制御する。投影光駆動部２８は、上記投影画像駆動部１４から与えられる画像データのタイミングと後述するＣＰＵ２９の制御に応じて上記ＬＥＤ１９〜２２の発光動作を制御する。
【００３５】
上記各回路の動作すべてをＣＰＵ２９が制御する。このＣＰＵ２９は、メインメモリ３０及びプログラムメモリ３１と直接接続される。メインメモリ３０は、ＤＲＡＭで構成され、ＣＰＵ２９のワークメモリとして機能する。プログラムメモリ３１は、電気的書換可能な不揮発性メモリで構成され、ＣＰＵ２９が実行する動作プログラムや各種定型データ等を記憶する。
【００３６】
ＣＰＵ２９は、上記プログラムメモリ３１に記憶されている動作プログラムや各種定型データ等を読出し、メインメモリ３０に展開して記憶させた上で当該プログラムを実行することにより、このデータプロジェクタ装置１０を統括して制御する。
【００３７】
上記ＣＰＵ２９は、操作部３２からのキー操作信号に応じて各種投影動作を実行する。  
この操作部３２は、データプロジェクタ装置１０の本体に設けられるキー操作部と、このデータプロジェクタ装置１０専用の図示しないリモートコントローラからの赤外光を受光するレーザ受光部とを含む。操作部３２は、ユーザが本体のキー操作部またはリモートコントローラで操作したキーに基づくキー操作信号をＣＰＵ２９へ直接出力する。
【００３８】
本体のキー操作部またはリモートコントローラには、具体的には、電源キー、入力切換キー、フォーカス・アップ／ダウン・キー、ズーム・アップ／ダウン・キー、メニューキー、カーソル（「↑」「↓」「←」「→」）キー、セットキー、キャンセルキー、台形補正キー等が備えられる。
【００３９】
上記ＣＰＵ２９はさらに、上記システムバスＳＢを介して画像メモリ３３、画像加工部３４、及び音声処理部３５と接続される。  
画像メモリ３３は、上記入力部１１を介して送られてきた各種画像データを複数記憶可能な記憶容量を有する。画像加工部３４は、ＣＰＵ２９の制御の下に、画像メモリ３３に記憶される画像データに対する、立体画像投影用のデータ作成を含む画像加工処理を行なう。
【００４０】
音声処理部３５は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部３６を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。
【００４１】
次に上記実施形態の動作について説明する。  
なお、上述した如く、マイクロミラー素子１５で表示する画像を投影画像処理部１２がビデオメモリ１３を用いて作成し、作成した画像を投影画像駆動部１４がマイクロミラー素子１５で表示し、マイクロミラー素子１５での表示に合わせてＬＥＤ１９〜２２を投影光駆動部２８が発光駆動する。
【００４２】
これら投影画像処理部１２、ビデオメモリ１３、投影画像駆動部１４、及び投影光駆動部２８は、いずれもＣＰＵ２９の制御の下に動作する。ＣＰＵ２９は、以下に示す処理も含め、プログラムメモリ３１に記憶されている動作プログラムや固定データ等を読出し、メインメモリ３０に展開した上で制御処理を実行する。  
また、画像メモリ３３が記憶する画像データに対する立体画像データ化するための各種処理は、ＣＰＵ２９の制御の下に画像加工部３４が実行する。
【００４３】
図２は、入力部１１から入力され、画像メモリ３３に記憶された複数の２次元の静止画像データ及び動画像データを用いて、立体画像の投影を行なう場合の一連の処理内容を示すフローチャートである。
【００４４】
その処理当初には、画像メモリ３３に記憶される複数の静止画像データ中から、背景となる静止画像データがユーザにより選択されるのを受付ける（ステップＳ１０１）。
【００４５】
この場合、例えば画像メモリ３３に記憶されるすべての静止画像データのサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。
【００４６】
この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像を背景画像に決定する。  
次いで、同じく画像メモリ３３に記憶される複数の動画像データ中から、上記背景の画像上に重ねて投影する被写体のパーツ画像がユーザにより選択されるのを受付ける（ステップＳ１０２）。
【００４７】
この場合、画像メモリ３３に記憶されるすべての動画像データの各先頭に位置する静止画像を用いてサムネイル画像を作成し、それらの一覧画像を作成した上で、そのいずれかを選択するようなガイドメッセージを添えて投影する。
【００４８】
この投影内容に対してユーザが操作部３２でカーソルキーを操作すると、その操作内容に応じて一覧画像中の選択画像の位置を可変し、セットキーが操作された時点で選択されている画像をパーツ画像に決定する。
【００４９】
こうして背景の静止画像とそれに合成するためのパーツとなる動画像の選択を終えると、次に背景として選択した静止画像データに対し、画像中の被写体とその影部分をそれぞれ抽出する（ステップＳ１０３）。
【００５０】
被写体部分を抽出するに当たっては、例えば画像の輪郭抽出等の処理を行なって、周囲画像から輪郭で囲まれた領域の形状をパターン認識した上で切出すことにより実行される。  
また、被写体に対する影部分を抽出するに当たっては、Ｒ，Ｇ，Ｂの各色成分画像に分解した後に影領域（光源からの光が直接当たっていない領域）の抽出と非影領域との境界（影境界）の抽出処理とを行ない、各抽出結果から影部分を認識する。この影部分の認識処理に関しては、例えば特開平２００７−２７２２９２号公報に記載されているように公知の技術であるため、その詳細については説明を省略する。
【００５１】
次いで、直前のステップＳ１０３で抽出した影部分についてのみ注目し（ステップＳ１０４）、被写体部分と対応して抽出できた影部分の数が複数あるか否かにより、被写体部分と共に写り込んでいる影部分が複数あるか否かを判断する（ステップＳ１０５）。
【００５２】
ここで、被写体部分と対応して抽出できた影部分が複数あると判断した場合には、次に上記投影レンズユニット１８を構成する複数の光学レンズ中、その時点のフォーカスレンズの駆動位置から、合焦位置にある筈のスクリーンまでの距離を、図示しないレンズ駆動モータとその回動位置を検出するロータリエンコーダ等により検出する（ステップＳ１０６）。
【００５３】
そして、上記ステップＳ１０４で抽出した複数の影部分の前後、奥行きの位置関係を判定する（ステップＳ１０７）。  
図３は、複数の人物が被写体として写り込んだ静止画像の第１の例を示す。同図では、影を伴ういくつかの被写体としての人物が写り込んでいる。そのうちの例えば人物Ｓ１１，Ｓ１２に着目すると、抽出した影部分Ｈ１１，Ｈ１２について、それぞれ被写体との至近ポイントＰ１１，Ｐ１２を求める。そして、該至近ポイントＰ１１，Ｐ１２から画像下辺までの距離Ｄ１１，Ｄ１２を求める。
【００５４】
このように画像下辺からの距離Ｄの値がより大きい方が、より短いものに比して奥行きの関係でより遠くに位置しているものと推測する。この場合、上記距離Ｄ１１，Ｄ１２は、当該距離に対する画素数の、この静止画像データの縦方向の画像サイズ（画素数）に対する比で表すものとしても良い。
【００５５】
また図４は、主に二人の人物が被写体として写り込んだ静止画像の第２の例を示す。同図で影を伴う二人の人物Ｓ２１，Ｓ２２に着目すると、影部分Ｈ２１，Ｈ２２が抽出できる。この場合、人物Ｓ２２はジャンプした状態であり、影部分Ｈ２２とは離れている。
【００５６】
これら影部分Ｈ２１，Ｈ２２のそれぞれについて、それぞれ対応する被写体との至近ポイントＰ２１，Ｐ２２を求める。そして、該至近ポイントＰ２１，Ｐ２２から画像下辺までの距離Ｄ２１，Ｄ２２を求める。
【００５７】
次に、この静止画像データに撮影条件情報が付加されているか否かを判断する（ステップＳ１０８）。
【００５８】
通常、静止画像データがＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）規格に準拠したものであれば、撮影日やシャッタ速度、絞り値等と共に、撮影時の焦点距離、撮像素子のサイズの各情報が撮影条件情報として付帯されており、これらの情報から撮影画角を算出することができる。
【００５９】
したがって、上記ステップＳ１０８で静止画像データに撮影条件情報が付加されていると判断した場合には、画像中の各被写体の奥行き位置に対応した前後関係で、影にリンクした被写体の３次元画像におけるずらし量を、撮影画角を考慮して決定する（ステップＳ１０９）。
【００６０】
図５は、各被写体の撮影距離ｐと、係数ｋ、撮影画角、及び上記画像下辺からの距離Ｄとの関係を示す図である。この図に示す関係に基づいて被写体までの距離ｐを推測した上で、その距離ｐに応じたずらし量を決定する。
【００６１】
被写体Ｓの大きさが変化しない場合、被写体までの距離と見た目での大きさは反比例する。よって、被写体までの距離をｓ、拡大率をｒとした場合に、被写体までの距離ｐをｓ／ｒとして算出した上で、算出した距離ｐから、左右の目それぞれのずらし量を算出する。
【００６２】
図６は、背景画像の位置を投影対象のスクリーンＳＣの位置とした場合の、被写体Ｓの位置に応じた表現を説明する。  
図６（Ａ）は、スクリーンＳＣより遠くにある被写体Ｓの表現を示す。図６（Ｂ）は、スクリーンＳＣより近くにある被写体Ｓの表現を示す。
【００６３】
右目用画像を右に、左目用画像を左にずらす場合を正の値とし、右目用画像を左に、左目用画像を右にずらす場合を負の値とすると、ずらし量は次式で表される。すなわち、  
ｗ＝ｄ・(１−(ｓ／ｐ))                    …(1)   
（但し、ｗ：ずらし量、  
ｄ：左右の目の中心位置の間隔、  
ｓ：スクリーンまでの距離、  
ｐ：被写体までの距離。）  
上記式（１）中、スクリーンＳＣまでの距離ｓは、上記ステップＳ１０６で取得済みである。
【００６４】
また、上記ステップＳ１０８で静止画像データに撮影条件情報が付加されていないと判断した場合には、画像中の各被写体の奥行き位置に対応した前後関係で、影にリンクした被写体の３次元画像におけるずらし量を、撮影画角を考慮せずに決定する（ステップＳ１１０）。
【００６５】
こうして算出した各ずらし量に基づいて、さらに上記ステップＳ１０２で選択したパーツ画像としての動画像データを合成するようにして左右各目用の動画像を作成する（ステップＳ１１１）。
【００６６】
このように作成された左目用画像と右目用画像からなる動画像データを、上述した液晶シャッタ眼鏡方式で定められているフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶する（ステップＳ１１２）。
【００６７】
次いで、この画像メモリ３３に記憶した左目用画像と右目用画像の各動画像データに基づいて液晶シャッタ眼鏡方式による立体画像の投影を実行し（ステップＳ１１３）、以上で画像データの選択から選択した画像データに基づく立体画像の投影までの一連の処理を終了する。
【００６８】
図７は、液晶シャッタ眼鏡方式における各投影タイミングを示す。上述した如く液晶シャッタ眼鏡方式では、１フレーム分の画像を２フィールドに分け、第１フィールドで左目用画像を、第２フィールドで右目用画像を投影する。
【００６９】
図７（Ａ）は、１フレーム２フィールド中の第１フィールドのみ点灯するＩｒ−ＬＥＤ１９の発光駆動波形を示す。このＩｒ−ＬＥＤ１９の発する赤外光が画像光に重畳されて投影レンズユニット１８より出射されることで、ユーザの使用する液晶シャッタ眼鏡（図示せず）側に設けられた赤外線センサがその赤外線を検出し、左目用画像と右目用画像の切換えが行なわれる。
【００７０】
Ｒ−ＬＥＤ２０、Ｇ−ＬＥＤ２１、及びＢ−ＬＥＤ２２は、図７（Ｂ）〜図７（Ｄ）に示すように各フィールド内において時分割で順次発光する。
【００７１】
これら原色ＬＥＤ２０〜２２の発光に同期してマイクロミラー素子１５で図７（Ｅ）に示すように第１フィールドで左目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を、第２フィールドで右目用の赤色（Ｒ）画像、緑色（Ｇ）画像、及び青色（Ｂ）画像を循環的に表示することで、それらの各反射光により光像が形成され、投影レンズユニット１８によってスクリーンＳＣに投影される。
【００７２】
また、上記ステップＳ１０５で被写体部分と共に写り込んでいる影部分が複数ないと判断した場合には、背景となる静止画像中の各被写体に対する立体的な投影は行なわないものとして、そのまま上記ステップＳ１１１に進み、上記ステップＳ１０２で選択したパーツ画像としての動画像データを単に合成するようにして動画像を作成する。
【００７３】
そして、作成した動画像データを、再生用のフォーマットに従って画像加工部３４で画像データ化し、画像メモリ３３に記憶する（ステップＳ１１２）。
【００７４】
次いで、この画像メモリ３３に記憶した動画像データに基づいて投影を実行し（ステップＳ１１３）、以上で画像データの選択から選択した画像データに基づく合成動画像の投影までの一連の処理を終了する。
【００７５】
以上詳述した如く本実施形態によれば、すでにある２次元画像中の複数の被写体がそれぞれ影と共に写り込んでいる場合に、上記各被写体の位置関係を再現し、違和感がなく、より自然な立体感の描写となる３次元画像を作成することが可能となる。
【００７６】
加えて上記実施形態では、静止画像データが撮影画角を含む撮影条件情報を付帯している場合に、撮影画角も考慮して被写体までの距離を推測するものとした。これによって、例えば望遠レンズを用いて撮影した静止画像中の被写体の位置を広角レンズを用いて撮影した静止画像中の表示の位置よりも遠くにあるものとして推測するように、被写体までの距離を画角に応じてより正確に推測するものとしたので、遠近感が正確で、より自然な描写での立体画像を投影させることができる。
【００７７】
さらに上記実施形態では、影部分の中で最も対応する被写体よりの位置を基準として距離を推測するものとしたので、順光、逆光等の光源と被写体との方向に影響を受けず、常に正確に被写体の位置関係、撮影距離を正確に推測することができる。
【００７８】
また上記実施形態は、本発明を投影装置に適用した場合について説明し、投影対象のスクリーンまでの距離を取得し、その取得した距離を基準として画像に付与する立体感を調整するものとした。
【００７９】
これにより、投影内容を観賞するユーザにとって画像の立体感がきわめて自然であり、違和感のない描写とすることができる。
【００８０】
なお、上記実施形態では、立体画像の投影方式として液晶シャッタ眼鏡方式を採用した場合について説明したが、本発明はこれに限らず、デュアルストリーム形式、サイドバイサイドフォーマット、トップアンドボトムフォーマット、フィールドシーケンシャルフォーマット、インタレースフォーマット等の立体画像を投影する場合にも同様に対応可能である。
【００８１】
また、上記実施形態はＤＬＰ（登録商標）方式のプロジェクタ装置に適用した場合について述べたが、本発明は投影方式についても限定することなく、透過型のカラー液晶パネルを用いたもの、透過型のモノクロ液晶パネルで光源に複数色の光源を時分割駆動するようにしたもの等、各種適用可能である。
【００８２】
さらには投影装置に限定することなく、立体画像を生成して表示するような各種画像表示機能を有する電子装置、例えばパーソナルコンピュータやテレビ受像機、デジタルカメラ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）プレーヤや電子ブック、携帯電話端末、メディアプレーヤ等でも適用することが可能となる。
【００８３】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００８４】
１０…データプロジェクタ装置、１１…入力部、１２…投影画像処理部、１３…ビデオメモリ、１４…投影画像駆動部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズユニット、１９…Ｉｒ−ＬＥＤ、２０…Ｒ−ＬＥＤ、２１…Ｇ−ＬＥＤ、２２…Ｂ−ＬＥＤ、２３…ダイクロイックミラー、２４…インテグレータ、２５，２６…ダイクロイックミラー、２７…ミラー、２８…投影光駆動部、２９…ＣＰＵ、３０…メインメモリ、３１…プログラムメモリ、３２…操作部、３３…画像メモリ、３４…画像加工部、３５…音声処理部、３６…スピーカ部、ＳＢ…システムバス。
【図１】
0005516199.tif 000002
【図２】
0005516199.tif 000003
【図３】
0005516199.tif 000004
【図４】
0005516199.tif 000005
【図５】
0005516199.tif 000006
【図６】
0005516199.tif 000007
【図７】
0005516199.tif 000008