(57)【要約】【課題】  ユーザの視点に対応して、よりリアルな画像を表示できるようにする。【解決手段】  センサ制御部４１が、各種のセンサからの信号に基づいてユーザの視点と注目点を検出し、被写界深度調整部４２に出力する。被写界深度調整部４２は、予め設定された（または都度指定される）被写界深度と、ユーザの視点に対応する複数の異なる位置から撮像された画像の画像データを画像データベース２から読み出し、画像合成部４３に出力する。画像合成部４３は、被写界深度調整部４２から出力された複数の画像データを合成してディスプレイ６に表示する。本発明は、テレビジョン装置に適用することができる。【選択図】図４
2005227950.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画像処理装置であって、
被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶手段と、
前記画像を観察するユーザの視点の位置を検出する視点位置検出手段と、
前記ユーザの視線の焦点位置を検出する焦点位置検出手段と、
前記ユーザに提示する画像の被写界深度を設定する設定手段と、
前記視点位置検出手段により検出された前記視点の位置、前記焦点位置検出手段により検出された前記焦点位置、および前記設定手段により設定された前記被写界深度に基づいて、前記記憶手段から複数の画像データを読み出す読み出し手段と、
前記読み出し手段により読み出された複数の画像データを合成する合成手段と、
前記合成手段により合成された画像を表示する表示手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記記憶手段に記憶される画像データは、ぼけのない画像の画像データであり、
前記合成手段は、複数のぼけのない画像データに基づいて、前記設定手段により設定された被写界深度に対応するぼけた画像を合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記焦点位置検出手段は、前記ユーザの眼球の回転に基づいて、輻輳角を検出し、前記輻輳角に基づいて前記焦点位置を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記読み出し手段は、前記被写界深度が小さい程、前記記憶手段からより多い数の画像データを読み出す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像を表示する画像処理装置の画像処理方法であって、
被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶ステップと、
前記画像を観察するユーザの視点の位置を検出する視点位置検出ステップと、
前記ユーザの視線の焦点位置を検出する焦点位置検出ステップと、
前記ユーザに提示する画像の被写界深度を設定する設定ステップと、
前記視点位置検出ステップの処理により検出された前記視点の位置、前記焦点位置検出ステップの処理により検出された前記焦点位置、および前記設定ステップの処理により設定された前記被写界深度に基づいて、前記記憶ステップの処理により記憶された画像データの中から複数の画像データを読み出す読み出しステップと、
前記読み出しステップの処理により読み出された複数の画像データを合成する合成ステップと、
前記合成ステップの処理により合成された画像を表示する表示ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
画像を表示する画像処理装置のプログラムであって、
前記画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップと、
前記ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップと、
前記ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップと、
前記視点位置検出制御ステップの処理により検出された前記視点の位置、前記焦点位置検出制御ステップの処理により検出された前記焦点位置、および前記設定制御ステップの処理により設定された前記被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップと、
前記読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップと、
前記合成制御ステップの処理により合成された画像の表示を制御する表示制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
画像を表示する画像処理装置のプログラムが記録されている記録媒体であって、
前記画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップと、
前記ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップと、
前記ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップと、
前記視点位置検出制御ステップの処理により検出された前記視点の位置、前記焦点位置検出制御ステップの処理により検出された前記焦点位置、および前記設定制御ステップの処理により設定された前記被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップと、
前記読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップと、
前記合成制御ステップの処理により合成された画像の表示を制御する表示制御ステップと
をコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
【請求項８】
被写体を移動させる移動手段と、
記移動手段により移動された前記被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像の画像データと、前記移動手段により移動された前記被写体の位置の情報を対応付けて出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項９】
前記移動手段は、前記被写体を予め設定された距離ずつ移動させ、
前記撮像手段は、前記移動手段が前記被写体を移動させる都度、前記被写体の画像を撮像し、前記被写体を複数の位置から撮像する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
被写体を移動させる移動ステップと、
前記移動ステップの処理により移動された前記被写体の画像を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像の画像データと、前記移動ステップの処理により移動された前記被写体の位置の情報を対応付けて出力する出力ステップとを含む
ことを特徴とする画像処理方法。
【請求項１１】
被写体の移動を制御する移動制御ステップと、
前記移動制御ステップの処理により移動された前記被写体の画像の撮像を制御する撮像制御ステップと、
前記撮像制御ステップの処理により撮像された画像の画像データと、前記移動制御ステップの処理により移動された前記被写体の位置の情報を対応付けて出力するように制御する出力制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
被写体の移動を制御する移動制御ステップと、
前記移動制御ステップの処理により移動された前記被写体の画像の撮像を制御する撮像制御ステップと、
前記撮像制御ステップの処理により撮像された画像の画像データと、前記移動制御ステップの処理により移動された前記被写体の位置の情報を対応付けて出力するように制御する出力制御ステップと
をコンピュータに実行させるプログラムが記録されることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特にユーザの視点に対応して、よりリアルな画像を提供することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやＣＧ（ComputerGraphics）などにより得られた画像データを合成する技術が進化している。例えば、ＣＧにより、表示される画像の被写界深度を制御して画像を合成することができるようになった。また、出願人は、ユーザの視点に対応して、その視点から見た実写画像を提供する技術を先に提案した（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００２−１６１８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、実写画像を用いてはいるものの、全ての距離の画像が鮮明に見えてしまうなど、かえって不自然な画像となってしまいリアルな画像を合成することができないという課題があった。また、特許文献１の技術では、ユーザの視界のなかでどの点がフォーカスされているかが考慮されておらず、やはりリアルな画像を提供することができないという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、ユーザの視点に対応して、よりリアルな画像を提供することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の画像処理装置は、画像を表示する画像処理装置であって、被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶手段と、画像を観察するユーザの視点の位置を検出する視点位置検出手段と、ユーザの視線の焦点位置を検出する焦点位置検出手段と、ユーザに提示する画像の被写界深度を設定する設定手段と、視点位置検出手段により検出された視点の位置、焦点位置検出手段により検出された焦点位置、および設定手段により設定された被写界深度に基づいて、記憶手段から複数の画像データを読み出す読み出し手段と、読み出し手段により読み出された複数の画像データを合成する合成手段と、合成手段により合成された画像を表示する表示手段とを備えることを特徴とする。
【０００７】
前記記憶手段に記憶される画像データは、ぼけのない画像の画像データであり、合成手段は、複数のぼけのない画像データに基づいて、設定手段により設定された被写界深度に対応するぼけた画像を合成するようにすることができる。
【０００８】
前記焦点位置検出手段は、ユーザの眼球の回転に基づいて、輻輳角を検出し、輻輳角に基づいて焦点位置を検出するようにすることができる。
【０００９】
前記読み出し手段は、被写界深度が小さい程、記憶手段からより多い数の画像データを読み出すようにすることができる。
【００１０】
本発明の第１の画像処理方法は、画像を表示する画像処理装置の画像処理方法であって、被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶ステップと、画像を観察するユーザの視点の位置を検出する視点位置検出ステップと、ユーザの視線の焦点位置を検出する焦点位置検出ステップと、ユーザに提示する画像の被写界深度を設定する設定ステップと、視点位置検出ステップの処理により検出された視点の位置、焦点位置検出ステップの処理により検出された焦点位置、および設定ステップの処理により設定された被写界深度に基づいて、記憶ステップの処理により記憶された画像データの中から複数の画像データを読み出す読み出しステップと、読み出しステップの処理により読み出された複数の画像データを合成する合成ステップと、合成ステップの処理により合成された画像を表示する表示ステップとを含むことを特徴とする。
【００１１】
本発明の第１のプログラムは、画像を表示する画像処理装置のプログラムであって、画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップと、ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップと、ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップと、視点位置検出制御ステップの処理により検出された視点の位置、焦点位置検出制御ステップの処理により検出された焦点位置、および設定制御ステップの処理により設定された被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップと、読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップと、合成制御ステップの処理により合成された画像の表示を制御する表示制御ステップとをコンピュータに実行させる。
【００１２】
本発明の第１の記録媒体は、画像を表示する画像処理装置のプログラムが記録さている記録媒体であって、画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップと、ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップと、ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップと、視点位置検出制御ステップの処理により検出された視点の位置、焦点位置検出制御ステップの処理により検出された焦点位置、および設定制御ステップの処理により設定された被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップと、読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップと、合成制御ステップの処理により合成された画像の表示を制御する表示制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。
【００１３】
本発明の第１の画像処理装置および方法、並びにプログラムにおいては、被写体を複数の位置において撮像して得られた複数の画像の画像データが、その画像が撮像された位置の情報とともに記憶され、画像を観察するユーザの視点の位置、および焦点位置、ならびにユーザに提示する画像の被写界深度に基づいて、記憶された画像データの中から複数の画像データが読み出され、読み出された複数の画像データが合成され、合成された画像が表示される。
【００１４】
本発明の第２の画像処理装置は、被写体を移動させる移動手段と、移動手段により移動された被写体の画像を撮像する撮像手段と、撮像手段により撮像された画像の画像データと、移動手段により移動された被写体の位置の情報を対応付けて出力する出力手段とを備えることを特徴とする。
【００１５】
前記移動手段は、被写体を予め設定された距離ずつ移動させ、撮像手段は、移動手段が被写体を移動させる都度、被写体の画像を撮像し、被写体を複数の位置から撮像するようにすることができる。
【００１６】
本発明の第２の画像処理方法は、被写体を移動させる移動ステップと、移動ステップの処理により移動された被写体の画像を撮像する撮像ステップと、撮像ステップの処理により撮像された画像の画像データと、移動ステップの処理により移動された被写体の位置の情報を対応付けて出力する出力ステップとを含むことを特徴とする。
【００１７】
本発明の第２のプログラムは、被写体の移動を制御する移動制御ステップと、移動制御ステップの処理により移動された被写体の画像の撮像を制御する撮像制御ステップと、撮像制御ステップの処理により撮像された画像の画像データと、移動制御ステップの処理により移動された被写体の位置の情報を対応付けて出力するように制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００１８】
本発明の第２の記録媒体は、被写体の移動を制御する移動制御ステップと、移動制御ステップの処理により移動された被写体の画像の撮像を制御する撮像制御ステップと、撮像制御ステップの処理により撮像された画像の画像データと、移動制御ステップの処理により移動された被写体の位置の情報を対応付けて出力するように制御する出力制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。
【００１９】
本発明の第２の画像処理装置および方法、並びにプログラムにおいては、被写体が移動されつつ、その画像が撮像され、撮像された画像の画像データと、被写体の位置の情報が対応付けられて出力される。
【発明の効果】
【００２０】
本発明によれば、リアルな画像を提供することができる。特に、ユーザの視点に対応して、よりリアルな画像を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２２】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。
【００２３】
請求項１に記載の画像処理装置は、画像を表示する画像処理装置（例えば、図１の画像処理装置１）であって、被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶手段（例えば、図１の画像データベース２）と、前記画像を観察するユーザの視点の位置を検出する視点位置検出手段（例えば、図１のレシーバ４とトランスミッタ５）と、前記ユーザの視線の焦点位置を検出する焦点位置検出手段（例えば、図１の焦点位置センサ３）と、前記ユーザに提示する画像の被写界深度を設定する設定手段（例えば、図２の入力部１７）と、前記視点位置検出手段により検出された前記視点の位置、前記焦点位置検出手段により検出された前記焦点位置、および前記設定手段により設定された前記被写界深度に基づいて、前記記憶手段から複数の画像データを読み出す読み出し手段（例えば、図４の被写界深度調整部４２）と、前記読み出し手段により読み出された複数の画像データを合成する合成手段（例えば、図４の画像合成部４３）と、前記合成手段により合成された画像（例えば、図２１の画像３０１）を表示する表示手段（例えば、図１のディスプレイ６）とを備える。
【００２４】
請求項２に記載の画像処理装置は、前記記憶手段に記憶される画像データが、ぼけのない画像（例えば、パンフォーカスの画像）の画像データであり、前記合成手段は、複数のぼけのない画像データに基づいて、前記設定手段により設定された被写界深度に対応するぼけた画像を合成するようにすることができる。
【００２５】
請求項３に記載の画像処理装置は、前記焦点位置検出手段が、前記ユーザの眼球の回転に基づいて、輻輳角（例えば、図１４の輻輳角α）を検出し、前記輻輳角に基づいて前記焦点位置を検出するようにすることができる。
【００２６】
請求項４に記載の画像処理装置は、前記読み出し手段が、前記被写界深度が小さい場合、前記記憶手段から比較的多い数の画像データ（例えば、図２１の画像２８１A乃至２８１E）を読み出し、前記被写界深度が大きい場合、前記記憶手段から比較的少ない数の画像データ（例えば、図２３の画像２８１Ｂ乃至２８１Ｄ）を読み出すようにすることができる。
【００２７】
請求項５に記載の画像処理方法は、画像を表示する画像処理装置（例えば、図１の画像処理装置１）の画像処理方法であって、被写体を複数の位置において撮像して得られた複数の画像の画像データを、その画像が撮像された位置の情報とともに記憶する記憶ステップ（例えば、図９のステップＳ１３）と、前記画像を観察するユーザの視点の位置を検出する視点位置検出ステップ（例えば、図１２のステップＳ３１）と、前記ユーザの視線の焦点位置を検出する焦点位置検出ステップ（例えば、図１３のステップＳ５１）と、前記ユーザに提示する画像の被写界深度を設定する設定ステップ（例えば、図１３のステップＳ５２）と、前記視点位置検出ステップの処理により検出された前記視点の位置、前記焦点位置検出ステップの処理により検出された前記焦点位置、および前記設定ステップの処理により設定された前記被写界深度に基づいて、前記記憶ステップの処理により記憶された画像データの中から複数の画像データを読み出す読み出しステップ（例えば、図１３のステップＳ５３）と、前記読み出しステップの処理により読み出された複数の画像データを合成する合成ステップ（例えば、図２０のステップＳ７２）と、前記合成ステップの処理により合成された画像（例えば、図２１の画像３０１）を表示する表示ステップ（例えば、図２０のステップＳ７３）とを含む。
【００２８】
請求項６に記載のプログラムは、画像を表示する画像処理装置（例えば、図１の画像処理装置１）のプログラムであって、前記画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップ（例えば、図１２のステップＳ３１）と、前記ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップ（例えば、図１３のステップＳ５１）と、前記ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップ（例えば、図１３のステップＳ５２）と、前記視点位置検出制御ステップの処理により検出された前記視点の位置、前記焦点位置検出制御ステップの処理により検出された前記焦点位置、および前記設定制御ステップの処理により設定された前記被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている（例えば、図９のステップＳ１３の処理により記憶されている）画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップ（例えば、図１３のステップＳ５３）と、前記読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップ（例えば、図２０のステップＳ７２）と、前記合成制御ステップの処理により合成された画像（例えば、図２１の画像３０１）の表示を制御する表示制御ステップ（例えば、図２０のステップＳ７３）とをコンピュータに実行させる。
【００２９】
請求項７に記載の記録媒体は、画像を表示する画像処理装置（例えば、図１の画像処理装置１）のプログラムが記録されている記録媒体であって、前記画像を観察するユーザの視点の位置の検出を制御する視点位置検出制御ステップ（例えば、図１２のステップＳ３１）と、前記ユーザの視線の焦点位置の検出を制御する焦点位置検出制御ステップ（例えば、図１３のステップＳ５１）と、前記ユーザに提示する画像の被写界深度の設定を制御する設定制御ステップ（例えば、図１３のステップＳ５２）と、前記視点位置検出制御ステップの処理により検出された前記視点の位置、前記焦点位置検出制御ステップの処理により検出された前記焦点位置、および前記設定制御ステップの処理により設定された前記被写界深度に基づいて、被写体を複数の位置において撮像して得られた複数の画像の画像データであって、その画像が撮像された位置の情報とともに記憶されている（例えば、図９のステップＳ１３の処理により記憶されている）画像データの中から複数の画像データを読み出すように制御する読み出し制御ステップ（例えば、図１３のステップＳ５３）と、前記読み出し制御ステップの処理により読み出された複数の画像データの合成を制御する合成制御ステップ（例えば、図２０のステップＳ７２）と、前記合成制御ステップの処理により合成された画像（例えば、図２１の画像３０１）の表示を制御する表示制御ステップ（例えば、図２０のステップＳ７３）とをコンピュータに実行させるプログラムが記録されている。
【００３０】
請求項８に記載の画像処理装置（例えば、図６の画像データ生成装置８０）は、被写体を移動させる移動手段（例えば、図６の駆動機構８３）と、記移動手段により移動された前記被写体の画像を撮像する撮像手段（例えば、図６のカメラ８１）と、前記撮像手段により撮像された画像の画像データと、前記移動手段により移動された前記被写体の位置の情報を対応付けて出力する出力手段（例えば、図６の多重化部８６）とを備える。
【００３１】
請求項９に記載の画像処理装置は、前記移動手段は、前記被写体を予め設定された距離ずつ移動させ（例えば、図７または図８に示すように移動させ）、前記撮像手段は、前記移動手段が前記被写体を移動させる都度、前記被写体の画像を撮像し、前記被写体を複数の位置から撮像するようにすることができる。
【００３２】
請求項１０に記載の画像処理方法は、被写体を移動させる移動ステップ（例えば、図９のステップS１１）と、前記移動ステップの処理により移動された前記被写体の画像を撮像する撮像ステップ（例えば、図９のステップS１２）と、前記撮像ステップの処理により撮像された画像の画像データと、前記移動ステップの処理により移動された前記被写体の位置の情報を対応付けて出力する出力ステップ（例えば、図９のステップS１３）とを含む。
【００３３】
請求項１１に記載のプログラムは、被写体の移動を制御する移動制御ステップ（例えば、図９のステップS１１）と、前記移動制御ステップの処理により移動された前記被写体の画像の撮像を制御する撮像制御ステップ（例えば、図９のステップS１２）と、前記撮像制御ステップの処理により撮像された画像の画像データと、前記移動制御ステップの処理により移動された前記被写体の位置の情報を対応付けて出力するように制御する出力制御ステップ（例えば、図９のステップS１３）とをコンピュータに実行させる。
【００３４】
請求項１２に記載の記録媒体は、被写体の移動を制御する移動制御ステップ（例えば、図９のステップS１１）と、前記移動制御ステップの処理により移動された前記被写体の画像の撮像を制御する撮像制御ステップ（例えば、図９のステップS１２）と、前記撮像制御ステップの処理により撮像された画像の画像データと、前記移動制御ステップの処理により移動された前記被写体の位置の情報を対応付けて出力するように制御する出力制御ステップ（例えば、図９のステップS１３）とをコンピュータに実行させるプログラムが記録される。
【００３５】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。この画像処理装置１のコンピュータ７は、例えば、ワークステーションであり、コンピュータ７は、位置センサとしてのレシーバ４およびトランスミッタ５を制御し、レシーバ４の出力に基づいて、ユーザの位置（さらには、必要に応じて姿勢）を検出する。さらに、コンピュータ７は、焦点位置センサ３の出力に基づいて、ユーザの視線に対応する焦点位置を検出する。
【００３６】
コンピュータ７は、レシーバ４、およびトランスミッタ５の出力に基づくユーザの位置を、ユーザの視点の位置として設定し、ユーザの視線に対応する焦点位置と、ユーザの視点の位置に基づいて、画像データベース２に記憶された画像データを合成し、提示用画像データに変換する。そして、コンピュータ７は、提示用画像データを、ディスプレイ６に供給して表示させる。
【００３７】
画像データベース２は、図７乃至図９を参照して後述するように、カメラ等の撮像装置を有する画像データ生成装置により、複数の位置から被写体を撮像した画像の画像データを記憶している。
【００３８】
焦点位置センサ３は、ユーザに装着されており、ユーザの眼球の動きを検知して、図１４を参照して後述する輻輳角を算出することにより、ユーザの視線に対応する注目点（焦点位置）を検出する。
【００３９】
レシーバ４は、ユーザに装着されており、トランスミッタ５が発生する磁界を検知し、その磁界の強度を、コンピュータ７に供給する。トランスミッタ５は、コンピュータ７の制御にしたがい、磁界を発生する。即ち、図１の実施の形態では、レシーバ４およびトランスミッタ５は、位置センサとしての磁界センサを構成しており、レシーバ４が、トランスミッタが発生する磁界の強度を計測することにより、レシーバ４の位置、ひいては、ユーザの位置が検出されるようになっている。
【００４０】
焦点位置センサ３とレシーバ４は、例えば、ユーザの頭部に装着される。また、ユーザが、眼鏡をかけている場合には、焦点位置センサ３とレシーバ４は、眼鏡のフレームに装着することができる。
【００４１】
位置センサとしては、磁界センサの他、機械リンク式の位置計測装置（例えば、３次元ディジタイザなど）を採用することも可能である。さらに、位置センサとして、ジョイスティックやトラックボールなどの、ユーザの位置の変化を入力することのできる装置を採用することも可能である。即ち、位置センサは、実際のユーザの位置を検知する装置である必要はなく、仮想的なユーザの位置を入力することができる装置であってもよい。
【００４２】
ディスプレイ６は、例えば、ＣＲＴや液晶パネルなどで構成され、コンピュータ７から供給される提示用画像データを表示する。ディスプレイ６としては、ＣＲＴや液晶パネル以外に、例えば、プロジェクタやＨＭＤ(Head Mount Display)、その他の画像を表示することのできる装置を採用することが可能である。
【００４３】
図２は、図１のコンピュータ７のハードウェア構成例を示すブロック図である。
【００４４】
コンピュータ７は、CPU(Central Processing Unit)１２を内蔵している。CPU１２には、バス１１を介して、入出力インタフェース２０が接続されており、CPU１２は、入出力インタフェース２０を介して、ユーザによって、キーボード、マウス、マイク等で構成される入力部１７が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１３に格納されているプログラムを実行する。あるいは、また、CPU１２は、ハードディスク１５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１８で受信されてハードディスク１５にインストールされたプログラム、またはドライブ１９に装着されたリムーバブル記録媒体２１から読み出されてハードディスク１５にインストールされたプログラムを、RAM(Random Access Memory)１４にロードして実行する。
【００４５】
CPU１２は、各種の処理結果を、必要に応じて、例えば、入出力インタフェース２０を介して、スピーカ等で構成される出力部１６から出力、あるいは、通信部１８から送信、さらには、ハードディスク１５に記録等させる。
【００４６】
なお、図２の実施の形態では、入出力インタフェース２０に、画像データベース２、焦点位置センサ３、レシーバ４、トランスミッタ５、およびディスプレイ６が接続されている。CPU１２は、画像データベース２に記憶された画像データを、入出力インタフェース２０を介して読み出す。また、CPU１２は、入出力インタフェース２０を介して、焦点位置センサ３の出力信号を取得し、焦点位置を検出し、トランスミッタ５を制御するとともに、レシーバ４の出力を受信し、ユーザの位置を検出する。
【００４７】
さらに、CPU１２は、検出したユーザの位置を、ユーザの視点として設定し、検出した焦点位置とユーザの視点に基づいて、読み出された画像データを合成し、所定の被写界深度をもった提示用画像データを生成する。また、CPU１２は、提示用画像データを、入出力インタフェース２０を介して、ディスプレイ６に供給して表示させる。なお、提示用画像の被写界深度は、予め設定されるようにしてもよいし、入力部１７を介して、ユーザにより都度指定されるようにしてもよい。
【００４８】
以上のような図２のコンピュータ７をベースとして構成される図１の画像処理装置１では、例えば、図３Ａに示されるように、現実世界において、ユーザが、ある被写体を観察する場合と同様の提示用画像データに基づく画像が表示される。
【００４９】
即ち、現実世界において、ユーザが、ある被写体を観察する場合には、ユーザが、その視点を移動すると、ユーザは、その移動後の視点から見た被写体を観察することができる。具体的には、現実世界では、ユーザが、その視点を移動することによって、被写体の見える部分と見えない部分が変化する。
【００５０】
図１の画像処理装置１においても、図３Ｂに示されるように、ユーザが、その視点を移動した場合、ディスプレイ６に表示される画像は、現実世界においてユーザの視覚に映る被写体が表示されたものとなるように、その視点に応じて変化する。即ち、図１の画像処理装置１においては、図３Ｃに示されるように、ユーザが視点を移動した場合に、その視点から被写体を見た場合の画像が表示されるようになっている。
【００５１】
従って、図１の画像処理装置１では、ユーザが視点を移動すると、例えば、移動前の視点からでは見えなかった被写体の部分が見える状態の画像が表示される。即ち、ユーザが、ディスプレイ６に表示された被写体をのぞき込むように、視点を移動すると、現実世界において、その移動後の視点から被写体を見た場合に視覚に映るのと同様の画像、つまり、ユーザがのぞき込んだ方向からの被写体の部分が見える状態となった画像が表示される。このことから、図１の画像処理装置は、いわば、のぞけるテレビ(Television)ということができる。
【００５２】
図４は、図２のＣＰＵ１２の機能的構成例を示すブロック図である。なお、この例では、バス１１、および入出力インタフェース２０の図示は省略されている。センサ制御部４１は、焦点位置センサ３、およびレシーバ４から出力される信号を取得し、ユーザの視線の焦点位置と、ユーザの位置を検出し、検出された焦点位置の情報と、ユーザの位置の情報を被写界深度調整部４２に出力する。
【００５３】
被写界深度調整部４２は、センサ制御部４１から供給される焦点位置の情報とユーザの位置の情報に基づいて、所定の被写界深度をもった提示用画像を生成するために必要となる、ユーザの視点に対応した複数の画像データを、画像データベース２から取得し、画像合成部４３に出力する。
【００５４】
画像合成部４３は、被写界深度調整部４２から出力された複数の画像データを合成し、所定の被写界深度をもった、ユーザに提示する画像のデータである提示用画像データを生成する。
【００５５】
そして、画像合成部４３で生成された提示用画像データに基づく画像が、ディスプレイ６に出力される。
【００５６】
ここで、図５Aと図５Bを参照して、画像の被写界深度について説明する。図５Ａにおいて、被写体（この例では、木）６１は、レンズ６２を介して撮像され、その結果、被写体６１の像６３が結像されている。なお、被写体６１の中心点６１−１、レンズ６２の中心点６２−１、および像６３の中心点６３−１は、図中水平方向の一直線上に配置されており、被写体６１の中心点６１−１の位置、レンズ６２の中心点６２−１の位置、および像６３の中心点６３−１の位置を、図中それぞれＡ，Ｂ，Ｄで表しており、レンズ６２の有効口径はＷ、焦点距離は、ｆとする。
【００５７】
この例では、像６３は、その中心点６３−１が、図中点Ｃで表されるレンズ６２の焦点から距離ｙだけ離れた点Ｄ上に位置するように結像されており、点Ｄにスクリーン６４を設置することにより、像６３がぼけのない画像として表示される。このとき、像６３の中心点６３−１から像６３の頂点６３−２までの距離をｘとする。
【００５８】
いま、図５Ｂに示されるように、被写体６１の中心点６１−１が図中Ｅで示される点まで、レンズ６２に近づくように移動した場合、像６３は、その中心点６３−１が、図中Ｃで表されるレンズ６２の焦点位置である点Cから距離ｙ´だけ離れた点となるように結像される。点Ｄの位置にスクリーン６４を設置した場合、像６３の中心点６３−１から像６３の頂点６３−２までの距離はｘ'となり、スクリーン６４上の像６３の１点がx-x'の半径をもつ円となる。この結果、スクリーン６４に表示される像６３は、ぼけた画像（ピンボケ画像）となる。このとき、半径x-x'が、視覚的劣化につながらない無視できる範囲の場合、被写体６１は、適正な被写界深度内にあるという。これに対して、半径x-x'が、無視できない範囲の場合、被写体６１は、適正な被写界深度内にはないという。
【００５９】
このようなピンボケが起こる原因は、レンズの絞りが充分に小さいピンホールではなく、ある程度の幅を持っていることにあり、ピンホールのレンズで撮影した画像は、レンズの近くから遠くまで全ての点にピントがあった（被写界深度が大きい）パンフォーカスの画像となる。一般にデジタルスチルカメラなどで撮像された画像は、被写界深度が大きくパンフォーカスに近い画像となるが、ズームレンズ付きのカメラで撮像された画像や人間の目により観察される画像は、所定の（比較的小さい）被写界深度をもっている場合が多い。すなわち、比較的小さい被写界深度をもつ画像の方が、人間にとって自然な（よりリアルな）画像ということができる。そこで、本発明の画像処理装置は、ピンホールのレンズで撮影したパンフォーカスの画像を足し合わせて合成することによりピンボケ画像、すなわち所定の被写界深度をもった画像を生成する。
【００６０】
次に、図１の画像データベースに記憶される画像データを生成する画像データ生成装置とその動作について、図６乃至図９を参照して説明する。図６は、この画像データ生成装置８０の構成例を示すブロック図である。カメラ８１は、コントローラ８５の制御に基づいて被写体を撮像し、撮像した画像データをバッファ８２に出力する。なお、カメラ８１は、レンズの絞りが充分に小さくパンフォーカスに近い画像を撮像する。絞りが小さい分、画像が暗くなるので、被写体は、充分な光量で照明される。コントローラ８５は、駆動機構制御部８４を制御して駆動機構８３を駆動し、駆動機構８３は、被写体を所定の距離（または角度）だけ移動する。また、コントローラ８５は、被写体をどの位置に移動したかを表す駆動情報を多重化部８６に出力する
【００６１】
多重化部８６は、バッファ８２から出力される画像データと、コントローラ８５から出力される駆動情報を対応付けて画像データベース２に出力する。
【００６２】
図７は、駆動機構８３の構成例を示す図である。この例では、駆動機構８３は、被写体が設置されるテーブル９１をカメラ８１に対して、上下前後左右方向に、所定の間隔（例えば、１０ｃｍ）ずつ移動させるように構成されており、カメラ８１は、駆動機構８３が停止した位置で、その都度被写体を撮像する。
【００６３】
図８は、駆動機構８３の他の構成例を示す図である。この例では、駆動機構８３は、被写体が設置されるテーブル９２を所定の間隔（例えば、３０°）ずつ回転させるとともに、カメラ８１に対して、上下方向に、所定の間隔（例えば、１０ｃｍ）ずつ移動させるように構成されており、カメラ８１は、駆動機構８３が停止した位置で、その都度被写体を撮像する。なお、図７の例と図８の例を組み合わせて駆動機構８３を構成してもよい。
【００６４】
この例では、画像データ生成装置８０は、駆動機構８３により被写体を移動して画像を撮像するように構成されているが、画像データ生成装置を、駆動機構８３によりカメラ８１を移動して画像を撮像するように構成してもよい。すなわち、被写体はカメラ８１に対して相対的に移動される。
【００６５】
次に、図９を参照して、図６の画像データ生成装置８０による画像データ生成処理について説明する。ステップＳ１１において、コントローラ８５は、駆動機構制御部８４を制御して被写体の位置を移動する。ステップＳ１２において、コントローラ８５は、カメラ８１を制御して被写体の画像を撮像する。
【００６６】
ステップＳ１３において、多重化部８６は、カメラ８１からバッファ８２を介して供給される画像データと、コントローラ８５より供給される駆動情報（被写体を撮像した位置の情報）を対応付けて画像データベース２に記憶する。
【００６７】
ステップＳ１４において、コントローラ８５は、駆動機構８３を予定されている全位置に移動させたか否かを判定し、まだ全位置に移動していないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１４において、駆動機構８３を全位置に移動させたと判定された場合、処理は終了される。
【００６８】
このようにして、被写体を予定されたあらゆる方向（駆動機構８３を移動させた全ての位置）から撮像したパンフォーカスの画像の画像データが生成され記憶される。画像データは、被写体を撮像した位置の情報とともに、画像データベース２に記憶される。この処理は、任意の数の被写体について行われる。従って任意の被写体に関して、所望の位置において撮像された画像データを、コンピュータ７により簡単に読み出すことができる。なお、本発明の画像データ生成装置８０により生成される画像データは、静止画像の画像データとする。
【００６９】
また、この例では、被写体を実写して画像データを生成するようにしたが、駆動機構８３を移動させた場合と同様の複数の画像データを、CG（Computer Graphics）などにより生成し、それらの画像データを駆動情報とともに画像データベース２に記憶するようにしてもよい。この場合、カメラ、スクリーンなどは仮想的なものとして計算上与えられる。
【００７０】
このようにして、生成され記憶された画像データは、例えば、図１０に示されるように表示される。ユーザは、図中スクリーン１２０の右方向からスクリーン１２０に表示される画像を観察するものとする。
【００７１】
ユーザの視点１０２Ａと、被写体１００上の注目点１０１が与えられた場合、注目点１０１と、視点１０２Ａを結ぶ直線１１０Ａが、スクリーン１２０と交差する点を、カメラの位置１１１Ａとする。そして、この位置に対応する位置で撮像された画像が仮想的なスクリーン（仮想スクリーン）１２１上に表示されている画像として取得され、その画像を視点１０２Aから見ている画像として、スクリーン１２０に表示することによりパンフォーカスの画像が表示される。
【００７２】
被写界深度をもったピンボケ画像を表示する場合、視点１０２Ａの近傍に別の視点（例えば、視点１０２Ｂと１０２Ｃ）を設定し、注目点１０１と、視点１０２Ｂまたは１０２Ｃを結ぶ直線１１０Ｂまたは１１０Ｃが、スクリーン１２０と交差する点を、カメラの位置１１１Ｂまたは１１１Ｃとして、これらの位置に対応する位置で撮像された画像を、位置１１１Ａに対応する位置で撮像された画像と合成して表示すればよい。
【００７３】
このことについて図１１を参照して、さらに詳しく説明する。図１１は、人間の目１４０が、被写体１００上の注目点１０１を観察しているところを表す図である。目１４０は、所定の瞳孔径を有する瞳孔１４１に入射する光線を結像して被写体１００（注目点１０１）を中心とする画像を観察する。
【００７４】
このとき、瞳孔１４１には、様々な角度からの光線が入射する。例えば、瞳孔１４１の中心を通り注目点１０１に向かう光線１１０Ａを中心とする光線群Ａ、瞳孔１４１の図中上端を通り注目点に向かう光線１１０Ｂを中心とする光線群Ｂ１、または瞳孔１４１の図中下端を通り注目点に向かう光線１１０Ｃを中心とする光線群Ｃ１が、それぞれ瞳孔１４１に入射して、合成される。すなわち、瞳孔１４１はピンホールではなく、ある程度の幅（径）をもっているため、人間の目１４０は、注目点１０１を注目しているとき、注目点１０１の周囲がぼけたピンボケ画像（被写界深度をもった画像）を観察する。
【００７５】
これと同様に、複数の点（位置）で撮像された画像（光線群）を合成すれば、人間の目で見た場合と同様な、自然な画像を表示することができる。
【００７６】
次に、図１２のフローチャートを参照して、図１の画像処理装置１による画像表示処理について説明する。
【００７７】
ステップＳ３１において、センサ制御部４１は、レシーバ４からの出力に基づいて、ユーザの位置を取得する。すなわち、レシーバ４は、トランスミッタ５が出力する信号を受信し、それに基づいて、トランスミッタ５に対する相対的な位置を検出し、センサ制御部４１に出力する。センサ制御部４１は、この入力に基づいて、ユーザの位置を取得する。ステップＳ３２において、被写界深度調整部４２は、被写界深度調整処理を実行する。これにより被写界深度をもった画像を生成するために必要となる複数の画像データが、画像データベース２から取得される。
【００７８】
ここで、図１３を参照して図１２のステップＳ３２の被写界深度調整処理の詳細について説明する。ステップＳ５１において、被写界深度調整部４２は、センサ制御部４１を介して焦点位置センサ３から出力される情報を取得して注目点を決定する。焦点位置センサ３は、ユーザの眼球の動きを検知して輻輳角を出力する。輻輳角は、人間が遠くを見ているときと、近くを見ているときとでは焦点位置が異なるように眼球を回転させることから得られる角度であり、図１４A乃至図１４Cにその例を示す。
【００７９】
図１４Ａは、人間が無限遠（充分遠い位置）を見ているときの輻輳角を示す図であり、この場合、左目２００−１の瞳孔（左目２００−１の中で黒く表示される部分）の中心線２０２−１と右眼２００−２の瞳孔（右目２００−２の中で黒く表示される部分）の中心線２０２−２は交わらない。これに対して、図１４Ｂは、人間が２メートル先を見ているときの輻輳角を示す図であり、左目２００−１の瞳孔の中心線２０２−１と右眼２００−２の瞳孔の中心線２０２−２は、（人間から）２メートル先の点２０１で交わっている。図１４Ｃは、人間が１メートル先を見ているときの輻輳角を示す図であり、左目２００−１の瞳孔の中心線２０２−１と、右眼２００−２の瞳孔の中心線２０２−２は、１メートル先の点２０１で交わっている。
【００８０】
なお、輻輳角を検知する装置としては、例えば、ナックイメージテクノロジー社（商号）のアイマークレコーダ（商標）（http://www.camnac.co.jp/analysis/EMR/EMR-index.html参照）などを用いることができる。
【００８１】
このように、見ている点までの距離に応じて、左目２００−１の瞳孔の中心線２０２−１と右眼２００−２の瞳孔の中心線２０２−２のなす角度である輻輳角αが異なってくる。２メートル先を見ている場合の輻輳角αを0.5メートル（１/２メートル）角と称し、１メートル先を見ている場合の輻輳角αを１メートル（１/１メートル）角と称する。なお、無間遠を見ている場合の輻輳角は０メートル（１／∞メートル）角となる。
【００８２】
図１３に戻って、ステップS５２において、被写界深度調整部４２は、被写界深度を設定する。被写界深度は、上述したように、予め用意された値に設定されるようにしてもよいし、ユーザの指定により、その都度設定されるようにしてもよい。被写界深度が大きい場合、すなわち、画像の中でぼけた部分が少ない（パンフォーカスに近い）画像を生成する場合、合成すべき画像データの数は少なくなり、被写界深度が小さい場合、すなわち、画像の中でぼけた部分が多い画像を生成する場合、合成すべき画像データの数は多くなる。
【００８３】
このことは、例えば、カメラのレンズの絞りを調整することと同様である。図１５Aと図１５Bは、円形のレンズの絞りを示す図である。図１５Aは、レンズの絞りが全開の状態を表し、レンズの有効半径はＷとなる。図１５Ｂは、レンズの有効半径がW'となるまでレンズの絞りを絞った状態を表す。このようにレンズは、図中斜線で示される部分から入射する光線を結像させて画像を表示するため、絞りを絞るほどピンホールに近くなり、被写界深度の大きい（パンフォーカスに近い）画像となる。
【００８４】
図１６Aと図１６Bは、このことを複数の位置で取得（撮像）された画像データの画像に置き換えて説明する図である。図中黒丸で示される点において、予めパンフォーカスの画像が撮像されているものとすると、図１６Aに示されるように、レンズの絞りを全開にした場合、すなわち被写界深度が小さい場合、図１６Aの黒丸で示される１３個の点において撮像された画像の画像データを合成することにより所望の画像を生成することができる。また、被写界深度が大きい場合、図１６Bに示されるように、レンズの絞りを絞ればよいので、図１６Bの黒丸で示される５個の点において、撮像された画像の画像データを合成することにより所望の画像を生成することができる。
【００８５】
図１３に戻って、ステップS５３において、被写界深度調整部４２は、合成する画像データを画像データベース２から取得し、画像合成部４３に出力する。
【００８６】
例えば、画像の中の被写体として、図１７の平面図に示されるように、被写体２５１（木）と被写体２５２（花）があり、ステップS５１で決定された注目点が、カメラ８１（ユーザの目）から見て近くにある花上の点であり、ステップS５２で設定された被写界深度が小さい（絞り全開状態）場合、図１７に示されるＡ乃至Ｅで示される点で取得（撮像）された画像の画像データが読み出される。
【００８７】
また、ステップS５１で決定された注目点が、図１８の平面図に示されるように、カメラ８１（ユーザの目）のから見て遠くにある被写体２５１（木）上の点２５１Ａであり、ステップS５２で設定された被写界深度が小さい（絞り全開状態）場合、図１８に示されるＦ乃至Ｊで示される点で取得（撮像）された画像の画像データが読み出される。
【００８８】
さらに、ステップS５１で決定された注目点が、図１９の平面図に示されるように、被写体２５２（花）上の点２５２Ａであり、ステップS５２で設定された被写界深度が大きい場合（レンズの絞りを絞った状態の場合）、図１９に示されるＢ乃至Ｄで示される点で取得（撮像）された画像の画像データが読み出される。この場合は図１７の場合と異なり、被写界深度が大きいので、より少ない数の視点からの画像の画像データが読み出されることになる。
【００８９】
このように、注目点と被写界深度に対応して、画像データが読み出される。
【００９０】
図１３のステップＳ５３の処理の後、処理は、図１２のステップＳ３３に進み、画像合成部４３は、画像合成処理を実行する。
【００９１】
ここで、図２０を参照して図１２のステップＳ３３の画像合成処理の詳細について説明する。ステップＳ７１において、画像合成部４３は、ステップＳ５３で、被写界深度調整部４２により読み出された画像データを足し合わせる。この足し合わせは、対応する画素同士で行われる。ステップＳ７２において、画像合成部４３は、ステップＳ７１で足し合わせた画像データの画像における各画素値の平均値を演算する。そしてステップＳ７３において、画像合成部４３は、ステップＳ７２で演算した画素値に基づいて、提示用画像を表示する。
【００９２】
このとき表示される画像の例を図２１乃至図２３を参照して説明する。図２１は、注目点が、被写体２５２（花）上の点２５２Ａであり、被写界深度が小さい場合（図１７の例の場合）の画像（正面から見た画像）の合成例を示している。同図に示される画像２８１Ａ乃至２８１Ｅは、それぞれ図１７（平面図）に示される点Ａ乃至Ｅで取得（撮像）された画像データに対応する画像であり、注目点２５２Ａを通る直線２９１を基準として、各画像が重ねられる（足し合わされる）。
【００９３】
画像２８１Ａ乃至２８１Ｅは、異なる点で取得（撮像）されたものなので、画像の中の被写体２５１と２５２の関係（距離）が異なっている。例えば、画像２８１Ａでは、被写体２５２（花）と被写体２５１（木）が重なっている部分が広いが、画像２８１Ｂ乃至２８１Ｄの順に、被写体２５２（花）と被写体２５１（木）が重なっている部分が序々に狭くなり、画像２８１Ｅでは、被写体２５２（花）と被写体２５１（木）は、ほぼ重なっていない。
【００９４】
そして、画像２８１Ａ乃至２８１Ｅを足し合わせて各画素の平均値をとって表示すると、提示用画像３０１が得られる。この例では、注目点２５２Ａを有する被写体２５２（花）は、ぼけがなく、被写体２５２の後ろに位置する被写体２５１（木）は、ぼけて表示されている。
【００９５】
同様に、図２２は、注目点が、被写体２５１（木）上の点２５１Ａであり、被写界深度が小さい場合（図１８の例の場合）の画像（正面からみた画像）の合成例を示している。同図に示される画像２８１Ｆ乃至２８１Ｊは、それぞれ図１８に示される点Ｆ乃至Ｊで取得（撮像）された画像データに対応する画像であり、注目点２５２Ａを通る直線２９２を基準として、各画像が重ねられる（足し合わせられる）。
【００９６】
そして、画像２８１Ｆ乃至２８１Ｊを足し合わせて各画素の平均値をとって表示すると、提示用画像３０２が得られる。この例では、注目点２５１Ａを有する被写体２５１（木）は、ぼけがなく、被写体２５１の前に位置する被写体２５２（花）は、ぼけて表示されている。
【００９７】
図２３は、注目点が、被写体２５２（花）上の点２５２Ａであり、被写界深度が大きい場合（図１９の例の場合）の画像（正面から見た画像）の合成例を示している。いまの場合、被写界深度が大きいので、図２１の場合と異なり、画像２８１Ｂ乃至２８１Ｄの各画像を足し合わせて、提示用画像３０３が合成されている。提示用画像３０３は、図２１の提示用画像３０１と同様に、注目点２５２Ａを有する被写体２５２（花）は、ぼけがなく、被写体２５２の後ろに位置する被写体２５１（木）は、ぼけて表示されているが、提示用画像３０１と比較して、被写体２５１（木）のぼけが小さく、被写界深度が大きい画像として表示されている。
【００９８】
このようにして、提示用画像がユーザに表示される。上述したように提示用画像は、予め記憶されている、複数の位置から取得した画像データに対応する画像が合成されて表示されるので、ユーザがどの位置にいても、自然な被写界深度をもったリアルな画像を表示することができる。また、被写界深度を調整することにより、注目すべき被写体をはっきりと（ぼけなく）表示させ、背景をぼかして表示することもできる。
【００９９】
ところで、図１１においては、光線群Ａ、Ｂ１、またはＣ１が瞳孔１４１に入射することで、人間の目により被写界深度をもった画像が観察される例について説明したが、実際に瞳孔１４１に入射する光線群は、上述した光線群Ａ、Ｂ１、またはＣ１とは異なるものも存在する。
【０１００】
図２４は、人間の目１４０の瞳孔１４１に入射する別の光線群の例を示す図である。同図には、図１１と同様に、瞳孔１４１の中心を通る光線群Ａ、瞳孔１４１の図中上端を通る光線群Ｂ２、または瞳孔１４１の図中下端を通る光線群Ｃ２が示されている。図２４の光線群Ａは、図１１の光線群Ａと同様に、瞳孔１４１の中心を通り注目点１０１に向かう光線３１０Ａを中心とする光線群であるが、図２４の光線群Ｂ２またはＣ２は、図１１の光線群Ｂ１またはＣ１とは異なる。すなわち、図１１において、光線群Ｂ１またはＣ１の中心となる光線１１０Ｂまたは１１０Ｃは、瞳孔１４１の図中上端、または瞳孔１４１の図中下端を通り注目点１０１に向かう光線であったのに対して、図２４において、光線群Ｂ２とＣ２は、その中心となる光線３１０Ｂまたは３１０Ｃが、光線３１０Ａとほぼ平行になっている。
【０１０１】
従って、光線群Ａ、Ｂ２、およびＣ２に対応する画像を合成すれば、やはり人間の目で見た場合と同様に、注目点１０１の周囲がぼけたピンボケ画像（被写界深度をもった画像）を表示することができる。
【０１０２】
この場合、例えば、図２５Aと図２５Bに示される位置において撮像された画像が画像データベース２に記憶され、コンピュータ７がそれらの画像を合成する。図２５Ａは、被写体２５１（木）と被写体２５２（花）を撮像する水平方向の位置Ｋ，Ｌ，またはＭを、被写体２５１または２５２の上部からみた平面図であり、図２５Ｂは、被写体２５１と被写体２５２を撮像する垂直方向の位置Ｎ，Ｏ，Ｐを、被写体２５１と被写体２５２の横方向からみた側面図である。
【０１０３】
これにより、被写体２５１と被写体２５２は、水平方向の位置Ｋにおいて、垂直方向の位置Ｎ（位置ＫＮと称する）、垂直方向の位置Ｏ（位置ＫＯと称する）、または垂直方向の位置Ｐ（位置ＫＰと称する）の３つの位置から撮像される。同様に、被写体２５１と被写体２５２は、水平方向の位置Ｌにおいても３つの位置（位置ＬＮ，ＬＯ，LP）から撮像され、水平方向の位置Ｍにおいても３つの位置（位置ＭＮ，ＭＯ，MP）から撮像される。
【０１０４】
このようにして撮像された画像は、図２６に示される画像３５１乃至３７３の９個の画像ようになる。画像３５１乃至３５３は、それぞれ位置ＫＮ，ＫＯ，ＫＰから撮像された画像であり、画像３６１乃至３６３は、それぞれ位置ＬＮ，ＬＯ，ＬＰから撮像された画像であり、画像３７１乃至３７３は、それぞれ位置MN，ＭＯ，MPから撮像された画像である。
【０１０５】
同図において、画像３６２は、位置ＬＯから撮像された画像なので、カメラのレンズの中心から被写体２５２（花）上にある注目点２５２Ａに向かう光線を中心とする光線群が撮像された画像となり、注目点２５２Ａは、画像３６２の中心に位置している。これに対して、画像３６１または３６３の中では、注目点２５２Ａが、画像３６２の場合と比較して、図中やや下側または上側に位置している。また、画像３５１乃至３５３の中では、注目点２５２Ａが、それぞれ画像３６１乃至３６３の場合と比較して、図中やや左側に位置しており、画像３７１乃至３７３の中では、注目点２５２Ａが、それぞれ画像３６１乃至３６３の場合と比較して、図中やや右側に位置している。
【０１０６】
これらの画像を、図２０を参照して上述した画像合成処理により合成する場合、ステップＳ７１において、画像合成部４３は、画像３５１乃至３７３（の画像データ）を、それぞれの画像の注目点２５２Ａが重なるようにして足し合わせる。そして、ステップＳ７２において、画像合成部４３は、ステップＳ７１で足し合わせた画像の各画素値の平均値を演算し、ステップＳ７３において、画像合成部４３は、ステップＳ７２で演算した画素値に基づいて、提示用画像を表示する。この結果、図２１の画像３０１と同様に、注目点２５２Ａを有する被写体２５２（花）はぼけがなく、被写体２５２の後ろに位置する被写体２５１（木）は、ぼけて表示される。
【０１０７】
このようにして、図２６に示されるような画像を用いて、図２１乃至図２３を参照して上述した場合と同様に、パンフォーカスの画像を合成して、所定の被写界深度をもった提示用画像を生成することができる。
【０１０８】
図２１乃至図２３を参照して上述した例は、ある注目点を見つめるときの人間の目の瞳孔の動きに近いので、人間の眼球の輻輳角に対応した自然な被写界深度の画像を表示するのに適している。これに対して、図２６を参照して上述した例は、人間の瞳孔径を、いわば仮想的に大きくしたものなので、例えば、表示する画像の中で、１ｍ先の被写体だけにピントを合わせて、明確に表示し、他の部分は意図的にぼかして隠す場合などに適している。
【０１０９】
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ７などに、通信部１８を介して接続されるネットワークやリムーバブル記録媒体２１からインストールされる。
【０１１０】
また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１１１】
【図１】本発明の画像処理装置の構成例を示すブロック図である。
【図２】図１のコンピュータの構成例を示すブロック図である。
【図３】ユーザの視点からみた画像を説明する図である。
【図４】図２のCPUの機能的構成例を示すブロック図である。
【図５】被写界深度と画像のぼけを説明する図である。
【図６】画像データ生成装置の構成例を示すブロック図である。
【図７】図６の駆動機構の構成例を示す図である。
【図８】図６の駆動機構の他の構成例を示す図である。
【図９】画像データ生成処理を説明するフローチャートである。
【図１０】ユーザの視点と撮像される画像の関係を説明する平面図である。
【図１１】人間の目に入射する光線群の例を説明する図である。
【図１２】画像表示処理を説明するフローチャートである。
【図１３】被写界深度調整処理を説明するフローチャートである。
【図１４】輻輳角を説明する図である。
【図１５】レンズの絞りの例を説明する図である。
【図１６】レンズの絞りと、画像が撮像される位置の関係を示す図である。
【図１７】被写界深度をもった画像を合成するために必要となる複数の画像の撮像位置を説明する平面図である。
【図１８】被写界深度をもった画像を合成するために必要となる複数の画像の撮像位置を説明する平面図である。
【図１９】被写界深度をもった画像を合成するために必要となる複数の画像の撮像位置を説明する平面図である。
【図２０】画像合成処理を説明するフローチャートである。
【図２１】図１７の撮像位置で撮像された画像を正面から見た画像として合成する例を示す図である。
【図２２】図１８の撮像位置で撮像された画像を正面からみた画像として合成する例を示す図である。
【図２３】図１９の撮像位置で撮像された画像を正面からみた画像として合成する例を示す図である。
【図２４】人間の目に入射する光線群の他の例を説明する図である。
【図２５】被写界深度をもった画像を合成するために必要となる複数の画像の撮像位置を説明する図である。
【図２６】図２５の撮像位置で撮像された画像の例を示す図である。
【符号の説明】
【０１１２】
１  画像処理装置，  ２  画像データベース，  ３  焦点位置センサ，  ４  レシーバ，  ５  トランスミッタ，  ６  ディスプレイ，  ７  コンピュータ，  １２  CPU，  ４１  センサ制御部，  ４２  被写界深度調整部，  ４３  画像合成部，  ８０  画像データ生成装置，  ８１  カメラ，  ８３  駆動機構，  ８５  コントローラ
【図１】
2005227950.tif 000003
【図２】
2005227950.tif 000004
【図３】
2005227950.tif 000005
【図４】
2005227950.tif 000006
【図５】
2005227950.tif 000007
【図６】
2005227950.tif 000008
【図７】
2005227950.tif 000009
【図８】
2005227950.tif 000010
【図９】
2005227950.tif 000011
【図１０】
2005227950.tif 000012
【図１１】
2005227950.tif 000013
【図１２】
2005227950.tif 000014
【図１３】
2005227950.tif 000015
【図１４】
2005227950.tif 000016
【図１５】
2005227950.tif 000017
【図１６】
2005227950.tif 000018
【図１７】
2005227950.tif 000019
【図１８】
2005227950.tif 000020
【図１９】
2005227950.tif 000021
【図２０】
2005227950.tif 000022
【図２１】
2005227950.tif 000023
【図２２】
2005227950.tif 000024
【図２３】
2005227950.tif 000025
【図２４】
2005227950.tif 000026
【図２５】
2005227950.tif 000027
【図２６】
2005227950.tif 000028