(57)【要約】      （修正有）【課題】被撮像物に対して、正確な焦点検出が可能なデジタルプレゼンタを提供する。【解決手段】画像表示機器は、物体を支持できる基部と、基部アームに結合され、前記物体の複数の画像を撮像するように構成されたカメラ系と、前記物体を照らすように構成された複数の照明器を有する照明系と、前記複数の照明器を制御するように構成された照明器制御系と、前記カメラ系の焦点を調節するように構成された焦点制御系と、を備える。【選択図】図２
2010057156.tif 000002
【特許請求の範囲】
【請求項１】
物体を支持でき、基部アームを有する基部と、
前記基部アームに結合され、前記物体の複数の画像を撮像するように構成されたカメラ系と、
前記物体を照らすように構成された複数の照明器を有する照明系と、
前記複数の照明器を制御するように構成された照明器制御系と、
前記カメラ系の焦点を調節するように構成された焦点制御系と、
を備える画像表示機器。
【請求項２】
前記照明器制御系は、前記複数の照明器の電源を入れ及びこれを切るように構成され、前記照明器のうち少なくともいくつかの照明器の電源が入っている間に前記カメラ系を制御して前記物体の画像を撮像するように構成されている請求項１に記載の機器。
【請求項３】
前記照明器は、電源が別々に入れられ、及び切られる請求項２に記載の機器。
【請求項４】
前記カメラ系は、さらに、前記画像の全画素が選択されるまで、前記物体の複数の画像の各画素から１つの画素を選択するように構成されている請求項３に記載の機器。
【請求項５】
１つの画素を選択するという構成は、各画素の明るさの少なくとも一部に基づいて、前記物体の複数の画像の各画素から１つの画素を選択するという構成を含む請求項４に記載の機器。
【請求項６】
前記各画素の明るさは、前記各画素の平均の明るさを含む請求項５に記載の機器。
【請求項７】
前記カメラ系は、さらに、前記選択された画素に基づいて前記物体に相当する画像を形成する機能を有する請求項６に記載の機器。
【請求項８】
前記焦点制御系は、さらに、前記カメラ系に、複数の焦点距離で前記物体の複数の画像を撮像させる機能を有し、各画像が前記複数の焦点距離のそれぞれに対応する、請求項１に記載の機器。
【請求項９】
前記基部は、前記カメラ系の焦点を調節するために移動する機能を有する請求項８に記載の機器。
【請求項１０】
前記カメラ系は、さらに、前記画像の全画素が選択されるまで、前記物体の複数の画像の各画素から１つの画素を選択するように構成されている請求項８に記載の機器。
【請求項１１】
１つの画素を選択するという構成は、合焦測度に応じて１つの画素を選択するという構成を含む請求項１０に記載の機器。
【請求項１２】
前記カメラ系は、さらに、少なくとも部分的に変形ラプラシアン和（ＳＭＬ）を計算することにより合焦測度をもたらすように構成された請求項１１に記載の機器。
【請求項１３】
前記カメラ系は、さらに、前記選択された画素に基づいて、前記物体に相当する画像を形成する機能を有する請求項１２に記載の機器。
【請求項１４】
物体の複数の画像を撮像する工程と、
前記複数の画像の各画素を比較する工程と、
前記複数の画像のうち少なくともいくつかの画像の各画素から少なくとも１つの画素を選択する工程と、
前記選択された画素から画像を形成する工程と、
画像を出力する工程と、
を含む画像表示方法。
【請求項１５】
前記物体の複数の画像を撮像する工程は、複数の照明器に別々に電源を入れ及びこれを切ることにより、前記物体の画像を撮像する工程を含む請求項１４に記載の方法。
【請求項１６】
前記複数の画像の各画素を比較する工程は、前記複数の画像の各画素の明るさを比較する工程を含む請求項１５に記載の方法。
【請求項１７】
前記選択された画素の明るさは、前記複数の画像の各画素の平均の明るさを含む請求項１６に記載の方法。
【請求項１８】
前記物体の複数の画像を撮像する工程は、焦点距離を所定回数変更する工程を含む請求項１４に記載の方法。
【請求項１９】
前記複数の画像のうち少なくともいくつかの画像の各画素から少なくとも１つの画素を選択する工程は、合焦測度に応じて前記少なくとも１つの画素を選択する工程を含む請求項１８に記載の方法。
【請求項２０】
合焦測度に応じて前記少なくとも１つの画素を選択する前記工程は、変形ラプラシアン和（ＳＭＬ）を用いる工程を含む請求項１９に記載の方法。
【請求項２１】
プロセッサによって実行されたときに、前記プロセッサに、
物体の複数の画像を撮像する工程と、
前記複数の画像の各画素を比較する工程と、
前記複数の画像の少なくともいくつかの画像の各画素から少なくとも１つの画素を選択する工程と、
前記選択された画素から画像を形成する工程と、
前記画像を出力する工程と、
を含む方法を実行するように機器を制御させる命令を記憶したプロセッサ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示は、概してデジタルプレゼンタに関する。
【背景技術】
【０００２】
背景
印刷物（例えば、透明陽画、文書、書籍等）から、３次元の物理的物体のほか、スライド、写真、またはフィルムなどの他の媒体までの広範囲の種々の媒体を表示するために、デジタルプレゼンタが用いられることがある。
【０００３】
アナログオーバーヘッドプロジェクタとは違い、デジタルプレゼンタは、デジタル（スチルまたはビデオ）カメラを用いて２次元または３次元の物体の画像を撮像し得るものであり、その画像はその後、他の出力装置（テレビジョンスクリーンまたはコンピュータ用モニターなど）に伝送されるか、またはＬＣＤプロジェクタ等を介して表示される。
【０００４】
デジタルプレゼンタは一般に、表示する媒体または物体の画像を検出し撮像するのに十分な照明をもたらすことのできる１つまたは複数の光源を含む。この点について、デジタルプレゼンタは照明用の１つまたは複数の光源に依存するものであるため、カメラによって画像を撮像する際、表示する物体の表面からの鏡面反射（ハイライトまたはグレア）が撮像された画像の質に悪影響を及ぼすことがある。
【０００５】
また、撮像されている物質の表面が十分に平坦でない場合、撮像された画像はこれにより不鮮明、つまり、焦点が外れたものとなり得る。例えば、綴じられた文書（書籍または雑誌など）の背（つまり、綴じ部）に近いページの部分は湾曲する傾向にあり、その結果このような部分は均一かつ十分な照明を受けないことがあり、これらの部分から撮像された画像を潜在的に不鮮明かつ焦点の外れたものにし得る。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のデジタルプレゼンタは、多数の光源および／またはカメラを使用していることがあり、適切に機能するためにはカメラおよび／または光源の効果的な位置決めが必要とされ得るが、このようなシステムは扱いにくく、実行するのにコストがかかる傾向にある。
【課題を解決するための手段】
【０００７】
概要
画像表示方法および画像表示機器の実施形態をここに開示する。限定しない例としての一実施形態では、画像表示機器は、物体を支持できる基部と、物体の複数の画像を撮像するように構成されたカメラと、複数の照明器を収容する照明系と、複数の照明器によりもたらされる照明を制御するように構成された照明制御系と、カメラの焦点を制御するように構成された焦点制御系とを含む。
【０００８】
別の実施形態では、画像表示方法は、物体の複数の画像を撮像する工程と、複数の画像の各画素を比較する工程と、複数の画像の各画素から１つの画素を選択する工程と、選択された画素から画像を形成する工程と、画像を出力する工程とを含む。
【０００９】
本概要は、選択した概念を簡略化した形で示すために提供するものであり、これを以下の詳細な説明でさらに説明する。本概要は、権利請求される主題の主要な特徴または不可欠な特徴を定めることを意図したものでもなく、権利請求される主題の範囲を限定するために用いられることを意図したものでもない。
【図面の簡単な説明】
【００１０】
図面の簡単な説明
【図１】デジタルプレゼンタの一例示的実施形態の概略図を示している。
【図２】一例示的実施形態による物体の画像の表示について説明するフローチャートを示している。
【図３】一例示的実施形態による照明器を調節することにより得られた画像の画素の処理を説明するフローチャートを示している。
【図４】一例示的実施形態によるカメラの焦点を調節することにより撮像された画像の画素の処理について説明するフローチャートを示している。
【発明を実施するための形態】
【００１１】
詳細な説明
以下の詳細な説明では、本明細書の一部を構成する添付の図面を参照する。図面では、同様の符号は、文脈が別の意味で示していない限り、典型では同様の構成要素を定めている。詳細な説明、図面、特許請求の範囲で説明した例示的実施形態は、限定することを意味するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することもあり、他の変更がなされることもある。ここに概して説明し、図面で例示したような本開示の構成要素は、広範囲の種々の異なる構成で、構成し、置き換え、組み合わせ、設計し得るものであり、これらはすべて明白に考慮され、本開示の一部を成すものであることは、容易に理解される。
【００１２】
図１は、デジタルプレゼンタ１００の例示的実施形態を示している。デジタルプレゼンタ１００は、基部１１０、基部１１０に基部アーム１３０によって取り付けられたカメラ系１２０、複数の照明器１５０を収容する照明系１４０、照明器制御系１６０、および焦点制御系１７０を含む。別の実施形態では、図１には例示していないが、照明器１５０は、カメラ系１２０とは独立して、基部１１０に別の基部アーム（図示せず）によって取り付けられたハウジングに配置されてもよい。カメラ系１２０は、電子形式で画像を撮像し、これらをデジタルビットストリームに変換できるデジタル（スチルまたはビデオ）カメラであり得る。カメラ系１２０は、画像を撮像する物体から反射した光を正確に向け、高め、集光するための、図１には示していない光学素子（例えば、レンズ、回折格子、フィルター、ミラー等）も含み得る。別の実施形態では、デジタルプレゼンタ１００は、プレゼンタ１００の使用者がカメラ系１２０によって撮像した画像の質を確認し、制御できるようにするための液晶表示装置（ＬＣＤ）または他の表示装置（例えば、フラットＣＲＴディスプレイやプラズマディスプレイ等）も含み得る。基部１１０には、書籍、透明陽画、または３次元モデルなどの物体１８０が配置され得る。一実施形態では、カメラ系１２０は、リニアスライドアセンブリ、空気式シリンダアセンブリ、または他の従来の高さ調節手段（図１には示していない）によって、基部１１０に向かって移動し又は基部１１０から離れるように移動することができる。高さ調節手段は、カメラ系１２０の高さを自動的に調節できるようにモータユニット（図示せず）に接続され得る。照明器１５０をカメラ系から独立させて配置した場合の実装では、照明器の高さ（つまり、基部１１０からの距離）についても、リニアスライドアセンブリ、空気式シリンダアセンブリ、または他の高さ調節手段によって調節し得る。
【００１３】
複数の照明器１５０は、物体１８０を照らし、表示する物体の画像をカメラ系１２０が検出し撮像し得るように照明効果および／または視覚効果をもたらし得る。
【００１４】
照明器１５０として、発光ダイオード（ＬＥＤ）、ハロゲンランプ、冷陰極線管（cold cathode ray tubes）、白熱電球等などの種々の光源が使用され得る。限定しない例としての一実施形態では、ＬＥＤ照明器が使用され得る。その場合、照明器１５０は、表示する物体１８０をその上方から照らすためにカメラ系１２０の周囲に配置され得る。別の実施形態では、照明器１５０は、表示する物体１８０の下方に、基部から照明がもたらされるように基部１１０と一体化され得る。
【００１５】
一例示的実施形態では、照明器制御系１６０は、複数の照明器１５０の電源を別々に入れ、および／または切り得るものであり、照明器を別々に作動させ、またはその電源を入れ、および／または切りながら、物体１８０の画像を撮像するようにカメラ系１２０を制御し得るものである。例えば、各照明器１５０の電源が別々に入ったり切れたりするので、カメラ系１２０は、対応する照明器の電源が入っている間に物体１８０の画像を撮像し得る。カメラ系１２０は、作動した各照明器１５０にそれぞれ対応する複数の画像を撮像するように、照明器制御系１６０と同期し得る。このように、例えば、照明器１５０毎に、その照明器１５０の電源が入れられた際、かつ照明器１５０のその他の照明器の電源が切られている間に、画像が撮像され得る。また、カメラ系１２０は、撮像した画像を記憶するための、図１には示していない記憶手段（例えば、ランダムアクセスメモリー（RAM）、フラッシュメモリー、テープ、ディスクドライブ等）を含み得る。
【００１６】
一部の例示的実施形態では、焦点制御系１７０が、系１２０内のカメラレンズの焦点を調節することにより、および／またはカメラ系１２０を基部１１０に対して上昇させ、下降させ、または別の操作をすることにより、カメラ系１２０の焦点を合わせるように機能し得る。被写界深度（ＤＯＦ）は、物体１８０の画像が許容できる範囲で鮮鋭であると認められ得る、カメラ系１２０と物体１８０との間の距離の範囲として表され得る。ＤＯＦは、カメラの種類、口径、焦点距離によって変化し得る。ここに提供した開示をふまえると、当業者は、画像に焦点を合わせるというように記述する場合、像点がＤＯＦ内にあることも意味し得ることを理解する。
【００１７】
一部の例示的実施形態では、焦点制御系１７０は、カメラ系１２０に、複数の焦点距離で物体１８０の画像を撮像させ得る。さらに、カメラ系１２０は、カメラの焦点を制御して調節し、物体１８０の画像を撮像するために、焦点制御系１７０と同期し得るものであり、撮像された各画像は焦点距離のそれぞれに対応し得る。また、カメラ系１２０は、撮像した画像を記憶するための複数のフレームメモリを含み得る。
【００１８】
図２は、物体の画像を表示するためのプロセス２００の例示的実施形態のフローチャートを示している。以下のプロセス２００の説明は例示のために図１の実施形態の要素を参照したものであり、権利請求される主題はこれについて限定されず、したがって、プロセス２００はプレゼンタ１００を用いて画像を撮像するためのプロセスに限定されるものとして考慮されるべきではない。ブロック２１０では、物体１８０の複数の画像を、例えば、カメラ系１２０により撮像し得る。一実施形態では、複数の画像はそれぞれ、複数の照明器のうち異なる１つの照明器の電源が入れられ、一方その他の照明器の電源が切られた際に、撮像され得る。このため、各照明器の電源が入っている間に、カメラ系１２０は物体１８０の画像を撮像し、その画像をメモリ（例えば、ＲＡＭ、フラッシュメモリ等）に記憶する。例えば、各画像は、カメラ系１２０の対応するフレームメモリに記憶され得る。すべての照明器の電源が別々に入れられ、対応する画像が得られるまで、ブロック２１０が繰り返され得る。例えば、Ｍ個の照明器が使用される場合、物体１８０のＭ枚の画像が得られ得る。一例示的実施形態では、Ｍは２以上であり得る。他の例示的実施形態では、Ｍは６から８までに及び得る。他の例示的実施形態では、１組の照明器の電源が選択的に入れられ、対応する１組の画像が撮像され得る。
【００１９】
別の例示的実施形態では、ブロック２１０で、カメラの複数の焦点距離で複数の画像が撮像され得る。例えば、カメラ系１２０の焦点が変更されると、物体１８０の複数の画像が撮像され、各画像はカメラの異なる焦点距離に対応し得る。この画像取得プロセスは繰り返され、各画像はカメラ系１２０のメモリに記憶され得る。上に説明したようにカメラ系１２０の焦点を直接変更せず、基部１１０をカメラ系１２０に対して移動することにより、同様の焦点変更効果を達成してもよい。
【００２０】
ブロック２２０で、複数の画像の各画素が相互に比較され、ブロック２３０で、各画素の比較に応じて、複数の画像の各画素から１つの画素が選択され得る。ブロック２４０で、選択された画素が組み合わされ、ブロック２５０で出力する最終の画像を形成し得る。
【００２１】
図３は、照明器を調節することにより画像が得られた際における、画像の画素を処理するためのプロセス３００の例示的実施形態のフローチャートを示している。
【００２２】
図３において、Ｋは、画像の第Ｋ番目の画素のためのシーケンスナンバーを表し、Ｍは、その画像の画素の最大個数を表している。限定しない例としての一実施形態では、カメラ系１２０が物体１８０の画像を撮像して８×８画素の画像に変換する場合、Ｍは６４であり、Ｋは１から６４にまで及ぶ。Ｌｉは、得られた複数の画像のうち第ｉ番目の画像を表している。他の実施形態では、カメラ系１２０が物体１８０の画像を撮像して１６×１６画素の画像に変換する場合、Ｍは２５６であり、Ｋは１から２５６にまで及ぶ。例えば、６枚の画像が得られた場合、ｉは１から６にまで及ぶ。同様に、８枚の画像が得られた場合、ｉは１から８にまで及ぶ。Ｌｉ［Ｋ］は、Ｌｉの第Ｋ番目の画素を表している。簡略化のため、Ｌｉ［Ｋ］は、第Ｋ番目の画素の輝度値（明るさ値（the brightness value））も表す。
【００２３】
プロセス３００のブロック３１０では、Ｋは０に初期化され、ブロック３２０で１つインクリメントされ得る。ブロック３３０で、ＫがＭ（画素の最大個数）よりも大きい場合、全画素が処理されたものとみなされ、プロセス３００は終了し得る。そうでなければ、ブロック３４０で、複数の画像の第Ｋ番目の画素がすべて上限の輝度値（ＴＨ）よりも高い輝度値を有するか否かについて判断が行われる。輝度として知られる明るさは、特定の領域を通過する光の量、または特定の領域から発せられる光の量とみなされ得るものであり、輝度の基準単位はカンデラ毎平方メートル（ｃｄ／ｍ２）である。一部の実施形態では、上限の輝度値は、約５ｃｄ／ｍ２から約２０ｃｄ／ｍ２まで、約１０ｃｄ／ｍ２から約２０ｃｄ／ｍ２まで、約１５ｃｄ／ｍ２から約２０ｃｄ／ｍ２まで、約５ｃｄ／ｍ２から約１０ｃｄ／ｍ２まで、約５ｃｄ／ｍ２から約１５ｃｄ／ｍ２まで、または約１０ｃｄ／ｍ２から約１５ｃｄ／ｍ２にまで及び得る。他の実施形態では、上限の輝度値は、約５ｃｄ／ｍ２、約１０ｃｄ／ｍ２、約１５ｃｄ／ｍ２、または約２０ｃｄ／ｍ２であり得る。
【００２４】
全画素が上限の輝度値よりも高い輝度値を有する場合、物体１８０の表面は、第Ｋ番目の画素に相当する像点で「明るい」と判断され得る。このため、ブロック３５０で、第Ｋ番目の画素のうち最小の輝度値が第Ｋ番目の画素の輝度値として出力され得る。画素のうち少なくとも１つの画素が上限値よりも低い明るさを有する場合、プロセス３００はブロック３６０に進み得る。
【００２５】
ブロック３６０で、画像の第Ｋ番目の全画素が下限の輝度値（ＴＬ）よりも低い輝度値を有するか否かが判断され得る。一部の実施形態では、下限の輝度値は、約０．１ｃｄ／ｍ２から約５ｃｄ／ｍ２まで、約０．５ｃｄ／ｍ２から約５ｃｄ／ｍ２まで、約１ｃｄ／ｍ２から約５ｃｄ／ｍ２まで、約２．５ｃｄ／ｍ２から約５ｃｄ／ｍ２まで、約０．１ｃｄ／ｍ２から約０．５ｃｄ／ｍ２まで、約０．１ｃｄ／ｍ２から約１ｃｄ／ｍ２まで、約０．１ｃｄ／ｍ２から約２．５ｃｄ／ｍ２まで、約０．５ｃｄ／ｍ２から約１ｃｄ／ｍ２まで、または約１ｃｄ／ｍ２から約２．５ｃｄ／ｍ２にまで及び得る。他の実施形態では、下限の輝度値は、約０．１ｃｄ／ｍ２、約０．５ｃｄ／ｍ２、約１ｃｄ／ｍ２、約２．５ｃｄ／ｍ２、または約５ｃｄ／ｍ２であり得る。
【００２６】
全画素が閾値よりも低い輝度値を有する場合、物体１８０の表面は第Ｋ番目の画素に相当する像点において「暗い」と判断され得る。これにより、ブロック３７０において、第Ｋ番目の画素の輝度値として画素のうち最大の輝度値が出力され得る。画素のうち少なくとも１つの画素が下限値よりも高い明るさを有する場合、プロセス３００はブロック３８０に進む。
【００２７】
ブロック３８０で、画素の平均の明るさが第Ｋ番目の画素の輝度値として出力され得る。平均の輝度値の計算では、種々の考察がなされ得る。例えば、画像の特定の領域についてサンプルにした画素の個数が比較的少ない場合（例えば、５枚以下の画像が得られている場合）、全画素が平均の明るさの計算に用いられ得る。しかし、サンプルの画素の個数が比較的多い場合（例えば、１０枚以上の画像が得られている場合）、より高いかまたはより低い輝度値を有する一部の画素が平均値の計算から除外され得る。
【００２８】
全画素がプロセス３００で処理されると、物体１８０に相当する画像が、その処理の結果得られた（つまり、複合の）輝度値から形成され得る（ブロック２４０）。このため、このように形成された画像の画素は、各照明器１５０について得られた複数の画像のうち種々の画像からのものであり得る。その後、ブロック２５０で、物理的物体１８０に相当する画像が外部の表示装置を介して出力され得る。
【００２９】
別の実施形態では、図２に戻って参照すると、ブロック２１０で、複数の画像がカメラ系１２０の焦点を変更することにより撮像され得る。図４は、複数の画像が撮像された際の画像の画素を処理するためのプロセス４００の例示的実施形態のフローチャートを示しており、各画像はカメラ系１２０の種々の焦点距離に対応している。
【００３０】
図４において、Ｋは画像の第Ｋ番目の画素のシーケンスナンバーを表し、Ｍは画像の画素の最大個数を表している。例えば、カメラ系１２０が物体１８０の画像を撮像し、これを８×８画素の画像に変換する場合、Ｍは６４であり、Ｋは１から６４にまで及ぶ。Ｆｉは、得られた複数の画像のうち第ｉ番目の画像を表している。例えば、６枚の画像が得られた場合、ｉは１から６にまで及ぶ。Ｆｉ［Ｋ］は、Ｆｉの第Ｋ番目の画素を表している。
【００３１】
図４に戻って参照すると、ブロック４１０でＫは０に初期化され、ブロック４２０で１つインクリメントされ得る。ブロック４３０で、ＫがＭ（画素の最大個数）よりも多いと判断された場合、全画素が処理されたものとみなされ、プロセス４００が終了し得る。そうでなければ、ブロック４４０で、各Ｆｉ［Ｋ］の合焦測度が計算され、物体１８０の同一の像点における合焦測度のうち最大の合焦測度が出力され得る。
【００３２】
一例示的実施形態では、カメラの焦点を調節し、同一の像点における画像の複数の画素から適切な画素を決定するために、自動選択方法が用いられ得る。自動選択方法は、被写体上で正確な焦点を得ることができる光学系の特徴であり得る。一例示的実施形態では、自動選択方法は、Shape from Focus（ＳＦＦ）法であり得る。ある画像では、レンズから様々な距離にある複数の物体について、様々な距離で焦点が合わせられ得る。ＳＦＦ法は、カメラ系の焦点合わせを調節するためにレンズの位置および／または焦点距離などのカメラのパラメータを利用し得るものである。ＳＦＦ法によれば、シーンの深度（the depth of the scene）は、関心のある一点に焦点が合わせられるまでカメラの光学素子を変更することにより再構成され得る。光学素子の変更は、カメラに対してレンズの位置および／または物体の位置を変更することにより得られ得る。
【００３３】
焦点を合わせた物体のある点の深度は、次のガウスのレンズ公式、１／ｆ＝１／ｕ＋１／ｖを用いることにより得られ得る。ここで、ｆは焦点距離であり、ｕはレンズ面から物体までの距離、ｖはレンズ面から焦点を合わせた像までの距離である。画像検出器が像平面と一致する、つまり、ｓ＝ｖである場合、画像検出器により、鮮明な画像つまり焦点の合った画像が得られ得る。画像検出器が距離ｖ（ｓ＝ｖ）に配置されると、鮮鋭な画像が得られ得る。しかし、画像検出器が距離ｓ（ｓ≠ｖ）に配置されると、点光源の不鮮明な画像が得られ得る。このため、不鮮明さの度合いは、レンズの焦点距離ｆ、距離ｕ、距離ｓによって決まり得る。ｆおよびｖがわかっていれば、物体の距離ｕは、上に示したガウスのレンズ公式を用いて決定され得る。
【００３４】
Ｉ（ｘ，ｙ）が点（ｘ，ｙ）における画像強度である時、相当するラプラシアンは、
【数１】
2010057156.tif 000003
である。ラプラシアンは所定の画像ウィンドの画素毎に決定され、基準関数は以下のように表される。
【数２】
2010057156.tif 000004
ここで、Ｔは閾値である。しかし、ラプラシアンの場合、ｘ方向およびｙ方向の２階微分は反対の符号を有し得るものであり、相互に打ち消し合う傾向にある。つまり、偏導関数は大きさではほぼ等しいが、符号は反対であり得る。このため、変形ラプラシアンは以下のように用いられ得る。
【数３】
2010057156.tif 000005
【００３５】
変形ラプラシアンは、大きさについてはラプラシアンよりも大きいかまたは等しい。ラプラシアンの離散近似は、３×３のマトリックスまたは演算子であり得る。テクスチャ要素のサイズについて起こり得る変更に順応するため、偏導関数を計算するのに用いられる画素間の可変間隔（刻み）を用いることにより偏導関数が決定され得る。したがって、変形ラプラシアンの離散近似は、
【数４】
2010057156.tif 000006
から決定され得る。
【００３６】
最後に、点（ｉ、ｊ）における合焦測度が、閾値よりも大きい、（ｉ、ｊ）の周囲の小さいウィンドにおける変形ラプラシアンの和として計算され得る。
【数５】
2010057156.tif 000007
ここで、パラメータＮは、合焦測度を計算するのに用いられるウインドサイズを決定する。この合焦測度は、変形ラプラシアン和（ＳＭＬ）と呼ばれることがある。
【００３７】
ＳＦＦでは、一連の画像が、レンズと画像検出器との間の距離を継続的に変更することにより得られ得る。各画素において、最大の鮮鋭測度をもたらす画像フレームが決定され得る。全体の画像シーケンスは、画像量Ｖｉ、ｘ、ｙとみなされ、ここで、ｘ、ｙ、およびｉは、列、行、および画像フレームの個数をそれぞれ示している。一連の画像それぞれに対して、合焦測度、
【数６】
2010057156.tif 000008
が各画素において計算され、合焦測度の大きさＭＬｉ、ｘ、ｙが得られる。Ｆ（ｘ，ｙ）を用いて変形ラプラシアンの和（ＳＭＬ）の大きさＳＭＬｉ、ｘ、ｙが計算され、ここで、ＳＭＬの大きさは画素の周辺の小さい（約１５×１５）２Ｄ画像の近傍を表している。
【００３８】
ＳＭＬの大きさから、最大の鮮鋭測度をもたらす画像シーケンスのうちの画像フレームが決定され得る。この画像フレームは、最終深度マップを表し得る。このように決定された画像フレームの画素のグレーレベル（画像照度に比例する）は、その画素に対して焦点の合った画像のグレーレベル値に相当し得る。この画像フレームについてのカメラのパラメータ値は、その画素に対応する物点の距離を計算するのに用いられ得る。
【００３９】
全画素が図４で処理されると、図２のブロック２４０に戻って参照すると、選択された画素から物体１８０に相当する画像が形成され得る。このように、この画像の画素は、ＳＦＦによって得られた複数の画像のうちの種々の画像からのものとなり得る。その後、図２のブロック２５０に戻って参照すると、物理的物体１８０に相当する画像は、外部の表示装置を介して出力され得る。
【００４０】
別の実施形態では、カメラの焦点を調節して同一点における画像の複数の画素から適切な画素を決定するために、自動選択方法の代わりに、事前設定方法が用いられ得る。事前設定方法は、レンズの焦点をより低い点からより高い点に所定回数変更することを含み得る。一部の例示的実施形態では、所定回数は、２から１０、５から１０、７から１０、２から５、２から７、または５から７までの範囲であり得る。他の例示的実施形態では、所定回数は、２、５、７、または１０であり得る。画素を決定するため、事前設定方法についても、ＳＦＦに用いられる合焦測度を用い得る。一部の実施形態では、全画素が図４で処理されると、決定された画素から物理的物体１８０に相当する画像が形成され（ブロック２４０）、外部の表示装置を介して出力され得る（ブロック２５０）。他の実施形態では、物理的物体１８０に相当する画像が、画素のうち少なくともいくつかの画素が処理された後に形成され得る。
【００４１】
他の実施形態では、他の合焦測度が用いられる。例えば、合焦測度は、限定されないが、いくつかの方法を挙げると、ＦＦＴ（高速フーリエ変換）を用いた振動数スペクトルの高周波エネルギー、画像グレーレベルの分散、画像階調度のＬ１ノルム、画像階調度のＬ２ノルム、画像の２階微分のＬ１ノルム、ラプラシアンのエネルギー、変形ラプラシアン、画像のヒストグラムエントロピー、局所分散のヒストグラム、差分絶対値和に基づいたものでもよく、これにより、権利請求される主題はこれらの事項に限定されない。
【００４２】
本開示について、当業者は、ここに説明した機器および方法が、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、またはこれらの組み合わせにおいて実行し得るものであり、システム、サブシステム、コンポーネント、またはそのサブコンポーネントで利用され得るものであることを理解する。例えば、ソフトウェアで実行される方法は、方法の演算を行うためのコンピュータコードを含み得る。このコンピュータコードは、プロセッサ可読媒体またはコンピュータプログラム製品などの機械可読媒体に記憶され得るか、または搬送波に含まれたコンピュータデータ信号、または搬送波によって変調された信号として、伝送媒体またはデータリンクを介して伝送され得る。機械可読媒体またはプロセッサ可読媒体は、機械によって（例えば、プロセッサ、コンピュータ等によって）可読であり実行可能である形式で情報を記憶するかまたは伝送できるいかなる媒体をも含み得る。
【００４３】
当業者は、本方法で実行される機能が異なる順序で実行され得ること、概要を述べた工程が例として提供されたものであること、工程のうちの一部が、任意であり、組み合わされてより少ない工程となるか、または拡大されて本開示の本質から逸脱することなく追加の工程を含んでいてもよいことを理解するであろう。
【００４４】
以上から、本開示の種々の実施形態が例示のためにここに説明されたこと、種々の変形例が本開示の範囲および趣旨から逸脱することなくなされ得ることが理解される。したがって、ここに説明した種々の実施形態は限定することを意図するものではなく、その本質的な範囲および趣旨を以下の特許請求の範囲によって示す。
【符号の説明】
【００４５】
１００  デジタルプレゼンタ
１１０  基部
１２０  カメラ系
１３０  基部アーム
１４０  照明系
１５０  照明器
１６０  照明器制御系
１７０  焦点制御系
１８０  物体
【図１】
2010057156.tif 000009
【図２】
2010057156.tif 000010
【図３】
2010057156.tif 000011
【図４】
2010057156.tif 000012
【外国語明細書】
2010057156000001.pdf