(57)【要約】  イメージングシステム及びその校正方法を提案する。そのイメージングシステムは、本体と、その焦点距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、本イメージングシステムと１個又は複数個の撮影用レンズシステム視野内シーン構成部分との距離をシーン画像撮影システムを使用せずに計測するレンジファインダと、を備える。その校正は、第１焦点距離設定下の撮影用レンズシステムを用い第１視野に亘る第１校正画像を自動撮影し、第１校正画像内所定合焦度部分を認識し、イメージングシステムから第１校正画像内所定合焦度部分までの距離即ち第１校正画像撮影時距離をレンジファインダで計測し、第１焦点距離及び第１校正画像撮影時距離に基づき焦点相関を画定することによって行う。
2009545772.tif 000002
【特許請求の範囲】
【請求項１】
イメージングシステムの実装先となる本体と、その焦点距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、イメージングシステムと１個又は複数個の撮影用レンズシステム視野内シーン構成部分との距離をシーン画像撮影システムを使用せずに計測するレンジファインダと、を備える上記イメージングシステムを校正する方法であって、
第１焦点距離設定下の撮影用レンズシステムを用い第１視野に亘る第１校正画像を自動撮影するステップと、
第１校正画像内所定合焦度部分を認識するステップと、
イメージングシステムから第１校正画像内所定合焦度部分までの距離即ち第１校正画像撮影時距離をレンジファインダで計測するステップと、
複数通りの焦点距離設定と各少なくとも一通りのレンジファインダ計測距離との対応関係即ち焦点相関を、第１焦点距離及び第１校正画像撮影時距離に基づき画定するステップと、
撮影条件が成立しておりシーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したとき、イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び画定した焦点相関に基づき本番画像撮影時焦点距離を決定して撮影用レンズシステムの焦点距離を設定するステップと、
を有する方法。
【請求項２】
請求項１記載の方法であって、
第１焦点距離と異なる第２焦点距離設定下の撮影用レンズシステムを用い、所定合焦度部分を含み第２視野に亘る第２校正画像を撮影するステップと、
イメージングシステムから第２校正画像内所定合焦度部分までの距離即ち第２校正画像撮影時距離をレンジファインダで計測するステップと、
を有し、上記焦点相関画定ステップにてそれら第１及び第２焦点距離並びに第１及び第２校正画像撮影時距離に基づき焦点相関を画定する方法。
【請求項３】
請求項１記載の方法であって、その焦点相関が二次元ルックアップテーブル、三次元ルックアップテーブル、二項式、多項式、ファジー論理構造又はアルゴリズムで表される方法。
【請求項４】
請求項１記載の方法であって、上記焦点相関画定ステップにて、所定個数の相異なる焦点相関のなかから焦点相関を選定する方法。
【請求項５】
請求項１記載の方法であって、上記焦点相関画定ステップにて、複数通りの焦点距離設定と複数通りのレンジファインダ計測距離との間の関係を表す数学又は論理モデルを調整する方法。
【請求項６】
請求項１記載の方法であって、長時間経過、シーンモード変更、温度変化又は湿度変化を含むカメラ動作状況変化が前回校正後に生じたと認めうる十分な理由があることを検知したとき、上記校正画像撮影ステップ、所定合焦度部分認識ステップ、校正画像撮影時距離計測ステップ及び焦点相関画定ステップを自動実行させるステップを有する方法。
【請求項７】
請求項１記載の方法であって、本番画像撮影前に校正画像撮影時間をとれないときに、所与の焦点相関の使用、レンジファインダ導出距離及び本番画像撮影時焦点距離の使用、スルーザレンズフォーカス法の使用又は動作条件の検知を通じ、焦点相関を初期選定するステップを有する方法。
【請求項８】
請求項１記載の方法であって、
一定コントラスト画像が得られるよう撮影用レンズシステムを離焦させるステップと、
画像部分間コントラスト差を検知するステップと、
コントラストがより均一になるようシーン画像撮影システム内画像センサの相応部分における利得を調整するステップと、
を有する方法。
【請求項９】
請求項１記載の方法であって、
投映システムにディジタル画像を送るステップと、
その投映システムによってそのディジタル画像を投映させるステップと、
投映先面上の画像を撮影するステップと、
撮影した画像とその元になったディジタル画像との比較により差分マップを生成するステップと、
投映先面上における画像の絵面がディジタル画像のそれに近づきその面の状態に起因する偽像が現れなくなるよう、投映する画像を差分マップに基づき改変するステップと、
を有する方法。
【請求項１０】
請求項９記載の方法であって、
その面をレンジファインダで調べるステップと、
それによって得られた情報に基づき画像投映動作を調整するステップと、
を有する方法。
【請求項１１】
請求項９記載の方法であって、投映先面毎に差分マップを生成し投映システムを校正する方法。
【請求項１２】
請求項９記載の方法であって、投映画像毎に差分マップを生成し投映システムを校正する方法。
【請求項１３】
その視野内のシーンからくる光を画像センサ上に合焦可能且つその焦点距離をある範囲内で複数通りに亘り変更設定可能な撮影用レンズシステムを備えており、レンジファインダの実装先と同じ部材に実装されており、そのレンジファインダが、シーン画像撮影システムから撮影用レンズシステム視野内シーン構成部分までの距離をそのシーン画像撮影システムを使用せずに求めるシーン画像撮影システムを、校正する方法であって、
撮影用レンズシステムの焦点距離をその可変範囲内で画像毎に自動設定して一組の画像を撮影するステップと、
互いに異なる焦点距離設定下で撮影用レンズシステムを介し撮影された画像のなかから、撮影用レンズシステム視野内シーン構成部分に合焦している画像を認識し、認識した画像それぞれについて、シーン画像撮影システムからその画像内の所定合焦度部分までの距離をレンジファインダで計測するステップと、
各画像のレンジファインダ計測距離に対しその撮影時における撮影用レンズシステムの焦点距離設定を関連づけて焦点相関データとして保存することにより、焦点距離の可変範囲全体に亘る焦点距離設定対距離の関係を示す焦点相関を生成するステップと、
を有する方法。
【請求項１４】
請求項１３記載の方法であって、カメラ動作状況又はユーザ入力操作の検知結果に基づき複数通りの距離範囲が設定され各距離範囲に属する距離について焦点相関データが得られるよう、ひいてはより多数の焦点相関データが生じるよう、画像撮影用シーンモードを検知して上記画像撮影ステップ、距離導出ステップ及び焦点相関生成ステップを実行させるステップを有する方法。
【請求項１５】
下記シーン画像撮影システム及びレンジファインダの実装先となる本体と、
その焦点距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、
撮影用レンズシステム視野内シーン構成部分までの距離を計測するレンジファインダと、
コントローラと、
を備え、そのコントローラが、
第１焦点距離設定下の撮影用レンズシステムを用い第１校正画像を自動撮影し、
第１校正画像内所定合焦度部分を認識し、
本イメージングシステムから第１校正画像内所定合焦度部分までの距離即ち第１校正画像撮影時距離を上記レンジファインダで計測し、
複数通りの焦点距離設定と各少なくとも一通りのレンジファインダ計測距離との対応関係即ち焦点相関を第１焦点距離及び第１校正画像撮影時距離に基づき画定し、更に、
撮影条件が成立しておりシーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したときに、本イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び画定した焦点相関に基づき本番画像撮影時焦点距離を決定して撮影用レンズシステムの焦点距離を設定するイメージングシステム。
【請求項１６】
請求項１５記載のイメージングシステムであって、そのコントローラが、
第１焦点距離と異なる第２焦点距離設定下の撮影用レンズシステムを介し所定合焦度部分を含み第２視野に亘る第２校正画像を撮影させ、
本イメージングシステムから第２校正画像内所定合焦度部分までの距離即ち第２校正画像撮影時距離をレンジファインダに計測させ、
それら第１及び第２焦点距離並びに第１及び第２校正画像撮影時距離に基づき焦点相関を画定するイメージングシステム。
【請求項１７】
請求項１５記載のイメージングシステムであって、
ディジタル画像を受け取って投映する投映システムを備え、
上記コントローラが、その投映先面をレンジファインダで調べた結果に基づき投映システムの焦点設定を調整するイメージングシステム。
【請求項１８】
請求項１７記載のイメージングシステムであって、そのコントローラが、投映先面上の画像をシーン画像撮影システムに撮影させ、それにより得られた校正画像及び元となったディジタル画像の絵面に基づき投映システムの焦点設定を調整するイメージングシステム。
【請求項１９】
請求項１５記載のイメージングシステムであって、そのコントローラが、投映先面上の画像をシーン画像撮影システムに撮影させ、それにより得られた校正画像及びその元となったディジタル画像の相違分を示す差分マップを生成し、投映先面上の画像の絵面が元のディジタル画像のそれに近づくようよう、投映する画像を差分マップに基づき調整するイメージングシステム。
【請求項２０】
請求項１５記載のイメージングシステムであって、その投映システムがその使用時にインタフェース越しに上記本体に接続されるイメージングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質向上及び動作高速化を目的とするイメージングシステム自動校正に関する。
【背景技術】
【０００２】
イメージングシステムにおける画質向上を阻むものに、その動作環境の影響で生じる偽像がある。そうした偽像が撮影画像中に現れることを防ぐには、例えばそのイメージングシステムの利用環境に類似した環境でそのイメージングシステムを校正しておけばよい。これはイメージングシステム製造時に行われることが多い。その例としては、そのカメラを動作させうる環境下にフィルム式カメラを配置し、検査器具を用いてそのカメラのオートフォーカスシステムを校正する、という手法が従来から知られている。
【０００３】
イメージングシステム構成部分のなかで特に校正メリットが大きいのはオートフォーカスシステムである。多くのフィルム式カメラ、ディジタルカメラ及びスキャナでは、そのイメージャと共に可調焦点型レンズシステムを使用して画像を撮影する。通常、そうした可調焦点型レンズシステムの焦点距離は、複数通りある設定可能な焦点距離のいずれかに自動設定される。検知、制御及び駆動システムは、シーン内の被写体部分に好適に合焦するようその自動設定を実行する。本願では、その焦点設定を自動調整可能なレンズシステムのことをオートフォーカスシステムと呼んでいる。
【０００４】
自明な通り、こうしたオートフォーカスシステムの適正校正は重要である。上に掲げたフィルム式カメラの例では、その焦点距離設定の校正に当たり、まず、そのカメラのレンズシステムで得られる画像を検査器具でモニタしながらそのカメラによる撮影及びレンズシステムの調整を行うことで、そのカメラから所定距離隔てた位置にある検査用被写体にそのレンズシステムを合焦させ、次いでそのカメラのレンジファインダで検査用被写体までの距離を計測する。更に、検査用被写体の種類や距離を変えながらこの手順を複数回繰り返すことによって、複数通りの焦点距離設定それぞれにレンジファインダ計測距離を関連づける。これを済ませておけば、レンジファインダ計測距離に応じ焦点距離を選びレンズシステムの焦点距離を設定し、被写体までの距離に合わせることができる。
【０００５】
次に、ディジタルカメラでは、撮影用レンズの自動焦点設定にレンジファインダ式やスルーザレンズ式のオートフォーカスシステムが用いられることが多い。そのうちレンジファインダ式オートフォーカスシステムでは、カメラから可調焦点型レンズシステム視野内被写体部分までの距離を、最低１個の被写体部分について光学式レンジファインダ、音響式レンジファインダ等のセンサで計測する。能動型と受動型に大別できるレンジファインダ式オートフォーカスシステムのうち例えば能動型のものでは、まず横並びに間隔配置されている２個のレンズシステムで同じ被写体を撮影し、得られた二種類の低解像度画像を相互比較することによって、被写体までの距離を三角測量の原理で導出する。更に、シーンまでの距離と、その距離にある被写体に合焦する撮影時レンズ位置と、を関連づける所与の校正曲線乃至ルックアップテーブル（ＬＵＴ）を参照することによって、その可調焦点型レンズシステムに設定すべき焦点距離を導出する。なお、レンジファインダ式オートフォーカスシステムとしては他にも様々な種類が知られている。
【０００６】
レンジファインダ式オートフォーカスシステムの長所は非常に高速なことである。なかには０．０１〜０．０５秒程度の時間で応答できるものもある。しかしながら、レンジファインダ式オートフォーカスシステムにおける合焦品質は、その動作状況が変化すると変化することがある。例えば、レンジファインダ式オートフォーカスシステム構成部材や撮影用レンズ構成部材の屈折率や寸法は、温度や湿度の影響を受けうる。屈折率や寸法に狂いが生じると、被写体距離と合焦レンズ位置の関係が校正曲線から外れてしまう。
【０００７】
他方のスルーザレンズ式オートフォーカスシステムでは、そのレンズシステムの焦点距離を複数通りに亘り変化させて都合複数枚の画像を撮影し、それらの画像の解析結果に基づき焦点距離を設定する。例えばコントラストを利用するタイプのスルーザレンズ式オートフォーカスシステムでは、いわゆるヒルクライム法に従い撮影用レンズの位置を変えながら複数枚例えば５〜２０枚の画像を撮影し、それらの画像に存するコントラストを対比してそのコントラスト値が最高のものを選び、その画像が得られた撮影用レンズ位置を以て最良合焦レンズ位置と判断する。画像間でコントラスト値を補間すれば、その最良合焦レンズ位置をより細かく割り出すこともできる。こうしたスルーザレンズ式オートフォーカスシステムは、合焦品質を高品質な撮影用レンズで直接計測するので非常に高精度である。
【０００８】
しかしながら、既存のスルーザレンズ式オートフォーカスシステムでは焦点距離決定に時間がかかる。例えば、焦点距離決定に０．５〜２．０秒もの時間がかかることもある。これは、スルーザレンズ式オートフォーカスシステムでは多数の画像を撮影及び処理する必要があるからである。
【０００９】
そのため、これら二種類のオートフォーカス方式を組み合わせたハイブリッド式のオートフォーカスシステムを使用するディジタルカメラもある。その種のシステムでは、レンジファインダ方式を用い焦点設定を高速粗推定し、次いでスルーザレンズ方式を用いより細かく焦点距離を設定する。例えば、特許文献１４（名称：光学機器の焦点を調整するための合焦装置(Focusing Apparatus for Adjusting Focus of an Optical Instrument)，出願日：２００３年１月１０日，発明者：Ｍｉｓａｗａ）には、レンジファインダ式オートフォーカスシステムとスルーザレンズ式オートフォーカスシステムを調和的に使用する手法が示されている。この手法では、撮影用レンズの焦点位置をレンジファインダ式オートフォーカスシステム及びスルーザレンズ式オートフォーカスシステムの双方で求め、前者で得られた焦点位置と後者で得られた焦点位置の差異を事後参照可能な形態で保存する。後に画像を撮影する際には、保存されている差異情報に従い画像の撮影・解析枚数を決めることで、ヒルクライム法に従い且つスルーザレンズ式オートフォーカスシステムにより、最良合焦レンズ位置を高精度に導出する。従って、画像の撮影・処理枚数は、レンジファインダが正確なら少なめになり不正確なら多めになる。しかしながら、特許文献１４に記載の手法では、レンジファインダ、可調焦点型レンズシステム及び制御システムの動作が常に安定で、環境条件変化の影響等を含め経時的な変化乃至ドリフトを受けないことを前提している。また、特許文献１４に記載のハイブリッド式オートフォーカスシステムでは、スルーザレンズ式オートフォーカスシステムにて複数枚の画像を撮影及び処理する必要があるので、そのハイブリッドオートフォーカス動作はまだまだ低速である。
【００１０】
イメージングシステム構成部分のなかで校正メリットが大きな部分としては、更に投映システムがある。その校正によって投映用レンズシステムの焦点を適正化できるので、従来から様々な自動フィードバックシステムが提案されている。例えば特許文献４及び５（発明者：共にＬｉ  ｅｔ  ａｌ．）に記載の投映システムでは、投映された画像を画像センサシステムで捉えてフィードバックし、そのフィードバックを受けて投映システムを合焦させている。特許文献４及び５に記載の投映システムでは、更に、画像センサシステムを利用し投映部対投映面方向問題の補正を図っている。即ち、投映された画像における指標部分の位置を調整する補正や、投映された画像が投映先スクリーンの枠内にはめ込む補正等を提案している。従って、特許文献４及び５に記載のシステムは、本質的には方向問題補正機能付のスルーザレンズ式オートフォーカスシステムである。残念なことに、こうしたシステムの校正は、普通は製造時やマニュアル点検中しか行えない。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許出願公開第２００２／０１７６０１５号明細書
【特許文献２】米国特許出願公開第２００２／０１１８１５１号明細書
【特許文献３】米国特許出願公開第２００３／００８１１８４号明細書
【特許文献４】米国特許出願公開第２００５／０１６８７０５号明細書
【特許文献５】米国特許出願公開第２００５／００２４６０６号明細書
【特許文献６】米国特許第４８６２２７８号明細書
【特許文献７】米国特許第５１６４８３１号明細書
【特許文献８】米国特許第５４４０３６９号明細書
【特許文献９】米国特許第５７１５４８３号明細書
【特許文献１０】米国特許第５８７７８０９号明細書
【特許文献１１】米国特許第６０６７１１４号明細書
【特許文献１２】米国特許第６６３７８９６号明細書
【特許文献１３】米国特許第６７９６６５５号明細書
【特許文献１４】米国特許第６８５４４７４号明細書
【特許文献１５】米国特許第６９８４０３９号明細書
【特許文献１６】英国特許第２３７７５８０号明細書
【特許文献１７】国際公開第ＷＯ０３／０３８５１７号パンフレット
【特許文献１８】米国特許出願公開第２００６／００６１６７６号明細書
【特許文献１９】米国特許第６３８１４１３号明細書
【特許文献２０】欧州特許出願公開第１４３４４２７号明細書（Ａ２）
【非特許文献】
【００１２】
【非特許文献１】Light Blue Optics, Ltd., "PVPro(TM) Enabling Personal Video Projectors", [online] Internet URL: http://www.lightblueoptics.com
【非特許文献２】Jacqueline Hewett, "Tiny Image Projectors Take a Step Towards the Shops", July/August 2003, [online] Internet URL: http://www.optics.org
【非特許文献３】Anne Eisenberg, "What's Next; For Your Viewing Pleasure, a Projector in Your Pocket", November 4, 2004, [online] Internet URL: http://www.nytimes.com
【発明の概要】
【発明が解決しようとする課題】
【００１３】
このように、イメージングシステムにおける校正手法の改良が求められている。
【課題を解決するための手段】
【００１４】
そこで、本願ではイメージングシステム及びその校正方法を提案する。本発明の一実施形態は、本体と、その焦点距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、イメージングシステムと１個又は複数個の撮影用レンズシステム視野内シーン構成部分との距離をシーン画像撮影システムを使用せずに計測するレンジファインダと、を備えるイメージングシステムを校正する方法であって、第１焦点距離設定下の撮影用レンズシステムを用い第１視野に亘る第１校正画像を自動撮影するステップと、第１校正画像内所定合焦度部分を認識するステップと、イメージングシステムから第１校正画像内所定合焦度部分までの距離即ち第１校正画像撮影時距離をレンジファインダで計測するステップと、複数通りの焦点距離設定と各少なくとも一通りのレンジファインダ計測距離との対応関係即ち焦点相関を、第１焦点距離及び第１校正画像撮影時距離に基づき画定するステップと、撮影条件が成立しておりシーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したとき、イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び画定した焦点相関に基づき本番画像撮影時焦点距離を決定して撮影用レンズシステムの焦点距離を設定するステップと、を有する。
【図面の簡単な説明】
【００１５】
【図１】イメージングシステムの一例構成を示すブロック図である。
【図２】図１に示したイメージングシステムの背面図である。
【図３】図１に示したイメージングシステムの正面図である。
【図４】レンジファインダを有する自動合焦型イメージングシステムの自動校正手順の一例を示すフローチャートである。
【図５】校正画像の一例を示す図である。
【図６】焦点相関の一例を示す図である。
【図７】焦点相関の一例を示す図である。
【図８】焦点相関の一例を示す図である。
【図９】イメージングシステム校正手順の別例を示すフローチャートである。
【図１０】イメージングシステム校正手順の別例を示すフローチャートである。
【図１１】イメージングシステム校正手順の別例を示すフローチャートである。
【図１２】イメージングシステム校正手順の別例を示すフローチャートである。
【図１３】焦点相関の一例を示す図である。
【図１４】焦点相関の一例を示す図である。
【図１５】焦点相関の一例を示す図である。
【図１６】焦点相関画定手順の別例を示すフローチャートである。
【図１７】投映システムが接続されたイメージングシステムの一例構成を示すブロック図である。
【図１８】投映システム校正手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施形態について詳細に説明する。以下の説明では別紙図面を参照する。
【００１７】
また、本発明の実施形態についてこれから詳細に説明するのであるが、本発明を下記実施形態に限定して解釈すべきではないこと、本発明は多様な形態で実施できることを、ご了承頂きたい。
【００１８】
一実施形態に係るイメージングシステム１０のブロック構成を図１に、背面を図２に、正面を図３にそれぞれ示す。図示の通り本システム１０はディジタルカメラ１２の形態を採っており、その本体２０にはシーン画像撮影システム２２及びオートフォーカスシステム（２７）が実装されている。撮影システム２２は撮影用レンズシステム２３、シーン画像センサ２４、シグナルプロセッサ２６、オプションのディスプレイドライバ２８及びディスプレイ３０を有しており、その動作時には、シーンからの光をレンズシステム２３により合焦させて画像センサ２４上に画像を形成する。レンズシステム２３は単体の光学部品でも複数光学部品の組合せでも形成できる。
【００１９】
図中の撮影用レンズシステム２３は自動可調焦点型であり、その焦点距離を複数通りに自動変更設定することができる。具体的には、図示しない固定素子（群）に対し且つ動力付の自動駆動用レンズドライバ２５により、図示しない可動素子（群）を動かす６倍ズームレンズユニットとして構成されている。ドライバ２５は、レンズシステム２３を形成しているレンズの焦点距離及び焦点位置を制御する。シグナルプロセッサ２６、オプションの自動レンジファインダシステム（以下単に「レンジファインダ」）２７或いはコントローラ３２は、ドライバ２５への信号供給によって、レンズシステム２３に当該距離、焦点位置又はその双方を設定する。また、これ以外のやり方としては、例えばその形状を変化させうるレンズを用いてレンズシステム２３を構成し、レンズ特性例えば曲率の調整でレンズ焦点距離をインサイチューに（即ち“その場”で）変化させるやり方があり得る。そうしたレンズシステムを実現するには、本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり既知であるところの流体レンズ技術等を用いればよい。その場合、ドライバ２５は、モータ等から動力を受け取ることなく、信号供給で焦点距離を変化させることができる。なお、使用できる流体レンズとしては、オランダ国アムステルダム所在のＲｏｙａｌ  Ｐｈｉｌｉｐｓ  ＥｌｅｃｔｒｏｎｉｃｓがＦｌｕｉｄＦｏｃｕｓ（登録商標）なる商品名で販売しているレンズや、シンガポール国所在のＰＧＳ  Ｐｒｅｃｉｓｉｏｎが販売している流体レンズ商品等がある。
【００２０】
本実施形態における撮影用レンズシステム２３の焦点位置は、既知の様々な手法で自動指定することができる。例えば、本願出願人をその譲受人とする特許文献１０（名称：画像内被写体自動検知方法(Method Of Automatic Object Detection In An Image)，出願日：１９９６年１０月１５日，発明者：Ｏｍａｔａ  ｅｔ  ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、スルーザフォーカス法又はホールウェイスキャニング法と呼ばれる手法に従い、シーン画像センサ２４を用いてマルチスポットオートフォーカスを実施してもよい。狙いとする被写体が動いている場合は、本願出願人をその譲受人とする特許文献１１（名称：画像組成変化検知(Detecting Compositional Change in Image)，出願日：１９９６年１０月２６日，発明者：Ｏｍａｔａ  ｅｔ  ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、被写体追尾を実行するとよい。或いは、本願出願人をその譲受人とする特許文献９（名称：自動合焦装置及び方法(Automatic Focusing Apparatus and Method)，出願日：１９９８年１０月１１日，発明者：Ｏｍａｔａ  ｅｔ  ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、ホールウェイスキャニング法で決定した焦点値を用いて焦点位置を粗設定し、ファインフォーカスモードを用いてより細かく設定してもよい。
【００２１】
レンジファインダ２７は、本システム１０即ちディジタルカメラ１２から撮影用レンズシステム２３視野内シーン構成部分のうち１個又は複数個までの距離を検知する。例えば、フィート又はメートルを単位とする絶対距離（１フィート＝約０．３０ｍ）や、レンズシステム２３に設定されておりその距離にある被写体を撮影するに相応しい焦点距離を基準にした相対距離である。レンジファインダ２７は、そうした距離をレンズシステム２３を用いずに計測する。レンジファインダ２７からレンズドライバ２５へと直接に信号を供給するようにしてもよいが、本実施形態では、図１にある通りレンジファインダ２７からシグナルプロセッサ２６又はコントローラ３２に信号を送り画像撮影用の信号を発生させている。また、いわゆる当業者にとり既知の多センサ型レンジファインダのなかにも、レンジファインダ２７として好適に使用可能なものがいろいろある。例えば特許文献８（名称：焦点距離依存型自動露出調整機能付コンパクトカメラ(Compact Camera With Automatic Focal Length Dependent Exposure Adjustments)，出願日：１９９３年１１月３０日，発明者：Ｔａｂａｔａ  ｅｔ  ａｌ．，この参照を以てその内容を本願に繰り入れる）には、そうしたレンジファインダについての記載がある。更に、レンジファインダ２７による合焦判別は、シングルスポット式でもよいが、マルチスポット式の方が望ましい。マルチスポット式合焦判別では、シーンをグリッド沿いに複数のエリア即ちスポットに分割し、スポット毎に最適焦点距離を決定する。更に、スポットのうち１個を被写体スポットと認識し、そのスポットに合焦する焦点距離に基づきレンズシステム２３の焦点を設定する。
【００２２】
レンズドライバ２５とコントローラ３２、レンジファインダ２７又はその双方との間には、撮影用レンズシステム２３の焦点位置を素早く設定することができるよう、フィードバックループを形成するとよい。
【００２３】
また、撮影用レンズシステム２３は可調焦点型であるので可変倍率ズームも実行することができる。本実施形態の場合、図１に示した通り、シグナルプロセッサ２６、レンジファインダ２７又はコントローラ３２からレンズドライバ２５に信号を送り、撮影用レンズシステム２３内の図示しない可動素子（群）の位置、即ち図示しない固定素子（群）に対する位置を自動調整させることにより、相応のズーム倍率を提供することができる。更に、固定ズーム設定、手動可調等、レンズシステム２３には更に他の既知装置によるズーム調整機能を持たせることもできる。
【００２４】
シーン画像センサ２４は、シーンからの光が撮影用レンズシステム２３によって合焦されたときに、その上に形成される画像を表す画像信号を発生させる。このセンサ２４としては、電荷結合デバイス（ＣＣＤ）、相補型金属−酸化物−半導体（ＣＭＯＳ）センサ等、いわゆる当業者にとり既知の各種電子式画像センサを使用することができる。画像信号の形式はディジタルでもアナログでもよい。
【００２５】
シグナルプロセッサ２６は、シーン画像センサ２４から画像信号を受け取りその画像を表すディジタルデータに変換する。その画像のことをディジタル画像、データのことをディジタル画像データと呼ぶ。ディジタル画像には、静止画又はその集まりと呼ぶべきものと、複数枚の静止画の集まりではあるが見かけ上動画ストリーム例えば動画クリップを形成しているものとがある。後者の場合は、複数枚のディジタル画像をインタリーブ／インタレースし、或いはシーケンス化する等、いわゆる当業者にとり既知の方式でディジタル動画化すればよい。
【００２６】
シグナルプロセッサ２６は、画像信号をディジタル画像データに変換するに当たり様々な画像処理アルゴリズムを実行する。例えば、色バランシング、露出バランシング、補間、圧縮等を実行する。その画像信号がアナログなら、アナログ信号からディジタルデータへの変換も実行する。また、プロセッサ２６における画像信号処理によって、撮影用レンズシステム２３で実際に使用されているものとは異なるズーム設定で撮影されたものであるかのように、ディジタル画像を生成することもできる。これは、従来からディジタルズームと通称されている機能であり、シーン画像センサ２４から得られる画像信号から一画を切り出し、切り出した区画に補間を施してディジタル画像を生成することで実行される。こうしたディジタルズーム機能は、固定焦点、マニュアル焦点或いは更に自動可調焦点システムにあってさえ、電子制御可能な可調ズームとして利用することができる。
【００２７】
コントローラ３２は、画像撮影時に本システム１０の動作、例えばシーン画像撮影システム２２、ディスプレイ３０及びメモリ例えば４０のそれを制御する。コントローラ３２は、ユーザ入力システム３４、シグナルプロセッサ２６或いはオプションのセンサ３６から信号又はデータを受け取り、それらに基づきシーン画像センサ２４、プロセッサ２６、ディスプレイ３０及びメモリ４０にシーン画像の撮影、表示、保存等を実行させる。コントローラ３２としては、本システム１０の動作制御に利用できるものであれば、プログラマブルな汎用マイクロプロセッサ、専用のマイクロプロセッサ乃至マイクロコントローラといったマイクロプロセッサや、ディスクリート部品の組合せによる回路等、種々のシステムを使用することができる。
【００２８】
ユーザ入力システム３４は、コントローラ３２と連携し、ユーザと本システム１０の間のやりとりを司る。このシステム３４を構成するデバイス例えばトランスデューサとしては、ユーザからの入力を受け取ることができ、本システム１０を稼働させる際にコントローラ３２で使用できる形態へとその入力を変換することができるものである限り、どのようなものでも使用することができる。例えば、入力用タッチスクリーン、入力用タッチパッド、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャ認識システム等を、システム３４の構成部材として使用することができる。また、図１に示したシステム１０はディジタルカメラ１２であるので、そのユーザ入力システム３４は、図２に示すように、本番画像(archival image)の撮影を指示する撮影信号を生成しコントローラ３２に送る撮影ボタン６０のほか、ジョイスティック６６、モードボタン６７、セレクトイットボタン６８等のボタン類から構成されている。
【００２９】
センサ３６は、省略も可能であるが、本システム１０周囲の諸環境条件を検知し本システム１０の管理に当たりコントローラ３２で使用できる形態で出力するセンサ、例えば本件技術分野で既知の光センサにするとよい。また、音響を捕捉する音響センサをセンサ３６の一つとして設けてもよい。音響センサとしては、従来型のセンサを用いてもよいが、音響的指向性を制御可能なもの、例えば特許文献６（名称：ズーム可調音響フォーカス付ビデオカメラマイクロホン(Video Camera Microphone with Zoom Variable Acoustic Focus)，出願日：１９８６年１０月１４日，発明者：Ｄａｎｎ  ｅｔ  ａｌ．）に記載の音声ズームシステムを用いてもよい。ユーザ属性を検知可能なバイオメトリックセンサをセンサ３６の一つとして設ければ、証券や医用文書の撮影に更に相応しいシステムになる。そして、本システム１０周囲の環境条件を検知できる温度センサ又は湿度センサも、センサ３６の一つとして設けうる。辺りが暗くて明かりが必要だと思われるときは、コントローラ３２からの指令でオプションの人工照明光源３７を発光させることができる。例えば、ランプ、ストロボ、フラッシュ等のシステムを発光させることができる。
【００３０】
コントローラ３２は、ユーザが本番画像を撮影したいと思っていること即ち撮影条件が成立していることを検知したときに、画像信号ひいてはディジタル画像データを発生させる。通常は、ユーザによる撮影ボタン６０の押下を以て撮影条件成立と判断するのであるが、撮影ボタン６０の押下から指定時間が経過したときや指定時刻が到来したときにも、撮影条件成立と判断する。また、センサ３６による指定環境条件の検知、例えば特定の光信号乃至無線周波数信号の受信を以て、コントローラ３２が撮影条件成立と判断することもある。その他、センサ３６のうち例えばユーザの生理的状態を検知するものから要注意信号を受信したことを以て、撮影条件成立と見なすこともできる。
【００３１】
コントローラ３２は各画像に係るメタデータも生成する。メタデータとは、ディジタル画像又はその一部分と関連があるものの、その画像中に表現する必要がないデータのことである。コントローラ３２では、必要があれば、シグナルプロセッサ２６、ユーザ入力システム３４、センサ３６等から受け取った信号に基づきメタデータを生成する。メタデータの種類としては、例えば、そのシーンの画像が撮影された日時及び場所、シーン画像センサ２４の種類、モード設定情報、積分（蓄積）時間情報、撮影用レンズシステム２３の設定情報のうちそのシーン画像の撮影及び処理に用いられた手法を特徴付けるもの、本システム１０で用いられている手法及びアルゴリズムのうちシーン画像の生成に用いられているものについての情報等がある。更に、コントローラ３２によって導出され又は本システム１０内のいずれかのメモリに保存されている種々の情報、例えば本システム１０の識別情報や、そのメタデータに対応するディジタル画像の処理例えば描画を指令する情報等を、メタデータに含めることもある。メタデータには、また、そのディジタル画像を表示させるときにその画像中にある特定のメッセージを挿入せよという指令も、含めることができる。例えば、例えばそのディジタル画像を表示させ又は描画する際に、所望のテキストメッセージを併せて表示させ又は描画させよとの指令である。メタデータには、更に、オーディオ信号やディジタル画像データも含めることができる。例えば、撮影した画像の一区画を利用し画像を生成するディジタルズームを実行する際、本発明の好適な実施形態では、撮影した画像のうちそのディジタルズーム画像中に組み込まれなかった部分に属する画像データを、そのディジタルズーム画像のメタデータに含めることができる。この他、メタデータには、本システム１０に入力され、本システム１０で検知され、或いは本システム１０又はその一部で導出される情報なら何でも、含めることができる。
【００３２】
撮影で得られたディジタル画像データ及びそれに付随するメタデータは、本番画像として使用できるよう、或いは本願記載の他の目的で使用できるよう、例えば圧縮形式で保存するとよい。そのディジタル画像データが例えば静止画シーケンスを表すものであるなら、ＩＳＯ  １０９１８−１（ＩＴＵ−Ｔ．８１）規格であるＪＰＥＧ(Joint Photographic Experts Group)方式等の圧縮方式で圧縮して保存するとよい。ＪＰＥＧ圧縮された画像データの保存には、社団法人電子情報技術産業協会（ＪＥｌＴＡ）発行のＣＰ−３４５１に記載のＥｘｉｆ（登録商標；Exchangeable Image File）フォーマットバージョン２．２に従い、いわゆるＥｘｉｆ画像形式を用いる。同様に、動画形式のディジタル画像データの保存には、ＭＰＥＧ−４(Motion Pictures Export Group-4)、Ａｐｐｌｅ（登録商標）ＱｕｉｃｋＴｉｍｅ（登録商標）等の他種規格に係る圧縮方式を用いることができる。使用できる画像圧縮／保存形式は他にもある。
【００３３】
メモリ例えばメモリ４０はディジタル画像データ及びメタデータの保存先となる。メモリ４０としては従来既知のメモリデバイスを使用できる。例えば、固体、磁気、光等、どの方式によるデータ記憶／記録デバイスを用いてもよい。本システム１０内に固定配設するタイプに限らずリムーバブルなタイプも使用することができる。本システム１０の場合、図１にある通り、リムーバブルなメモリたるリムーバブルメモリカード４８を差し込めるようメモリカードスロット４６が設けられており、そのスロット４６に組み込まれているリムーバブルメモリインタフェース５０を介しそのカード４８との間でデータをやりとりすることができる。そして、ディジタル画像データやメタデータの保存先として、本システム１０外のリモートメモリシステム５２、例えばパーソナルコンピュータ、コンピュータネットワーク、他イメージングシステム等を、使用することもできる。
【００３４】
図１及び図２に示す実施形態では、通信モジュール５４が、本システム１０と外部装置例えばリモートメモリシステム５２との間の通信を司っている。このモジュール５４は、例えば光回路、無線周波数回路等の無線回路乃至トランスデューサである。画像その他データは、その回路乃至トランスデューサによって外部装置向けの信号、例えば光信号、無線周波数信号等の形態を有する信号に変換され、その外部装置に送信される。モジュール５４は、また、図示しないホストコンピュータ、ネットワークその他のディジタル画像取得／保存装置から、ディジタル画像データその他の情報を受信する。例えば、図示しないリモートトリガボタン等、図示しない遠隔制御装置から信号を受信する。コントローラ３２は、モジュール５４における受信信号から情報、命令等を抽出し、抽出結果に基づき本システム１０を稼働させる。
【００３５】
シグナルプロセッサ２６及びコントローラ３２は、単独で又は連携して確認用画像を生成する。即ち、本システム１０にて保持されているシーン画像に相応する絵面（外観）を呈する確認用画像を、画像信号乃至ディジタル画像データに基づき生成し、ディスプレイ３０の画面上に表示させる。従って、本システム１０のユーザは、本システム１０内に保存されているシーン画像と絵面が一致する画像を、ディスプレイ例えば３０の画面上で眺めることができる。その際、シーン画像撮影システム２２で撮影した画像に限らず、通信モジュール５４経由で取得されメモリ４０、リムーバブルメモリ４８等のメモリ内に保存されている画像についても、対応する確認用画像を表示させることができる。
【００３６】
ディスプレイ３０は、例えばカラーＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ディスプレイ，別称ＯＥＬＤ（有機電界発光ディスプレイ））等、種々の画像表示装置で実現することができる。また、図２に示した例ではディスプレイ３０が外面に露出しているが、例えばビューファインダシステム３８内に組み込む等して内部に組み込むこともできる。更に、本システム１０にディスプレイ３０を複数個設け、そのうち何個かを外面に、他の何個かを内部に配置するようにしてもよい。
【００３７】
シグナルプロセッサ２６及びコントローラ３２は、その協働により、テキスト、グラフィクス、アイコンその他の画像情報を生成し、その画像をディスプレイ３０の画面上に表示させる。本システム１０のユーザは、これを利用しコントローラ３２との間でインタラクティブにやりとりすることができる。即ち、ディスプレイ３０の画面を見て情報を取得した上で、ユーザ入力システム３４を介しインタラクティブに、本システム１０に情報を与えることができる。更に、本システム１０に、図示しないセグメント化ＬＣＤ乃至ＬＥＤディスプレイ等、また別のディスプレイを設け、そのディスプレイをプロセッサ２６やコントローラ３２からユーザへの情報提示に使用することもできる。この機能は、動作モード指定・制御条件設定・ユーザ意向の確認や、本システム１０のユーザに対する警告・通知の表示等、種々の目的で使用することができる。
【００３８】
図１及び図２に例示したイメージングシステム１０中、オプションのオーディオシステム７０は、音響エネルギを捉えて信号に変換する入力トランスデューサたるマイクロホン７２や、その信号を受け取りマイクロホン７２への音響エネルギ入射パターンを表す電子的なオーディオ信号に変換する音声処理回路７４や、コントローラ３２からの信号に応じ音声処理回路７４から供給される信号で鳴音するスピーカ７６から構成されている。このシステム７０によれば、ユーザに対し情報、フィードバック、警告等をもたらすことができる。その種の作用がある別種の仕組み、例えば既知の回路、光源、アクチュエータ等を用い画像信号、オーディオ信号、振動信号、触感フィードバック信号その他の形態の信号を発生させる仕組みを、本システム１０に組み込むこともできる。
【００３９】
そして、シーン画像センサ２４に比し概して解像度が低いディスプレイ３０に確認用画像を表示させるため、シグナルプロセッサ２６は、撮影で得られ或いは保存されている画像信号乃至ディジタル画像データから、ディスプレイ３０の画面上に表示できるより低解像度の確認用画像を生成する。画像解像度を全体に低下させるには、ダウンサンプリング等の手法を用いればよい。例えば、本願出願人をその譲受人とする特許文献７（名称：様々な格納フォーマットのフル解像度画像及び低解像度画像を提供する電子スチルカメラ(Electronic Still Camera Providing Multi-Format Storage Of FuIl And Reduced Resolution Images)，出願日：１９９０年３月１５日，発明者：Ｋｕｃｈｔａ  ｅｔ  ａｌ．）に記載のリサンプリング法を使用するとよい。生成した確認用画像の表示は、例えばその画像データをメモリ４０等のメモリに保存させ、そのデータに基づきディスプレイドライバ２８でディスプレイ３０を駆動することで行える。また、プロセッサ２６にて、ドライバ２８を経ずディスプレイ３０に直接送信できる信号へと、生成した確認用画像を変換することによって、ドライバ２８を廃してもよい。
【００４０】
図４に、レンジファインダ２７を有する自動合焦型イメージングシステム１０の自動校正手順を示す。この手順では、ユーザがディジタルカメラ１２を起動したら自動校正を実行し、その後撮影指示が与えられたら本番画像を撮影する。具体的には、図示の通り、ユーザがディジタルカメラ１２に対する起動操作を行いコントローラ３２がそれを検知すると（ステップ８０）、コントローラ３２が第１視野に亘る校正画像１００を自動撮影させる（ステップ８２）。図５に校正画像１００の一例を示す。
【００４１】
コントローラ３２は、校正用画像１００撮影時の焦点距離即ち校正画像撮影時焦点距離（第１焦点距離）を、撮影用レンズシステム２３の焦点距離を所定の第１焦点距離にすることによって設定する。第１焦点距離は、例えばシステム２３の焦点距離可変範囲の中葉に位置する距離等とするとよいが、他の距離にすることもできる。或いは、ディジタルカメラ１２を用い撮影を行う必要が検知された時点で、そのシステム２３に設定されていた焦点距離をそのまま用いて、校正画像１００を撮影するようにしてもよい。
【００４２】
次いで、シグナルプロセッサ２６及びコントローラ３２が、いずれか単独で又は互いに協働して、校正画像１００を複数個の部分１０２〜１１８に区画し、そのなかから好適合焦部分（所定合焦度部分）、即ち本件技術分野でいう合焦度が好適な部分を認識する（ステップ８４）。例えば、その部分のコントラスト比、明瞭度、細部解像度、鮮鋭度、輪郭等、既知の様々な画像焦点解析指標又はその任意の組合せを調べることによって各部分１０２〜１１８の合焦度を求め、求めた合焦度を部分１０２〜１１８間で比較することによって好適合焦部分を認識する。より具体的には、画像１００を周波数領域で圧縮して保存し、保存した画像１００のなかで高周波成分を最も多く含んでいる部分即ちその合焦度が最も高い部分を認識すること等によって、その画像１００の好適合焦部分を認識、特定することができる。
【００４３】
校正画像１００の各部分１０２〜１１８には、通常はシーン構成要素が写っている。それらシーン構成要素に対する合焦度は高低様々である。従って、コントローラ３２やシグナルプロセッサ２６は、その合焦度が最高の部分を認識することで、好適合焦部分例えば１１６を認識することができる。但し、この手法は一例であり他の手法を用いることもできる。例えば、各部分１０２〜１１８における合焦度を好適合焦部分選択しきい値と比較していき、最初にそのしきい値を上回るに至った部分を以て好適合焦部分と認識するよう、コントローラ３２を動作させてもよい。
【００４４】
次いで、ディジタルカメラ１２から認識部分１１６までの距離即ち校正画像撮影時距離（第１校正画像撮影時距離）をレンジファインダ２７で計測する（ステップ８６）。この校正画像撮影時距離を計測するには例えばマルチスポット法によるレンジファインダ計測を行えばよい。この手法では、そのカメラ１２から、視野内スポット対応部分までの距離が、計測されることとなる。このレンジファインダ計測で使用するスポットは、例えば、コントローラ３２又はシグナルプロセッサ２６で校正画像１００を区画して得られる部分１０２〜１１８に、逐一対応付けておく。ただ、逐一対応させることは不可欠ではない。認識した好適合焦部分１１６のサイズ及び位置と、レンジファインダ２７で使用される視野部分乃至スポットのそれとの間に大まかな対応関係がありさえすれば、距離計測対象に指定された部分までの距離を、レンジファインダ２７で計測することができる。
【００４５】
また、校正画像１００の撮影から、レンジファインダ計測対象“スポット”たる視野内シーン構成部分についてのそのレンジファインダ計測までに、あまり時間をおかない方がよい。そのようにすることで、画像撮影からレンジファインダ計測までの期間にシーン構成が変化する蓋然性を、抑えることができる。但し、シーン構成が多少変化しても問題ない用途もある。
【００４６】
次いで、第１校正画像撮影時距離及び第１焦点距離に基づき焦点相関を画定する（ステップ８８）。焦点相関は、様々なレンジファインダ計測距離に撮影用レンズシステム２３向けの様々な焦点距離設定を関連づけるデータ、プログラム、アルゴリズム、数式、論理等で表される。図６に焦点相関を二次元ＬＵＴで表した例を示す。このＬＵＴには、対応する距離範囲から到来する光をその距離範囲に係るシーン画像センサ２４上に合焦させることができる焦点距離設定（“レンズ設定”）が、十通り登録されている。システム２３の焦点距離はその一つに設定することができる。ＬＵＴ上では、それら十通りの焦点距離設定それぞれにレンジファインダ計測距離が一通りずつ関連づけられている。従来技術に係る典型的なカメラの場合、こうした関連づけ情報がどの画像にも共通に適用されていたので、先にも述べた通り、環境条件や機構的ばらつき等による動作ばらつきをカメラ動作調整で抑えることができなかった。
【００４７】
これに対し、本実施形態に係るディジタルカメラ１２には、使用できる焦点相関が複数組ある。例えば、図６〜図８に示す通り、更に２個の焦点相関用ＬＵＴ上にあるそれを含め、使用できる焦点相関が三組ある。コントローラ３２は、これら３個のＬＵＴのなかから、本番画像撮影時焦点距離及び本番画像撮影時距離の組合せをもたらすどれか一組の焦点相関を選定する。即ち、校正画像撮影時焦点距離及び校正画像撮影時距離（校正画像撮影時焦点距離設定下で認識された校正画像内好適合焦部分についてのレンジファインダ計測距離）に最も似ている組合せをもたらす焦点相関を探し出す。例えば、撮影用レンズシステム２３の校正画像撮影時焦点距離が“３”、校正画像撮影時距離が０．６メートルなら、コントローラ３２は図８の焦点相関用ＬＵＴを選ぶ。
【００４８】
また、焦点相関を他の形式、例えば線形式、二項式、多項式等の数学的関数を含む数式で表すこともできる。コントローラ３２は、その場合も同様に、それらの数式のなかから、校正画像撮影時焦点距離及び校正画像撮影時距離に最も近い結果を与えるものを選定する。更に、各組焦点相関は、先に概括的に述べた通りプログラム、アルゴリズム、数式、論理式等といった他種構造、例えばファジー論理等の構造を採りうるほか、三次元ＬＵＴ等の形態も採りうる。
【００４９】
次いで、後の本番画像撮影で使用する焦点相関を指定する情報（指定子）をメモリ４０に保存する（ステップ９０）。その際、指定先焦点相関に影響する諸条件の検知結果、例えば日時情報を併せて保存しておくとよい。その情報は、後に、画定済焦点相関がまだ有効か否かを確認する際にコントローラ３２で利用することができる。更に、例えば本件技術分野での既知の湿度センサや温度センサ等、撮影用レンズシステム２３の動作に関わる諸状況を検知可能なセンサ３６がそのディジタルカメラ１２に設けられている場合は、コントローラ３２は、焦点相関画定時点における状況検知結果を焦点相関指定子として保存させることができる。また、風景モード、ポートレイトモード、クローズアップモード等、その適用対象被写体が異なる複数のシーンモードのなかからいずれかを選択できるようにそのカメラ１２が構成されている場合は、校正画像撮影時シーンモード情報を指定子と併せて保存させることもできる。
【００５０】
次いで、コントローラ３２は、次の動作をそのプログラム等に従い実行する。即ち、本番画像撮影意志を示す撮影条件が満たされたことを検知したとき、例えばユーザによる撮影ボタン６０の押下を検知したときに（ステップ９２）、そのディジタルカメラ１２から撮影用レンズシステム２３の視野内にある何個かのシーン構成部分までの距離を撮影するようレンジファインダ２７に指令することによって、カメラ１２から視野内シーン構成部分までの距離を複数のシーン構成部分について計測させ、それらのシーン構成部分のうち１個を画像内被写体部分として選別し、カメラ１２からその画像内被写体部分までの距離を本番画像撮影時距離として採用する（ステップ９４）。コントローラ３２は、次いで、その本番撮影時距離を画定済焦点相関に適用して本番画像撮影時焦点距離を決め、それに基づき画像撮影システム２２の焦点距離を設定して本番画像を撮影させる（ステップ９６）。更なる本番画像撮影が求められている場合はステップ９２に戻り、それ以外の場合は本手順が終了される（ステップ９８）。
【００５１】
図９にイメージングシステム校正手順の別例を示す。この手順は、ディジタルカメラ起動操作直後にユーザから本番画像撮影指示が発せられたときディジタルカメラ１２に撮影を行わせるための手順である。即ち、ディジタルカメラ１２を起動させる操作を行ったユーザが間をおくことなく画像撮影を指令した場合、図４〜図８に示した手順による校正が済むまでそのカメラ１２での画像撮影を待たせてしまっては、そのユーザの意に反することとなる。そのため、この手順では、ディジタルカメラ１２の起動（ステップ１２０）並びにその撮影ボタン６０の押下等撮影条件の成立（ステップ１２２）を検知したら、コントローラ３２が前掲のスルーザレンズフォーカス法を用い撮影用レンズシステム２３の焦点距離を設定し（ステップ１２４）更にその焦点距離設定下で本番画像を撮影させる（ステップ１２６）。こうした焦点距離設定方法なら、そのシステム２３で撮影される視野内被写体部分のうち少なくとも１個に焦点が合う。
【００５２】
レンジファインダ２７は、それとほぼ同時に本番画像撮影時距離を計測する。即ち、そのディジタルカメラ１２から、撮影用レンズシステム２３で撮影される視野内被写体部分までの距離を計測する（ステップ１２８）。これを行うに当たっては、例えば、スルーザレンズフォーカス法で被写体部分が認識されカメラ１２からそこまでの距離が計測されるまで待つ。或いは、レンジファインダ２７から視野内部分までの距離をあらゆる視野内部分について計測し、被写体部分と見なせる部分までの距離を校正画像撮影時距離として採用してから、ステップ１２８を実行してもよい。
【００５３】
次いで、本番画像撮影時焦点距離設定及び校正画像撮影時距離に基づき焦点相関を画定する（ステップ１３０）。この例における本番画像は前掲の校正画像を兼ねている。更に、後の将来画像撮影時に使用されるべき複数組の焦点相関をメモリ４０に保存する（ステップ１３２）。
【００５４】
その後、コントローラ３２は、撮影ボタン６０が再押下されたことを検知したとき等、２枚目の画像を撮影する必要を検知したときに（ステップ１３４）、レンジファインダ２７に距離を計測させる（ステップ１３６）。コントローラ３２は、その距離即ち本番画像撮影時距離と、画定済焦点相関とに基づき、更なる画像撮影の際に撮影用レンズシステム２３に設定すべき焦点距離を求める（ステップ１３８）。更に画像を撮影する場合（ステップ１４０）この手順はステップ１３４に戻る。
【００５５】
図１０に、画定済焦点相関の有効性を確認するための手順（ステップ９１及び９３）を図４に示した手順に付加することによって、焦点距離設定をより好適に行えるようにした別例手順を示す。この手順では、前回の焦点相関画定から現在までにカメラ動作状況に変化があったと認めうる十分な理由があるか否か、コントローラ３２が判別する（ステップ９１）。例えば、ステップ９０にて保存される指定子に焦点相関画定日時を示す日時情報が含まれている場合、コントローラ３２は、前回の焦点相関画定後長期間が経過し再校正所要となったか否かを、その日時情報を利用して判別することができる。長期間経過と判別されたら、本手順による処理はステップ８２に戻る（ステップ９３）。ステップ９０にて保存される指定子にシーンモード情報が付されていた場合も上記同様の流れになる。
【００５６】
また、ステップ９０にて保存される指定子に温度その他の状況情報が付されていた場合も同様の流れになる。その場合、コントローラ３２の動作は、そのディジタルカメラ１２の使用状況変化、例えば温度や湿度の変化が検知された場合に、ステップ８２に戻る。図示しないが、その後直ちに本番画像が撮影され再校正が実行されるよう、ステップ１２２に戻る流れにしてもよい。
【００５７】
こうした校正開始条件解析の結果校正不要と判明したときは（ステップ９３）そのまま処理が進み、選定済焦点相関に基づき更なる画像が撮影される。
【００５８】
そして、この図には、上掲の校正開始条件解析を含まない例でも採用することができるオプションの確認手順（ステップ９７）も示されている。この確認手順では、撮影用レンズシステム２３の視野に捉えられている被写体部分までの距離をレンジファインダ２７で計測し、その距離即ち本番画像撮影時距離を画定済焦点相関に適用することによって２レンズ焦点距離を導出し、そのレンズ設定に従いシステム２３の焦点距離を設定して画像を撮影する。コントローラ３２、シグナルプロセッサ２６又はその双方は、撮影した画像における好適合焦部分の有無を判別する。その被写体部分に好適合焦部分（所定合焦度部分）はないと判別されたら、コントローラ３２はステップ８２に戻り再校正を行う。図示しないが、コントローラ３２の動作をステップ８４に戻し、前回撮影した本番画像及びその本番画像についてこの図の手順で計測したレンジファインダ計測距離に基づき焦点相関を画定して、再校正を行うようにしてもよい。
【００５９】
図１１に、イメージングシステム校正手順の更なる別例を示す。この例では、レンジファインダ２７を有する自動合焦型イメージングシステム１０がまた別の手法で自動校正される。即ち、この手順では、ユーザがディジタルカメラ１２を起動させ（ステップ１５０）その直後に撮影ボタン６０を押下する等して撮影条件が充足されたときに（ステップ１５２）、ディジタルカメラ１２から視野内被写体部分までの距離をレンジファインダ２７で計測し（ステップ１５４）、所与の焦点相関に基づき焦点距離を設定することにより（ステップ１５６）、距離計測値及び所与焦点相関に基づく本番画像撮影を実行する（ステップ１５８）。この初回撮影が済んだら、焦点相関を画定して（ステップ１６０）その指定子を保存する（ステップ１６２）。２枚目以降の本番画像撮影は、その焦点相関及びレンジファインダ２７を用いて実行する（ステップ１６４〜１７０）。そして、後刻参照できるよう距離計測結果及び校正曲線のデータをメモリ４０に保存する。
【００６０】
図１２にイメージングシステム校正手順の更なる別例を示す。この手順では、ディジタルカメラ１２を起動し（ステップ１８０）撮影ボタン６０を押下する（ステップ１８２）ことによってユーザが即時画像撮影を指示すると、コントローラ３２が温度、湿度、撮影時刻、シーン種別等といった諸動作状況を検知させ（ステップ１８４）、その結果に基づき焦点相関を画定する（ステップ１８６）。例えば、カメラ１２の温度や周囲環境をセンサ３６に計測させ（ステップ１８４）、その計測値を含む温度域に係る一組の焦点相関を選定する（ステップ１８６）。図１３〜図１５にその焦点相関の一例を示す。この例では、焦点相関が三次元ＬＵＴ化されており、各ＬＵＴが互いに異なる温度域に関連づけられている。
【００６１】
コントローラ３２は、次いで、ディジタルカメラ１２から撮影用レンズシステム２３の視野内被写体部分までの距離をレンジファインダ２７に計測させ（ステップ１８８）、そのレンジファインダ計測距離即ち本番画像撮影時距離並びに画定済焦点相関に基づき焦点距離を選定し、選定した本番画像撮影時焦点距離に従い撮影用レンズシステム２３の焦点距離を設定して本番画像を撮影させる（ステップ１９０）。
【００６２】
この初回撮影が済んだら、スルーザレンズフォーカス法で校正画像撮影時焦点距離を導出し（ステップ１９２）、それを用いて焦点相関を画定し（ステップ１９４）、その焦点相関の指定子を保存させる（ステップ１９６）。２枚目以降の本番画像の撮影は、レンジファインダ２７で本番画像撮影時距離を計測し、画定済焦点相関に基づき本番画像撮影時焦点距離に設定した撮影用レンズシステムで画像を撮影することによって行う（ステップ１９８〜２０４）。
【００６３】
図１６に焦点相関画定手順の別例を示す。この手順は例えばステップ８８、１３０、１６４及び１９４のいずれでも実行可能である。具体的には、まず、既存の焦点相関のなかにレンジファインダ計測距離及び校正画像／本番画像撮影時焦点距離に該当するものがあるか否かをコントローラ３２が判別する（ステップ２１０）。コントローラ３２は、該当する焦点相関があればそれを採用して図示手順を終了する（ステップ２１２）が、該当するものがなければ校正画像を評価してその合焦度が所定程度以上の部分を少なくとも１個認識する（ステップ２１４）。コントローラ３２は、個々の認識部分までの距離、即ち校正画像撮影時焦点距離設定下で撮影用レンズシステム２３が合焦する部分までの距離を、レンジファインダ２７に計測させ（ステップ２１６）、そしてその計測結果を含む距離域を校正画像撮影時焦点距離に関連づけることで焦点相関の一部を生成する（ステップ２１８）。
【００６４】
撮影用レンズシステム２３に設定可能な焦点距離範囲（焦点距離可変範囲）に属する複数通りの焦点距離全てについて校正画像撮影が済むまでは（ステップ２２０）、そのレンズシステム２３の焦点距離を変更設定していき（ステップ２２２）校正画像を追加撮影させる（ステップ２２４）。ステップ２１４〜２２０は、焦点距離可変範囲に属する複数通りの焦点距離それぞれについて校正画像が撮影されその画像全てに対しステップ２１４〜２２０による処理が施されるまで、繰り返し実行される。そして、ステップ２１４〜２２０の実行を通じて形成された一群のデータに基づき焦点相関を生成及び画定し（ステップ２２６）呼出元手順に戻る。
【００６５】
焦点相関を生成するには、例えば個々の焦点距離に、その焦点距離設定下で計測した距離を含む距離域を、関連づけるだけでよい。或いは、各焦点距離に対応する距離域を補間法や回帰法で導出して焦点相関を生成してもよい。或いは、計測結果に基づき既存の焦点相関を調整して焦点相関を生成してもよい。
【００６６】
図１７に、他の実施形態に係るイメージングシステム１０のブロック構成を示す。本システム１０にはディジタルビデオ画像投映システム３００が接続されている。また、図１８に、投映システム３００により投映される画像の画質を本システム１０を用いて向上させる手順を示す。この手順を実行する際には、例えば光接続等の有線接続を介し、或いは無線接続を介し、投映システム３００を本システム１０に対し物理的にリンクさせる。
【００６７】
投映システム３００が接続されると、本システム１０は、投映システム３００との間でやりとりを行い、投映される画像の画質を向上させる。例えば、図１８に例示した手順を実行して投映システム３００を校正する。なお、投映システム３００は本体２０上に搭載してもよいし、別体にしておき有線接続等により本システム１０に物理接続してもよいし、同じく別体にしておき無線接続等により本システム１０に論理接続してもよい。
【００６８】
投映システム３００は、ディジタル画像データを受け取りその画像を適当な面、例えば壁面上に投映する（ステップ３１０）。ご理解頂ける通り、その面上に現れる画像の絵面は、元になった画像データ、投映システム３００の機能、並びに画像投映先面例えば壁面の色特性、光特性及び反射特性の相乗作用で決まる。とりわけ、画像投映先面が理想的な白色面でない場合がしばしばある。例えば、家庭内、ビジネス出張先、突発使用時等、投映スクリーンを利用できない状況で投映システム３００を使用する場合には、画像投映先面は白色ではなくその面の地色になる。その面上に彩り、陰影更には模様さえも存することがある。そうした状況下でも、画像投映先面特性の影響分を画像調整で校正可能であれば、或いは画像投映先面上に存する起伏のうち大きめのものの影響分を焦点距離調整で校正可能であれば、より高い投映画質が得られるであろう。従って、それらの要因への対処が望まれる。
【００６９】
それらの要因を補償するため、コントローラ３２は、投映されている画像の少なくとも一部を捉えるよう撮影用レンズシステム２３を設定し、それを用いてその画像を撮影させる（ステップ３１２）。コントローラ３２或いはシグナルプロセッサ２６は、更に、撮影で得られた画像を原画像中の対応部分と比較して差分マップを生成する（ステップ３１４）。その差分マップには原画像の絵面と撮影した投映画像の絵面との相違分が反映しており、それらが投映システム３００の機能並びに画像投映先面例えば壁面の色特性、光特性及び反射特性の関数として表されている。生成した差分マップは、システム１０又は３００による投映画像調整に備えて保存する（ステップ３１６）。即ち、投映システム３００のディジタル投映部や、画像投映先面例えば壁面の色若しくは彩り又はその面上にある種々の陰影若しくは模様について、再校正を行えるように保存する。
【００７０】
次いで、レンジファインダ２７による計測結果を取得する（ステップ３１８）。次いで、そのレンジファインダ計測距離を用い前掲手順で本システム１０を校正し、更にその変動分を検知する（ステップ３２０）。それにより得られるレンジファインダ計測距離変動分情報は、画像投映先面上に存しているけれどもシーン画像撮影システム２２で撮影した画像には現れにくい種々の起伏の形状、深さ又は向きを表している。シグナルプロセッサ２６、コントローラ３２又はその双方は、その変動分情報に基づき調整量を決定し、決定した調整量に基づき差分マップその他の信号を調整することで、投映システム３００により投映される画像を調整する（ステップ３２２）。また、画像調整ではなく、コントローラ３２による投映システム３００の焦点距離調整を実行してもよい。例えば、画像投映先面上の複数個所についてレンジファインダ計測距離をコントローラ３２で取得し焦点距離調整を実行するようにするとよい。更に、図１７に示したシステム１０は、投映システム３００をそのシステム１０の本体２０に恒久接続せず、両者を併用するときだけ接続する構成を採ることがある。ご理解頂ける通り、そうした構成では、ディジタルカメラ１２により提供される機能を用い投映システム３００を校正することができるので、校正機能のない投映システム３００でも校正のメリットを享受することができる。
【００７１】
重要なことに、本実施形態における校正は、投映システム３００の各回セットアップ時に行うことも、或いは投映される個々の画像毎に行うことも可能である。校正を画像毎に行う場合は差分マップは画像毎に新規生成され、セットアップ毎に行う場合は最初の画像についてのみ差分マップが生成され後続画像に対してはその同じ差分マップが適用される。
【００７２】
また、上掲のシーン画像センサ２４は複数個の画像検知要素即ち画素から構成されており、その利得が画素毎に異なっている。そのため、多チャネル型画像センサをセンサ２４として用いる場合に本システム１０で校正メリットを享受するには、その画像撮影システム２２を校正すべきである。これは、センサ２４が多チャネル型である場合、シーンから到来する光に対する画像の応答に、チャネル毎に微妙な違いが生じうるからである。例えば、画像センサ製造時に生じた僅かな狂いで電気特性のチャネル間ばらつき、例えば１％オーダという微妙な利得ばらつきが発生する。チャネル間に応答ばらつきがあると、センサ２４上のチャネル間継ぎ目部分に対応する線に沿って、その画像中に段差が発生する。更に、チャネル間ばらつきの程度は経時変化しうるし、その環境条件例えば温度及び湿度の変化でも変化しうる。
【００７３】
このような利得ばらつきを補償しないでおくと撮影した画像中にノイズが発生するので、補償すべきチャネル間ばらつきを補償し画質を向上させうる校正手順が必要になる。更に、経時変化や環境条件（温度や湿度）変化によるチャネル間ばらつきの変化を打ち消せる校正手順も必要になる。
【００７４】
撮影される画像にそうした現象が現れないようにするには、コントローラ３２による制御下に低コントラスト画像を撮影し、多チャネル型シーン画像センサ２４のチャネル又は撮像画素の利得を、その低コントラスト画像を用いて校正すればよい。その際には、まず、得られる画像が低コントラストになるようオートフォーカスシステム（２７）を極端に離焦させ、その状態で撮影した低コントラスト画像に基づき且つシグナルプロセッサ２６によって、センサ２４を形成している複数個のチャネル間に存する電気特性差が補償されるように、そのセンサ２４を形成している個々のチャネル及び画素の利得及びその変化分を補正すればよい。念のために述べると、“低コントラスト”とは、画素で表した空間周波数がチャネル間であまり違わないことである。
【００７５】
以上、その好適な実施形態を参照して本発明を詳細に説明したが、本発明は、その神髄及び技術的範囲を逸脱せずに種々の形態で実施することができる。この点について了解されたい。
【符号の説明】
【００７６】
１０  イメージングシステム、１２  ディジタルカメラ、２０  本体、２２  シーン画像撮影システム、２３  撮影用レンズシステム、２４  シーン画像センサ、２５  レンズドライバ、２６  シグナルプロセッサ、２７  自動レンジファインダシステム、２８  ディスプレイドライバ、３０  ディスプレイ、３２  コントローラ、３４  ユーザ入力システム、３６  諸センサ、３７  自動照明光源、３８  ビューファインダシステム、４０  メモリ、４６  メモリカードスロット、４８  リムーバブルメモリ（カード）、５０  リムーバブルメモリインタフェース、５２  リモートメモリシステム、５４  通信モジュール、６０  撮影ボタン、６６  ジョイスティック、６７  モードボタン、６８  セレクトイットボタン、７０  オーディオシステム、７２  マイクロホン、７４  音声処理回路、７６  スピーカ、８０，１２０，１５０，１８０  カメラ起動ステップ、８２  校正画像撮影ステップ、８４  好適合焦部分認識ステップ、８６，１５４  校正画像撮影時距離計測ステップ、８８，１３０，１６０，１９４，２２６  焦点相関画定ステップ、９０，１３２，１６２，１９６  焦点相関指定子保存ステップ、９１，１８４  動作状況検知ステップ、９２，１２２，１３４，１５２，１６４，１８２，１９８  撮影条件判別ステップ、９３  動作状況変化判別ステップ、９４，１２８，１３６，１６６，１８８，２００  本番画像撮影時距離計測ステップ、９６，１２６，１３８，１５８，１６８，１９０，２０２  本番画像撮影ステップ、９７  合焦確認ステップ、９８，１４０，１７０，２０４  撮影継続要否判別ステップ、１００  校正画像、１０２〜１１８  校正画像の一部分、１２４，１５６  本番画像撮影時焦点距離設定ステップ、１８６  焦点相関情報初期確定ステップ、１９２  校正画像撮影時焦点距離設定ステップ、２１０  計測結果該否判別ステップ、２１２  該当焦点相関情報選定ステップ、２１４  校正画像評価ステップ、２１６  部分別距離計測ステップ、２１８  距離域対焦点距離関連づけステップ、２２０  焦点位置移動判別ステップ、２２２  校正画像撮影前レンズシステム駆動ステップ、２２４  校正画像追加撮影ステップ、３００  ディジタルビデオ画像投映システム、３１０  画像投映ステップ、３１２  投映画像撮影ステップ、３１４  差分マップ算出ステップ、３１６  差分マップ保存ステップ、３１７  差分マップ利用投映画像調整ステップ、３１８  レンジファインダ計測ステップ、３２０  レンジファインダ計測距離ばらつき検知ステップ、３２２  画像調整量決定ステップ。
【図１】
2009545772.tif 000003
【図２】
2009545772.tif 000004
【図３】
2009545772.tif 000005
【図４】
2009545772.tif 000006
【図５】
2009545772.tif 000007
【図６】
2009545772.tif 000008
【図７】
2009545772.tif 000009
【図８】
2009545772.tif 000010
【図９】
2009545772.tif 000011
【図１０】
2009545772.tif 000012
【図１１】
2009545772.tif 000013
【図１２】
2009545772.tif 000014
【図１３】
2009545772.tif 000015
【図１４】
2009545772.tif 000016
【図１５】
2009545772.tif 000017
【図１６】
2009545772.tif 000018
【図１７】
2009545772.tif 000019
【図１８】
2009545772.tif 000020
【国際調査報告】
2009545772.tif 000021
2009545772.tif 000022