(57)【要約】  撮影レリース操作に応じ、可変焦点距離レンズを備えておりその可変焦点距離レンズの焦点距離が初期焦点距離にセットされているカメラ（１３）が初期撮影視野内で第１画像（１２）を撮影し（１０）、第１画像中の注目ゾーン（１６ａ，１６ｂ）を自動サーチし（２０）、少なくとも１箇所注目ゾーンが見つかったら、その注目ゾーンの付近に撮影視野が狭搾するよう上記焦点距離を自動修正し、狭搾した撮影視野内で少なくとも１枚の第２画像（２４ａ，２４ｂ）を自動撮影し、そして第１画像と第２画像とを組み合わせて複合画像（３２）を自動生成する撮影方法を提供する。
2008505575.tif 000002
【特許請求の範囲】
【請求項１】
撮影レリース操作に応じ、
可変焦点距離レンズを備えておりその可変焦点距離レンズの焦点距離が初期焦点距離にセットされているカメラ（１３）が初期撮影視野内で第１画像（１２）を撮影し（１０）、
第１画像中の注目ゾーン（１６ａ，１６ｂ）を少なくとも１箇所自動サーチし（２０）、
その注目ゾーンの付近に撮影視野が狭搾するよう上記焦点距離を自動修正し、
狭搾した撮影視野内で少なくとも１枚の第２画像（２４ａ，２４ｂ）を自動撮影し、そして
第１画像と第２画像（２４ａ，２４ｂ）とを組み合わせて複合画像（３２）を自動生成する撮影方法。
【請求項２】
請求項１記載の撮影方法であって、更に、各第２画像（２４ａ，２４ｂ）撮影時に各注目ゾーン（１６ａ，１６ｂ）に自動合焦する撮影方法。
【請求項３】
請求項１記載の撮影方法であって、更に、各第２画像撮影時に各注目ゾーンに向くよう可変焦点距離レンズの光軸方向を自動修正する撮影方法。
【請求項４】
請求項１記載の撮影方法であって、更に、各注目ゾーンの象徴的コンテンツの動きを推定し、第１及び第２画像のうち少なくとも一方を補正する（２８）ことにより、第１画像撮影時から各第２画像撮影時までの象徴的コンテンツの動きを補償する撮影方法。
【請求項５】
可変焦点距離レンズ（２６）と、撮影した第１画像（１２）を解析してその第１画像内の注目ゾーンを検知する解析手段と、を備え、解析手段が、第１画像内の注目ゾーンのうち少なくとも１箇所周辺にフレームが狭搾しその注目ゾーンに対応する少なくとも１枚の第２画像（２４ａ，２４ｂ）が自動撮影されるよう可変焦点距離レンズを制御し、解析手段が更に、撮影した第１画像と狭搾した視野内で撮影した第２画像とを用い複合画像（３２）を生成するカメラ（１３）。
【請求項６】
請求項５記載のカメラであって、画像を解析する手段及び複合画像を生成する手段を構成する中央処理ユニット（１４）を備えるカメラ。
【請求項７】
請求項５記載のカメラであって、可変焦点距離レンズ（２６）が電気的にアドレス可能な液体レンズ系であるカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、局所的に高解像度で画像を撮影できる方法及びカメラに関する。本発明は、とりわけ写真撮影用カメラ、ホンカム（カメラ付携帯電話）等のディジタルカメラを初めとして、画像センサを備える各種装置に広く適用することができる。
【背景技術】
【０００２】
一般に、携帯電話等の通信機器に一手段として組み込まれたディジタルカメラで画像を撮影しても、それほど高画質の画像は得られないものである。画質が低い原因はいくつかある。まず、小型、軽量であることが求められる携帯型機器には、高級なレンズを搭載することができない。同じ理由で、携帯型機器では、写真撮影用カメラと比べて解像度が劣るディジタル画像センサしか使用できない。
【０００３】
また、特にホンカムの場合、画像ファイルを遠隔送信する必要上、遺憾ながらも低能力撮影手段を用いざるを得ない。それでもなお、通信帯域幅に収めるため送信ファイルのデータ量(digital weight)を抑えねばならない程である。また、画像表示用の制御スクリーンが小型であることも、低能力撮影手段を用いる理由付けとなっている。即ち、制御スクリーンが小さければ、本当は低画質の画像であっても良質という印象を受けるものである。
【０００４】
画質を高める手段としては、可変焦点距離レンズ(variable focus lens)が既に知られている。これは液体レンズによって構成されたレンズ系であり、このレンズ系においては、二種類の非混和性液体間のコンタクトメニスカスの曲がり具合を、電界の作用で変化させることができる（後掲の特許文献１及び２を参照）。可変焦点距離レンズ系をカメラに実装することによって、そのカメラに合焦機能やズーム機能を設けることができる。
【０００５】
このような改良は行われているけれども、ホンカムを用いて撮影したディジタル画像の画質は、一般に拡大や写真ハードコピーに耐えるものではない。即ち、そうした画像を大型スクリーン上に表示し或いは印刷した場合、解像度の低さが見た目にもより明らかになり、しばしば破滅的な様相を呈する。
【０００６】
【特許文献１】国際公開第０３／０６９３８０号パンフレット
【特許文献２】欧州特許第１０１９７５８号明細書
【特許文献３】米国特許第６６８６９５６号明細書
【特許文献４】米国特許出願公開第２００４／００４１９１９号明細書
【非特許文献１】"Super-Resolution Image Reconstruction", IEEE Signal Processing Magazine 1053/5888/03, May 2003, pages 21-36
【非特許文献２】Ming-Hsuan Yang, David Kriegman, and Narendra Ahuja, "Detecting Faces in Images: A Survey", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), vol. 24, no. 1, pp. 34-58, 2002
【非特許文献３】Jiebo Luo, Amit Singhal, Stephen R. Etz, Robert T. Gray, "A computational approach to determination of main subject regions in photographs", Image and Vision Computing, 2001
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、画像を遠隔送信できる能力、一般公衆向けカメラとして手頃な価格、携帯型機器に適するエネルギ及びメモリ資源、更には得られる画像の質及び解像度の間の関係は、競合関係さながらである。
【０００８】
本発明の目的は、高度な鮮明さを保ちながら拡大できる画像となるように画像を撮影可能な方法及びカメラを提供することにある。
【０００９】
本発明の更なる目的は、そうした画像の撮影を貧弱な撮影手段でも行えるようにすることにある。
【００１０】
本発明の更なる目的は、期待できる画質に比してかなり低コストな方法及びカメラを提供することにある。
【課題を解決するための手段】
【００１１】
これらの目的を達成するため、本発明に係る撮影方法においては、撮影レリース操作に応じ、可変焦点距離レンズを備えておりその可変焦点距離レンズの焦点距離が初期焦点距離（好ましくはそのレンズの最大焦点距離より短い距離）にセットされているカメラが初期撮影視野内で第１画像を撮影し、第１画像中の注目ゾーン(interest zone)を自動サーチし、注目ゾーンが１箇所でも見つかったら、その注目ゾーンの付近に撮影視野が狭搾するよう上記焦点距離を自動修正し、狭搾した撮影視野内で少なくとも１枚の第２画像を自動撮影し、そして第１画像と第２画像とを組み合わせて複合画像を自動生成する。
【００１２】
従って、最終的に得られる複合画像中に他より解像度が高いゾーンが生じる。それが注目ゾーンである。各注目ゾーンはカメラの画像センサの全解像度を使用して、或いは少なくともその大面積を使用して撮影されるが、最終画像中ではその一部分しか占めない。注目ゾーンになるのは例えば画像中に含まれる顔や皮膚等、一般にその細部が看視者の注意を惹く部分に相当するゾーンであって、他のゾーン例えば空（そら）ゾーンや背景ゾーンは低解像度のままである。これらのゾーンについてのデータは、都合のよいことに、撮影した第１画像、即ちその画像センサがカバーするより広い視野内の画像から、得ることができる。
【００１３】
注目ゾーンを撮影することによる第２画像の取得は、第１画像撮影後好ましくはごく短時間の間に行う。これは自動的に行われるのでユーザがレリースを押し直す必要はない。また、撮影視野は、可変焦点距離レンズの焦点距離を大きくすることで狭搾させる。例えば、自動撮影する注目ゾーンの輪郭に接する程に狭搾させることができる。
【００１４】
これをより好適な形態で実施するには、個々の第２画像を撮影する際に可変焦点距離レンズの光軸方向を自動修正し、対応する注目ゾーン乃至エリアに向け自動指向させるとよい。
【００１５】
光軸を注目ゾーンに向けることによって、とりわけ初期撮影視野の縁近辺に位置している注目ゾーンについて、撮影視野を更に狭搾させることが可能になる。
【００１６】
また、第２画像は自動的に、即ちユーザが意識してフレームを変化させることなしに、撮影される。このとき、仮に光軸方向を修正することなく撮影視野をきつく狭めたならば、かなりの周辺ゾーンが視野から外れてしまい、中央ゾーンでしか本発明の効果を好適にあげえなくなりかねない。これを避けるには、第１画像中央から注目ゾーン中央へと光軸の向く先を変化させ、撮影視野中央と注目ゾーン中央とを一致させた状態で第２画像を撮影すればよい。こうしたレンズ光軸修正は、例えば圧電アクチュエータ等のアクチュエータによってレンズ乃至光学系を僅かにピボットさせることによって、行うことができる。他のやり方としては、回転に伴いその向きが変わる光学ウェッジ（上掲の特許文献３を参照）を用いるやり方がある。
【００１７】
個々の第２画像を撮影する際には、こうした撮影視野修正と併せ、対応する注目ゾーンに対する自動合焦を行い、シャープネスのよい第２画像が撮影されるようにするとよい。
【００１８】
また、第１画像から注目ゾーンをサーチする際にはある基準を満足するゾーンを選択するようにする。選択方法は色々あるが、そのなかで最も単純なのは、第１画像中で光強度の空間勾配が最も高いゾーンを注目ゾーンとして選択する方法である。この方法によれば、空、水、草木、地面等が大きく拡がった均質なゾーンを選択対象外とすることができる。より高度な方法としては、第１画像中で肌色らしき色が優勢なゾーンを注目ゾーンとして選択する方法がある。この方法によれば、人間の顔を注目ゾーンとして選択することができる。更に他の方法としては、予め設定しておいたある幾何学的パターン（例えば口及び目に相当するパターン）と同じパターンを第１画像中から識別し、識別したパターンを取り巻くゾーンを人面相当ゾーンと見なして注目ゾーンとして選択する方法がある。
【００１９】
具体的な注目ゾーンサーチ手法については上掲の非特許文献２及び３を参照されたい。
【００２０】
また、前述した通り、注目ゾーン中央に中心を合わせて第２画像を撮影する動作は、第１画像撮影後好ましくはごく短時間の間に行われるので、シーン全体の撮影時と、シーン中の何個かの注目ゾーンの撮影時とで、少なくとも一次近似としては、シーンや注目ゾーンの位置に変化はないはずである。
【００２１】
これに加え、本発明に係る方法は、被写体が高速で移動するシーンの画像を撮影する場合にも適用可能な形態で、実施することができる。これは、例えばスポーツ中の被写体の写真を撮る場合に役に立つ。
【００２２】
そのような形態で実施する場合は、更に、各注目ゾーンの象徴的コンテンツ(iconic contents)の動きを推定する。複合画像を生成する際この推定の結果を利用することによって、第１画像撮影時から各第２画像撮影時までに象徴的コンテンツにどのような動きや歪みが生じていても、それを補正することができる。また、この動き推定を行う際には、対注目ゾーン合焦関連パラメタを利用することができる。利用できるパラメタとしては、例えば、第１画像第２画像間の焦点距離差や光軸方向差、第１画像撮影時を基準とした第２画像撮影時のズーム率、経過時間又はその双方、といったものがある。従って、シーン内でどのような動きが生じてもまたカメラを保持しているユーザがどのように動いても正確に、最終的な複合画像を生成できる。
【００２３】
最終的な複合画像は、第１画像と第２画像を組み合わせることによって構築する。例えばＪＰＥＧ２０００タイプのフォーマット、即ち互いに解像度が異なる様々な画像部分を組み合わせることが可能なフォーマットを用いれば、これを好適に実行することができる。また、最終的複合画像構築処理は、基本的には第１画像内注目ゾーンをそれに対応する第２画像で置換する処理である。画像部分置換に際しては、第２画像に拡大率を割り当てることで、第１画像のスケールで第２画像を挿入できるようにする。拡大率は、その第２画像を撮影した際にどの程度焦点距離を修正したかによって変わる。更に、複合画像即ち解像度混在画像の構築に当たっては、既知の画像置換、画像再構築手法を使用できる（上掲の非特許文献１を参照）。
【００２４】
本発明は、更に、上掲の方法を実行するカメラに関する。このカメラは、動画撮影用カメラにより行われているような画像シーケンス撮影に使用可能な構成とすることができるが、ここで採り上げるのは主として静止画撮影機能である。
【００２５】
本発明に係るカメラは例えばディジタルカメラとして構成できる。特に、本願明細書冒頭に記したように、カメラ機能と遠隔通信機能を備えた装置例えばホンカムとして構成するのが望ましい。
【００２６】
本カメラは、可変焦点距離レンズと、画像を解析してその画像内の注目ゾーンを検知する解析手段とを備える。解析手段は、可変焦点距離レンズを制御して、撮影した画像中の少なくとも１箇所の注目ゾーン周辺にフレームを狭搾させ、その注目ゾーンに対応する少なくとも１枚の別画像を撮影させる。
【００２７】
可変焦点距離レンズは、本発明に係る焦点距離調整だけでなく、ユーザが操作する従来型のズーム機能も提供できる。従って、第１画像撮影時ユーザ操作ではズームを最大焦点距離に調整できないようにする機構を設けるとよい。それによってマージンを残置、確保することができ、第２画像自動撮影時に撮影視野を所要程度狭搾することができる。
【００２８】
また、可変焦点距離レンズは、モータ駆動型固体レンズ系として構成もよいが、静電制御型液体レンズ系、例えば前掲の特許文献１及び２に記載されているタイプのレンズとして構成するのが望ましい。その性質上機械的慣性が小さい液体レンズを利用することで、焦点距離高速修正を容易に実現でき、ひいては第１画像撮影と第２画像撮影を素早く連続して行うことができるので、ユーザが格別に努力してその間中フレームを保つ必要がなくなる。連携撮影が十分高速なら、ユーザに気づかせずに本発明を実施することもできよう。
【００２９】
複合画像生成はカメラ内で実行してもよいしカメラ外で実行してもよい。即ち、カメラによって第１及び第２画像を示すディジタルデータが得られれば十分に、カメラ外でも複合画像を生成できる。また、ユーザによるレリース操作に応じて順次各画像を撮影し、撮影した画像のディジタルデータを用いて複合画像を生成する手段をカメラに設ければ、複合画像を示すデータをカメラから直に提供することができる。
【００３０】
先に述べた画像を解析する手段や複合画像を生成する手段は、適宜ディジタルデータを処理できるようプログラミングされている専用の中央処理ユニット乃至マイクロプロセッサによって、構成することができる。
【発明を実施するための最良の形態】
【００３１】
以下、別紙図面を参照しつつ本発明の構成及び効果について説明する。なお、以下の説明は純粋に例示のためのものであり、限定の意味合いを孕むものではない。
【００３２】
簡明化のため、「画像」という用語を、カメラで撮影した写真画像という意味だけでなく、その画像に対応するディジタルデータ乃至ディジタルファイルという意味でも使用することとする。
【００３３】
本方法の第１ステップ１０では、ユーザによる撮影レリース操作に応じ、またユーザが決めたフレーム及び撮影視野にて、第１画像１２を撮影する。フレームについては、多少ともうまく定まるように、カメラのビュワ乃至小型制御スクリーンをユーザが見て制御することができる。撮影視野についても、撮影するシーンに近づいたり離れたりすることによって、またカメラのズームを調整することによって、ユーザ自身で決定することができる。ズームはレンズ視野に応じてその焦点距離を変化させる。
【００３４】
カメラ１３の画像センサによって得られた画像は中央処理ユニット１４に送られ、前述の通り光強度空間勾配急峻ゾーンの判別、顔の検知、所定形態・形状の検知等の解析を行うことによって、注目ゾーン１６ａ，１６ｂが抽出される。また、これとは逆に、均一色又は低コントラストゾーン１９を探し出し、それに対して相補的なゾーンを、注目ゾーンとして記憶するようにしてもよい。
【００３５】
注目ゾーンを自動的に探し出すステップは、この図では参照符号２０によって表されている。図示の例では、このステップの実行によって２個の注目ゾーン、即ち顔相当ゾーンと樹木相当ゾーンが判別されている。図中、これらのゾーンは破線で括られている。検知された注目ゾーンについては、個別的且つ自動的に、追加撮影２２ａ及び２２ｂが行われる。撮影された第２画像には、２４ａ及び２４ｂという参照符号が付されている。
【００３６】
画像センサの全視野と常に一致するとは限らないが、第２画像撮影時には注目ゾーンを囲むようにフレームが設定されるので、焦点距離が増してレンズ視野が狭搾し、ひいては光学的拡大率が大きくなる。
【００３７】
即ち、カメラ１３は可変焦点距離レンズ２６、好ましくは光軸方向可変型のものを備えており、中央処理ユニット１４は、個々の注目ゾーンの検知に応じてこのレンズを制御しフレームひいては撮影視野をその注目ゾーン周辺に狭搾させ、カメラは第２画像２４ａ，２４ｂを撮影する。レンズ光軸方向又は光学的ウェッジの姿勢を修正するためのアクチュエータもまた、中央処理ユニット１４によって制御するとよい。そうすることによって光軸を注目ゾーンに向けることができるので、フレーム中央をその注目ゾーンの中央に揃えて第２画像を撮影することができる。実現可能な最大焦点距離に達してしまわない限りは、注目ゾーンはフルフレームで、即ち画像センサ上で最大限面積を占めるように撮影される。こうすることによって、注目ゾーンに係るディジタルデータとして最大限に有効なデータを得ることができる。
【００３８】
中央処理ユニット１４は、第１画像１２並びに第２画像２４ａ及び２４ｂのデータを収集し、最後のステップ３０で複合画像３２、即ち第１画像内注目ゾーン１６ａ，１６ｂに係るディジタルデータを第２画像２４ａ及び２４ｂに係るディジタルデータに置換した画像を発生させる。この置換に際しては、前もって第２画像２４ａ，２４ｂの寸法を調整しておく。こうして最終的に得られる複合画像３２は低解像度ゾーン及び高解像度ゾーンを含む画像であり、後者は注目ゾーンに相当しているので、この画像を拡大した場合に注目ゾーン内の細部が大きく損なわれることはない。即ち、注目ゾーンの外側は解像度が低いのに、画像３２を拡大しても総体的な画質は見た目に損なわれないので、大きなスクリーンに表示させまた写真ハードコピーをとることができる。
【００３９】
また、画像１６ａ対画像２４ａ並びに画像１６ｂ対画像２４ｂの幾何学的差異、比色定量分析的差異又はその双方について適宜分析し、最適画質の複合画像３２が得られるよう必要に応じ画像２４ａ及び２４ｂを修正することができる。
【００４０】
加えて、ステップ２８においては、最終的な複合画像を生成するのに先立ち、例えば撮影した第２画像に係るデータに対し各種フォーマット処理を施す。例えば、第２画像の象徴的コンテンツが第１画像で占めていた位置を再計算しその象徴的コンテンツの移動による動き或いはカメラユーザによる何らかの動きを補正することができる。この処理に際しては、例えば第１及び第２画像に基づき且つ注目ゾーン毎に変位ベクトルを生成する。生成される個々の変位ベクトルは、対応する第２画像と第１画像内対応領域とを結び基線及び解像度を同じくするベクトルである。また、これに続き、第２画像について、また好ましくは第１画像についても、構成点毎補正フェーズを実行する。そのときの補正度は、推定済の変位ベクトルの絶対値及び方向次第で大きく変わる。この動き補正処理においては、更に、第２画像の象徴的コンテンツ乃至要素をブロック単位でシフトさせ、第１画像内注目ゾーンの対応する象徴的コンテンツ乃至要素上に可能な限りぴったりと重ね合わせる。第１画像内注目ゾーンと第２画像に係る注目ゾーンとの間の相関関数が最小になるようにすれば、両要素はうまく重なり合う。
【００４１】
このステップ２８は、更に、思った以上に焦点が外れている第２画像や、その象徴的コンテンツが思いの外第１画像中のそれと異なっていて挿入できない第２画像を除去するのにも、使用できる。この場合は、第１画像中の対応する注目ゾーンのデータが、最終的に得られる複合画像においても保持される。
【００４２】
図中、カメラ１３は写真撮影用カメラとして表されているが、これはあらゆるディジタルカメラ機器、とりわけ前掲の如き機能を備えるホンカムに、置き換えることが可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係る方法の各ステップのあらましを示すフローチャートである。
【図１】
2008505575.tif 000003
【国際調査報告】
2008505575.tif 000004
2008505575.tif 000005
2008505575.tif 000006