(57)【要約】  本発明は、イメージングを実行するための電子デバイス（１０）に関し、該電子デバイスは、少なくとも１つの一次画像オブジェクト（Ｉ１）と少なくとも１つの二次画像オブジェクト（Ｉ２）とを含むイメージングターゲット（ＩＴ）から画像データ（ＩＤ）を形成するためのカメラ手段（１１、１４）と、イメージングターゲットから形成される画像データを処理するためカメラ手段と接続されて配置された画像処理チェーン（２７）と、少なくとも１つの一次画像オブジェクト上にカメラ手段を合焦させるための合焦手段（２８）とを含む。更に画像処理チェーン内には、画像データ内の二次画像オブジェクトの少なくとも一部をぼかすようにぼかし手段（１７、２２、２６）が配置され、該ぼかし手段は、合焦手段によって生成される情報を利用するように構成されている。【選択図】図１
2008529322.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの一次画像オブジェクト（Ｉ１）と少なくとも１つの二次画像オブジェクト（Ｉ２）とを含むイメージングターゲット（ＩＴ）から画像データ（ＩＤ）を形成するためのカメラ手段（１１、１４）と、
前記イメージングターゲット（ＩＴ）から形成される前記画像データ（ＩＤ）を処理するため前記カメラ手段（１１、１４）と接続されて配置された画像処理チェーン（２７）と、
少なくとも１つの前記一次画像オブジェクト（Ｉ１）上に前記カメラ手段（１１、１４）を合焦させるための合焦手段（２８）と、
を含むイメージングを実行するための電子デバイス（１０）であって、
前記画像処理チェーン（２７）内には更に、前記画像データ（ＩＤ）内の前記二次画像オブジェクト（Ｉ２）の少なくとも一部をぼかすようにぼかし手段（１７、２２、２６）が配置され、前記ぼかし手段（１７、２２、２６）が前記合焦手段（２８）によって生成される情報を利用するように構成されていることを特徴とする、
電子デバイス（１０）。
【請求項２】
前記デバイス（１０）のカメラ手段（１１、１４）の３５ｍｍフィルムでの焦点距離等量が３５ｍｍ以下であることを特徴とする、
請求項１に記載のデバイス（１０）。
【請求項３】
前記合焦手段（２８）によって生成される前記情報が、ぼかされることになる前記二次画像オブジェクト（Ｉ２）を定義するために利用可能に構成されていることを特徴とする、請求項１又は２に記載のデバイス（１０）。
【請求項４】
前記ぼかしは、前記画像データ（ＩＤ）をフィルタリングすることで行われるように構成されていることを特徴とする、
請求項１〜３のいずれかに記載のデバイス（１０）。
【請求項５】
前記デバイス（１０）は、例えば、空間フィルタ係数などのフィルタ係数を提供するように構成されており、該係数を用いてぼかしが実行されるように構成されていることを特徴とする、
請求項１〜４のいずれかに記載のデバイス（１０）。
【請求項６】
前記一次画像オブジェクト（Ｉ１）は、設定された形状を有するエリア（ＦＡ）に適合されるように構成され、該エリア（ＦＡ）に対応する係数の集合が前記デバイス（１０）内に予め設定されていることを特徴とする、
請求項１〜５のいずれかに記載のデバイス（１０）。
【請求項７】
前記ぼかしは、前記画像データ（ＩＤ）の形成に関連して実行されるように構成されていることを特徴とする、
請求項１〜６のいずれかに記載のデバイス（１０）。
【請求項８】
前記二次画像オブジェクト（Ｉ２）は、該オブジェクトに対応するエリアにノイズを適用することによってぼかされるように構成され、その結果、前記エリアは、ローパスフィルタリングによって均一化されるように構成されていることを特徴とする、
請求項１〜７のいずれかに記載のデバイス（１０）。
【請求項９】
カメラ手段（１１、１４）を用いて、少なくとも１つの一次画像オブジェクト（Ｉ１）と少なくとも１つの二次画像オブジェクト（Ｉ２）とを含むイメージングターゲット（ＩＴ）から画像データ（ＩＤ）を形成し、
前記カメラ手段（１１、１４）が、少なくとも１つの前記一次画像オブジェクト（Ｉ１）上に合焦され、
前記カメラ手段（１１、１４）を用いて、合焦された画像データ（ＩＤ）を形成し、該画像データ（ＩＤ）がデバイス（１０）内で処理されて前記画像データ（ＩＤ）内で所望の変更を行うようにする、
画像データ（ＩＤ）を処理するためのデジタルイメージングの方法であって、
前記処理では、前記画像データ（ＩＤ）内の前記二次画像オブジェクト（Ｉ２）の少なくとも一部が前記合焦の際に生成される情報を用いてぼかされることを特徴とする方法。
【請求項１０】
ぼかされることになる前記二次画像オブジェクト（Ｉ２）は、前記合焦の際に生成される前記情報を用いて定義される請求項９に記載の方法。
【請求項１１】
前記ぼかしは、前記画像データ（ＩＤ）をフィルタリングすることにより実行される請求項９又は１０に記載の方法。
【請求項１２】
例えば空間フィルタ係数などのフィルタ係数は、前記合焦の際に生成される前記情報から計算され、該係数を用いてぼかしが実行される請求項９〜１１のいずれかに記載の方法。
【請求項１３】
前記一次画像オブジェクト（Ｉ１）は、設定された形状を有するエリア（ＦＡ）に適合され、該エリア（ＦＡ）の外側のエリアがぼかされることを特徴とする、
請求項９〜１２のいずれかに記載の方法。
【請求項１４】
前記ぼかしは、前記画像データ（ＩＤ）の形成に関連して実行される請求項９〜１３のいずれかに記載の方法。
【請求項１５】
前記二次画像オブジェクト（Ｉ２）は、該オブジェクトに対応するエリアにノイズを配置することによってぼかされ、その結果前記エリアが、ローパスフィルタ処理されて均一化されることを特徴とする、
請求項９〜１４のいずれかに記載の方法。
【請求項１６】
電子デバイス（１０）内で画像データ（ＩＤ）を処理するためのプログラム製品（３０）において、
前記プログラム製品（３０）が、記憶媒体（ＭＥＭ）と、該記憶媒体（ＭＥＭ）上に書き込まれ、プロセッサ手段（ＣＰＵ）を用いて実行されることになるプログラムコード（３１）とから形成され、
前記電子デバイス（１０）が、
少なくとも１つの一次画像オブジェクト（Ｉ１）と少なくとも１つの二次画像オブジェクト（Ｉ２）とを含むイメージングターゲット（ＩＴ）から画像データ（ＩＤ）を形成するためのカメラ手段（１１、１４）と、
前記イメージングターゲット（ＩＴ）から形成される前記画像データ（ＩＤ）を処理するため前記カメラ手段（１１、１４）と接続されて配置された画像処理チェーン（２７）と、
少なくとも１つの前記一次画像オブジェクト（Ｉ１）上に前記カメラ手段（１１、１４）を合焦させるための合焦手段（２８）と、
を含むプログラム製品であって、
前記プログラムコード（３１）が、前記合焦手段（２８）によって生成される情報を利用して前記画像データ（ＩＤ）内の前記二次画像オブジェクト（Ｉ２）の少なくとも一部をぼかすように構成された第１コード手段（３１．１）を含むことを特徴とする、
プログラム製品（３０）。
【請求項１７】
前記プログラムコード（３１）は、フィルタリングによって前記画像データ（ＩＤ）をぼかすように構成された第２コード手段（３１．２）を更に含むことを特徴とする、
請求項１６に記載のプログラム製品（３０）。
【請求項１８】
前記プログラムコード（３１）は、例えば空間フィルタ係数などのフィルタ係数を合焦手段（２８）によって生成される前記情報から計算するように構成され、該係数を用いてぼかしを実行するように構成された第３コード手段（３１．３）を更に含むことを特徴とする、
請求項１６又は１７に記載のプログラム製品（３０）。
【請求項１９】
前記プログラムコード（３１）は、前記一次画像オブジェクト（Ｉ１）を設定された形状を有するエリア（ＦＡ）に適合させるように構成された第４コード手段（３１．４）を更に含み、該エリアに対応するフィルタ係数の集合が前記デバイス（１０）内に予め設定されていることを特徴とする、
請求項１６〜１８のいずれかに記載のプログラム製品（３０）。
【請求項２０】
前記プログラムコード（３１）は、前記画像データ（ＩＤ）の形成に関連して実行されるように構成されていることを特徴とする、
請求項１６〜１９のいずれかに記載のプログラム製品（３０）。
【請求項２１】
前記プログラムコード（３１）は、前記合焦手段（２８）によって生成される前記情報を利用して、ぼかされることになる前記二次画像オブジェクト（Ｉ２）を定義するように構成された第５コード手段（３１．５）を更に含むことを特徴とする、
請求項１６〜２０のいずれかに記載のプログラム製品（３０）。
【請求項２２】
イメージングを実行するために電子デバイス（１０）内に配置することができる合焦モジュール（２８）において、
前記デバイスが、
少なくとも１つの一次画像オブジェクト（Ｉ１）と少なくとも１つの二次画像オブジェクト（Ｉ２）とを含むイメージングターゲット（ＩＴ）から画像データ（ＩＤ）を形成するためのカメラ手段（１１、１４）と、
前記イメージングターゲット（ＩＴ）から形成される前記画像データ（ＩＤ）をデバイス（１０）で処理するため前記カメラ手段（１１、１４）と接続されて配置された画像処理チェーン（２７）と、
を含み、
少なくとも１つの一次画像オブジェクト（Ｉ１）上に前記カメラ手段（１１、１４）を少なくとも合焦させるために前記デバイス（１０）内に配置することができる合焦モジュール（２８）であって、
前記画像処理チェーン（２７）内には更に、前記画像データ（ＩＤ）内の前記二次画像オブジェクト（Ｉ２）の少なくとも一部をぼかすようにぼかし手段（１７、２２、２６）が配置され、前記ぼかし手段（１７、２２、２６）が前記合焦手段（２８）によって生成される情報を利用するように構成されていることを特徴とする、
合焦モジュール（２８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、
少なくとも１つの一次画像オブジェクトと少なくとも１つの二次画像オブジェクトとを含むイメージングターゲットから画像データを形成するためのカメラ手段と、
イメージングターゲットから形成される画像データを処理するためカメラ手段と接続されて配置された画像処理チェーンと、
少なくとも１つの一次画像オブジェクト上にカメラ手段を合焦させるための合焦手段と、を含むイメージングを実行するための電子デバイスに関する。
更に、本発明はまた、本発明を実装するための対応する方法、プログラム製品、及び合焦モジュールに関する。
【背景技術】
【０００２】
小型のデジタルカメラでは、幾つかの要因のなかでも特に焦点距離が短いことにより被写界深度が比較的深い。この種のカメラの１つの実施例は、デジタルイメージング機能を備えた移動局である。被写界深度が深いことにより、画像中にぼけた背景を生成するのが困難になる。このようなイメージングアプリケーションの１つの実施例はポートレイトである。ポートレイトでは、鮮鋭に表したいのは一次画像オブジェクトだけであり、背景、すなわち二次画像オブジェクトはぼかされることが望ましい。
【０００３】
従来技術によりこの解決策は公知であり、この場合は、大きなアパーチャ（小さいＦ値）と長い焦点距離を使用することによって浅い被写界深度が実装される。この構成は、例えば、ＳＬＲ（一眼レフ）カメラから公知である。他の可能性としては、例えば、後編集により実装されるぼかしがある。これは、例えば静止画像エディタで一般的な機能である。
【０００４】
米国特許公開ＵＳ−２００２／０１９１１００  Ａ１（Ｃａｓｉｏ  Ｃｏｍｐｕｔｅｒ  Ｃｏ．Ｌｔｄ．）は、イメージングに関連してカメラ装置で実行される１つの背景ぼかし方法を開示している。この方法は、イメージング時に２つの画像を取り込むことに基づく。第１の画像は、一次画像オブジェクト上に合焦され、第２の画像が取り込まれる前に、合焦は近接又は遠隔設定に変更される。撮影後、第１及び第２の画像は互いに合成される。この合成の結果、オブジェクトが鮮鋭に撮像されると同時に背景がぼかされた最終画像が得られる。
【０００５】
２つ又は幾つかの画像を適用する他の幾つかの従来技術は、ＵＳ  ２００２／０１４０８２３  Ａ１、ＵＳ  ２００２／００６０７３９  Ａ１、ＵＳ  ２００３／００７１９０５  Ａ１、ＵＳ  ２００２／０１９１１００  Ａ１に記載されている。
【０００６】
【特許文献１】米国特許公報ＵＳ−２００２／０１９１１００  Ａ１
【特許文献２】ＵＳ  ２００２／０１４０８２３  Ａ１
【特許文献３】ＵＳ  ２００２／００６０７３９  Ａ１
【特許文献４】ＵＳ  ２００３／００７１９０５  Ａ１
【特許文献５】ＵＳ  ２００２／０１９１１００  Ａ１
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、デジタルイメージングにおいて望ましくないイメージングオブジェクトをぼかす方法を創出することを目的としている。本発明による電子デバイスの特徴は、添付の請求項１で述べられ、方法の特徴は、添付の請求項９で述べられている。更に、本発明はまた、デバイスでの使用に適合された対応するプログラム製品及び合焦モジュールにも関し、これらの特徴は添付の請求項１６及び２２で述べられている。
【０００８】
本発明では、ぼかしは、合焦によって生成される情報を利用して実行される。
【０００９】
本発明は、例えば、深い被写界深度を有するデジタルカメラなどでの用途に特に好適である。このようなカメラは、例えば移動局で公知である。本発明は、静止及び動画イメージングの両方に適用することができる。
【００１０】
本発明では、カメラの合焦から得られる情報が適用される。この情報に基づいて、画像内で鮮鋭さが保持されるべき１つ又はそれ以上の画像オブジェクトと、これに応じてぼかされる画像オブジェクトとを決定できる。合焦情報は、イメージング状況において直ちに利用可能であるので、本発明の目的を達成する上で該情報の利用は極めてスムーズに行われる。
【００１１】
不要な画像オブジェクトのぼかしは、例えばフィルタリングを利用することで実行することができる。フィルタリング用のデバイスには、事前計算されたフィルタ係数が存在する場合もあり、これらの係数から、各状況において最適な係数グループを利用するよう選択することができる。一方で、合焦用に形成される統計を使用して、フィルタ係数を計算することができる。
【００１２】
本発明では、エンドユーザが、カメラを利用して驚くべきことにイメージング段階で既に画像にぼかし効果を生成することができる。従って、イメージングイベント後にデバイスの外部で行われるはずの後編集操作が全く必要ではない。
【００１３】
本発明によって得られる利点の１つは、小型カメラ、一般に正確には深い被写界深度を有するカメラを利用して、一次画像オブジェクトが鮮鋭であり、背景又は一般的には二次画像オブジェクトがぼかされるか又は他の方法で不鮮鋭にされた画像を得ることができることである。
【００１４】
本発明の他の特性は、添付の請求項から明らかになるが、得られる追加の利点は、詳細な説明の部分に記載される。
【発明を実施するための最良の形態】
【００１５】
本発明は、以下に説明する実施形態に限定されるものではなく、添付図を参照しながらより詳細に考察される。
図１は、本発明による電子デバイス１０の原理上の適用例をフロー線図で示しており、この図に基づいて以下で本発明を説明する。更に図２は、本発明によるプログラム製品３０の実施例を示している。プログラム製品３０は、記憶媒体ＭＥＭと、そこに保存されるプログラムコード３１とから形成され、プログラムコード３１に属するコード手段３１．１−３１．５を以下の説明において適切な箇所で参照し、これらのコード手段を本発明による方法及びデバイス１０に関連付ける。
【００１６】
デバイス１０は、例えば、静止及び／又は動画のイメージング機能を備えたデジタルカメラ、デジタルビデオカメラ、カメラを搭載した移動局、又は他の何らかの同様のスマートコミュニケータ（ＰＤＡ）とすることができ、これらの構成要素は、本発明の観点からは関係がないので、本発明では詳細に説明しない。本発明は、デバイス１０だけではなく、例えばデバイス１０内に存在することができるイメージングチェーンシステム２７及び合焦モジュール２８にも同等に関連する。このような合焦モジュール２８の一例は、キャノンが開発したＡｉ−ＡＦシステムである。
【００１７】
本発明によるデバイス１０、及びこれと共にイメージングシステムはまた、カメラ手段１１、１４、及びこれに接続されたデジタル画像処理チェーン２７、並びに合焦回路２８をモジュール式構成要素として含むことができる。
【００１８】
カメラ手段１１、１４は、それ自体が公知の画像センサ全体１２、１３と可動レンズ１５とを含むことができ、該可動レンズによりイメージングターゲットＩＴの画像データＩＤを形成することができる。イメージングターゲットＩＴは、公知の方法でカメラセンサ１２によって変換されて電気信号を形成し、ＡＤコンバータ１３を用いてデジタル形式に変換される。
【００１９】
カメラ手段１１、１４の焦点距離は、３５ｍｍフィルムでの焦点距離等量として公表されている３５ｍｍよりも短い場合がある。３５ｍｍフィルムでの焦点距離等量として公表されているカメラ手段の焦点距離の幾つかの実施例は、例えば、１５−２０ｍｍ（超広角）、２０−２８ｍｍ（広角）、又は２８−３５ｍｍ（準広角）とすることができる。本発明を利用すると、深い被写界深度を備えたデバイス１０において特に利点が得られるが、本発明は当然ながら、浅い被写界深度を備えたデバイス（例えば望遠対物レンズ）にも適用することができる。
【００２０】
合焦手段２８は、カメラ手段１１、１４を合焦させるためにデバイス１０内にある。例えばそれ自体で公知であるか、又はまだ開発中のソリューションを合焦回路２８として適用することができる。例えば、動画のイメージングアプリケーションの場合には、合焦回路２８を使用すると、イメージングターゲットＩＴ内の画像オブジェクトＩ１、Ｉ２の少なくとも１つを保存されるよう意図されていたイメージングの実行前、又は保存されることになるイメージングの途中でもカメラ手段１１、１４及び詳細にはセンサ１２に合焦することができる。これは、イメージングターゲットＩＴが、カメラ手段１１、１４を相対的に合焦させたい少なくとも１つの一次画像オブジェクトＩ１と、イメージングの観点からは関心が低い画像対象である少なくとも１つの二次画像オブジェクトＩ２とを含むことができることに起因する。二次画像オブジェクトＩ２は、例えば、一次画像オブジェクトＩ１に対する背景とすることができる。
【００２１】
カメラにおいて、合焦は通常、画像データＩＤからの統計の収集を伴う。１つの実施形態によれば、統計は例えば、一次画像オブジェクトＩ１のエッジを検出するための勾配の検索を含むことができる。統計は、例えば、画像データＩＤの輝度情報から形成することができる。合焦動作はまた、統計情報を比較して統計上の画像の鮮鋭さを数学的に最大にするために、レンズ１５の移動を含むことができる。合焦は自動又はエンドユーザによって行うことができ、例えば手動で調整可能な焦点ディスク（機械的な焦点制御）がカメラにある場合には、エンドユーザが手動で焦点を調整することができる。
【００２２】
合焦がデバイス１０において自動的に実施される場合には、図１に示される合焦回路２８は、それ自体で公知のオートフォーカス制御アルゴリズム２４を含むことができ、該アルゴリズムにおいてサブモジュールとして焦点位置定義部２４が存在することができる。入力として、アルゴリズム部２４は、ＡＦ統計の計算モジュール２３からＡｕｔｏＦｏｃｕｓ  ＡＦデータを受け取る。統計モジュール２３は、ＡＤコンバータ１３から直接送られてくる画像データＩＤをそれ自体で公知の方法で処理して、画像データＩＤから例えば前述の勾配データを形成することができる。統計モジュール２３によって生成されるデータに基づいて、アルゴリズム部２４は、選択された最初の画像オブジェクトＩ１を規定の方法でセンサ１２に鮮鋭に画像化するかどうかを決定することができる。出力として、アルゴリズム部２４は、レンズ１５のセットの調整メカニズム１４に対してそれ自体で公知の制御データを生成する。制御データを利用してレンズ１５セットを移動させ、焦点位置サブモジュール２５によって一次であると定義された１つ又はそれ以上の画像オブジェクトＩ１がセンサ１２に精密且つ鮮鋭に画像化されるようにする。
【００２３】
カメラ手段１１、１４に接続された画像処理チェーン２７は、異なる実装構成で種々のモジュールを含むことができ、これらのモジュールは、例えばデバイス１０において、イメージングターゲットＩＴから形成された画像データＩＤを処理するために使用される。いずれの場合においても、このときに保存されることになるイメージングをデバイス１０が実行するか否かに関係なく、いわゆるファインダイメージングを実行することが可能であり、このためにデバイス１０には専用モジュールＶＦが存在することができる。本発明によればファインダＶＦは、カラー補間１６の後又はぼかしフィルタ１７の後にあってもよく、以下で詳細に説明する。この場合、本発明によれば、ぼかされた背景はファインダ画像内で既に見ることができる。
【００２４】
画像処理チェーンＩＣは、１つ又はそれ以上の処理回路／ＤＳＰ１６、１８からなることができるが、これらは本発明の観点からは全く無関係の構成要素であるので、これに関してはこれ以上の説明は必要ではない。ここでは、画像処理チェーン２７のカラー補間１６及び画像データＩＤ圧縮１８が示されている。画像データＩＤが保存される場合には、該保存は、何らかの記憶媒体１９に行うことができる。本発明の観点では関係がないこれらの構成要素の技術的な実装は、当業者には明らかであり、この理由から本発明は、これに関して理解し易くするために極めて大まかなブロック図レベルで記載されている。本発明の実際の実装に関しては、ハードウェア及びソフトウェアのソリューション、並びにこれらの組み合わせを考慮することができる。勿論、画像処理及び／又は合焦チェーン２７、２８に属するモジュール１６、１８、２３、２４、２５の動作の一部は、単一のモジュールに実装することも可能である。
【００２５】
驚くべきモジュールとしては、ぼかしモジュール２１を形成するぼかし手段１７、２２、２６が、画像処理チェーン２７内に配置される。当然ながら、モジュール２１に属するサブモジュール１７、２２、２６はまた、以下で示されるように、ぼかしに属するタスク以外の他のタスク（例えば合焦）をデバイス１０に設けることもできる。手段１７、２２、２６を驚くべき方法で使用して、イメージングターゲットＩＴ内の関心のある一次オブジェクトではない、画像データＩＤ内の二次画像オブジェクトＩ２の少なくとも一部をぼかすことができ、これをセンサ１２が全体として検出する。
【００２６】
図１の実施形態では、ぼかし手段のフィルタリングモジュール１７のみが実際のチェーン２７内で単独で示されている。問題の実施形態においてぼかしを実装する他のモジュールは、フィルタ係数計算モジュール２２と合焦エリア計算／定義モジュール２６である。
【００２７】
二次に設定された画像オブジェクトＩ２をぼかすために、ぼかし手段１７、２２、２６は、合焦モジュール全体２８によって生成される情報を利用する。合焦エリア計算モジュール２６は、画像エリアＩ１の定義においてＡＦ統計計算部２３から取得されるデータと、更に焦点位置定義部２５から取得されるデータも利用することができる。部分２６が、合焦されるオブジェクト、すなわち画像データＩＤ内の一次画像オブジェクトを計算すると、画像データＩＤによって形成される画像情報内の一次画像オブジェクトの位置を求め、更に、その形状、すなわち画像ＩＴ内の１つ又はそれ以上の一次画像オブジェクトＩ１の位置エリアを求めることができる。
【００２８】
計算部２６から取得される合焦エリアに関するデータは、フィルタ係数計算モジュール２２に送ることができる。合焦される焦点エリア、すなわちポートレイトエリアのデータに基づいて、フィルタ係数の計算で使用される最終エリアを選択／計算することができる。このエリアは、ピクセル単位で精密にすることもできるので、一次画像オブジェクトの境界を極めて正確に境界付けることができる。他方、例えばデバイスがタッチスクリーンを有する場合、そのタッチスクリーンから投げ縄ツールで選択することで、使用されるポートレイトエリアを例えば手動で入力することができる。モジュール２２は、フィルタ係数を計算することができ、該係数を利用することで、二次画像オブジェクト、すなわちエリアＩ２がぼかされる。モジュール２２によって計算されたフィルタ係数は、フィルタリングモジュール１７に与えられ、該モジュールが、関係のない画像エリアＩ２のぼかしを実行する。これについては、次に与えられる方法の説明で更に詳しく述べる。
【００２９】
図３は、不要な画像エリアＩ２をぼかすためのデジタルイメージングにおいて、本発明による方法の原理上の概略的な実施例のフローチャートを示している。本方法の説明では、図４に示すイメージング状況の実施例について言及される。図４では、イメージターゲットＩＴは二人の人物、すなわちブリーフケースを持った男性と新聞を読んでいる女性、並びに、長さが短い圧延鋼材のジョイストから成る。この場合、人物が一次画像オブジェクトＩ１であり、ジョイストの長さはぼかしたい二次画像オブジェクトである。一般に、画像エリア全体の背景エリアは、本発明に関連して二次画像オブジェクトＩ２であると理解することができる。
【００３０】
デバイス１０でイメージングを開始すると、段階３００で、イメージングプログラムが起動され、この場合自動合焦が適用される。段階３０１では、メカニズム１４を用いてレンズ１５セットを最初の合焦位置に調節することができる。
【００３１】
段階３０２で、画像データＩＤはセンサ１２を用いて形成され、すなわちファインダ写真は、例えばファインダＶＦで形成される。実際には、画像データＩＤの形成は、例えば、毎秒１５−３０フレームの周波数で連続的に行われる。段階３０３、３０４では、それ自体で公知である合焦動作を実行することができる。すなわち、破線で囲まれたブロック内のブロック３０１−３０４は全て合焦の下位段階であると理解することができる。
【００３２】
実際の合焦段階３０３及び３０４は、合焦モジュール２８によって自動的に処理することができ、或いは、ユーザによって行われる動作をこれらの段階において許容することもできる。合焦がエンドユーザによって手動で行われるときには、ユーザは、合焦されることになる一次画像オブジェクトＩ１又は画像オブジェクトエリアＦＡをファインダＶＦから自由に選択することができる。この自動又は手動による選択はまた、ぼかされるべきオブジェクトにも影響を与える。段階３０３では、ユーザは、例えば、ファインダＶＦでセンサ１２によって形成される画像データＩＤから、カメラ手段１１、１４を合焦させたい少なくとも１つ又は更に多くの画像オブジェクトＩ１を定義することができる。ユーザによって行われる選択には、例えば、投げ縄ツールによるエリア選択を含むことができ、この場合、一次画像オブジェクトＩ１として不規則なオブジェクトでも設定することができる。他方、一次画像オブジェクトＩ１を矩形又は他の形状の予め定義されたエリアに適合させることもできる。幾つかの異なる種類のエリアをデバイス１０のメモリＭＥＭ内に予め定義することができる。
【００３３】
自動合焦／画像オブジェクト選択での応用では、合焦は、例えば、１つ又はそれ以上の画像エリア（例えばイメージングオブジェクトの中心）に集めることができる。合焦位置はまた、画像エリア全体からインテリジェントに選択することもできる。この１つの実施例は、キャノンのＡｉ−ＡＦシステム（Ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｉｇｅｎｃｅ  ＡＦ）である。
【００３４】
段階３０４では、画像オブジェクトＩ１に対して正しく合焦したか否かをモジュール２８によって、より詳細には例えばサブモジュール２４が判断することができる。
【００３５】
段階３０４で、合焦が正確でないと判断されると、自動制御部２４がレンズ１５セットの新しい位置を計算する。その後、段階３０１に戻り、新しく計算された位置にレンズ１５セットが移動される。但し、段階３０４で合焦が正確であると判断されると、手順は、保存するための実際のイメージング、すなわち段階３０５に進む。
【００３６】
段階３０５では、カメラ１０のトリガボタンが完全に押下することができると、保存用のイメージングが実行される。センサ１２を用いて取り込まれた画像データＩＤは、ＡＤ変換を実行するモジュール１３から画像処理チェーン２７に取り出される。処理チェーン２７において、段階３０６で、例えばモジュール１６を利用してカラー補間を実行することができる。同様に他の段階は当業者には明らかであるので、これらの段階及びその実行順序については、本明細書では詳細には説明しない。
【００３７】
特定の１つ又はそれ以上の画像オブジェクトＩ１は、前の段階３０３及び３０４においてそれ自体公知の方法で合焦させることができるだけでなく、合焦されたこの画像エリアＩ１、又はより詳細にはエリアＩ１の位置、サイズ、及び／又は形状も利用して、段階３０７で、望ましくない画像オブジェクト又はそのエリアＩ２をぼかすこともできる。この目的のために、プログラムコード３１においてコード手段３１．１がある。段階３０３で、この合焦位置を利用して、１つ又はそれ以上のオブジェクト、すなわち本発明の関連ではイメージングターゲットＩＴ内部の一次画像オブジェクトＩ１を示すことができる。例えば、選択された合焦位置付近では、画像オブジェクトＩ１のエッジ及び形状を識別し、例えば、画像オブジェクトのサイズ及び合焦位置の場所を求めるようにすることができる。すなわち、これは、一次画像オブジェクトＩ１のサイズの測定を意味する。これは、段階３０３及び３０４からの統計情報、より一般的には破線で示された合焦段階から得られる合焦動作２８によって生成される統計情報を適用することで実行することができる。この動作の結果、二次画像オブジェクトＩ２もまた当然定義され、これらはコード手段３１．５によって定義される。
【００３８】
イメージングターゲットＩＴの合焦された一次エリアＩ１の位置及びサイズに関する情報が取得されると、画像に対して例えば種々のフィルタリング動作を行うことができ、これにより背景、すなわち二次画像オブジェクトＩ２が要望通りにぼかされ、又は不鮮鋭にされる。この動作はコード手段３１．２が行う。フィルタリングは、例えば、空間ローパスフィルタリングなどの夜間タイプが可能である。１つの実施形態によれば、本発明では、例えば、モジュール２２（コード手段３１．３）を用いて空間フィルタ係数を計算することができる。フィルタ係数は、例えば、画像を畳み込むマスクを形成することができ、これを利用して不要な画像エリアＩ２を処理することができる。
【００３９】
畳み込みマスク又は一般的にはフィルタ係数は、例えば、合焦部２８によって形成される輝度データから、より詳細には、ぼかされることになる二次エリアＩ２に関する輝度データから定義することができる。従って、マスクの係数の定義の１つの基準は、例えば、ぼかしにより「むらのないグレー」が生成されることであり、これにより明暗が過剰になった背景が生成されるのを防ぐことができる。周知の通り、畳み込みの結果、輝度スケールの極値よりも大きいか又は小さいピクセル値は一般に、スケールの極値（例えば、深度が８ビットの場合、０又は値２５５）に切り下げられる。極値へのこの種の切り下げを回避するには、合焦データを用いてこの種の切り下げが生じないように畳み込みマスクの係数を適合させるように試みる。第２の実施形態によれば、ぼかしは、背景エリア、又は一般的には二次エリアＩ２にノイズが強力に混在するような方法で行うことができ、その後、背景（すなわちノイズ）がローパスフィルタ処理されて均一になる。これもまたコード３１．２が扱うことができる。フィルタリングに係数を適用すると、合焦エリアＩ１はそのままの状態、すなわち鮮鋭なまま残される。一部には、これは、一次画像オブジェクトＩ１は全く処理されずに、不要なエリアＩ２のみが処理される方法で行われる。これに応じて、この係数の結果として、合焦エリアの外側に残るエリアＩ１、すなわち本発明の関連では二次エリアの鮮鋭さが軽減される。
【００４０】
一方、後でフィルタリングを行うのに使用されるフィルタ係数グループのうちの適切なグループはまた、デバイス１０内に事前設定することができる。より一般的に言えば、デバイス１０は、フィルタ係数を直接計算するか、又はメモリＭＥＭ内に事前設定された「係数バンク」から係数を供給することでフィルタ係数を提供することができる。
【００４１】
より詳細には、例えば段階３０３で、一次画像オブジェクトＩ１のエッジ及び／又は形状情報を適用して非矩形形状を選択することができるような方法でエリアを考慮することもできる。デバイス１０には、事前計算された種々のエリアの形状が存在することができる。この形状を選択される一次画像オブジェクトに適用して、最も適合する形状を選択／使用する試みを行うことができる。これらの形状の幾つかの実施例としては、矩形、円形、楕円形、三角形のエリアＦＡを挙げることができる。特に、事前計算されたエリアＦＡを利用すると、エリアの形状が頻繁に繰り替えされる場合には計算を改めて行う必要がないので、デバイス１０の処理能力を利用する際に有利になる。コード手段３１．４は、この動作を実行するためにプログラムコード３１内に存在する。
【００４２】
本発明による動作後の結果は、焦点深度が限定された画像となる。最終段階３０８−３１０として、画像データＩＤが圧縮され、所望の媒体１９上に保存される。
【００４３】
図２は、本発明によるプログラム製品３０の１つの実施例の概略図を示している。プログラム製品３０は、記憶媒体ＭＥＭと、該記憶媒体ＭＥＭ上に書き込まれたプログラムコード３１とを含むことができ、該プログラムコードは、少なくとも一部はソフトウェアレベルで本発明の方法に従ってぼかしを実装するために、デバイス１０のプロセッサ手段ＣＰＵを用いて実行されることになる。プログラムコード３１の記憶媒体ＭＥＭは、例えば、デバイス１０内のスタティック又はダイナミックアプリケーションメモリ、或いは、画像処理チェーンＩＣ内にあるぼかし回路モジュール全体とすることができ、画像処理チェーンと直接統合することもできる。
【００４４】
プログラムコード３１は、プロセッサ手段によって実行されることになる幾つかのコード手段３１．１−３１．５を含むことができ、その動作は、上記で与えられた方法の説明に当てはめることができる。コード手段３１．１−３１．５は、連続的に実行されるべきプロセッサ命令のグループから成り、これを用いて、本発明に関して望ましい機能性が本発明によるデバイス１０においてもたらされる。
【００４５】
本発明の結果、驚くべきことに既にイメージング段階で小型のデジタルカメラにおいても背景ぼかし効果を実装することができ、難しい後処理も全く必要としない。本発明の適用分野の１つの実施例は、ポートレイトにおける背景のぼかしとすることができる。ポートレイト用途では、顔面認識を追加して適用することができ、これに基づいて、焦点エリア及びぼかされることになる背景エリアを計算することができる。この顔面認識では、それ自体公知のアルゴリズムにより通常は容易に認識することができる顔面の色を利用することができる。ケース毎に固有のフィルタ係数計算により、各イメージングターゲットＩＴにおいて最適な背景／ぼかしが行われることになる。
【００４６】
上記では本発明は主に静止画イメージングアプリケーションとして説明されているが、当然ながら本発明は、動画イメージング並びに保存用のイメージングの前に実行されるファインダイメージングにも適用することができる。動画イメージングでは、図３のフローチャートが連続ループを形成することになり、この場合、イメージング、合焦、及びぼかしを連続プロセスとして実行することができる（ブロック３０５から、手順はブロック３０２にも進む）ことを理解されたい。いずれの場合においても、保存用のイメージングは、合焦が最適であるか否か（段階３０４で、手順が「はい」及び「いいえ」のいずれの矢印の方向に進もうと）に関わらず実行される。合焦は、光学素子を調整し、但しイメージングを妨げないようにすることで正確に行われるように自動的に繰り返される。
【００４７】
上記の説明及び関連する図は、本発明を例示するものとされるに過ぎない点を理解する必要がある。従って、本発明は、請求項に開示され又は記載された実施形態だけに限定されず、本発明の多くの異なる変形及び改変形態は、添付の請求項で定義された発明の意図の範囲内で可能であり、当業者には明らかであろう。
【図面の簡単な説明】
【００４８】
【図１】本発明による電子デバイスの原理上の適用例を概略図で示す。
【図２】本発明に従った方法で電子デバイスにぼかしを実装するための、本発明によるプログラム製品の応用の実施例を示す。
【図３】本発明による方法の原理上の実施例をフロー線図で示す。
【図４】本発明が適用されるイメージングターゲットの実施例を示す。
【符号の説明】
【００４９】
１０  電子デバイス
１１  カメラ手段
１４  カメラ手段
１７  ぼかし手段
２２  ぼかし手段
２６  ぼかし手段
２７  画像処理チェーン
２８  合焦手段
３０  プログラム製品
３１  プログラムコード
３１．１  第１コード手段
３１．２  第２コード手段
３１．３  第３コード手段
３１．４  第４コード手段
３１．５  第５コード手段
【図１】
2008529322.tif 000003
【図２】
2008529322.tif 000004
【図３】
2008529322.tif 000005
【図４】
2008529322.tif 000006
【国際調査報告】
2008529322.tif 000007
2008529322.tif 000008
2008529322.tif 000009
2008529322.tif 000010