(57)【特許請求の範囲】
【請求項１】
タッチスクリーン入力を有するカメラによって事前に補捉され記憶された画像マテリアル内に含まれる要素に対して編集調節を選択的に適用する方法であって、
補捉された画像マテリアル内の特定の要素が物体の画像として表示された表示画面上の位置でユーザタッチスクリーン入力の登録を実行する段階と、
補足された画像内に含まれる任意の形状の物体の画像として複数の要素に対して自動的に境界を決定する段階と、
ユーザタッチスクリーン入力の登録及び自動的に決定された境界に応答して、補足された画像内の物体の画像として任意の形状である特定の要素を選択する段階と、
前記特定の要素に画像態様を特徴付けることに応答して物体の画像としての前記特定の要素に対して、画像編集調節の自動的選択又は画像編集調節の提案を実行する段階と、
物体の画像としての前記特定の要素の画像の画像処理を用いて前記画像を処理し、前記補捉された画像の残りの部分に関連して該要素の記憶された画像内容に対して調節を適用して前記物体の画像の画像内容を変更する段階と、
を含むことを特徴とする方法。
【請求項２】
前記補捉された画像マテリアルは、静止画像又はビデオシーケンスを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記補捉された画像内に含まれる複数の要素に対して、これらの複数の要素の１つに向けられたユーザタッチスクリーン入力の登録の前にその境界を判断する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像マテリアル内の前記要素に対する前記調節は、サイズ修正、明るさ、コントラスト、彩度、ホワイトバランス、ノイズ低減、明瞭化、ぼかし、回転及び消去から成る画像調節の群から選択されることを特徴とする請求項１に記載の方法。
【請求項５】
継続するタッチスクリーン入力の登録に応答して前記特定の要素の前記選択を絞り込む段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記特定の要素の選択後に指を移動する動作を入力し、前記補捉画像マテリアル内の該特定の要素の編集を制御する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記画像マテリアル内の前記要素の明るさ及びコントラストは、右、左、上、及び下への指の摺動を含む前記指を移動する動作に応答して修正されることを特徴とする請求項６に記載の方法。
【請求項８】
指を移動する動作に応答して、前記選択された要素に対する前記表示をサイズ修正する段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記サイズ修正する段階は、円を描く指の摺動に応答して実行されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記特定の要素が選択されたことの視覚的表示を発生させる段階を更に含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記視覚的表示は、前記補捉画像マテリアル内の前記要素を囲む強調表示を含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
第１画像解像度で前記画像マテリアルを補捉し、それに対して調節を適用する段階と、
画像調節処理の完了後に、前記第１画像解像度に等しいか又はそれ未満であり、かつユーザ選択可能である第２画像解像度で前記画像を保存する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１３】
前記画像マテリアルの前記補捉からは時間的又は空間的に離れた付加的な画像マテリアルを補捉する段階と、
前記付加的画像マテリアルに応じて前記画像マテリアルに対して調節を適用する段階と、
を更に含むことを特徴とする請求項１に記載の方法。
【請求項１４】
画像調節処理の完了後に、前記関連する付加的画像マテリアルを保存せずに前記画像マテリアルを保存する段階を更に含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
タッチスクリーン入力を有するカメラによって事前に補捉され記憶された画像マテリアル内に含まれる要素に対して編集調節を選択的に適用する方法であって、
静止画像又はビデオシーケンスを含む画像マテリアルを補捉する段階と、
前記補捉された画像マテリアル内の特定の要素が物体の画像として表示された表示画面上の位置でユーザタッチスクリーン入力の登録を実行する段階と、
補足された画像マテリアル内の物体の画像としての任意の形状の要素に対して自動的に境界を決定する段階と、
前記補捉された画像内の物体の画像として任意の形状である特定の要素を、その物体上でのユーザタッチスクリーン入力の登録及び自動的に決定された境界に応答して選択する段階と、
前記特定の要素に画像態様を特徴付けることに応答して物体の画像としての前記特定の要素に対して、画像編集調節の自動的選択又は画像編集調節の提案を実行する段階であって、前記画像編集調節は、サイズ修正、明るさ、コントラスト、彩度、ホワイトバランス、ノイズ低減、明瞭化、ぼかし、回転及び消去から成る調節の群から選択される、前記画像編集調節の自動的選択又は画像編集調節の提案を実行する段階と、
前記特定の要素の前記選択を示すために該特定の要素を囲む強調表示を発生させる段階と、
持続するタッチスクリーン入力の登録に応答して前記特定の要素の前記選択を絞り込む段階と、
指を移動する動作の形式の付加的なタッチスクリーン入力の登録に応答して、前記補捉画像マテリアルの前記特定の要素に対する調節の適用を制御する段階と、
前記特定の要素の画像処理を用いて前記画像を処理し、前記補捉画像の残りの部分に関して該要素の内容に対して調節を適用し、前記画像の補正された部分を前記画像の補正されていない部分と混合して前記物体の画像の画像内容を変更する段階と、
を含むことを特徴とする方法。
【請求項１６】
第１画像解像度で前記画像マテリアルを補捉し、それに対して調節を適用する段階と、
画像調節処理の完了後に、前記第１画像解像度に等しいか又はそれ未満であり、かつユーザ選択可能である第２画像解像度で前記画像を保存する段階と、
を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記画像マテリアルの前記補捉からは時間的又は空間的に離れた付加的な画像マテリアルを補捉する段階と、
前記付加的画像マテリアルに応じて前記画像マテリアルに対して調節を適用する段階と、
画像調節処理の完了後に、関連する付加的画像マテリアルを保存せずに前記画像マテリアルを保存する段階と、
を更に含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
タッチスクリーン入力を用いた編集調節を、カメラによって事前に補捉され記憶された画像マテリアル内に含まれる要素に対して選択的に適用するカメラであって、
画像マテリアルを補捉するように構成された光学撮像器と、
補捉された画像マテリアルを視覚的に表示するための光学ディスプレイと、
前記補捉された画像マテリアルの前記光学ディスプレイ上へのユーザ接触の位置を登録するために該ディスプレイに結合されたタッチスクリーンと、
画像内容を補捉して表示し、かつ該画像マテリアル内に含まれる要素に対して編集調節を選択的に適用するために前記光学撮像器、前記光学ディスプレイ、及び前記タッチスクリーンに結合されたコンピュータと、
前記補捉された画像マテリアル内の物体の画像としての特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力の登録を実行し、
補足された画像における任意の形状である要素に対して自動的に境界を決定し、
ユーザタッチスクリーン入力の登録及び自動的に決定された境界に応答して、補捉された画像内の物体の前記画像として任意の形状である特定の要素を選択し、
前記特定の要素に画像態様を特徴付けることに応答して物体の画像としての前記特定の要素に対して、画像編集調節の自動的選択又は画像編集調節の提案を実行し、前記画像編集調節は、消去、回転、色変更及び／又は明るさ変更の群から選択され、
前記特定の要素の画像を処理し、補捉画像の残りの部分に関して該要素の内容に対してコンテンツ編集調節を適用し、前記画像の補正された部分を前記画像の補正されていない部分と混合して前記物体の画像の画像内容を変更する
ための前記コンピュータ上で実行可能なプログラミングと、
を含むことを特徴とするカメラ。
【請求項１９】
カメラによって画像内容を補捉して表示し、かつ事前に補足され記憶された画像マテリアル内に含まれる要素に対して画像内容編集調節を選択的に適用するためにディスプレイ及び関連のタッチスクリーンと共に構成されたカメラ内のコンピュータ上で実行可能であるコンピュータプログラムであって、
補捉された画像マテリアル内の特定の要素が物体の画像として表示された表示画面上の位置でユーザタッチスクリーン入力の登録を実行する段階と、
前記補足された画像マテリアル内の物体の画像としての任意の形状の複数の要素に対して自動的に境界を決定する段階と、
ユーザタッチスクリーン入力の登録及び自動的に決定された境界に応答して、前記補捉された画像内の物体の画像として任意の形状である特定の要素を選択する段階と、
前記特定の要素に画像態様を特徴付けることに応答して物体の画像としての前記特定の要素に対して、調節の自動的選択又は調節の提案を実行する段階であって、前記調節は、消去、回転、色変更及び／又は明るさ変更の群から選択される、前記調節の自動的選択又は調節の提案を実行する段階と、
前記特定の要素の画像を処理し、前記補捉画像の残りの部分に関連して該要素の内容に対して調節を適用し、前記画像の補正された部分を前記画像の補正されていない部分と混合して前記物体の画像の画像内容を変更する段階と、
を含む、
コンピュータプログラム、
を収容するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
該当なし
連邦政府委託研究又は開発に関する言明
該当なし
コンパクトディスク上に提出した内容の引用による組込み
該当なし
著作権保護を受ける内容の通知
本特許文書における内容の一部分は、米国及び他国の著作権法の下の著作権保護を受ける。著作権の所有者は、米国特許商標庁の公開ファイル又は記録内に本特許文書又は特許の開示が現れる時の文書の複製に異論はないが、それ以外の場合は、全ての著作権を完全に留保するものである。著作権の所有者は、「３７  Ｃ．Ｆ．Ｒ．§１．１４」に準じた自己の著作権を非限定的に含み本特許文書を機密に保持する著作権のいずれをもここに放棄するものではない。
技術分野
本発明は、一般的に、カメラ及び媒体処理に関し、より具体的には、補捉された画像マテリアルとのユーザ対話に関する。
【背景技術】
【０００２】
デジタルカメラ及びビデオカメラは、多くの場合にタッチスクリーンディスプレイを利用してメニューのトラバース及び選択を容易にする。デジタルカメラ及びビデオカメラ用途では、記録したマテリアルの再生中又は後に、補捉したシーンをプレビューするためにタッチスクリーンの表示部分自体を一般的に利用する。これらのデバイスにおいては、デバイスがメニューモードに入ると、ユーザは、自身の必要に応じて修正するための１つ又はそれよりも多くのパラメータを選択することができる。既存のタッチスクリーンデバイスの一部では、更に、ユーザがタッチスクリーンへの入力に基づいてスクロールや拡大を行うことを可能にする。
【０００３】
補捉した画像の態様を修正するための機能は、典型的に、露光及び色のような画像全体の態様の修正を伴っている。一部のデバイスは、問題を検出してそれを除去又は低減する自動赤目除去のような機能を提供する。他のデバイスは、強度又は色が修正される区域にわたって選択領域をユーザが動かすことを可能にすることができる。しかし、いずれの場合も、タッチスクリーンに関連するディスプレイ上に表示されるような画像態様の修正及び強化のユーザに提供される制御は限られている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従って、デジタルカメラ及びビデオカメラに関してユーザが使い易いタッチ入力制御を提供する必要性が存在する。本発明は、その必要性、並びにその他を満たすものである。
【課題を解決するための手段】
【０００５】
ユーザからの１回のタッチスクリーン接触に応答してなどで、補捉されたマテリアル内の要素に画像調節を選択的に適用するための撮像デバイス（例えば、カメラ及び／又はビデオカメラ）内のタッチスクリーンディスプレイの双方向性を利用する方法及び装置について説明する。簡潔にするために、「カメラ」という語は、本明細書では、静止及び／又はビデオシーケンスを補捉するように構成されたあらゆるデバイスを指すために用いる。本発明の方法によれば、ユーザは、マテリアル補捉（静止画像又はビデオ）中か又はディスプレイ上でのマテリアルの再生中のいずれかにおいて、タッチスクリーンディスプレイを用いてシーン内の要素を選択することができる。本発明の好ましいモードでは、検出されたシーンの態様又は要素に応じて、ユーザからの選択入力が登録される。シーン内の１つ又はいくつかの要素の選択は、タッチ認識表示画面上に表示された時の要素の区域内に触れることに応答してユーザによって実行される。選択処理に応答して、ディスプレイ上に表示された１つ又はそれよりも多くの関連する要素が強調表示され、カメラデバイス内の画像処理によって適切な調節が実行される。
【０００６】
本発明の少なくとも１つの実施においては、初期接触後のタッチスクリーン接触のタイプ（例えば、持続時間、方向、及びパターンなど）が、実行される動作を決める。１つの好ましい実施において、タッチスクリーン接触の持続時間（継続）は、選択の範囲及び／又は選択された画像部分上で実行される動作を決める。例示的に、ユーザが表示画面との選択接触を持続する（登録されるのに十分な力でタッチスクリーンを指で押下する）場合、ユーザのタッチ接触が中断されるまで選択の絞り込みが実行され、これは、好ましくは、対応する強調表示を用いて選択を拡大することなどによって行われる。この選択の絞り込み（セグメント化）を理解するために、部屋の補捉された画像内に「入れ子にされた」物体、すなわち、机があり、その上に棚があり、棚の上には陳列台上の野球ボールを含む多数の要素がある例を見てみる。タッチスクリーン上の野球ボールの位置にユーザ接触が行われると、最初に野球ボールが選択され、ユーザ接触が持続すると、次に野球ボール及び陳列台が選択され、接触が持続すると、それらが配置された棚が選択され、接触が持続すると、机が選択される。
【０００７】
以下の用語は、一般的に本明細書に関連して説明するが、本明細書の特定の詳述を制限するように解釈されないものとする。
「タッチスクリーン」という語は、本明細書では、表示画面とのユーザの接触又はそれへの接近の位置を感知するあらゆる手段を指すと考えられる。ある一定の新しい非接触型タッチスクリーン上で見られるような近接感知は、本明細書で説明するようなタッチスクリーン感知と同等の機能性を提供し、１インチ又はそれ未満以内のようにタッチスクリーンの十分な近接性内でユーザ入力を感知する点に注意されたい。説明を簡潔にするために、本明細書では接触ベースのタッチスクリーンに関連する用語を採用するが、このような説明の各々の事例は、近接性ベースのタッチスクリーンにも同等に適用される。
【０００８】
「調節」という語は、本明細書では、一般的に、選択した物体に関連する画像マテリアル及び／又は隣接する画像マテリアルの修正及び／又は強化を説明するために用いる。「修正」及び「強化」という語も本明細書で用いるが、これらの用語は、実質的に同義語と見なしてよい。
「要素」という語は、表示画面上に見える画像マテリアル内で補捉されるような通常の物体を示し、本明細書では、「物体」とも呼ばれる。これらの物体は、要素（物体）の周辺の空間の広がりを囲む任意の境界を有する画像の一部分として表されている点を認めるべきである。従って、物体又は要素という語は、通常、単語の一般的意味で使用され、補捉された画像に関してディスプレイ上に表示される自動車、飛行機、列車、人、動物、花、木、電子書籍、ウォークマン、コンピュータ、テレビ、又は他のあらゆるマテリアル品目を選択することができ、その対応する画像マテリアルが本発明により調節される。
【０００９】
本発明は、限定ではないが以下の説明を含むいくつかの方法で具現化されるのに適している。
本発明の一実施形態は、（ａ）補捉された画像マテリアル内の特定の要素が表示される表示画面上の位置でユーザタッチスクリーン入力を登録する段階、（ｂ）ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、及び（ｃ）特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節（例えば、サイズ修正、明るさ、コントラスト、彩度、ホワイトバランス、ノイズ低減、明瞭化、ぼかし、及び消去（削除及び塗り潰し）など）を適用する段階を含む、タッチスクリーン入力を有するカメラによって補捉された画像マテリアル（例えば、静止画像又はビデオシーケンス）内に含まれる要素に調節を選択的に適用する方法である。
【００１０】
本発明の方法の１つのモードでは、画像が補捉された状態で、かつユーザによる画像の一部分のタッチスクリーン選択の前に、プログラミングは、補捉された画像内に含まれる複数の要素の各々の境界を自動的に確定し始める。このようにして、ユーザタッチ入力を表示画面上の物体と関連付けるために必要な処理量を大幅に低減することができ、ユーザタッチスクリーン入力時には、画像調節を実行するために、又は画像調節準備のために要素を強調表示するために、これらの複数の要素のうちの１つを直ちに選択することができる。
【００１１】
本発明の１つのモードでは、どの画像調節が行われることになるかの判断は、特定の物体の画像態様（例えば、明るさ、コントラスト、色のバランス、物体のサイズ、背景色など）を特徴付けて、修正又はその修正の範囲の判断がそこから発生する１組の基準又はベンチマーク（例えば、経験則）に対してその情報を比較することに応答して自動的に確定される。図３Ａ−３Ｄに示す実施例（以下で説明する）は、要素のサイズ及びその周囲とのその著しい対照により、この要素が不要で画像から消去すべきなのでユーザがそれを選択する可能性が高い要素が示されると考えられる状況を例証する。
【００１２】
本発明の１つのモードでは、ディスプレイ上に表示された物体の選択を絞り込むためにユーザタッチスクリーン接触が登録される。
別のモードでは、どの画像調節が行われることになるかの判断は、特定の要素の選択後のユーザによる付加的なタッチスクリーン入力（例えば、指を移動する動作、又はそれほど好ましくはないが他の入力）に応答して確定され、補捉された画像マテリアル内でのその要素の編集方法を制御する。更に、この判断は、ユーザからの選択されたレベルの対話又は確認応答により自動的に実行することができる。本発明の１つのモードでは、プログラミングが、ユーザの観点から可能性が高そうな実行可能な１組の調節（例えば、ユーザ選択のために与えられ、最も可能性の高い所定の最高優先度から可能性の低い順序にまとめられたもの）を判断し、そこからユーザが調節を選択することができる。
【００１３】
本発明の少なくとも１つの実施においては、補捉された画像マテリアル及び／又はその画像マテリアル内で選択された要素を調節する際に用いられる付加的マテリアルが収集される。１つのモードにおいて、画像は、保存解像度（例えば、典型的にユーザによって設定される）よりも高い解像度で補捉され、次に、画像編集の結果がダウンコンバートされ、それによってターゲット保存解像度で画像を編集することによって得られると考えられるよりも優れた画像結果を提供する。高解像度の編集段階は、（ａ）第１画像解像度で画像マテリアルを補捉して調節を適用する段階、及び（ｂ）画像調節処理完了後、第１画像解像度に等しいか又はそれ未満であり、好ましくは、ユーザ選択可能である（典型的に、ユーザは、補捉された画像の解像度を選択することができ、その場合には、それがその画像が保存される解像度になる）第２画像解像度で画像を保存する段階を含む。
【００１４】
別の増強情報のモードは、空間及び／又は時間的に変位された付加的画像を補捉し、かつ（ａ）主要画像マテリアルの補捉（すなわち、「シャッター」解放の電子的均等物に応答して補捉された）から時間的又は空間的に離れた付加的画像マテリアルを補捉する段階、及び（ｂ）付加的画像マテリアルに応じて、画像マテリアルか又はより好ましくはそこにある物体に調節を適用する段階を含む。好ましくは、この処理は、編集（調節）後に、関連する付加的画像マテリアルを含まずに画像マテリアルを保存する段階を含む。
【００１５】
本発明の一実施形態は、（ａ）静止画像又はビデオシーケンスを含む画像マテリアルを補捉する段階、（ｂ）補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階、（ｃ）ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、（ｄ）特定の要素を囲む強調表示を生成して特定の要素の選択を示す段階、（ｅ）指を移動する動作の形式の付加的なタッチスクリーン入力の登録に応答して、補捉された画像マテリアルの特定の要素への調節の適用を制御する段階、及び（ｆ）特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用する段階を含む、タッチスクリーン入力を有するカメラによって補捉された画像マテリアル内に含まれる要素に調節を選択的に適用する方法である。
【００１６】
本発明の一実施形態は、（ａ）画像マテリアルを補捉するように構成された光学撮像器（例えば、ＣＭＯＳ及びＣＣＤなど）、（ｂ）補捉された画像マテリアルを視覚的に表示するための光学ディスプレイ、（ｃ）補捉された画像マテリアルのディスプレイ上へのユーザ接触の位置を登録するために光学ディスプレイに結合されたタッチスクリーン、（ｄ）画像内容を補捉して表示し、画像マテリアル内に含まれる要素に調節を選択的に適用するために光学撮像器、光学ディスプレイ、及びタッチスクリーンに結合されたコンピュータ、及び（ｅ）（ｅ）（ｉ）補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録し、（ｅ）（ｉｉ）ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択し、かつ（ｅ）（ｉｉｉ）特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用するためのコンピュータ上で実行可能なプログラミングを含む装置（カメラ）である。
【００１７】
本発明の一実施形態は、画像内容を補捉して表示し、かつ画像マテリアル内に含まれる要素に対する画像内容調節を選択的に適用するように構成され、ディスプレイ及び関連するタッチスクリーンと共に構成されたカメラ内のコンピュータ上で実行可能であり、かつ（ａ）補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階、（ｂ）ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、及び（ｃ）特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用する段階を含むコンピュータプログラムを収容するコンピュータ可読媒体である。
【００１８】
本発明は、本発明の教示から逸脱することなく別々に又はあらゆる望ましい組合せのいずれかで実施することができるいくつかの有用な態様を提供する。
本発明の態様は、ユーザからの簡単なタッチ入力に応答して、カメラデバイス内に記録されたマテリアルを修正する方法である。
本発明の別の態様は、記録された画像マテリアル内の要素（物体）を識別（セグメント化）するように構成されたカメラデバイスである。
本発明の別の態様は、ユーザタッチスクリーン入力に応答して、識別された要素の１つ又はそれよりも多くを選択するように構成されたカメラデバイスである。
【００１９】
本発明の別の態様は、選択した画像マテリアルを、これらの選択された画面要素の特性を画像及び１組の指針に関連して比較することに応答して、又は直接的なユーザ入力に応答して、又は自動修正及びユーザ指示修正の組合せとして、自動的に修正するように構成されたカメラデバイスである。
本発明の別の態様は、消去、置換、色修正、色彩度、露光、明るさ、ノイズ低減、ぼかし又は明瞭化、特殊効果、位置修正、及びサイズ修正などを含む、選択されたマテリアル要素の画像／ビデオ修正を実行するように構成されたカメラデバイスである。
【００２０】
本発明の別の態様は、選択された要素の画像／ビデオ修正に応答して、隣接媒体の融合又は画像平滑化を自動的に実行するように構成されたカメラデバイスである。
本発明の別の態様は、消去、色修正、明るさ、色彩度、露光、明るさ、ノイズ低減、ぼかし又は明瞭化、特殊効果、位置修正、解像度、及びサイズ修正などを含む、マテリアルの選択された要素の特性の修正を実行するように構成されたカメラデバイスである。
【００２１】
本発明の別の態様は、タッチスクリーン上で選択された要素に対してどの物体調節動作を実行するかを自動的に選択し、又は実行される物体調節動作を自動的に提案するように構成されたカメラデバイスである。
本発明の別の態様は、デバイス、又はユーザ調節履歴、又は保存されている調節プロフィールに応じて、物体調節動作を自動的に選択するか又は提案するように構成されたカメラデバイスである。
【００２２】
本発明の別の態様は、カメラが最も可能性の高い調節オプションを判断することに応答して、タッチスクリーン上で選択された要素に対して実行することができる動作を自動的にランク付けするように構成されたカメラデバイスである。
本発明の別の態様は、ユーザから受け取るタッチ動作のタイプに応じて、要素又は特性に対して実行される動作を自動的に選択するように構成されたカメラデバイスである。
本発明の別の態様は、水平軸を修正するなど、写真の向きを自動的に又はユーザタッチ入力により調節するように構成されたカメラデバイスである。
【００２３】
本発明の別の態様は、少なくとも１つのコンピュータプロセッサ（例えば、マイクロコントローラ、マイクロプロセッサ、ＤＳＰ、及びＡＳＩＣ内のプロセッサなど）と、ユーザインタフェース、ディスプレイ、及び画像処理機能を含むプログラミングを実行するように構成されたメモリとを有するカメラデバイスである。
本発明の別の態様は、タッチセンサ式画面を含む広範囲の静止カメラ、ビデオカメラ、及び結合静止−ビデオ補捉デバイスに実施することができる補捉された画像及びビデオを修正する方法である。
【００２４】
本発明の別の態様は、選択された保存解像度よりも高い解像度で画像を補捉し、それによって編集処理中に高解像度を利用可能にするように構成されたカメラデバイスである。
本発明の別の態様は、物体の選択、並びに選択した物体に関連するシーン部分の消去、修正、又は強化を改善するための付加的マテリアル及び情報として利用することができる時間的陰影画像を保存するように構成されたカメラデバイスである。
本発明の別の態様は、物体の選択、並びに選択した物体に関連するシーン部分の消去、修正、又は強化を改善するための付加的マテリアル及び情報として利用することができる変位陰影画像を保存するように構成されたカメラデバイスである。
【００２５】
本発明の更に別の態様は、タッチスクリーンを有するいずれかの静止及び／又はビデオカメラデバイス内に上述の方法を組み込む機能を含み、好ましくは、この特徴は、メモリ内に（又はアクセス可能媒体、又はメモリ内にロード可能な媒体内に）保存されたプログラミングとして実施され、画像マテリアルを補捉、処理、及び表示するカメラ内の少なくとも１つのコンピュータデバイスによって実行される。
本発明の更に別の態様は、詳細説明が本発明の好ましい実施形態をそこに制限を課すことなく完全に開示するためのものである明細書の以下の部分にもたらされる。
本発明は、例証目的に過ぎない以下の図面を参照することによってより十分に理解されるであろう。
【図面の簡単な説明】
【００２６】
【図１】必須並びに選択された任意の処理段階を示す、本発明の実施形態によりタッチ入力に応答してカメラデバイス内に記録されたマテリアルを修正する流れ図である。
【図２】装置内のコンピュータ及びメモリを示す、本発明の実施形態により記録された画像マテリアルの修正（調節）を実行するためのカメラ装置のブロック図である。
【図３Ａ】本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。
【図３Ｂ】本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。
【図３Ｃ】本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。
【図３Ｄ】本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。
【発明を実施するための形態】
【００２７】
図面をより具体的に参照すると、本発明は、説明目的で図１から図３Ｄに一般的に示す装置で具現化される。本明細書に開示するような基本概念から逸脱することなく、装置は、構成に関して及び部品の詳細に関して変わる可能性があり、方法は、特定の段階及び順序に関して変わる可能性がある点は認められるであろう。
本発明は、画像補捉デバイスのユーザが補捉した画像内の特定の要素にカメラ内調節及び強化を対話形式で適用することを可能にするための装置及び方法である。画像内の要素は、鳥、自動車、木、雲、月、人、動物、メモリスティック、ＭＰ３プレーヤ、コンピュータ、及び背景とは区別されるようなその他の品目を含むと見なすことができる要素である。要素の選択は、ボックスを移動することなどによりディスプレイの領域を選択する機能と混同されないようにすべきであり、この場合の補捉された画像は、単一の背景レイヤとして扱われる。本発明では、幾何学的に近くにいるが選択した物体の要素ではない要素を修正することなく、非常に変則的な形状の物体を修正、消去、及び強化するように選択することができる。本方法は、静止カメラ、ビデオカメラ、ハンディカム、ビデオカメラ、及びカメラ内蔵の携帯電話などを含むあらゆるデジタル画像補捉デバイス上に実施することができる。
【００２８】
説明を簡潔にするために、当業者に公知の画像処理段階を実行するための詳細は、本明細書では規定しない。例えば、色、強度、解像度、及び画像効果などに関する画像の処理、並びにトリミングのためのオプションなどは、当業技術で公知である。本発明は、一般的に、静止又はビデオカメラシステムの範囲内でこれらの様々な技術を利用、選択、及び適用して従来のカメラシステムを超えるいくつかの利点をもたらすための機構を提供する。
【００２９】
本発明による作動により、ユーザは、タッチスクリーン上に表示された物体の画像を選択して、次に、様々なカメラ制御設定に応じてこの物体を編集することができる。カメラ内プログラミングは、ユーザによるタッチ入力選択に基づいて、強化するための物体の境界を確定するように構成されている。選択された状態で、ユーザは、望ましい修正又は強化を適用することができる。代替的に、本発明の１つのモードでは、カメラ内プログラミングが、選択された区域の特性に基づいて、行われる１つ又はそれよりも多くの強化を自動的に予測し、画像強化の選択、及び／又は選択及び適用両方を自動的に実行することができる。このモードでは、カメラ内のプログラミングが望ましい調節を実行する一方、画像の修正された部分と画像の未修正部分とを適切に融合する。画像の好ましくない部分も予測するか又はユーザが選択することができ、これらは、自動的に又はユーザによる指示通りに削除することができる。
【００３０】
本発明のカメラ装置及びタッチスクリーン画像調節方法は、いくつかの恩典をもたらす。高速で簡単で効率的なユーザ対話手段が提供されるので、補捉したマテリアル（静止画像又はビデオ）の選択した部分を修正するようにカメラ内調節を行うことができる。修正される区域の範囲は、修正が適用される領域又はボックスによって固定されないが、本発明の少なくとも１つのモードでは、要素の範囲を定める特性に基づいて、自動的に判断されるように又はユーザからの補助があって要素が選択される。この手法を使用すると、大幅に改善された結果を獲得するために、付加的な調節の柔軟性を提供する。限定ではなく例示的に、従来型カメラベースの実施で見られるようにシーンの全ての部分に調節を全体的に適用するのとは対照的に、ユーザは、シーンの特定の選択された区域だけに対して明暗（例えば、明るく／暗く）又は色（範囲、シフト、及び強度など）を修正するように選択することができる。
【００３１】
本方法及び装置はまた、シーン内の関心のある区域を分離するための手段、例えば、背景要素から前景要素を分離し、ユーザが消去又は修正などを望む場合がある要素を検出するための手段でも構成される。本発明のセグメント化モードは、完全自動セグメント化及びユーザ補助のセグメント化を含む。完全自動セグメント化方法は、実施がより困難であるので、本発明の好ましい実施においてユーザの区域選択に応じたセグメント化を提供し、それによってより少ない処理でより良好なセグメント化結果を得ることができる。
【００３２】
カメラ内調節を実行するための従来の方法は、２つの典型的技術に依存する。第１は、全体調節の使用であり、露光補正、コントラスト補正、ホワイトバランス（色修正、不要な照明キャスト）などのような変換が、画像内の全てのピクセルに同様に適用される。第２に、一部のシステムは、調節される領域の自動選択を用いて達成可能な高いダイナミックレンジの圧縮のような限られた空間変換を提供する。
従来システムとは対照的に、本発明は、撮像デバイスのユーザが画面上に表示されたシーン内の区域への１回のタッチにより対話形式で調節する方法を提供する。
【００３３】
図１は、限定的ではなく例示的に示す本発明の方法の実施形態１０を示している。カメラ装置は、カメラデバイス内の制御プロセッサ上でプログラミングの実行を開始するなどでブロック１２により作動を開始する。ブロック１４において、ユーザが作動モード及び設定を選択するなどでユーザ選択が確立される。ブロック１６は、ユーザ選択に従ってマテリアルが補捉されて出力画面に表示されることを表している。本発明の少なくとも１つの実施によれば、ブロック１６では、陰影フレーミングのような増強補捉モードのためのマテリアルも収集されると考えられる。補捉されたマテリアルが表示されて、ユーザは、撮像デバイス（デジタルカメラ又はビデオカメラ）のタッチスクリーン上で画像をレビューし、本発明により修正を行うことができる。ブロック１８において、プログラミングは、好ましくは、補捉されたマテリアルを分析し、マテリアル内の要素（例えば、位置、範囲、境界、特性）を全体的又は部分的に判断して、任意的にブロック２０でシーンの特性を確定し、ブロック２２によりユーザが行いたい最も可能性の高いあらゆる調節を予想する。
【００３４】
タッチスクリーンとのユーザ対話（例えば、ユーザの指の圧力又は指の接近）は、ブロック２４でタッチスクリーン上の関心のある区域上に登録され、ここに修正又は強化を適用することが望ましい。本発明のシステムは、１つの指による対話に応答してなどでタッチセンサ式表示画面に表示されるような補捉された画像マテリアル内の物体を調節するための機構を提供する。
上述の段階に応答して、カメラ内プログラミングは、画面上でユーザにより選択された位置に基づいて、ユーザによって示された選択のための境界をブロック２６で自動的に計算し、好ましくは、ブロック２８により物体の周囲に強調表示ハローを表示するなどでこれに応答して画像に注釈を付加する。本発明の選択モードでは、例えば、単純な消去のような場合には、選択を最初に強調表示する必要なく画像動作が実行されることが認められるであろう。更に、ブロック２４、２６、及び２８内で、ユーザは、付加的な選択基準を入力し、及び／又は選択を修正又は絞り込むことができる。
【００３５】
更に、１つの実施又はモードにおいて、カメラ内プログラミングは、ユーザが最初に画面に触れると直ちに選択の境界を判断し始める。接触の持続に応答してなどで継続する接触に応答して、又はタッチスクリーン上での指の移動に応答して、カメラ内プログラミングは、更に、タッチスクリーン上の指の現在位置に基づくだけでなく前の位置に対しても範囲及び物体の選択に関して選択を絞り込む。１つのモードにおいて、ユーザ選択接触（又は接近）が持続されるのに応答して、プログラミングは、物体の選択を絞り込み、例えば、タッチスクリーン接触が解除されるまで選択を増大させる。選択が絞り込まれると、要素の強調表示（例えば、要素の境界を視覚的に識別するあらゆる形式）を更新して、適切なユーザフィードバックを提供する。別の実施例では、継続する接触又は付加的接触の指の動きを用いて、複数品目内で選択を絞り込む。２つの重複する要素Ａ及びＢの場合を見てみると、ユーザが画面に触れると、Ａ及びＢの一方又は両方が選択される可能性があるが、指の移動がＡ又はＢのいずれかの方向を指すか又は触れることでそれらの位置決めを更に絞り込むのに応答して、適切な要素が要素Ａ又は要素Ｂとして選択される。１つのモードでは、ユーザは、ディスプレイ上で選択される望ましい物体に関して必要な程度まで、タッチスクリーン上で望ましい物体の輪郭を仮想的に「描く」ことができる。
【００３６】
本発明の１つのモードにおいて、プログラミングは、ユーザ入力内で指を移動する動作の有無を検出するように構成されている。これらの指を移動する動作は、物体及び／又はこれらの物体に対して実行される作動の選択において、特殊な意味を有する。例示的に、そのような１つのタッチ動作は、選択した物体のタッチスクリーン区域の外へのタッチドラッグであり、従って、この物体をシーンから除外する。物体が画面から滑り出る前に、物体の選択の報知が、タッチドラッグ中に好ましくは実行され、従って、選択ミスを解消する。別の例示的な本発明の１つのモードでは、第１の方向（例えば、左）への指の短い移動の検出は、プログラミングに物体の明るさを低減させ、反対方向（例えば、右）への指の短い移動の検出は、プログラミングに、選択した区域上の明るさを増大させる。この関連では、コントラストの修正は、上下の指の動きを登録することに応答して実行することができる。
【００３７】
登録される指の動きの意図は、パターン及び速度の両方に応じているが、同時に、任意的にタッチスクリーンに関する圧力がそのように装備される点は認められるであろう。例えば、ユーザが画面要素の境界を辿る場合、それらの動きはより低速で、物体の境界上のパターンに従うが、これに対して、タッチ動作は迅速な方法で実行され、一般的に、物体の境界に対応しないことになり、少なくとも１つのモードにおけるプログラミングは、これら異なるタイプのタッチ間の違いを認識して、より広範なタッチスクリーン選択を提供し、これらは、メニュー又は他の選択機構を必要とせずに利用することができる。指の動作は、あらゆる望ましい数の機能を提供するために任意的に複雑にすることができる点も認められるであろう。例えば、指のパターンは、幾何学的パターン（例えば、半円、円、四角形、三角形、その他）、記号（例えば、照合印、疑問符、あらゆる形状の終端を有する簡単な矢印、キャレット、その他）、文字、既定のパターン、ユーザプログラムされたパターン、及びこれらの組合せを含むことができる。
【００３８】
本発明の別のモードにおいて、指の動き（例えば、右、左、上、下）の移動は、画像の垂直及び水平のサイズ修正を指示することができ、画像内の他の要素を修正せずに画像内の人物の幅を狭くすることなどが可能である。更に別の例は、選択した区域上で他の修正を実行するようにプログラミングに命令するために、別の方向（例えば、上、下、斜め、円形、角度など）での動きを検出する段階を含み、コントラストの増減、色のバランス及び色調の制御、ぼかし、明瞭化、ノイズ、テクスチャ、及び歪みなどを含む効果の適用を行う。別の例は、１つのモードにより、選択した品目上のタッチスクリーン上での指の回転運動が、ディスプレイのサイズ修正を実行し、例えば、プログラミングが、時計回りの回転の場合はディスプレイを拡大し、半時計回りの回転の場合はディスプレイを縮小するように装置が構成されている。サイズ修正の使用により、ユーザは、画面の一部分を十分な解像度で編集して、その後に元のサイズに戻すことができる。別のモードでは、表示されている別の要素に関連して画面上の要素の拡大を制御するために回転を利用することができる。このような入力の検出に応答して、あらゆる形式の画像処理をプログラミングによって適用することができる点は認められるであろう。
【００３９】
ブロック３０に示すように、実行される動作は、タッチ接触のタイプに応じて、又は代替的にタッチ接触のタイプと選択された要素の特性との組合せによって判断される。実行される動作は、選択を絞り込む段階か又は選択された物体に対する修正を実際に開始する段階のいずれかを含むことができる。１つのモードでは、画像要素の選択（セグメント化）は、継続する接触に応答して絞り込まれ、選択した要素上にタッチ接触を持続するのに応答して選択を拡大する（又は代替的に縮小する）などである。少なくとも１つのモードにおいて、画像編集動作は、登録されているタッチ入力タイプ（例えば、動き及び接触のパターン）に応じてプログラミングによって選択され、これらは、選択された要素のあらゆる特性と組み合わせて利用することができる。本発明の１つのモードにおいて、プログラミングは、特性化（例えば、色、明るさ、コントラスト、色調）に応じて、選択された区域のシーン内の残りのマテリアルに対する関係に基づいて、画像要素に関して実行される可能な１つ又はそれよりも多くの動作を自動的に判断する。例えば、本発明の１つのモードにおいて、暗いか又は影になった区域がユーザによってポイントされると、カメラ内プログラミングは、選択された区域を明るくする（内部の露光を増す）ことを自動的に選択するように構成されている。このモードでは、利用可能な動作の中からいずれを実行すべきかを判断するために、継続するタッチ入力をプログラミングによって利用することができる。
【００４０】
画像物体に何を行うことができるかという選択は、好ましくは、画像の残りの部分と比較した要素のサイズ、位置などの特性、並びにカメラ内に保存された１組の指針に応じて判断される。例えば、シーンの周囲にある小さい要素は、消去、ぼかし、又は他の方法で視覚的に消滅させる可能性の高い候補である。写真の中央にある要素は、例えば、異なる明暗、色、及び陰影に応じて、強化が実行される対象になる可能性が高い。自動調節又は調節の提案で用いられる指針は、既定の設定、調節履歴（例えば、ユーザ又はカメラ）、及び／又は保存された調節プロフィール（例えば、ユーザ及びウェブサイトなどから）を含むことができる。
【００４１】
本発明の１つのモードでは、回転は、個々の要素に対して又は画面全体の補捉時に実行可能な動作の１つである。画像内の単一要素の回転では、明らかに、物体の背景で何らかの塗り潰しを実行する必要があり、これは、要素を消去する場合に必要なことと類似する。更に、画面全体の補捉は、望ましい量だけ回転させることができ、これは、本発明の別の態様によれば、歪んだ水平軸を修正するためなどである。画像全体の場合には、任意の角度で回転されることになる画像全体を選択するために特定の要素が拡大されると考えることができる。１つのモードにおいて、カメラが、撮像デバイスから取得することができるよりも少ないピクセルで画像を保存するように設定されている場合、カメラは、ユーザがタッチ制御の画像操作を完了するまで境界ピクセル（例えば、最大解像度の画像）の少なくとも一部分を保持し、その結果の画像は、基本的に、より大きい利用可能な画像とは僅かに異なる（歪曲された）ピクセル群を取り込む。利用可能な境界ピクセルの量は、画像サイズを小さくせずに画像を回転させる範囲を制限する可能性があり、そのために本発明の１つのモードは、画像全体の回転に応答して画像サイズを小さくすべきである時にユーザに警告する点は認められるであろう。回転中に境界ピクセルを保持して利用すると、多くの場合に回転を実行することができ、画像サイズを小さくすることも画像の全ての角の周囲で複雑な内部描画の実行を試みる必要もない。
【００４２】
回転動作の１つのモードにおいて、ユーザは、初期接触（又は非接触型感知では十分な接近）が行われた後に、画面上（又は画面の上）で円を描くように自身の指を摺動させることに応答して回転モードを選択する。継続する接触の持続が要素選択の絞り込みを変えるモードにカメラがある時、回転動作は、単一要素の回転から画面全体の回転まで、あらゆる選択レベルで入力することができる点は認められるであろう。
【００４３】
１つのモードでは、回転動作は、水平軸の歪み（例えば、水平軸がフレームにわたって水平でない）を検出するのに応答して、プログラミングによって自動的に判断することができ、１つのモードでは、回転動作は、自動的に実行するか、又は代替的に本明細書で説明した他の画像操作と同様にユーザ選択又は容認に応答して実行することができる。
本発明の１つのモードでは、ユーザが水平軸に沿って指を摺らすことによって水平回転を選択してその要素を選択し、この場合、プログラミングは、水平調節動作が選択されたように判断して画像の回転を実行し、それによって水平軸に沿った摺動から弧状に修正する（例えば、その結果のパターンは、横向きの「Ｊ」のような形状になる）。
【００４４】
システムは、修正を実行することができる特定の態様を自動的に判断することができるが、システムはまた、ユーザが受諾又は拒否することができるか又はユーザがいくつかの可能な調節のうちの１つを選択することを可能にする調節を提案することができる。１つの実施において、ユーザは、どのような修正又は強化が実行されることになるかに関してブロック３２において任意的に選択肢を示される。これらのユーザ選択オプションは、非タッチスクリーンインタフェース要素（例えば、ボタン及びノブ）を通じてか、又はユーザ選択可能オプションを含むためにタッチスクリーン上でオーバーレイを利用して制御することができる。限定ではなく例示的に、調節又は強化のためのオプションは、（ａ）選択した区域内の彩度の増減、（ｂ）選択した区域内のホワイトバランスの調節、（ｃ）選択した区域内の露光の増減、（ｄ）選択した区域内のノイズ低減の実行、（ｅ）選択した区域の明瞭化又はぼかし、（ｆ）選択した区域の画像からの削除、（ｇ）シーンの他の部分から収集したテクスチャで選択区域を置換するというオプションによる選択した区域の削除、及び選択した画像部分に対して実行可能な他の画像処理機能の１つ又はこれらの組合せとすることができる。
【００４５】
修正及び／又は強化は、好ましくは、プログラミングが、選択された画像の調節を実行して、シーンの修正された部分をシーンの未修正部分と適切に融合することに応答して、ブロック３４で実行される。修正は直ちに行うことができ、ユーザの唯一の頼りは、その後いつでも又は例えばカメラの電源がまだオンであり、及び十分なメモリが存在するなどの限られた時間内に修正を取り消すことである。本発明の１つのモードでは、ブロック３６において、プログラミングが、修正又は１組の修正の受諾をユーザに任意的に問い合わせることができる。保存されていたマテリアルの修正は、ブロック３８により保存される。修正が行われると、プログラミングは、好ましくは、実行された１組の修正に関する全ての必要な情報を保存し、この場合、修正されたマテリアルを元の形式に回復することができることが認められるであろう。１つのモードでは、取り消し機能は、１つの写真の編集中又はユーザによって選択されるなどの限られた時間のみで利用可能である。代替的に、別のモードでは、ユーザは、元の画像及び修正された画像の両方を保存するように選択することができる。
【００４６】
図２は、ＣＰＵ又はコントローラ５６によって処理され、メモリ５８及び補助メモリ６０（例えば、メモリスティック）を有し、その中にマテリアルを保存することができ、そこから本明細書で説明した本発明の態様を実行するためのプログラミングが実行される、必要に応じて集束及びズーム制御装置及び他の任意の撮像要素のような撮像器５２及び制御式光学器械５４と共に構成されたカメラ装置の実施形態５０を示している。表示画面６２が示されており、この上に補捉したマテリアル（ビデオ及び／又は画像）を表示することができる。表示画面６２に結合されているのは、タッチスクリーン６４であり、これが、画像の表示に応答して、並びにオーバーレイメニュー及び他の制御入力選択に応答してユーザタッチを登録する。カメラ装置５０はまた、電源ボタン、記録ボタン、メニューコントロール、カーソルボタン、選択ハンドル、及びディスプレイ出力などの従来型カメラの制御のような、タッチスクリーンに関連しないユーザ入出力を表す非タッチスクリーンと共に示されている。
本発明の態様は、ＣＰＵ５６上で実行可能でメモリ５８内に常駐するプログラミングに応答してなどで装置５０内で実行するように実施される点は認められるであろう。更に、本発明の態様は、媒体上に保存されたプログラミングとして実施することができ、この場合、媒体は、ＣＰＵ５６による実行のために利用可能である点は認められるであろう。
【００４７】
図３Ａ−３Ｄは、本発明によるタッチスクリーン画像修正及び／又は強化の例示的な実施形態９０を示している。表示の制限のためにかつ簡潔にするために、実施例は、静止画像を撮るカメラの作動を示しているが、ビデオ画像処理も同様に表されるであろう。画像マテリアル９２ａが図３Ａで補捉されて、そのうちの１つの要素（物体）がカモメ９４である。図３Ｂにおいて、画像９２ａが表示されているタッチセンサ式画面にユーザが触れて、そこでタッチ９６がカモメ９４の位置でカメラによって登録される。図３Ｃにおいて、ユーザタッチ入力及びカモメ９４の区域内の画像の特性に応じて、カモメという物体９４の範囲が、カメラ内プログラミングによって輪郭又はハローをコントラスト表示させることなどにより判断、選択、及び強調表示９８される。図３Ｄにおいて、カモメ９４の区域内を画像に一度も補捉されなかったそれを画像９２ｂ内に出現させるように塗り潰すプログラミングによって修正が完了する。本発明は、消去される画素の塗り潰し（内部描画）の実行の際に元の画像からのパターン及び色を利用することができ、又は事前プログラムされた情報（例えば、指針、及び修正テーブルなど）のような付加的情報を利用することができ、又は以下の節で説明するようなカメラシステム内部で利用可能な付加的情報に応答する点は認められるであろう。
【００４８】
本発明の装置及び方法の多くのモード及びオプションは、補捉したマテリアルに対する望ましい修正及び強化の機能又はその結果の品質を改善するための増大したレベルの情報を提供する。以下の各々は、単一ショットに関してショットの画像特性に応じて利用されるか、全てのショットに関して利用されるか、又はユーザ選択設定に応じて利用することができるツールと見なすことができる。以下のツールは、単独で又は相互に及び上述の本発明の態様と共に様々に組み合わせて考えることができる。
【００４９】
高解像度編集は、マテリアルを保存するために設定された解像度よりも高い解像度でマテリアルが補捉される本発明の１つの実施によるツールである。このより高い解像度は、好ましくは、ユーザがマテリアルを編集するための十分な機会を与えられるまで保持され、その後、画像は、望ましい解像度に変換される。「十分な機会」とは、例えば、電源が保持される限り続く持続時間、十分なメモリが残っている間、次のマテリアルが編集されるまで、ユーザが付加的マテリアルの消去の指示を入力するまで、及び同様の状況、及びこれらの組合せを含むことができる。編集中、この付加的な解像度が選択処理、編集処理を助け、選択されたより低い解像度で保存されるとしても最終結果の品質を改善することができる。
【００５０】
高解像度編集を用いた以下の実施例を見てみると、ユーザが物体（例えば、満月）を選択して、これを最終画像で拡大したいとする。従って、高解像度補捉によって提供される追加解像度が利用可能なので、月が拡大されており、編集後のマテリアルが望ましい解像度レベルに縮小された後も、月が望ましい保存解像度に拡大された場合に発生することになるエイリアシング及びギザギザがより少なくなりやすい。ユーザはまた、背景の全て又は一部分を消去しながら、保存する１つ又はそれよりも多くの要素を選択した後などの選択が行われた後に画像のサイズを修正したい場合があり、この場合、保存される画像は、より高い品質で提供される。本発明の１つのモードでは、余分なビット密度も、隣接する区域及び他に基づいて、改善されたテクスチャ充填及び効果のために有利に利用される。複合画像保存フォーマット（同じ画像又はフレーム内で異なる解像度をサポートする）の場合、肖像写真の顔周りのようなより高い解像度が望ましい画像の一部分をユーザが選択することを可能にするために、付加的解像度を用いることができる。
【００５１】
時間的陰影フレーミングは、選択した画像の補捉の前か後に少なくとも１つの付加的画像が補捉され、従って、主要画像が、時間的に変位された少なくとも１つの関連陰影画像と共に補捉される本発明の１つの実施によるツールである。時間的陰影フレーミングは、カメラ設定、作動条件、ユーザ入力、又はこれらの組合せに応答して、好ましくは自動的に実行される。付加的画像（又はフレーム）は、それらが、それ自体は画像ではないが（例えば、好ましくは、容易にアクセス可能ではない）編集処理のための付加的データを収集するために利用される点で、補捉したものに「陰影を付ける」ものである。陰影画像から利用することができる１つのタイプの情報は、背景内のどの要素が動いているかを判断して（例えば、動きベクトルを計算することから）物体の選択を簡単にすることを含む、動きに関するものである。更に、移動中の物体がその上を横切っている背景に関する特定の情報が得られる。
【００５２】
この陰影画像処理はまた、従来のバーストシーケンス又はビデオシーケンス内で収集された画像に関しても利用することができる。カメラは、移動ショットなどのプログラムされた数のショットを連続で撮る、及び／又はシャッター制御が押されている限り継続的にショットを収集するように設定することができる。この場合、プログラミングは、編集処理中に画像シーケンス内のどこからの情報を使用することもでき、陰影画像間に十分な相違を検出することに応答して、ユーザは、要素が削除された区域の内部描画に応答してなどで編集処理から最も好ましい結果を提供する画像を選択することができる。明らかに、ビデオフレームは、静止画像のバーストと同様の方法で扱うことができる。
【００５３】
時間的陰影フレーミングの使用に関して、限定ではなく例示的に、カラフルな渦巻き型の雲を背景に補捉された友人の移動肖像写真を考える。しかし、画像が補捉された時に、シーン内でジェット機が横切ったとする。時間的陰影画像は、時間的に変位されるので（時間軸を横切って）、ジェット機は異なる位置にあり、この場合、ジェット機の画像を付加的なオレンジ色の雲の区画と置換するための付加的背景情報がこの画像から利用可能であり、この区画は、予測する必要はなく又は他の方法で造り上げる必要もない。この機構は、補捉したマテリアル内の物体の位置を置換するための上述の技術を強化するための手段を提供する。時間的にシフトされたデータは、いくつかの様々な修正及び強化を実行するために利用することができる。陰影フレーミングの１つのモードでは、僅かに異なるフラッシュ、レンズ、又はカメラ設定が陰影画像に関して利用されるので、その結果、画像強化のための利用可能なマテリアルの幅が広がる。本発明の１つのモードでは、主要画像よりも低い解像度で１つ又はそれよりも多くの陰影フレームを補捉することができる。時間的陰影フレーミングの使用はまた、シーン内で物体を選択するためのカメラシステムの機能を強化し、これは、付加的画像情報に応じて画像ベクトルを判断することができるためであり、その情報から、選択を行うためにシーン内の物体をより容易に区別することができる。
【００５４】
例えば、静止カメラにおいて、補捉される画像のシャッターシーケンスの前後に１つ又はそれよりも多くの付加的画像を収集することができる。これらの追加画像は、好ましくは、可聴カメラ報知（例えば、擬似シャッター音）なしで補捉され、陰影を付けている画像の強化に対して必要ない場合には、要望に応じて限られた持続時間だけ保持することができる。従来の赤目機能は、フラッシュが利用される時にプレフラッシュを提供することが多いが、本発明のモードによれば、このプレフラッシュ点灯シーケンス中に１つ又はそれよりも多くの画像が補捉される。陰影画像の集合は、更に別の修正のためにシーン内の赤目要素を選択する際、及び主要画像の修正及び強化においてシーンの他の要素を利用可能にする点の両方で助けになる。
ビデオカメラにおいては、前後のフレームを陰影画像として利用することができ、及び／又は付加的陰影フレームを他のフレーム間などで収集することができる（例えば、フレーム間に均等に分散させる）。
【００５５】
変位陰影フレーミングは、関心のある主要画像から空間的に変位された（例えば、端と端、又は被写体距離）陰影フレームを提供する本発明の１つの実施によるツールである。ユーザは、典型的にカメラの位置決めを制御するので、変位陰影フレーミングは、ユーザの命令通りか又は少なくともユーザが関わってのみ実行される。例えば、肖像写真を撮影するユーザは、一方側又は他方側に少し動いて（例えば、被写体までの距離によって１から４フィート）変位陰影フレーミングの画像を補捉する前か後に主要画像を補捉する。明らかに、この機能は、ユーザに対してより煩わしいが、それでも尚、より多くの詳細を利用可能にし、そこから、調節中に主要写真又はその中で選択された要素を強化又は修正することができる。時間的及び／又は変位陰影技術から収集された情報は、主要写真又はその一部分の解像度を増すための超解像度技術に従ってカメラ内で処理することができる。
【００５６】
上述の説明は、多くの詳細を含むが、これらは、本発明の現在好ましい一部の実施形態の例証を提供するにすぎず、本発明の範囲を限定するものと見なすべきではない。従って、本発明の範囲は、当業者に明らかになると考えられる他の実施形態を完全に包含し、かつ本発明の範囲は、単数形の要素への参照が、明確にそうであると言及されない限り、「１つ及び１つのみ」を意味するのではなく、むしろ「１つ又はそれよりも多い」を意味する特許請求の範囲を除いていずれによっても限定されるものではないことは認められるであろう。当業者には公知である上述の好ましい実施形態の要素に対する全ての構造及び機能上の均等物は、引用により本明細書に明確に組み込まれており、特許請求の範囲によって包含されるものとする。更に、デバイス又は方法は、それが特許請求の範囲に包含されるのに本発明による解決が求められる１つ１つの問題に対処する必要はない。更に、本発明の開示の要素、構成要素、又は方法段階が特許請求の範囲内に明示的に示されているか否かに関わらず、要素、構成要素、又は方法段階は、公衆に献呈されるものではない。本明細書内のどの請求項の要素も、要素が「のための手段」という語句を用いて明確に示されていない限り、「３５  Ｕ．Ｓ．Ｃ．１１２］の第６段落の規定の下で解釈されないものとする。
【符号の説明】
【００５７】
１０  本発明の方法の実施形態
１２  作動を開始するブロック
２０  シーンの特性を確定するブロック
【図１】
0005384190.tif 000002
【図２】
0005384190.tif 000003
【図３Ａ】
0005384190.tif 000004
【図３Ｂ】
0005384190.tif 000005
【図３Ｃ】
0005384190.tif 000006
【図３Ｄ】
0005384190.tif 000007