(57)【要約】【課題】フリーランニングシャッタ付きデジタル光センサの低光露光モード。【解決手段】タイムスケールフィルタリング、色ベースのフィルタリング、及びユーザが選択する動き制御など様々な興味深い効果を達成するために、あるフレームシーケンスの中の一つ以上の考慮対象領域をそのシーケンスにおける複数の画素位置での活動をトラッキングして突き止めることによりカラー画素値の後続操作を可能にする技法。各画素位置での色情報を記憶するためのデータ構造は一つ以上の超球である。或る特定の位置にあるフレームシーケンスの中の各画素の色信号が調べられ、画素信号が調べられるにつれて新たな超球が生成されるか又は既存の球が更新される。プロセスの終わりに、特定の画素位置と関連付けられた各球が、色の最終中心値、画素数、及びその球の中の画素の信号分散と比例する半径値を記憶する。収集されたデータに基づいて、一つ以上の選んだフレーム内の選んだ画素値を修正して望みどおりの効果を達成することができる。【選択図】図２
2006140993.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素位置によって定義されたフレームシーケンスの中の一つ以上の考慮対象領域を数学的構成として球の集まりを有するデータ構造に記憶されている各画素位置の色情報に基づいて突き止めるための方法であって、複数の画素位置は各々がシーケンスの中の各フレームからの対応する画素を含み、球は各々が中心値を含んでおり、この方法は、
（a）ある特定の画素位置と関連付けられた第１球の中心値を第１フレームにおいて対応する画素の色値に初期設定するステップと、
（b）下記のようなやり方で、もしあるとしたら、その画素の値が第１球か又は生成された他の球のどちらに入っているか判定するために各後続フレームで特定の画素位置に対応する画素の色値を調べるステップとを有し、
(b)(1)目下調べている画素が球のうちの一つだけの中にある場合には、目下調べている画素の色値を考慮に入れるためにその球の中心値が更新され、
(b)(2)目下調べている画素が複数の球の中にある場合には、目下調べている画素の色値のそれぞれの加重部分を考慮に入れてそうした球の中心値が更新され、
(b)(3)目下調べている画素が目下存在しているどの球にも入っていなければ、新たな球が生成され、その中心値が目下調べている画素の色値として設定される、
これにおいて、特定の画素位置にある全ての画素が調べられたら、特定の画素位置と関連付けられた各球が特定の画素位置にある画素から得た色情報を記憶する、方法。
【請求項２】
特定の画素位置にある各球が記憶している色情報はその球の最終中心値、その球の中の画素数、及びその画素の半径値を含み、半径値はその球の中の画素の色情報の分散に比例する、請求項１に記載の方法。
【請求項３】
ステップ（a）及び（b）はフレームシーケンスの中の画素位置毎に繰り返し行なわれる、請求項１に記載の方法。
【請求項４】
予め定義された最低数の画素を含有していない球を除去することによってタイムスケールフィルタリングを実行するステップをさらに有する、請求項３に記載の方法。
【請求項５】
予め定義された色制約条件を満たしていない球を除去することによって色ベースのフィルタリングを実行するステップをさらに有する、請求項３に記載の方法。
【請求項６】
フレームシーケンスにおいて選んだオブジェクトに対して、その選んだオブジェクトの各画素位置にある一つ以上の球に含有されている色情報に基づいて、動き制御を施すステップをさらに有する、請求項３に記載の方法。
【請求項７】
動き制御は、選んたオブジェクトに対して、フレームシーケンスにおいてそのオブジェクトを静止状態にレンダリングするために施される、請求項６に記載の方法。
【請求項８】
フレームシーケンスの中の一つ以上の考慮対象領域を突き止めるための機器であって、
複数の画素位置によって定義された画像含有フレームのシーケンスをキャプチャするように構成された画像キャプチャ素子を備え、複数の画素位置は各々がシーケンスの中の各フレームからの対応する画素を含んでおり、
画素位置の色情報を記憶するための球の集まりを数学的構成としてもつデータ構造を有するメモリを備え、球は各々が中心値を有し、さらに
メモリと通信しているプロセッサを備え、プロセッサは、ある特定の画素位置と関連付けられた第１球の中心値を第１フレームにおいて対応する画素の色値に初期設定するように構成されていると共に、目下調べている画素が球のうちの一つの中だけにある場合には目下調べている画素の色値を考慮するためにその球の中心値が更新され、目下調べている画素が複数の球の中にある場合には目下調べている画素の色値のそれぞれの加重部分を考慮に入れてそうした球の中心値が更新され、目下調べている画素が今存在しているどの球の中にもなければ、新たな球が生成され、その中心値が目下調べている画素の色値として設定されるように、もしあるとしたら、その画素の値が第１球か又は生成された他の球のどちらに入っているか判定するために各後続フレームで特定の画素位置に対応する画素の中心値を調べるように構成されており、
特定の画素位置にある全ての画素を調べたら、特定の画素位置と関連付けられた各球が特定の画素位置から得た色情報を記憶する、機器。
【請求項９】
ある特定の画素位置にある各球が記憶している色情報は、その球の最終中心値、その球の中の画素数、及びその画素の半径値を含み、半径値はその球の中の画素の色情報の分散に比例している、請求項８に記載の機器。
【請求項１０】
プロセッサは、フレームシーケンスの中の画素位置毎に初期設定動作及び検査動作を実行するように構成されている、請求項９に記載の機器。
【請求項１１】
プロセッサは、予め定義された最低数の画素を含有していない球を除去することによってタイムスケールフィルタリングを行なうように構成されている、請求項１０に記載の機器。
【請求項１２】
プロセッサは、予め定義された色制約条件を満たしていない球を除去することによって色ベースのフィルタリングを行なうように構成されている、請求項１０に記載の機器。
【請求項１３】
プロセッサは、フレームシーケンスにおいて選んだオブジェクトに対して、その選んだオブジェクトの各画素位置にある一つ以上の球の中に含有されている色情報に基づいて、動き制御を施す、請求項１０に記載の機器。
【請求項１４】
動き制御は、選んだオブジェクトに対して、そのオブジェクトをフレームシーケンスの中で静止状態にレンダリングするために施される、請求項１３に記載の機器。
【請求項１５】
機器はハンドヘルドデバイスである、請求項８に記載の機器。
【請求項１６】
複数の画素位置によって定義されたフレームシーケンスの中の一つ以上の考慮対象の領域を数学的構成として球の集まりを有するデータ構造に記憶されている画素位置での色情報に基づいて突き止めるための方法を実行するよう機器に指図するための命令プログラムを搬送する機器判読可能媒体であって、複数の画素位置は各々がシーケンスの中の各フレームからの対応する画素を含み、球は各々が中心値を含んでおり、この命令プログラムは、
（a）ある特定の画素位置と関連付けられた第１球の中心値を第１フレームで対応する画素の色値に初期設定するための命令と、
（b）下記のようなやり方で、もしあるとしたら、その画素の値が第１球か又は生成されたその他の球のどちらに入っているか判定するために各後続フレームで特定の画素位置に対応する画素の色値を調べるための命令と有し、
(b)(1)目下調べている画素が球のうちの一つだけの中にある場合には、目下調べている画素の色値を考慮に入れるためにその球の中心値が更新され、
(b)(2)目下調べている画素が複数の球の中にある場合には、目下調べている画素の色値のそれぞれの加重部分を考慮に入れてそうした球の中心値が更新され、
(b)(3)目下調べている画素が目下存在しているどの球の中にもなければ、新たな球が生成され、その中心値が目下調べている画素の色値として設定される、
これにおいて、特定の画素位置にある全ての画素が調べられたら、特定の画素位置と関連付けられた各球が特定の画素位置にある画素から得た色情報を記憶する、機器判読可能媒体。
【請求項１７】
特定の画素位置の各球が記憶している色情報は、その球の最終中心値、その球の中の画素数、及びその球の半径値を含み、半径値はその球の中の画素の色情報の分散に比例する、請求項１６に記載の機器判読可能媒体。
【請求項１８】
命令（a）及び（b）はフレームシーケンスの中の画素位置毎に実行される、請求項１６に記載の機器判読可能な媒体。
【請求項１９】
予め定義された最低数の画素を含有していない球を除去することによってタイムスケールフィルタイングを施すための命令をさらに有する、請求項１８に記載の機器判読可媒体。
【請求項２０】
予め定義された色制約条件を満たしていない球を除去することによって色ベースのフィルタリングを施すための命令をさらに有する、請求項１８に記載の機器判読可能媒体。
【請求項２１】
フレームシーケンスで選んだオブジェクトへの、そのオブジェクトの各画素位置にある一つ以上の球に含有された色情報に基づいた動き制御のための命令をさらに有する、請求項１８に記載の機器判読可能媒体。
【請求項２２】
動き制御は選んだオブジェクトにそのオブジェクトをフレームシーケンスにおいて静止状態にレンダリングするために施される、請求項２０に記載の機器判読可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像フレームシーケンス又は短いビデオクリップに構成可能な一連の画像の生成を可能にするカメラの技法に関する。発明の技法は、様々な面白い効果を達成するために往々にして低光条件下でのこうした画像の処理を伴う。この技法は、そうしたカメラを有する携帯電話などハンドヘルド機器の中に組み込むように設計されている。
【背景技術】
【０００２】
画像キャプチャ機能もサポートしている低価格の携帯電話の人気に高まっている。こうした機器は、普通は、ボタン及び／又はペンベースのユーザ入力を通じた高レベルのユーザ対話もサポートしている。そうした対話型ユーザ制御の存在と携帯電話のディスプレイ上の即時フィードバックとにより、アナログ又は一般消費者レベルのデジタルイメージング機器には今までなかった新たなクラスの画像収集、操作及び作成の各モードが可能になる。
【０００３】
携帯電話の光センサなど、フリーランニングシャッタを使って動作する典型的な低価格の画像収集素子は画像のシーケンスを生成することができ、そうした画像シーケンスは静止画像フレーム又は短いビデオクリップを構成するために収集されることがある。携帯電話カメラの機能の人気が高まるにつれて、製造業者や設計者は画像のキャプチャの仕方及びビューの仕方に関してユーザにもっとオプションを与えようと更なる特徴的機能を追加しようとしている。
【０００４】
【特許文献１】米国特許第4,614,966号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明の目的は、画像のキャプチャ及び操作の技術分野で、カメラ、特にハンドヘルド機器のカメラの更なる機能性を提供することである。
【０００６】
本発明の更なる目的は、短い画像シーケンス、特に低光条件下で収集されたシーケンスから静止画像を生成する技法を提供することである。そうした技法は、（i）ユーザが選択可能な光トラッキング機能を有する低光長時間露光、（ii）フレーム統計に基づく動的な距離最適化、（iii）タイムスケールフィルタリング、及び／又は（iv）色ベースのフィルタリングを含む。
【課題を解決するための手段】
【０００７】
一つの態様によれば、本発明は複数の画素位置（その各々がシーケンスの中の各フレームからの対応する画素を含む）によって定義されたフレームシーケンスの中の一つ以上の考慮対象の領域を各画素位置にある色情報に基づいて突き止めるための方法を提供しており、色情報は数学的構成として球の集まり（その各々が中心値を含んでいる）を有するデータ構造に記憶されている。この方法は、（a）ある特定の画素位置と関連付けられた第１球の中心値を第１フレームにおいて対応する画素の色値に初期設定するステップと、（b）あるとしたら、第１球か又は生成されたその他の球のうちのどちらにその画素の値が入っているか判定するために各後続フレームにおいて特定の画素位置に対応する画素の色値を調べるステップを有する。ステップ（b）は次のように実行される：(b)(1)今調べている画素が球の一つにしか入っていない場合には、今調べている画素の色値を考慮に入れるためにその球の中心値が更新され、(b)(2)今調べている画素が複数の球の中に入っている場合には、今調べている画素の色値のそれぞれの加重部分を考慮に入れてそうした球の中心値が更新され、(b)(3)今調べている画素が目下存在しているどの球の中にも入っていない場合には、新たな球が生成され、その中心値が今調べている画素の色値として設定される。特定の画素位置の全画素を調べた後、その特定の画素位置と関連付けられた各球がその特定の画素位置の画素から得た色情報を記憶する。
【０００８】
特定の画素位置にある各球が記憶している色情報は、その球の最終的な中心値、その球に入っている画素数、及びその球の半径値を含み、半径値はその球に入っている画素の色情報の分散（variance）に比例するのが、好ましい。
【０００９】
ステップ（a）及び（b）はフレームシーケンス内の画素位置毎に繰り返し行なわれるのが、好ましい。
【００１０】
発明の態様に従って様々なフィルタリング技法を実行することができる。予め定められた最低の画素数を保有していない球を除去することで、タイムスケールフィルタリングを行なうことができる。予め定められた色の制約条件を満たしていない球を除去することで、色ベースのフィルタリングを行なうことができる。
【００１１】
フレームシーケンス内で選んだオブジェクトに対して、その選んだオブジェクトの各画素位置にある一つ以上の球に保有されている色情報に基づいて、動き制御を施すことができる。その選んだオブジェクトをフレームシーケンス内で静止状態にレンダリングするためにそのオブジェクトに動き制御を施すことができる。
【００１２】
別の態様において、発明はフリーランニングシャッタを使って動作する光センサを有する機器（例えば、携帯電話などハンドヘルド機器）に関係する。機器は複数の画素位置によって定義された画像含有フレームのシーケンスをキャプチャするように構成された画像キャプチャ素子を含み、複数の画素位置は各々がシーケンスの中の各フレームからの対応する画素を含んでいる。機器は、様々な画素位置の色情報を記憶するための球の集まり（各々が中心値を有する）を数学的構成としてもつデータ構造を有するメモリを含む。機器はさらに、上述した様々な処理機能を実行できるように構成されたプロセッサを含む。
【００１３】
発明の更なる態様によれば、コンピュータ又はその他のプロセッサ制御デバイスによる命令プログラム（例えば、ソフトウェア）の実行に応じて上述の方法及びそのステップを実行することができる。それに代えて、機能的に均等のハードウェア（例えば、ASIC、デジタル信号処理回路構成など）またはソフトウェアとハードウェアの組合せを用いて実行しても構わない。
【００１４】
添付の図面と共に以下の説明並びに請求項を読めば、発明の理解が深まると共に発明のその他の目的及び功績が明確になるだろう。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００１６】
以下の説明において、画像／光センサは、正方形または非正方形の平らで矩形の画素のタイル張り（tiling）であると仮定する。各画素は一つ以上の色チャネルについての情報を提供することができる。発明の好適な実施例において、モザイク又はデモザイクされた（de-mosaiced）画像データを同様にハンドリングすることができるように、各画素は独立で処理される。
【００１７】
暗闇の条件下でフレームのシーケンスを収集することによって、例えば、レンズの口径をカバーしてから画像フレームを収集、或いは黒い箱の中で撮影することによって、センサは較正される。将来の使用に備えて、各画素位置で取得された信号の平均値及び分散が記憶される。画像品質に与える暗電流雑音の影響を改善するためにこの特徴づけが用いられる。
【００１８】
2006140993.tif 000003
【００１９】
一般的には、長時間露光の低光画像は多数の動いている可能性のある光源（例えば、星、車のライトなど）を含んでおり、上記合計の累積値に基づいて単純な平均値を計算するプロセスでは動く光源の色を薄くするという次善の結果に至る可能性がある。そうした処理の場合、静止状態の光源だけがはっきり目に見えることがある。したがって、較正されたフレームにおいて動いている／動的な光源を強調するには累積値の非線形スケーリングが一般的には必要である。
【００２０】
2006140993.tif 000004
【００２１】
2006140993.tif 000005
【００２２】
2006140993.tif 000006
【００２３】
図２に戻ると、ステップ２０７で判定されたように、考慮の対象となるフレームがもっとある場合には、プロセスはステップ２０３に戻って、フレームカウンタnがインクリメントされる。次に、ステップ２０４、２０５、２０６で、新たなフレームの中の現画素位置と関連付けられた色値を得る。考慮中の位置iにある画素の全てが処理されたら、その画素位置は関連付けられた一つ以上の球を有し、一つ以上の球は各々が色値と半径値とその球に入っている画素数との３つの情報を有する。図３は４つの球３１、３２、３３、３４と関連付けられた画素位置の例を概略的に表示したものである。４つの球を表示したのは例証のためだけである。各画素位置は１つ（一つの球に全画素が入っている）からN個（一つの球に一つの画素）の球を有することが可能である。
【００２４】
考慮中の位置（各フレームから一つずつ）にある全ての画素が処理されたら、ステップ２０８で全ての画素位置が考慮されたかどうか判定される。そうでなければ、ステップ２０９で画素位置添数iがインクリメントされ、ステップ２１０でフレームカウンタnがゼロにリセットされる。ステップ２０２に示すように第１フレームの新たな位置にある画素の色値が取得され処理される。ステップ２０３から２０７のループで、第２フレームからN番目のフレームまで、新たな位置にある各画素の色値が取得され処理される。
【００２５】
次に画素位置を全て考慮したかどうか判定するために内側ループを出る（ステップ２０８）。全ての画素が考慮されるまでこのプロセスが続き、全てが考慮されたらその時点でプロセスは停止する。
【００２６】
図２のフローチャートは、次の位置に進む前の或る画素位置の全画素の処理を示しているが、発明はそれに限定されるものではない。一つの位置にある画素の処理はもう一つの位置にある画素の処理とは無関係だから、一度に複数の画素位置の並行処理も採用可能である。但し、ある特定の位置にある画素は順番に処理されなければならない。
【００２７】
画素位置に関する情報を収集したら、次に、以下に説明する様々な興味深い効果を達成するのにその情報を用いることができる。
【００２８】
或る特定の画素位置に見える領域数はその位置におけるヒストグラムピークトラッキング球の数によって与えられる。ある特定の輝度（intensity）がほんのちょっとの間しか見えない場合には、各球に最小数判定基準を適用することで、除去することができる。したがって、例えば、夜空の星の露光時間を長くして撮影している場合には、視界を横切る飛行機といった事象を有効に除去することができる。
【００２９】
2006140993.tif 000007
【００３０】
色ベースのフィルタリングについては、明るい色（bright color）、又はある特定の色相をもつ色などといった予め設定された判定基準に従って、ある特定の画素位置にある考慮対象の色を指定することができる。したがって、例えば、明るい色が考慮の対象ならば、或る特定の画素位置について最も明るい球だけが保持される。色の判定基準が指定されている場合には、その判定基準を満たす球だけが保持される。したがって、例えば、高速道路の長時間露光撮影は赤いテールライトだけを捉えて白いヘッドライトを無視するようにセットアップすることができる。
【００３１】
時としてユーザは特定のオブジェクトが静止しているのが望ましい長時間露光でのシーンをキャプチャしたいことがある。こうしたオブジェクトは、画像を収集している間、カメラに対して静止状態であることもそうでないこともある。例えば、ユーザはある特定の星を中心にして長時間露光で一面の星空を撮影したいと思うかもしれない。しかし、望みどおりの効果を得られる精度でカメラの光軸を星とアライメントさせるのは不可能に近い。本発明はこの問題を克服できる技法を含んでいる。そうした場合に備えて、ユーザにはシーンの中の一つ以上のオブジェクトを選んで静止しているようにレンダリングするオプションがある。複数のフレームを組み合わせる前に、これらのオブジェクトはフレーム間でトラッキングされて前のフレームに登録されるので、そうしたオブジェクトは組み合わされた後のレンダリングでは静止しているように見える。
【００３２】
この技法は、画像フィールドで動くオブジェクトの一つと共に動く仮想カメラに対してシーンをレンダリングすることも可能にする。
【００３３】
キャプチャしたフレーム間の動き（変位）を登録する際、先ずユーザは静止しているようにレンダリングされるべき一つ以上の明るい源を選択する。その選択された光源の回りの境界矩形を次のフレームの中の光源オブジェクトを探すテンプレートして使用する。オブジェクトの位置推定を再定義するために、オブジェクトの現在位置の近傍での整数画素探索を行ない、それに続いて平行移動、回転及び小規模な変更を前提として、部分画素の階調度の降下（sub-pixel gradient descent）を行なう。フレームは基準となるオブジェクトの位置を用いての平行移動、回転及び一様スケーリングを用いて登録される。
【００３４】
2006140993.tif 000008
【００３５】
目的いかんにより、最終画像（フレームシーケンス）を数あるやり方のうちのどれかで構成する。明るい動いているオブジェクトを強調するのが主たる目的ならば、フィルタリングされたヒストグラムの球の中心を出力画像にコピーする。画像の細部が関心事ならば、先ず最初と最後の１０分位置（decile）の内部に球を含有している画素位置を識別する。識別された画素に対応する累積和の平均値を累積和配列を再スケーリングするための上下レベルとして用いる。再スケーリングされた値を出力画像にコピーする。
【００３６】
出力画像から平均雑音画像のスケーリング処理版（暗い画像フレームから前に計算されている）を差し引くことで、雑音を減少させることができる。最終画像を得るためにその後補間／モザイク解消の動作を実行することができる。
【００３７】
画像フレームシーケンスの処理の実施例を説明してきたので、ここで処理をインプリメントするシステムを説明する。前に述べたように、処理は画像のシーケンスを生成する機能を有するデバイスにおいて実施される。処理は、携帯電話など、光センサがフリーランニングシャッタを使って動作するハンドヘルド機器において実施されるのが好ましい。図４は先に説明した機能を実行するためのシステム４０のブロック図である。システム４０は携帯電話やその他のハンドヘルド機器に実施することができる。
【００３８】
図４において、マイクロプロセッサの制御下で動作するフリーランニングシャッタ付きCCD（charge-coupled device）センサが光信号の形で画像のシーケンスをキャプチャし、光信号をアナログ信号に変換する。アナログ信号プロセッサ及びアナログ‐デジタル（A/D）変換器４２がセンサ４１から受け取ったアナログ信号を処理してからデジタル化する。デジタル画像は、制御及びデータ処理のチップセット４４によって処理されている間、フレームバッファ４３に一時的に記憶される。チップセット４４はMGE（mobile graphics engine）を含んでいることがある。
【００３９】
チップセット４４はメモリ、一般的には、不揮発性（例えば、フラッシュ）メモリ４５だけでなく、SRAM（Static RAM）又はDRAM（Dynamic RAM）４６など、或る形のRAM（random-access memory）とも通信している。フラッシュメモリ４５はハンドヘルド機器のオペレーティングシステム及びアプリケーションを記憶するのに使用できる。アプリケーションは本発明の様々な態様をインプリメントするプログラムの実施例を含んでいて構わない。動作時、フラッシュメモリ４５からコードがフェッチされ実行される。実行時、SRAM/DRAM４６は中間データ、登録スタックなどを記憶する。
【００４０】
図解した実施例において、本発明の技法はチップセット４４によって実行され、チップセット４４はフレームシーケンス内の各画素位置で興味深い活動をトラッキング及び判定するように構成されている。チップセット４４はSRAM/DRAM４６と対話し、SRAM/DRAM４６には収集したフレーム統計の球データ構造が維持される。チップセット４４はさらに、上に説明した操作、つまりタイムスケールフィルタリング、色ベースのフィルタリング、及びユーザ選択の動き制御を施すように構成されている。
【００４１】
システム４０は、一般的には、ディスプレイ（例えば、カラーLCDディスプレイ）４７及びしかるべきユーザ制御４８も含んでいる。ユーザ制御４８はシステムを採用している特定の機器いかんにより異なってくる。携帯電話は一般的にはキーパッドの形で入力制御を有する。
【００４２】
システム４０は、一般的には、外部機器と通信するために、すなわち、本発明に従って処理されるデータを含む情報（つまり、プログラム及びデータ）を送受信するために、一つ以上のインタフェース４９も含んで構成される。このために、データインタフェース４９は、一般的には、インターネット、ローカル又はワイドエリアネットワークなど多種多様なネットワークを介して或いは直接に他の機器に接続する構成要素を含んでいる。接続は公知の手段で行なうことができ、有線接続及び無線接続を含む。
【産業上の利用可能性】
【００４３】
こうした環境又は上に説明した画像フレーム処理を実行するのに適したその他の環境の中で、本発明の処理をしかるべく構成されたハードウェアの動作を制御するソフトウェアの形で指定するのが便利である。もしくは、そうしたソフトウェアベースの命令の均等物を実現するために、処理命令をASIC、デジタル信号処理回路構成などハードウェアに直接実装することもできる。そのために、「デバイス可読媒体」というクレーム表現は、ソフトウェア搬送媒体だけでなく、必要な処理を実行するための命令がハードワイヤされたハードウェアも、さらにハードウェアとソフトウェアとの組合せも含んでいる。同様に、「命令プログラム」というクレーム表現はソフトウェア及びハードウェアに埋め込まれた命令も含む。こうしたインプリメンテーションの変形例を考えれば、図及び説明は当業者が必要な処理を実行するにあたりプログラムコード（つまり、ソフトウェア）を書き或いは回路（つまり、ハードウェア）を作るのに必要な機能情報を提供していると理解するものである。
【００４４】
発明をいくつかの具体的な実施例と共に説明してきたが、当業者ならば上記の説明に照らして更に数多くの変形例、修正例、変更例、応用例が明白になるであろう。したがって、ここで説明した発明は、添付の請求項の精神及び範囲から逸脱しない限りにおいて、そうした変形例、修正例、変更例、応用例を全て包含するつもりである。
【図面の簡単な説明】
【００４５】
【図１】画像フレームのシーケンス、フレームの中の画素位置、画素から受け取った色信号を記述するのに使用される符号を示す概略図。
【図２】発明の実施例による、技法の処理オペレーションを示すフローチャート。
【図３】複数のデータ記憶球が関連付けられた画素位置を示す概略図。
【図４】ハンドヘルド機器にインプリメント可能な発明の様々な技法を実行するためのシステムのブロック図。
【符号の説明】
【００４６】
41  フリーランニングシャッタ付きCCD光センサ
42  アナログ信号プロセッサ及びA/D変換器
43  フレームバッファ
44  制御及びデータ処理チップセット
45  フラッシュメモリ
46  SRAM
47  ディスプレイ
48  ユーザ制御
49  データインタフェース
【図１】
2006140993.tif 000009
【図２】
2006140993.tif 000010
【図３】
2006140993.tif 000011
【図４】
2006140993.tif 000012