(57)【要約】【課題】低解像度イメージセンサを用いて高解像度画像を得ることにより、多機能型ポータブル装置によるより高度な撮像機能を実現する。【解決手段】上記課題は、合成画像を生成するプロセスであって、ハンドヘルド装置を用いて被写体の複数の画像（２１０、２２０、２３０）を撮像するステップと、前記画像の相対的な動きを判定する為に前記画像を解析するステップと、前記合成画像の各画素について、判定された前記相対的な動きの修正後、合成画像中の画素に対応する位置からの距離閾値よりも短い距離にある１つ以上の近接画素を識別するステップと、前記合成画像中の前記画素の画素値を前記近接画素の１つ以上の画素値から判定するステップとを含むプロセスにより解決される。【選択図】図１
2004056789.tif 000002
【特許請求の範囲】
【請求項１】
合成画像を生成するプロセスであって、ハンドヘルド装置を用いて被写体の複数の画像（２１０、２２０、２３０）を撮像するステップと、前記画像の相対的な動きを判定する為に前記画像を解析するステップと、前記合成画像の各画素について、判定された前記相対的な動きの修正後、合成画像中の画素に対応する位置からの距離閾値よりも短い距離にある１つ以上の近接画素を識別するステップと、前記合成画像中の前記画素の画素値を前記近接画素の１つ以上の画素値から判定するステップとを含むプロセス。
【請求項２】
前記合成画像の解像度が前記被写体の画像（２１０、２２０、２３０）の解像度よりも高いことを特徴とする請求項１に記載のプロセス。
【請求項３】
前記合成画像中の少なくとも１つの画素の画素値が、前記複数画像の一番目の画像を撮像中に測定された第一の色成分と、前記複数画像の二番目の画像を撮像中に測定された第二の色成分を持つことを特徴とする請求項１又は２に記載のプロセス。
【請求項４】
前記被写体の前記複数画像を撮像するステップが、前記複数の画像の撮像中に前記ハンドヘルド装置をユーザの手で安定させて支持することを含むことを特徴とする請求項１から請求項３に記載のプロセス。
【請求項５】
前記画像が、約１５枚／秒よりも早い速度で連続して撮像されることを特徴とする請求項４に記載のプロセス。
【請求項６】
前記画像を解析するステップが、前記複数画像の各々について、前記画像の画素を基準画像の位置にマッピングする連続モーションフィールドを構築するものであることを特徴とする請求項１から請求項５に記載のプロセス。
【請求項７】
前記連続モーションフィールドを１画像について構築することが、前記画像を拡張して前記ハンドヘルド装置のイメージセンサ解像度よりも高い解像度を持つ拡張画像を描出するステップと、前記基準画像の領域と最も良く整合する前記拡張画像の領域を識別する少なくとも１つのモーションベクターを見つけるステップと、そして前記拡張画像の前記少なくとも１つのモーションベクターから前記連続モーションフィールドを構築するステップを含むものであることを特徴とする請求項６に記載のプロセス。
【請求項８】
前記合成画像中の画素の画素値を判定するステップが、前記複数画像の１つにおいて、前記合成画像の前記画素の位置にマッピングされるソース画素を識別するステップと、前記ソース画素に付随する画素値を前記合成画像中の前記画素の画素値に使用するステップとを含むことを特徴とする請求項６又は７に記載のプロセス。
【請求項９】
前記画素値が色値であることを特徴とする請求項８に記載のプロセス。
【請求項１０】
前記画素値が直接的に測定された色成分であることを特徴とする請求項８に記載のプロセス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成プロセスに係り、特に複数の原画像から高解像度画像を生成する画像合成プロセスに関する。
【０００２】
【従来の技術】
理想的な多機能型ポータブル装置とは、単一の小型で携行可能なパッケージ中に最大の柔軟性と機能性をユーザに提供するものである。このような装置は、通信又は演算以上の能力を提供するように強化された携帯電話及びパーソナルディジタルアシスタント（ＰＤＡ）といった装置を基盤としている。このような装置の追加機能として望ましいのは例えば撮像機能であり、現在では小型ＣＭＯＳイメージセンサが高い費用対効果で携帯電話やＰＤＡ等のポータブル装置に撮像能力を付与することが出来るようになった。
【０００３】
ポータブル装置のイメージセンサは安価であることが望ましく、また、ポータブル装置のサイズを最小化する為にも小型である必要がある。イメージセンサに対するこれらの制約により、イメージセンサの解像度は、最新のデジタルカメラよりも低く抑えなければならないことが多い。現在のデジタルカメラは、例えばメガピクセルの解像度を持つが、携帯電話やＰＤＡに実際に使用されるイメージセンサはＣＩＦ又はＶＧＡ解像度（例えば３５２ｘ２８８又は６４０ｘ４８０）しかない。
【０００４】
小型で安価なイメージセンサの低い解像度は、多機能型ポータブル装置における撮像目的の使用においては適当である場合が多く、時に望ましいと言える場合さえある。例えば、低解像度イメージセンサは、より大型の画素サイズの許容性により、より大きい感度とダイナミックレンジを持っている場合が多い。更に、解像度のより低い画像は記憶用のメモリも伝送用の帯域幅も小さくて済み、これらの点は、使用し得るメモリ容量や伝送帯域幅が比較的限定されているポータブル装置にとっては重要なことである。低解像度イメージセンサはまた、ポータブル装置のビューファインダや他の小型ディスプレイの解像度と一致している為、処理パワーを消費するアップサンプリングやダウンサンプリングを要することなく低解像度イメージセンサからの低解像度画像を直接的に表示することが出来る。
【０００５】
【特許文献１】
米国特許第５６４４１３９号明細書
【特許文献２】
米国特許第５７２９００８号明細書
【特許文献３】
米国特許第６２３３３６８号明細書
【０００６】
【発明の解決すべき課題】
ユーザは、時に多機能型装置のイメージセンサが提供し得るレベルよりも高い解像度や画質での撮像を望む場合もある。現時点においては、このようなユーザは高解像度での撮像が可能な別のカメラ又は装置を用意するしかない。従って、低解像度イメージセンサを用いて高解像度画像を得ることにより、多機能型ポータブル装置によるより高度な撮像機能を実現する方法が求められているのである。
【０００７】
【課題を解決するための手段】
本発明は、合成画像を生成するプロセスであって、ハンドヘルド装置を用いて被写体の複数の画像（２１０、２２０、２３０）を撮像するステップと、前記画像の相対的な動きを判定する為に前記画像を解析するステップと、そして前記合成画像の各画素について、判定された相対的な動きの修正後、合成画像中の画素に対応する位置からの距離閾値よりも短い距離にある１つ以上の近接画素を識別し、前記合成画像中の前記画素の画素値を前記近接画素の１つ以上の画素値から判定するステップとを含むプロセスにより、上記課題を解決する。
【０００８】
本発明の一態様によれば、カメラ、携帯電話又はＰＤＡのようなハンドヘルド装置における低解像度イメージセンサは高解像度、即ち高画質の画像を生成する為に複数の低解像度画像を撮像するものである。画像間におけるハンドヘルド装置の自然な移動により、低解像度画像はわずかに異なる視点から撮像されることになる。低解像度画像におけるイメージセンサの代表的には数分の１画素から数画素分の移動に対応する視点の違いにより、これらの低解像度画像から高解像度、即ち高画質を構築するディジタル処理が可能となるのである。オフライン・ディジタル処理によれば、ハンドヘルド装置に過剰な処理能力を要求することなく改良画像を構築することが出来る。
【０００９】
本発明に基づく撮像プロセスの１つは、同じ被写体のわずかに異なる低解像度画像を高速に連続して記録するものである。１組の画像について小さなモーションフィールド（動領域）の相関を計算することにより、これら２つの画像の整合領域を識別する相対的モーションフィールドが提供される。相対的モーションフィールドを平滑化することにより、連続するモーションフィールドを計算することが出来る。画像の連続を可能とするこれらのモーションフィールドに基づき、基準画像に相対する座標を各画像の各画素に割り付けることが出来る。この時点では不均一な基準グリッド上に存在する全ての画素は、その被写体の局所画像特性を計算する為に使用される。この結果得られる画像特性は高解像度でサンプリングすることが出来、よって低解像度画像から得られた情報を高解像度画像へと統合化することが出来るのである。
【００１０】
本発明の他の態様によれば、カラー画像を生成するプロセスは同じ被写体の一連の画像からのカラー情報を用いるものである。カラー画像を形成する画像の組み合わせをアライメントする為には光ナビゲーション技術を使用することが出来る。画像の視点の違いにより、異なるカラーフィルタを持つセンサ素子は同じ画素の異なる色成分を提供する。異なる画像が同じ画素について異なる色成分を提供する場合、未測定色成分を隣接画素の色補間により判定するデモザイク処理の実施は制約、又は除外することが出来る。この結果得られたカラー画像もまた、一連の画像からの画像データを用いてその解像度を上げることが出来る。
【００１１】
本発明の一実施例は、ハンドヘルド装置により撮影された原画像よりも高い解像度、又は高い色精度を持たせた合成画像を生成する為のプロセスである。プロセスはまず、ハンドヘルド装置により被写体の複数の原画像を撮像するステップから開始される。被写体の原画像は、ユーザがハンドヘルド装置を安定させて構えた状態においてビデオと同様のフレームレートで撮影する。ハンドヘルド装置に固有の自然な動きにより、原画像はそれぞれ異なる視点を持つことになる。原画像はハンドヘルド装置中で処理され、保存用又は処理システムへの後のダウンロード用に記憶される、或いはハンドヘルド装置から通信リンクを介しての保存又は処理システムへの即時伝送が行われる。
【００１２】
原画像の解析により画像間における相互の動きが識別され、識別された動きと複数の画像からの画素データは、合成画像の画素ごとの構築に使用することが出来る。基準画像に対する原画像の動きを識別する為の解析方法の１つは、原画像における画素を基準画像中の位置にマッピングした連続モーションフィールドを生成するものである。１画素の数分の１の精度での動き判定は、ハンドヘルド装置中のイメージセンサの解像度よりも高い解像度へと画像を拡張し、基準画像中の領域に最も良く整合するその画像中の領域を識別する少なくとも１つのモーションベクターを見つけ、その画像の少なくとも１つのモーションベクターから連続モーションフィールドを生成することにより実現することが出来る。例えば相互相関や整合フィルタ、或いは特徴整合を用いた従来の技術により、相対的な動きを識別してモーションフィールドを生成することが出来る。
【００１３】
合成画像中の各画素について、合成画像の構築は、判定された画像の動きを修正した後、合成画像中の画素に対応する位置からの距離閾値よりも小さいと判定された１つ以上の隣接画素を識別することを含む。その後、合成画像中の画素の色値又は色成分等の画素値が近接画素の１つ以上の画素値から判定される。合成画像の１画素について画素値を決定する処理は、合成画像中の画素位置にマップされる原画像の１つにおけるソース画素を識別するステップと、そしてそのソース画素に付随する画素値を合成画像中のその画素の画素値として使用するステップとを含む。かわりに、隣接画素の画素値の加重平均により、合成画像中の画素の画素値を得ることも可能である。
【００１４】
【発明の実施の形態】
本発明の一態様によれば、画像処理法は、同じ被写体の一連の画像をハンドヘルド装置の低解像度イメージセンサを用いて撮影し、これら原画像における画素のアライメントを行ってハンドヘルド装置の動きを特性付け、そしてこれら原画像及び特性付けられた動きから、一連の画像の１つ１つよりも高い解像度及び／又は色精度を持つ合成画像を生成するものである。合成画像の各画素は、合成画像中の対応画素に最も近い位置の画素データに最も重い加重を置く、加重平均を用いて生成することが出来る。異なる図において、同様又は同一の要素は同じ符号で示した。
【００１５】
図１は、本発明の一実施例に基づくプロセス１００のフローチャートである。プロセス１００は、ステップ１１０において複数の原画像を撮像し、ステップ１２０において、基準画像に相対する画像の動きを判定し、そしてステップ１３０において原画像からの情報を併合し、解像度及び／又は色精度を向上させた合成画像を構築する。
【００１６】
ステップ１１０は、カメラ、或いは撮像能力を持つ他のポータブル装置等のハンドヘルド装置を用いて同じ被写体の一連の原画像を撮像するものである。被写体のこれら一連の画像は、出来れば被写体に大幅な変化が生じないように充分に短い時間間隔で撮影されることが望ましい。静止した、或いはゆっくりと移動する被写体については、約３０画像／秒以上の速度で５〜１０画像を撮像すれば、高解像度又は高画質画像の生成に充分な原画像を得ることが出来る。このようなフレームレートは、ビデオ撮影機能を持つカメラ又は他の装置において一般的に実現されているものである。
【００１７】
ステップ１１０の間、ユーザがハンドヘルド装置を静止させて維持しようとしても、通常はわずかな動きがある。装置が動くと、被写体の画像もイメージセンサ上でずれることになる。ずれる距離は、１画素の数分の１、１画素から数画素分、或いは１画素から数画素プラス数分の１画素となる場合が考えられる。
【００１８】
図２Ａは、イメージセンサ２００を構成するセンサ素子アレイに対する基準画像２１０の位置を示した図である。現在の低解像度イメージセンサは通常、一行又は一列につき数百個のセンサ素子を含むものであるが、図２Ａでは説明の便宜上、センサ素子の１０ｘ８アレイのみを示した。図２Ａの各センサ素子にはＲｍｎ、Ｂｍｎ又はＧｍｎのラベルがつけられているが、ｍ及びｎは、それぞれセンサ２００におけるセンサ素子の行番号及び列番号である。説明の便宜上、センサ２００はカラーフィルタをセンサ素子に対応させて設けたタイプのものとし、Ｒ、Ｂ又はＧから始まる各素子の参照記号はセンサ素子に指定された赤、青又は緑フィルタを指すものである。ＲＧＢカラーフィルタを取り付けられたイメージセンサ２００は単に好適なイメージセンサの一例として示したものであり、他のタイプのイメージセンサであっても良い。
【００１９】
画像２１０を取り込む為には、被写体の画像をイメージセンサ２００上へと投射することが必要である。すると、画像２１０の領域内にある各センサ素子は画像２１０を表すピクセルマップにおける異なる画素に対応することになる。例えばセンサ素子Ｇ１１、Ｂ１２及びＲ２１は、画像２１０及び対応ピクセルマップアレイの左上にある画素Ｐ（０，０）、Ｐ（０，１）及びＰ（１，０）にそれぞれ対応する。センサ素子Ｂ５８、Ｒ６７及びＧ６８は、右下の画素Ｐ（４，７）、Ｐ（５，６）及びＰ（５，７）にそれぞれ対応する。
【００２０】
各センサ素子は、対応するカラーフィルタを通過する光の強度を示す信号、或いは対応画素の色値の一色成分を示す信号を生成するものである。例えばセンサ素子Ｇ１１は、緑フィルタを通過する光の強度を表す信号を生成するものであり、その測定された強度に指定された正規化デジタルレベルは、画像２１０の画素Ｐ（０，０）の色値における緑成分である。同様に、センサ素子Ｂ１２の信号は画素Ｐ（０，１）の色値における青成分を示し、センサ素子Ｒ２１の信号は画素Ｐ（１，０）の赤成分を示すのである。
【００２１】
従来のモザイク技術によれば、隣接画素の測定色成分間で補間を実施することにより直接測定されたものではない色成分を決定することが出来る。例えば、図２Ａにおけるセンサ素子Ｒ０１及びＲ２１が測定した赤成分の補間処理により画素Ｐ（０，０）の色値における赤成分を示すことが出来、また、センサ素子Ｂ１０及びＢ１２が測定した青成分の補間処理により画素Ｐ（０，０）の色値における青成分を示すことが出来るのである。赤、青及び緑の色成分を合わせることで、その画素の色を表す色値が作られる。
【００２２】
図１のステップ１１０において、被写体の一連の原画像が取り込まれた後、ステップ１２０において基準画像に対する原画像各々のモーションフィールドが判定される。例えば、図２Ａの画像２１０を基準画像として選択する。同じ被写体を撮影した第二の画像は通常、イメージセンサ２００上の画像２１０からずれることになる。図２Ｂは、イメージセンサ２００が約半画素分に対応する距離だけ左上方向に移動した後に撮影された画像２２０の例を示している。従って被写体の画像２２０は、基準画像２１０から半画素分、右下方向にずれており、イメージセンサ２００のセンサ素子が画像２２０を撮像する際、画像２１０の画素間の中間に位置する画素に対応する強度を測定したことになる。画像２２０については、各センサ素子に基準画像２１０の座標系の分数画素座標（例えば半画素座標）を指定することが出来る。
【００２３】
基準画像の座標系において、ターゲット画像の画素、即ちセンサ素子の座標を識別するには、基準画像に対するターゲット画像の動き、即ちずれを識別しなければならない。１画素分よりも小さい精度で相対的なずれ、即ち動きを正確に識別する方法の１つにおいては、基準及びターゲット画像をより高い解像度へと拡張し、２つの拡張画像における整合領域を識別するモーションベクターを見つけるという方法がある。ターゲット又は基準画像のピクセルマップの拡張は、元の色値の混合、又は補間により拡張ピクセルマップにおける介在色値を生成することにより実施されることが望ましい。例えば、元のピクセルマップを離散コサイン変換（ＤＣＴ）することにより、ピクセルマップを、元のピクセルマップと同じ寸法又は解像度の周波数ドメインアレイへと変換する。周波数ドメインアレイは値ゼロを持つより高い周波数成分を加えることにより、より高い解像度へと拡張することが出来る。その後、逆ＤＣＴにより、より解像度の高い周波数ドメインアレイを、元のピクセルマップよりも解像度は高いが同じ情報を含む空間ドメインピクセルマップへと変換する。
【００２４】
基準画像の拡張ピクセルマップの領域とターゲット画像の拡張ピクセルマップの領域との間の相関が計算されることにより、２つの画像における整合領域の動きが判定される。画像間の相関を判定し、これによる相対的な動きを識別する為には、従来から周知の光ナビゲーション技術及び回路を使用することが出来る。米国特許第５，６４４，１３９号、米国特許第５，７２９，００８号及び米国特許第６，２３３，３６８号は、本発明の実施例に適用可能なナビゲーション処理及び回路を記載したものである。
【００２５】
モーションベクターは通常、画像間の相対的な動きを表す為に使用される。基準画像及びターゲット画像における差異が、被写体への視線に対して直角なカメラの動きに対応するものであり、被写体が基準画像及びターゲット画像の両方において全く同じであった場合、２つの画像間の相対的な動きを特性付けるモーションフィールドを画定する為には単一のモーションベクターで充分である。より一般的には、画像間の眺望の変化はカメラアングルや被写体の変化を伴う場合もあることから、基準画像の異なる領域は異なるモーションベクターを持っている。
【００２６】
２つの画像に決定された１つ以上のモーションベクターは、ターゲット画像における画素の座標を基準画像の座標へとマッピングするものである。相関を決定する上では、領域の境界におけるモーションベクターの不連続な変化を使用するよりも、連続するモーションフィールドを使用したほうが２つの画像間の関係をより正確に反映することが出来、これを基準画像におけるターゲット画像の画素座標の判定に使用することが出来る。
【００２７】
プロセス１００（図１）のステップ１３０においては、複数の画像からの全ての画素情報が１つの合成画像へと組み合わせられる。画素データの合成は、基準画像を参照した画素座標を使って行うことが出来る。特に、各行及び各列ともイメージセンサ２００の提供する画素の２倍の画素を持つ合成画像を得る為には、基準画像の基準座標系における整数座標又は半整数座標を持つ高解像度画像の各画素について色値が決定される。合成画像の特定画素の色値は、フィルタ演算又は合成画像中の画素の周囲の小領域へとマッピングされる原画像の画素の色値の加重平均を用いて決定することが出来る。原画像の１つが決定される画素に等しい座標を持っており、一致する座標の画素の色値を、平均を求めることなく用いることが出来る場合もある。
【００２８】
上述した合成プロセスは、合成画像の構築において別個の画像からの色値を用いたものである。これらの色値は、従来のモザイク技術を用いて計算された補間成分を含む場合もある。更に本発明の他の態様によれば、合成される画像の測定された色成分から、合成画像を直接構築することが出来る場合もある。特に、同じ画素について１つの画像が色値の緑成分を提供する一方で、他の画像が青成分を提供する場合がある。これを説明する上で、図１の画像２１０を撮像した時のイメージセンサ位置からイメージセンサ２００が１画素分左に動いた時点で撮像された画像２３０を図２Ｃに示す。画像２３０の場合、センサ素子Ｂ１２が画素Ｐ（０，０）の強度測定を実施しており、画素Ｐ（０，０）の色値における青成分を提供している。画像２１０においては、センサ素子Ｇ１１が画素Ｐ（０，０）に対応する位置の強度測定をしており、画素Ｐ（０，０）の色値における緑成分が提供されている。従って、画像２１０及び２３０が合成画像を構築する為に用いられる一連の画像中に存在した場合、画素Ｐ（０，０）の青及び緑成分の両方が補間値ではなく、直接的に測定されたものとなり、色精度を向上させることが出来るのである。
【００２９】
画素の色精度を向上させる為の一般的な技術では、周囲の小領域にある画素の直接測定された色成分の加重平均を用いることが出来る。色精度を向上させる方法は、イメージセンサ２００の解像度よりも高い、或いは等しい、あらゆる解像度を持つ合成画像に対して適用することが出来る。
【００３０】
上記本発明の態様で説明したように、ハンドヘルド装置の自然な動きに順じて同じ被写体の眺望の異なる一連の画像を用いることにより、高解像度及び／又は高い色品質の画像を生成することが出来る。必要となる画像の数は通常、求められる改善度による。画素列及び行の数を２倍にするには、基準画像を含む４枚の原画像（基準画像、基準画像から半画素分左又は右にずれた画像、基準画像から半画素分上又は下にずれた画像、基準画像から半画素分上又は下及び半画素分左又は右にずれた画像）が高解像度画像の各画素の直接測定（境界にある画素は例外となる可能性もある）を提供することが出来る。しかしながら、ハンドヘルド装置の動きは（少なくとも画素サイズ程度の大きさのずれは）制御不能である為、画像の配置分布はランダムにならざるを得ず、画像の眺望における所望のばらつき範囲を得るには、通常、４画像よりも多くの画像が必要とされる。画像数があまりに多いと処理時間がかかり、時間の経過による被写体の変化又は移動が大きくなる可能性がある。処理能力を過剰に必要とすることなく所望される眺望範囲を統計学的に提供するものと考えられる好適な画像数は、イメージセンサの特性と望まれる画質改善の程度により決まる。かわりに、画像数をユーザ制御値とし、個人の経験に基づいて設定するようになっていても良い。
【００３１】
本願に記載の画像処理法は、ハンドヘルド装置において実行されるソフトウエア中に実現することが出来る。しかしながら、このような処理は撮像する時点においてリアルタイムで行われる必要はない。過剰な処理負荷を回避する為に画像処理を一連の画像を撮影した後の任意の時点でハンドヘルド装置、或いはコンピュータ等の別の装置によりオフラインで実施することも出来る。
【００３２】
図３は一連の低解像度画像から高解像度画像を生成するプロセス３００を説明するものである。プロセス３００は、プロセス１００と同様に、ハンドヘルド装置を使って一連の画像を撮像するステップ１１０から始まる。これらの一連の画像は、ユーザがハンドヘルド装置をほぼ静止させた状態で、静止した或いはゆっくりと移動する被写体のショートビデオクリップを撮影することにより取り込むことが出来る。ビデオクリップのフレームが高解像度画像を構築する為の原画像を提供するものである。
【００３３】
ステップ３２０では、原画像の各々が高解像度画像に所望される解像度を持つ拡張画像へと変換される。変換は、出来れば画素値を生成する補間により実施されることが望ましく、よって原画像のアップサンプリング以上のものとなる。上述した変換技術の１つは、原画像の解像度を高めるために、原画像のＤＣＴ変換を実施し、結果的に得られた周波数ドメインアレイの最高周波数成分の位置にゼロを詰め込み、そして詰め込まれた周波数ドメインアレイに逆ＤＣＴ変換を実施するものである。好適な変換技術の他の例としては、各画像の双三次補間を直接的に空間ドメインにおいて実施するものがある。
【００３４】
ステップ３３０においては、拡張画像の１つが基準画像として選択され、基準画像に対する拡張画像の動きを示すモーションフィールドが各拡張画像について生成される。特徴整合法、相互相関の使用或いは整合フィルタ等のモーションベクター判定技術により、基準画像に対する各画像の動きを識別することが出来る。その後、判定されたモーションベクターに基づいて基準画像中の位置に画像の各画素をマッピングする連続モーションフィールドを生成することが出来る。
【００３５】
高解像度画像を構築するステップ３４０は、基準画像（例えば拡張された基準画像を現す画素データ）から開始することが出来る。基準画像においては、センサ位置に対応する画素値（赤、緑又は青色成分、或いは従来のモザイク技術により決定される色値等）が保持され、拡張ステップ３２０の一部として生成された画素値が置換される。置換処理は、直接測定された画素値を有し、画素値を置換する画素の距離閾値（例えば半画素）内にある他の画像中の画素を判別するものである。最も近い画素の画素値に最も高い荷重をつける加重平均により、置換画素値が得られる。近隣画素を用いることにより、その画素に最も近接に対応する値が判定され、更に複数の測定値を併合することで画素値のＳＮ比も改善される。
【００３６】
本発明を特定の実施例に基づいて説明してきたが、本説明は本発明の一応用例にしか過ぎず、本発明を限定するものではない。例えば、上記説明においては、低解像度及び高解像度画像、又はセンサの説明に特定のサイズをあげているが、このような基準は相対的なものであり、いかなる解像度も比較対象に応じて高くも低くもなるものである。更に上記説明では、例えばＲＧＢカラーフィルタが下の光センサに対して固定されたタイプのイメージセンサ等、特定の種類のイメージセンサについて記述した。しかしながら、例えばＹＵＶカラーフィルタや、或いは光センサに対して可動式のカラーフィルタを使用したもの等、他の種類のイメージセンサを採用することも出来る。また、カラー画像の説明に使った技術も、容易にグレイスケール画像の処理に適用することが出来る。他の様々な応用及び開示した実施例の組み合わせは、請求項に定義される本発明の範囲に入るものである。
【００３７】
最後に、本発明の代表的な実施形態を列挙する。
（実施形態１）
合成画像を生成するプロセスであって、ハンドヘルド装置を用いて被写体の複数の画像（２１０、２２０、２３０）を撮像するステップと、前記画像の相対的な動きを判定する為に前記画像を解析するステップと、前記合成画像の各画素について、判定された前記相対的な動きの修正後、合成画像中の画素に対応する位置からの距離閾値よりも短い距離にある１つ以上の近接画素を識別するステップと、前記合成画像中の前記画素の画素値を前記近接画素の１つ以上の画素値から判定するステップとを含むプロセス。
【００３８】
（実施形態２）
前記合成画像の解像度が前記被写体の画像（２１０、２２０、２３０）の解像度よりも高いことを特徴とする実施態様１に記載のプロセス。
【００３９】
（実施形態３）
前記合成画像中の少なくとも１つの画素の画素値が、前記複数画像の一番目の画像を撮像中に測定された第一の色成分と、前記複数画像の二番目の画像を撮像中に測定された第二の色成分を持つことを特徴とする実施態様１又は２に記載のプロセス。
【００４０】
（実施形態４）
前記被写体の前記複数画像を撮像するステップが、前記複数の画像の撮像中に前記ハンドヘルド装置をユーザの手で安定させて支持することを含むことを特徴とする実施態様１から実施態様３に記載のプロセス。
【００４１】
（実施形態５）
前記画像が、約１５枚／秒よりも早い速度で連続して撮像されることを特徴とする実施態様４に記載のプロセス。
【００４２】
（実施形態６）
前記画像を解析するステップが、前記複数画像の各々について、前記画像の画素を基準画像の位置にマッピングする連続モーションフィールドを構築するものであることを特徴とする実施態様１から実施態様５に記載のプロセス。
【００４３】
（実施形態７）
前記連続モーションフィールドを１画像について構築することが、前記画像を拡張して前記ハンドヘルド装置のイメージセンサ解像度よりも高い解像度を持つ拡張画像を描出するステップと、前記基準画像の領域と最も良く整合する前記拡張画像の領域を識別する少なくとも１つのモーションベクターを見つけるステップと、そして前記拡張画像の前記少なくとも１つのモーションベクターから前記連続モーションフィールドを構築するステップを含むものであることを特徴とする実施態様６に記載のプロセス。
【００４４】
（実施形態８）
前記合成画像中の画素の画素値を判定するステップが、前記複数画像の１つにおいて、前記合成画像の前記画素の位置にマッピングされるソース画素を識別するステップと、前記ソース画素に付随する画素値を前記合成画像中の前記画素の画素値に使用するステップとを含むことを特徴とする実施態様６又は７に記載のプロセス。
【００４５】
（実施形態９）
前記画素値が色値であることを特徴とする実施態様８に記載のプロセス。
【００４６】
（実施形態１０）
前記画素値が直接的に測定された色成分であることを特徴とする実施態様８に記載のプロセス。
【図面の簡単な説明】
【図１】低解像度イメージセンサを用いてより高い画像品質を持つ合成画像を構築する為のプロセスのフローチャート
【図２Ａ】原画像のイメージセンサ上における相対的な位置を示した図
【図２Ｂ】原画像のイメージセンサ上における相対的な位置を示した図
【図２Ｃ】原画像のイメージセンサ上における相対的な位置を示した図
【図３】一連の低解像度画像から高解像度画像を構築する為のプロセスのフローチャート
【符号の説明】
２１０、２２０、２３０　画像
【図１】
2004056789.tif 000003
【図２Ａ】
2004056789.tif 000004
【図２Ｂ】
2004056789.tif 000005
【図２Ｃ】
2004056789.tif 000006
【図３】
2004056789.tif 000007