(57)【要約】  撮像で低解像度画像及び高解像度画像を取得するステップと、複数枚の低解像度画像を互いに結合させることで集積低解像度画像を生成するステップと、高解像度画像の解像度を低減しその低減後の画像に補間処理を施すことでボケ高解像度画像を生成するステップと、集積高解像度画像及びボケ高解像度画像に基づき画像差マップを生成するステップと、画素値マップに基づき集積高解像度画像と高解像度画像とを結合させることで改質高解像度画像を生成するステップと、を有する改質高解像度画像生成方法を提案する。
2013521706.tif 000002
【特許請求の範囲】
【請求項１】
同じ光景を同じ撮像装置で撮像して得られた複数枚の低解像度画像及び１枚又は複数枚の高解像度画像を併用して改質高解像度画像を生成する方法であって、
（ａ）同じ撮像装置を用い同じ光景の低解像度画像を撮像する一方その撮像装置を用い且つより高い解像度で同じ光景を撮像して１枚又は複数枚の高解像度画像を得るステップと、
（ｂ）複数枚の低解像度画像を互いに結合させることで集積低解像度画像を生成するステップと、
（ｃ）高解像度画像を集積低解像度画像と結合させることで改質高解像度画像を生成するステップと、
を有し、ステップ（ｃ）が、
（ｉ）集積低解像度画像に補間処理を施すことで集積高解像度画像を生成するステップと、
（ｉｉ）高解像度画像の解像度を低減することで、その撮像装置で生じそうな低解像度画像たる代表低解像度画像を生成するステップと、
（ｉｉｉ）代表低解像度画像に補間処理を施すことでボケ高解像度画像を生成するステップと、
（ｉｖ）集積高解像度画像及びボケ高解像度画像に基づき画像差マップを生成するステップと、
（ｖ）画素値マップに基づき集積高解像度画像と高解像度画像とを結合させることで改質高解像度画像を生成するステップと、
を含む方法。
【請求項２】
請求項１記載の方法であって、ステップ（ｂ）が、無限インパルス応答フィルタを用い低解像度画像を互いに結合させることで集積低解像度画像を生成するステップを含む方法。
【請求項３】
請求項１記載の方法であって、ステップ（ｂ）が、一部又は全ての低解像度画像に現れているモーションを補正するステップを含む方法。
【請求項４】
請求項１記載の方法であって、ステップ（ｃ）（ｉｉ）が、低解像度画像を得るに際し使用されたものとほぼ同じビニング及びデシメーション手順に従い高解像度画像の解像度を低減するステップを含む方法。
【請求項５】
請求項１記載の方法であって、ステップ（ｃ）（ｖ）が、
（Ａ）高解像度画像の解像度を低減しその低減後の画像に補間処理を施すことでボケ高解像度画像を生成するステップと、
（Ｂ）集積高解像度画像由来の色情報とボケ高解像度画像由来の色情報とを画像差マップに基づき結合させることで結合色情報を生成するステップと、
（Ｃ）高解像度画像に対応する輝度情報を生成するステップと、
（Ｄ）結合色情報と高解像度画像に対応する輝度情報とに基づき改質高解像度画像を生成するステップと、
を含む方法。
【請求項６】
請求項１記載の方法であって、ステップ（ｃ）（ｖ）が、
（Ａ）ボケ高解像度画像を生成するステップと、
（Ｂ）集積高解像度画像・ボケ高解像度画像間の差分算出を通じ残差画像を生成するステップと、
（Ｃ）高解像度画像内ノイズを低減することでノイズ低減高解像度画像を生成するステップと、
（Ｄ）残差画像、ノイズ低減高解像度画像及び画像差マップに基づき改質高解像度画像を生成するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数枚の画像に基づき良質な画像を生成する技術、特に複数枚の画像に基づきモーションブラー及びノイズが少ない高解像度画像を生成する技術に関する。
【背景技術】
【０００２】
解決すべき問題の一つは、光量が不十分な状態でモーション（動き）のある光景を撮像すると画像中にモーションブラー（動きによるボケ）が現れることである。モーションには、撮像対象光景が一斉に動くグローバルモーションのほか、光景の一部分が他の部分とは異なる速度で又は異なる方向へと動くローカルモーションがある。撮像中の光景・カメラ間相対運動によるグローバルモーションと異なり、光景内被写体・光景内諸部分間相対運動によるローカルモーションは、その光景の構成部分毎にその現れ方が異なりうる。
【０００３】
露光時間が短くモーションが緩慢な場合、１回の撮像で良質な画像を得ることができる。しかしながら、信号対雑音比（ＳＮ比）が高い画像を得るのに必要な露光時間は、撮像中に生じるモーションの俊敏さに比し延びてきている。捉えうる光の量も減ってきている。その結果、撮像時画質はモーションブラーやノイズの増加といったかたちで低下してきている。
【０００４】
例えば、コンシューマ向けディジタルカメラでは、時代の趨勢である画素小型化に伴い露光時受光部位の面積が削減された分、画像中にノイズが現れやすくなってきている。画素小型化の影響を軽減するには露光時間を長めに設定すればよいのだが、そうすると今度はモーションブラーが現れやすくなる。こうしたことから、特許文献１（発明者：Ｃｏｍｐｔｏｎ  ｅｔ  ａｌ．）では、イメージセンサに全色性（パンクロ）画素を追加することで画素の光感度を高める方法が提案されている。
【０００５】
所要露光時間がモーションの俊敏さに比し延び、また捉えうる光の量が減る過程で、一連の折衷策が採用されている。そのうち幾つかは写真空間内で使用され、空間解像度、時間分解能又は画質の向上につながるものであるが、残念なことに長所だけでなく短所も有している。例えば、モーションブラーを減らすため露光時間を短くすると、時間分解能が高まるものの画像中のノイズも増えてしまう。
【０００６】
そのノイズの低減にはフラッシュが効果的であり、しかも所要露光時間が短くなるため時間分解能が高まる。その反面、フラッシュを使用すると照明の不均一さの増加や赤目が発生するし、撮像にフラッシュを使用できない状況や使用すべきでない状況もある。
【０００７】
露光中に光学的画像安定化を実行することで、露光時間延長による画像内ノイズ低減、モーションブラー低減及び空間解像度向上を鼎立させることも可能である。しかしながら、光学的画像安定化はカメラの動き即ちグローバルモーションによるモーションブラーを減らすのにしか使用できない。しかも、光学的画像安定化が可能な撮像装置は高価格且つ重量になる。
【０００８】
隣接画素間で電荷を総和し信号を増強する処理、即ちビニングを通じ画素の実効サイズを拡げ露光時間を短縮することも可能である。しかしながら、ビニングには空間解像度の低下がつきものである。
【０００９】
他のブラー低減手法としては、短い露光時間で１枚、長い露光時間で１枚、都合２枚の高解像度画像を撮像する手法がある。これは、短い露光時間で撮像された画像即ちノイズが多めだがモーションブラーが少なめの画像と、長い露光時間で撮像された画像即ちノイズは少なめだがモーションブラーが多めの画像とを、相応の画像処理アルゴリズムを使用し互いに結合させることで最終的に１枚の画像を得る、というものである。この手法については特許文献２〜５の記載を参照されたい。しかしながら、この手法には、それらの高解像度画像を記憶できる大容量のバッファメモリが必要である、それら高解像度画像を処理するのが面倒である、それら複数回の高解像度撮像間に大きな時間差が生じうる等といった短所がある。
【００１０】
更に他のブラー低減手法としては、撮像後に画像回復乃至デブラーリングアルゴリズムを適用する手法がある。なかでも、ルーシー・リチャードソンのデコンボルーションアルゴリズムを適用するものが周知である。しかしながら、この類の手法には、情報処理難度や対ノイズ感度が高い、という難点がある。
【００１１】
低解像度ビデオ画像複数フレームから、空間解像度及び時間分解能・露光時間間バランスを確保・改善しつつ１枚の改質画像を生成する手法もある。この手法では、所与時間中に複数フレームを読み出すことで、露光時間を短縮してモーションブラーを減らすことができる。個々のフレームはノイズがちかもしれないが、複数フレームを互いに整列させてフレーム間モーションを補正しフレーム間総和を求めることで、ノイズが少ない改質画像を得ることができる。
【００１２】
こうした低解像度ビデオ画像の読出は比較的高速（一般に３０〜６０フレーム／秒）で行われるし、画素間にビニングが施されているため各フレームが低ノイズであることが多いが、得られる改質画像は割合に低解像度のものに限られる。高解像度画像複数枚から１枚の改質画像を生成することも可能だが、高解像度画像では一般に画素サイズが小さいため、そうして得られる改質画像は一般にノイズがちのものになる。しかも、ハードウェア的な制約があるため、複数枚の高解像度画像を読み出すには割合に長い時間（一般に１．５〜７フレーム／秒）が必要となる。そして、撮像から次の撮像までに生じるモーションが甚だしくなるため、画像同士の整列具合が問題になりやすくなる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開第２００７／００２４９３１号明細書
【特許文献２】米国特許第７２３９３４２号明細書
【特許文献３】米国特許出願公開第２００６／００１７８３７号明細書
【特許文献４】米国特許出願公開第２００６／０１８７３０８号明細書
【特許文献５】米国特許出願公開第２００７／０２２３８３１号明細書
【特許文献６】米国特許第３９７１０６５号明細書
【特許文献７】米国特許第５５０６６１９号明細書
【特許文献８】米国特許第５６２９７３４号明細書
【特許文献９】米国特許第５６５２６２１号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１４】
このように、本件技術分野では、画像同士を結合させることで良質な画像を生成する秀逸な技術、特にモーションが現れている光景で使用できる技術が求められている。
【課題を解決するための手段】
【００１５】
本発明の目的は、複数枚の低解像度画像及び１枚又は複数枚の高解像度画像を併用して改質高解像度画像を生成することである。この目的を達成すべく、本願では、同じ光景を同じ撮像装置で撮像して得られた複数枚の低解像度画像及び１枚又は複数枚の高解像度画像を併用して改質高解像度画像を生成する方法であって、
（ａ）同じ撮像装置を用い同じ光景の低解像度画像を撮像する一方その撮像装置を用い且つより高い解像度で同じ光景を撮像して１枚又は複数枚の高解像度画像を得るステップと、
（ｂ）複数枚の低解像度画像を互いに結合させることで集積低解像度画像を生成するステップと、
（ｃ）高解像度画像を集積低解像度画像と結合させることで改質高解像度画像を生成するステップと、
を有し、ステップ（ｃ）が、
（ｉ）集積低解像度画像に補間処理を施すことで集積高解像度画像を生成するステップと、
（ｉｉ）高解像度画像の解像度を低減することで、その撮像装置で生じそうな低解像度画像たる代表低解像度画像を生成するステップと、
（ｉｉｉ）代表低解像度画像に補間処理を施すことでボケ高解像度画像を生成するステップと、
（ｉｖ）集積高解像度画像及びボケ高解像度画像に基づき画像差マップを生成するステップと、
（ｖ）画素値マップに基づき集積高解像度画像と高解像度画像とを結合させることで改質高解像度画像を生成するステップと、
を含む方法を提案する。
【発明の効果】
【００１６】
本発明によれば、画像処理ソフトウェアに対し基本的な変更を施すこととしたため、写真フラッシュを使用することも、露光時間を長めにして個別画像の適正露光を図ることもなく、改質高解像度画像を生成することができる。
【００１７】
本発明によれば、また、横可動型レンズ素子を有する高価な特殊レンズを使用することなく改質高解像度画像を生成することができる。
【００１８】
本発明によれば、更に、高解像度画像複数枚を記憶するのに必要であった大容量バッファメモリ無しで改質高解像度画像を生成することができる。
【００１９】
更に、本発明によれば、情報処理難度が高いデブラーリングアルゴリズムを使用することなく改質高解像度画像を生成することができる。
【００２０】
そして、本発明によれば、モーションブラーやノイズの少ない高解像度画像を得ることができる。
【００２１】
以下、上掲のものを含め本発明の諸目的、構成、特徴及び長所をより明瞭に認識・理解することができるよう、別紙特許請求の範囲に記載した発明の好適な実施形態に関し、別紙図面を参照してより詳細に説明する。
【図面の簡単な説明】
【００２２】
【図１】従来及び本発明のセンサ及び処理方法を適用可能な従来型ディジタルスチルカメラシステムのブロック図である。
【図２】従来からあるベイヤ型色フィルタアレイ（ＣＦＡ）パターンをイメージセンサの一部に関し示した図である。
【図３】レッド（Ｒ）、グリーン（Ｇ）及びブルー（Ｂ）画素で従来からよく見られるスペクトル量子効率曲線、より広帯域なパンクロ量子効率曲線、並びにそれらに乗ぜられている赤外光遮断フィルタ伝達特性を示す図である。
【図４】本発明の一実施形態を示すフローチャートである。
【図５】集積低解像度画像の生成手順を示すフローチャートである。
【図６】高解像度画像及び集積低解像度画像に基づく改質高解像度画像の生成手順を示すフローチャートである。
【図７】画像差マップに基づく集積高解像度画像・高解像度画像間結合アルゴリズムの一例を示すフローチャートである。
【図８】画像差マップに基づく集積高解像度画像・高解像度画像間結合アルゴリズムの別例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
ディジタルカメラで使用される撮像デバイスや、それに関連する信号捕捉回路、信号補正回路、露光制御回路等が周知であることを踏まえ、以下の説明では、本発明に係る方法及び装置の構成要素又は直接連携要素といえる要素に的を絞ることとする。本願中に記述や示唆がされていない要素としては、本件技術分野で既知となっている任意のものを使用することができる。また、これから説明する構成要素のうち幾つかはソフトウェアの形態を採っている。本件技術分野に習熟された方々（いわゆる当業者）であれば、本発明に係るシステムについての以下の説明を参照し、本願中に具体的な開示、示唆乃至記述がないが本発明の実施に当たり有用なソフトウェアを発見又は開発することができよう。
【００２４】
図１に、本発明の実施に適した撮像装置の例としてディジタルカメラのブロック構成を示す。ここではディジタルカメラを例に説明するが、本発明は他種撮像装置、例えば携帯電話、自動車等の非カメラデバイスに組み込まれた撮像サブシステムにも同様に適用可能である。まず、この図のカメラでは、被写体を含む物空間からの光１０が撮像段１１に入射し、そこにあるレンズ１２で合焦され、そして固体イメージセンサ２０上に結像する。センサ２０は、その像を画像構成要素即ち画素毎に積分して電気信号に変換する。センサ２０に適するのは電荷結合デバイス（ＣＣＤ）タイプや能動画素センサ（ＡＰＳ）タイプのセンサである。ＡＰＳタイプのセンサは、相補的金属−酸化物−半導体（ＣＭＯＳ）プロセスで製造可能なことからＣＭＯＳセンサと呼ばれることも多い。センサ２０には、後に詳示の如く一群の色フィルタが付設されている。
【００２５】
イメージセンサ２０に到達する光の量は、開口率を変化させるアイリス１４や、光路上に配置された幾つかの中性濃度（ＮＤ）フィルタからなるＮＤフィルタアセンブリ１３によって調節される。シャッタ１８の開放時間でも総光量を調節可能である。露光コントローラ４０は、これら三種類の光量調節部材を、輝度センサ１６で検知される物空間内光量に基づき制御する。
【００２６】
イメージセンサ２０から出力されたアナログ信号は、アナログ信号プロセッサ２２により処理され、アナログディジタル（Ａ／Ｄ）コンバータ２４にてディジタルデータに変換される。タイミング発生器２６は、種々のクロック信号を供給することでローや画素を指定し、またアナログ信号プロセッサ２２やＡ／Ｄコンバータ２４の動作を同期させる。これらセンサ２０、アナログ信号プロセッサ２２、Ａ／Ｄコンバータ２４及びタイミング発生器２６はイメージセンサ段２８を構成している。当該センサ段２８を構成するそれらの機能要素は、ＣＭＯＳイメージセンサでの通例に倣い、互いに別の集積回路で実現することも、共通の集積回路で実現することもできる。Ａ／Ｄコンバータ２４からストリーム的に出力されたディジタル画像データ即ち画素値は、ディジタル信号プロセッサ（ＤＳＰ）３６に付随するメモリ３２に格納される。
【００２７】
図示例では、このＤＳＰ３６と、システムコントローラ５０及び露光コントローラ４０とを併せ、都合３個のプロセッサ乃至コントローラが使用されている。カメラの機能制御はこうしたかたちで複数個のコントローラ乃至プロセッサに担わせるのが一般的であるが、カメラの機能的動作や本発明の適用に支障を及ぼすことなく他の諸形態で複数個のプロセッサ乃至コントローラを協働させることも可能である。そのコントローラ乃至プロセッサは、例えば、単体のＤＳＰ、ＤＳＰの組合せ、マイクロコントローラ、プログラマブル論理デバイス、その他のディジタル論理回路等を備える構成を採る。以下の説明に倣い複数個のコントローラ乃至プロセッサを併用する形態に限らず、自明な通り、所要機能全てを単一のコントローラ乃至プロセッサで担う構成にすることも可能である。これらの変形版構成は、いずれも、同一機能を担い本発明の技術的範囲に属する構成となりうるものである。そこで、その機能を一括する「処理段」なる語を、図１中の処理段３８の如く随時使用することとする。
【００２８】
図示例では、撮像の実行に際し恒久格納元のプログラムメモリ５４からＤＳＰメモリ３２上にコピーされてきた画像処理用のソフトウェアに従い、ＤＳＰ３６がＤＳＰメモリ３２上のディジタル画像データを操作する。ＤＳＰメモリ３２としては種々のランダムアクセスメモリ、例えばＳＤＲＡＭを使用できる。これら、ＤＳＰ３６とＤＳＰメモリ３２、Ａ／Ｄコンバータ２４等々との間は、アドレス信号及びデータ信号用の伝送路たるバス３０によって接続される。
【００２９】
システムコントローラ５０はプログラムメモリ５４、例えばフラッシュＥＥＰＲＯＭ等の不揮発性メモリ上にあるソフトウェアに従いカメラ全体の動作を制御する。このメモリ５４は、イメージセンサ校正データ、ユーザ設定データ等、カメラが動作していないときにも保持しておくべきデータの格納先としても使用できる。システムコントローラ５０は、一連の撮像動作を制御するに当たり、露光コントローラ４０に指令を与えることでレンズ１２、ＮＤフィルタアセンブリ１３、アイリス１４及びシャッタ１８を上述の如く動作させ、タイミング発生器２６に指令を与えることでイメージセンサ２０及びその関連部材を動作させ、またＤＳＰ３６に指令を与えることで取得済のディジタル画像データを処理させる。撮像及び処理が済んだ後は、ＤＳＰメモリ３２上のディジタル画像データに係るファイルがホストインタフェース５７を介しホストコンピュータに転送され、リムーバブルメモリカード６４等の記憶装置内に格納され、またそのデータに基づく画像がユーザ向けに画像ディスプレイ８８上に表示される。
【００３０】
バス５２はアドレス信号、データ信号及び制御信号用の伝送路であり、システムコントローラ５０はこれを介しＤＳＰ３６、プログラムメモリ５４、システムメモリ５６、ホストインタフェース５７、メモリカードインタフェース６０その他のデバイスに接続されている。ホストインタフェース５７はホストコンピュータ例えばパーソナルコンピュータ（ＰＣ）に対する高速接続に使用される部材であり、表示、保存、操作、印刷等の対象となる画像データを転送できるように構成されている。ホストインタフェース５７としては、ＩＥＥＥ（登録商標）１３９４インタフェース、ＵＳＢ２．０準拠のシリアルインタフェース等、任意のディジタルインタフェースを使用することができる。メモリカードインタフェース６０は、ソケット６２に差し込まれたメモリカード６４をシステムコントローラ５０に接続するためのインタフェースである。メモリカード６４の代表例はコンパクトフラッシュ（ＣＦ：登録商標）であるが、その他の記憶装置、例えばＰＣカード、マルチメディアカード（ＭＭＣ）、セキュアディジタル（ＳＤ：登録商標）カード等も使用することができる。
【００３１】
処理が済んだディジタル画像データはシステムメモリ５６内のディスプレイバッファ上にコピーされ、ビデオエンコーダ８０による反復的な読出を通じビデオ信号へと変換される。そのビデオ信号は、外部モニタでの表示用にカメラから直接出力されることもあれば、ディスプレイコントローラ８２にて処理され表示用に画像ディスプレイ８８に供給されることもある。ディスプレイ８８としては、能動マトリクスカラーＬＣＤ（液晶ディスプレイ）をはじめ、各種ディスプレイを使用することができる。
【００３２】
ユーザインタフェース６８は、露光コントローラ４０及びシステムコントローラ５０で実行される一群のソフトウェアに従い制御される。ユーザインタフェース６８としては、ビューファインダディスプレイ７０、露光ディスプレイ７２、ステータスディスプレイ７６及び画像ディスプレイ８８のうち幾つか又は全てと、ボタン、ロッカスイッチ、ジョイスティック、ロータリディスク、タッチスクリーン又はその任意の組合せたるユーザ操作子７４とが使用されている。露光コントローラ４０は光計測、露光モード、自動合焦等の露光関連機能を稼働させ、システムコントローラ５０は画像ディスプレイ８８等のディスプレイ乃至ディスプレイ群におけるグラフィカルユーザインタフェース（ＧＵＩ）の表示を管理する。ＧＵＩとしては、例えば、諸オプションを指定するためのメニューを表示でき、また撮像後の画像チェックに役立つ閲覧モードを実行できるものが使用される。
【００３３】
露光コントローラ４０は、露光モード、レンズ開口率、露光時間（シャッタ速度）、露光指数乃至ＩＳＯ（登録商標；以下注記省略）速度レーティング等を指定する指示がユーザ操作子経由で到来したときに、それ以後の撮像がその指示に従い実行されるようレンズやシャッタに然るべき指令を与える。輝度センサ１６によって物空間内輝度が計測され、ユーザ向けに光量インジケータが表示されるので、ユーザはその表示を参照しつつＩＳＯ速度レーティング、開口率及びシャッタ速度をマニュアルで設定することができる。この場合、ユーザによる設定変更に応じビューファインダディスプレイ７０上の光量インジケータ表示が変化し、露光過剰乃至露光不足の度合いがユーザに通知されることとなる。また、自動露光モードでは、適正露光が維持されるよう、ユーザによる設定変更に応じ露光コントローラ４０が他の設定を自動的に変化させる。例えば、あるＩＳＯ速度レーティング下でユーザがレンズ開口率を小さくすると、露光度合いの帳尻が合うよう露光コントローラ４０が露光時間を自動的に延長させる。
【００３４】
ＩＳＯ速度レーティングはディジタルスチルカメラにとり重要な属性の一つである。まず、ディジタルスチルカメラでは露光時間、レンズ開口率、レンズ透過率、物空間内照明レベル、物空間内スペクトル分布及び物空間内反射率で露光量が決定づけられる。撮像時の露光が不足な場合でも、通常は、そのディジタルスチルカメラ内で電子利得乃至ディジタル利得を上昇させることで、階調を正確に再現することができる。しかし、得られる画像中のノイズ量が許し難いほど多くなることが多い。撮像時の露光が適正ならば、利得を下げて画像内ノイズ量を許容範囲内に収めることができる。撮像時の露光が過剰だと、画像中の高輝度領域での信号レベルが、そのイメージセンサ乃至カメラで処理可能な最大信号レベルよりも高くなることがある。その場合、画像中の明るい領域で打ち切りが生じ、画像の他領域に囲まれた均一輝度領域即ち「飛び」が発生する。従って、露光が適正設定されるようユーザを誘導することが重要である。その際の指針として役立つのがＩＳＯ速度レーティングである。撮影者にとりわかりやすい指針にするため、ディジタルスチルカメラ向けのＩＳＯ速度レーティングはフィルム式カメラ向けのそれと直に関連付けられている。例えば、そのＩＳＯ速度レーティングがいずれも２００なら、ディジタルスチルカメラでもフィルム式カメラでも同じ露光時間及び開口率が最適となる。
【００３５】
これは、ＩＳＯ速度レーティングに関しフィルム式カメラとの調和が求められる、ということである。しかしながら、電子式撮像システムとフィルム式撮像システムの間には、厳密に対等な扱いを妨げる相違点がある。ディジタルスチルカメラの利得が可変で、しかも撮像で得られた画像のデータに対するディジタル処理が可能であるため、様々な露光量下で階調を再現できることである。即ち、ディジタルスチルカメラ向けのＩＳＯ速度レーティングには幅を持たせることができる。この幅のことをＩＳＯ速度幅と呼ぶ。混乱を避けるため、ＩＳＯ速度幅の上限と下限で挟まれた速度範囲内にある速度のうち一つを固有ＩＳＯ速度レーティング、同速度範囲内にあるそれ以外の様々な速度を実効ＩＳＯ速度レーティングと呼んでいる。固有ＩＳＯ速度レーティングの値は、このことを念頭に置き、そのカメラの出力信号特性が所定特性になるようディジタルカメラの合焦面で発生させた露光量から算出される。一般的には、そのカメラでありふれた諸光景を捉えたときの画質がピークになる露光指数値で表され、イメージセンサ上での露光量に反比例している。
【００３６】
ディジタルカメラに関するこうした記述はいわゆる当業者にとり異論のないところであろうし、上述した構成のカメラにコスト低減、構成追加及び性能向上を目的とした変形の余地が多々あることも自明なことであろう。例えば、自動合焦システムの追加やレンズの着脱自在化も可能である。他のモジュールで相応の機能が提供されるものを含め、本発明は種々のディジタルカメラ、より一般にはディジタル撮像装置に適用可能であるので、その点を了解されたい。
【００３７】
次に、本発明に従いこのカメラで撮像する際の動作についてより詳細に説明する。特に断りのない限り、以下の説明におけるイメージセンサは図１に示したイメージセンサ２０のことであるので、その点を了解されたい。まず、図１に示したセンサ２０では、入射光を電気信号に変換して計測に供する感光性の画素が、通例に倣い二次元アレイをなすようシリコン基板上に形成されている。画像構成要素の略たる「画素」の語はイメージセンサに関してもディジタルカラー画像に関しても使用される。前者なら個別感光領域及びそれと連携する電荷シフト回路乃至電荷計測回路のことであり、後者なら画像内個別位置及びその位置における色値のことである。「有色画素」とはある限定されたスペクトル域に亘り有色光応答を呈する画素のことである。「露光期間」と「露光時間」は同じ意味で使用されている。
【００３８】
こうしたイメージセンサ２０に光を入射させると、入射先の画素で自由電子が発生し、その画素に備わる微視的構造内にその自由電子が捕獲される。所定期間内に捕獲された自由電子の個数を計測するか、自由電子の発生速度を計測することで、その画素への入射光量を計測することができる。前者であれば、捕獲された自由電子が蓄積され、シフト操作で画素アレイ外の電荷電圧変換回路へと送られるか（ＣＣＤの場合）、画素付近に配された電荷電圧変換回路構成要素へと送られる（ＡＰＳ乃至ＣＭＯＳセンサの場合）。
【００３９】
得られる画像をカラー化する手段としては、通例に倣い、イメージセンサ内でアレイをなしている画素上に、あるパターンをなすよう色フィルタが配されている。図２に示したのはＲＧＢ各色の色フィルタで形成されるパターンの一例である。これは、特許文献６記載の通り、発明者であるブライス・ベイヤにちなみベイヤ型ＣＦＡパターンと呼ばれるパターンであり、イメージセンサ内で二次元アレイを形成する画素を有色画素化する手段として頻用されている。そうして得られる画素は、それぞれ、特定色の光に対する感度が高い有色光応答を呈する画素になる。図示例ではＲ、Ｇ又はＢ色の光に対する感度が高い有色光応答となるが、マゼンタ、イエロー又はシアン色に対する感度が高い有色光応答が生じるようにしてもかまわない。可視スペクトル域内の特定部分で感度が高く残りの部分で感度が低い有色光応答であればよい。
【００４０】
ただ、図２に示したＣＦＡパターンに従い二次元アレイ化されたイメージセンサを用いるだけでは、画素１個につき一通りの色値が対応する画像しか得られない。得られる画像をフルカラー化するには、何らかの推定乃至補間技術を使用し、画素毎に逸失色を補う必要がある。そうした色フィルタ間推定乃至補間技術は本件技術分野で周知であるので、特許文献７〜９の記載を参照されたい。
【００４１】
また、図２に示したＣＦＡパターンには、個々の画素に入射した光のうちかなりの部分が遮断されるため、光量が不十分な状況にて画像がノイズがちになる、という短所がある。光量が不十分な状況での撮像を好適に行えるようにする手段としては、センサ内でアレイを形成する画素のうち幾つかをパンクロ画素にする、という手段がある。例えば、本願出願人を譲受人とする特許文献１（名称：光感度改善型イメージセンサ(Image Sensor with Improved Light Sensitivity)，発明者：Ｃｏｍｐｔｏｎ  ｅｔ  ａｌ．）には、有色画素とパンクロ画素とを併有するイメージセンサが記載されている。本願でいうところの「パンクロ画素」は、有色光応答を呈する画素のそれに比べ高感度スペクトル域が広く、全体としてはパンクロ（全色性乃至整色性）な画素のことである。即ち、光に対するパンクロ画素の感度は可視スペクトル域全体に亘り高めである。有色光応答を呈する画素のそれに比べ高感度スペクトル域が十分に広ければよいので、パンクロ画素をフィルタ付の構成、例えばＮＤフィルタ付の構成や色フィルタ乃至帯域通過フィルタ付の構成にしてもかまわない。
【００４２】
図３に、一般的なカメラにて使用されＲＧＢ各色の色フィルタを伴う画素の相対的なスペクトル感度を示す。この図の横軸はｎｍ単位の波長、その値域は概ね近紫外域から近赤外域にかけての波長域であり、縦軸は正規化された効率となっている。図示した曲線のうち１１０は、イメージセンサに赤外光（及び紫外光）が到達しないようにする赤外遮断フィルタの典型的なスペクトル伝達特性を表している。こうしたフィルタが必要になるのは、イメージセンサ用色フィルタの多くに赤外線遮断特性がないため、対応する色フィルタの通過域に属する光と赤外光とを個々の画素にて弁別できないからである。曲線１１０で示した赤外遮断特性には、赤外光が可視光信号と誤認されることを防ぐ効果がある。また、曲線１１４、１１６及び１１８は、順に、曲線１１０で表されている赤外遮断フィルタのスペクトル伝達特性をＲＧＢ各色のスペクトル量子効率に乗じて求めたＲＧＢ各色の結合システム量子効率を表している。スペクトル量子効率とは、入射した光子が捕捉されて可計測な電気信号に変換される比率のことであり、ここではＲＧＢ各色のフィルタが付設された一般的なシリコン製イメージセンサでのそれを使用している。これらの曲線１１４〜１１８からご理解頂けるように、いずれの有色光応答も可視スペクトル域の一部のみで有感である。対するに、曲線１１２は、それと同じシリコン製イメージセンサを色フィルタ抜きで、但し上掲の赤外遮断フィルタ付で使用した場合に得られるパンクロ光応答を表している。有色光応答曲線１１４、１１６及び１１８とパンクロ光応答曲線１１２の違いから見て取れるように、パンクロ光応答が有感となるスペクトル域の広さは、どの有色光応答に比べても３〜４倍に達している。
【００４３】
図４に、本発明の一実施形態に係るフローチャートを示す。ステップ４１０では、オペレータがカメラ上の撮像ボタンを押し、そのポジションをＳ０（未押しポジション）からＳ１（半押しポジション）に変化させたことを受け、カメラ内のシステムコントローラ５０に撮像ボタン半押し信号が送られ撮像手順が始まる一方、オペレータによる構図決定が実行される。ステップ４２０では、システムコントローラ５０がその信号に応じ自カメラ内に指令を発し、低解像度撮像の反復や、低解像度撮像で得られた画像（低解像度画像）を余力のあるＤＳＰメモリ３２上に集積させる処理を開始させる。それと同時に、カメラ内システムコントローラ５０の配下で、自動合焦及び自動露光を実行するのが普通である。ステップ４３０では、オペレータが撮像の間合いを図り、撮像ボタンを押してそのポジションをＳ１からＳ２（全押しポジション）に変化させたことを受け、カメラ内のシステムコントローラ５０に撮像ボタン全押し信号が送られる。ステップ４４０では、システムコントローラ５０が、その信号に応じ自カメラ内に指令を発することで、反復的な低解像度撮像による低解像度画像の反復取得を停止させ、更に高解像度撮像を実行させる。そして、ステップ４５０では、低解像度画像の集積で得られた画像（集積低解像度画像）と高解像度撮像で得られた画像（高解像度画像）を結合させることで改質高解像度画像が生成される。これら、低解像度画像及び高解像度画像を撮像で得るプロセスのことを撮像セットと呼ぶことにする。
【００４４】
ステップ４２０で得られる低解像度画像は、プリビュー画像としてカメラ上の画像ディスプレイ８８例えばＬＣＤに表示させることができる。その撮像速度及び表示速度は例えば３０フレーム／秒、空間解像度は例えば３２０カラム×２４０ロー又はＶＧＡ解像度（６４０カラム×４８０ロー）である。この空間解像度は一例であるので、低解像度画像を得る際の空間解像度をより高い値にすることもできる。低解像度画像が撮像されセンサから読み出される頻度は、低解像度画像の空間解像度に反比例する値となる。
【００４５】
ステップ４４０で得られる高解像度画像は、ステップ４２０で得られた低解像度画像に比べ空間解像度が高い画像であり、例えばそのイメージセンサ２０におけるフル空間解像度に等しい空間解像度を有している。
【００４６】
低解像度撮像をＳ１ポジション以外で実行させるようにしてもよい。例えば、撮像ボタンのポジションがＳ０である間に低解像度撮像を複数回行い、ステップ４２０で低解像度画像を集積させるようにしてもよい。ポジションがＳ０からＳ１へと移行する間やＳ１からＳ０へと移行する間も低解像度撮像を継続させることができる。
【００４７】
使用するカメラが１０００万画素のディジタルカメラである場合、撮像セットは例えば次のようなものにすればよい。まず、オペレータが撮像ボタンを押してそのポジションをＳ０からＳ１へと変化させたときに、システムコントローラ５０から自カメラ内に指令が発せられ、反復的低解像度撮像及び低解像度画像集積が開始されるようにする。低解像度画像集積時のビニング倍数は、各低解像度画像の解像度が約１００万画素になるよう９倍即ち縦横各３倍とする。低解像度撮像の速度は３０枚／秒とする。物空間内に存する光の強さによるが、低解像度撮像時の露光時間は各回１／３０秒以下でよい。その撮像で得られた画像同士を結合させる処理は、直近の撮像で得られた画像を集積済の画像に結合させることで、メモリ上に存する画像の枚数が２枚だけになるよう実行させる。また、撮像ボタンが押されＳ２ポジションに変化したときに、高解像度撮像が１回行われるようにする。その高解像度撮像はイメージセンサのフル解像度即ち１０００万画素で行うようにする。高解像度撮像時の露光時間は、物空間内に存する光の強さやカメラ・光景間のモーション次第で、低解像度撮像時の露光時間に比し短め、長め、同程度のいずれにもなりうる。こうした撮像セットを完遂することで、集積を経た１００万画素画像１枚と１０００万画像１枚とが得られる。
【００４８】
図５に、図４に示した低解像度撮像兼集積ステップ４２０の詳細を示す。ステップ５１０として示す通り、オペレータが撮像ボタンを押してそのポジションをＳ１にしてから更に押してＳ２にするまでの間は、低解像度撮像及び低解像度画像集積が反復的に実行される。即ち、低解像度撮像を実行するステップ５２０及びその画像を集積低解像度画像に結合させるステップ５３０が反復される。本実施形態では、低解像度画像同士を集積的に結合させて集積低解像度画像を構成するのに、いわゆる当業者にとり周知の無限インパルス応答フィルタが使用される。本願でいうところの「無限インパルス応答フィルタ」とは、任意の瞬間における濾波出力（集積低解像度画像）が、直近の低解像度画像と先行する低解像度画像とをいずれも正の低解像度画像別荷重で加重結合させた画像になる、といった特性を呈するフィルタのことである。撮像で得られた低解像度画像と集積低解像度画像との間の関係は、具体的には次の式
Ａ［１］＝Ｃ［１］
Ａ［ｎ］＝（１−α）Ａ［ｎ−１］＋αＣ［ｎ］  （但しｎ＞１）
で示す関係となる。この式中、Ａは集積低解像度画像の画素値、Ｃは撮像で得られた低解像度画像の画素値である。［］内の数値（例えばｎ）は、その画像の撮像時点（例えばｎ回目の撮像）を表している。この式によれば、集積低解像度画像として初期設定されるのは１回目の撮像で得られた低解像度画像である。初期設定が済んだ後は、撮像のたびに、直近の低解像度画像と集積低解像度画像との加重結合を以て集積低解像度画像が逐次更新される。パラメタαは、直近の画像（最新フレーム）に課される相対的重要性を表すパラメタであり、その値域は（０，１）、好適値は０．２５である。
【００４９】
この撮像・集積方式であれば、どの時点でも、記憶容量が低解像度画像２枚分、即ち直近の低解像度画像用のものと集積低解像度画像用のもので足りる。既に集積低解像度画像に結合されている低解像度画像は、そのまま廃棄するようにしてもよいし、自動合焦や自動露光に使用した後廃棄するようにしてもよい。
【００５０】
直近の低解像度画像を結合に先立ち集積低解像度画像に整列させるようにしてもよい。例えば、モーションを推定して補償するステップを実行することで、直近の低解像度画像を集積低解像度画像に整列させるようにするとよい。こうしたモーション推定・補償はカメラのグローバルモーションにもローカルモーションにも効き目がある。グローバルモーションやローカルモーションを推定・補償する技術はいわゆる当業者にとり周知である。
【００５１】
また、本実施形態では、直近の低解像度画像がＣＦＡパターン付の状態に保たれ、同じくＣＦＡパターン付の集積低解像度画像に結合される。これに代え、直近の低解像度画像を色補間しフルカラーの低解像度画像にしてから、やはりフルカラーの集積低解像度画像に結合させるようにしてもよい。
【００５２】
こうして低解像度画像を集積、結合させる手法には、多数の低解像度画像を平均化することによるノイズ低減のメリットを、それらの画像を同時に記憶せずに達成できる、という長所がある。また、より最近に撮像された画像により重い荷重を課すようにすることで、より最近の光景状態を集積低解像度画像により強く反映させることができる。低解像度画像間均等加重平均に比べ、この加重結合で得られる集積低解像度画像は、その後の撮像で得られる高解像度画像に対し整合するものになりやすい。更に、直近の撮像で得られた低解像度画像を集積低解像度画像に結合させる処理は、α＝０．２５の場合、効率的な情報処理で、即ち複雑な乗算操作や除算操作ではなく単純な加算及びシフト操作だけで実行することができる。より最近に撮像された画像に更に重い荷重が課されるα＝０．５の場合も、同様に加算及びシフト操作だけですむ。
【００５３】
図６に、図４に示した低解像度画像高解像度画像結合ステップ４５０の詳細を示す。ステップ４３０でオペレータが撮像ボタンをＳ２ポジションまで押し、ステップ４４０で高解像度撮像が行われているので、このステップ４５０の開始時には既に高解像度画像６１０及び集積低解像度画像６２０が得られている。ステップ６３０では、それらのうち集積低解像度画像６２０に補間・解像度向上処理を施すことで、高解像度画像６１０と同じ解像度の画像（集積高解像度画像）が生成される。本実施形態では、双３次補間を集積高解像度画像生成に使用しているが、いわゆる当業者には自明な通り、この集積高解像度画像生成には様々な補間手法を利用することができる。
【００５４】
また、ステップ６４０では高解像度画像６１０に解像度低減処理が施される。解像度低減処理には例えば画素結合、デシメーション乃至クロッピングが使用される。本実施形態では、この解像度低減ステップ６４０が、ディジタルカメラ等のディジタル撮像装置で高解像度画像の解像度低減に使用される処理と同様の処理を通じ実行される。それによって得られる低解像度画像、即ち使用した撮像装置で生じそうな低解像度画像のことを、代表低解像度画像と呼ぶことにする。
【００５５】
ステップ６５０では、ステップ６３０で使用されたものと同じ手法による補間・解像度向上処理を代表低解像度画像に施すことで、ぼかされた高解像度画像（ボケ高解像度画像）が生成される。本実施形態では、ステップ６３０に倣い双３次補間をボケ高解像度画像生成に使用しているが、いわゆる当業者には自明な通り、このボケ高解像度画像生成には様々な補間手法を利用することができる。
【００５６】
ステップ６６０では、ボケ高解像度画像・集積高解像度画像間の差分算出により残差画像の画素値Ｒが導出される。
【００５７】
ステップ６７０では、その残差画像が画像差マップに変換される。即ち、次の式
ｔ（ｘ，ｙ）＝｜Ｒ（ｘ，ｙ）｜／σB(x,y)
に従い、ボケ高解像度画像におけるノイズ標準偏差の期待値に比した残差画像の画素値を算出することで、画像差マップの値が画素位置（ｘ，ｙ）毎に算出される。
【００５８】
この式中、ｔは画像差マップの値、Ｒは残差画像の画素値、σB(x,y)はボケ高解像度画像内画素に係るノイズ標準偏差を表している。
【００５９】
画像差マップは、次いで、次の式
α＝（１−ｅ-t）／（１＋ｅ-t）
に従い、［０，１］を値域とするマップへと変換される。
【００６０】
この画像差マップは、集積高解像度画像・ボケ高解像度画像間の完全一致を示すα＝０から完全不一致を示すα＝１に亘るマップであり、撮像時に生じた光景内のモーションによる不一致画素の識別に使用することができる。
【００６１】
ステップ６８０では、その画像差マップに基づき高解像度画像及び集積高解像度画像を処理することで改質高解像度画像が生成される。
【００６２】
図７に、図６中のステップ６８０にて実行される手順、即ち画像差マップ７３０に基づき集積高解像度画像６２０を高解像度画像６１０に結合させる手順の一例を示す。
【００６３】
ステップ７４０ではボケ高解像度画像が生成される。即ち、まず、ステップ６４０と同じ要領で高解像度画像に解像度低減処理が施される。解像度低減処理には例えば画素結合、デシメーション乃至クロッピングが使用される。本実施形態では、この解像度低減処理として、ディジタルカメラ等のディジタル撮像装置で高解像度画像の解像度低減に使用される処理と同様の処理が使用される。そして、得られた低解像度画像に対しステップ６５０と同じ要領で補間を施すことで、使用した撮像装置で生じそうな高解像度画像即ちボケ高解像度画像が生成される。
【００６４】
ステップ７５０では、ボケ高解像度画像由来の色情報を集積高解像度画像由来の色情報と結合させることで結合色情報が生成される。これは、次の式
ＣC＝σA／（σA＋σB）・ＣB＋σB／（σA＋σB）・ＣA
に従い実行される。
【００６５】
この式中、ＣCは結合色情報の値（結合色値）、ＣBはボケ高解像度画像由来の色情報の値（色値）、ＣAは集積高解像度画像由来の色情報の値（色値）である。σBはボケ高解像度画像内画素値に含まれるノイズの量の標準偏差、σAは集積高解像度画像内画素値に含まれるノイズの量の標準偏差である。
【００６６】
ステップ７７０では、撮像中に生じるモーションの影響で偽像が生じることを防ぐため、ステップ７５０で得た結合色情報と、高解像度画像由来の色情報７６０とを加重平均することで、最終色情報が生成される。個々の画素に係る最終色情報の値ＣFは次の式
ＣF＝αＣC＋（１−α）ＣH
に従い算出される。
【００６７】
この式中、ＣHは高解像度画像由来の色情報７６０の値、αは画像差マップ７３０の値である。続くステップ７８０では高解像度画像から輝度情報が導出され、ステップ７９０ではその輝度情報とステップ７７０で得た最終色情報との結合で改質高解像度画像が生成される。
【００６８】
図８に、図６中のステップ６８０にて実行される手順、即ち画像差マップ７３０に基づき集積高解像度画像６２０を高解像度画像６１０と結合させる手順の別例を示す。この手順は、ステップ８４０にて、ノイズ低減アルゴリズムに従い高解像度画像が処理されノイズ低減高解像度画像が生じることを前提としている。ステップ７４０におけるボケ高解像度画像の生成はステップ６４０及び６５０でのそれと同様の処理で行われる。これに代え、ステップ６４０及び６５０で生成したものをメモリ上に保持しておくようにしてもよい。ステップ８６０では、ボケ高解像度画像・集積高解像度画像間差分の算出により残差画像が生成される。
【００６９】
ステップ８４０では、高解像度画像に対しノイズ低減アルゴリズムを適用することでノイズ低減高解像度画像が生成される。ノイズ低減手法としては、その高解像度画像におけるノイズの発生状況に相応しい任意の既存手法を使用することができる。
【００７０】
そして、ステップ７９０では、残差画像をノイズ低減高解像度画像と結合させることで改質高解像度画像が生成される。残差画像とノイズ低減高解像度画像を結合させる処理は次の式
ＩF＝ＩC＋（１ーα）ＩR
に従い実行される。
【００７１】
この式中、ＩRは残差画像の画素値、ＩCはノイズ低減高解像度画像の画素値、αは画像差マップ７３０の値である。
【００７２】
本発明によれば、幾つかの長所を有する改質高解像度画像生技術を提供することができる。まず、複数枚の高解像度画像ではなく複数枚の低解像度画像を使用し改質高解像度画像を生成するアルゴリズムであるため、使用する画像の取得に要する時間（遅延時間）が低解像度撮像から高解像度撮像までの短時間となり、撮像プロセス中に生じたモーションの影響が現れにくくなる。しかも、使用するのが低解像度画像であるため高解像度画像中の低周波ノイズが集中的に低減される。即ち、画像中のノイズを抑える上でひどく厄介、不愉快且つ面倒なものとして扱われがちな低周波ノイズ（カラーブロブ）が、低解像度画像の利用を通じ好適に低減される。
【００７３】
本発明には、実施に必要なメモリコスト及び情報処理コストが低く、その出力を一般的な画像処理システムへと直に送ることができる、という長所もある。ＣＦＡパターンを伴う画像のままで低解像度画像を保持し、改質高解像度画像をＣＦＡパターンを伴う改質画像として生成することができるので、改質高解像度画像を画像処理パスに直に帰還入力させることもできる。
【００７４】
本発明は、特に、光量が不足気味の状況で有用である。そうした状況では、一般に、ＳＮ比を許容水準に高めるために露光時間を延ばし十分な量の光を集めようとするものであるが、長時間露光を行うとその露光中のカメラぶれにより画像がぼけることとなりかねない。その点、複数枚の低解像度画像を使用しＳＮ比向上を図っているので、本発明によれば、高解像度撮像に必要な露光時間を縮めること、ひいてはモーションブラーを抑え画像を安定化させる手法を提供することができる。
【００７５】
本発明では、更に、ジャイロスコープ、加速度センサ等の装置からモーション情報を取得し利用することができる。例えば、高解像度撮像中にジャイロスコープから計測結果を取得し、その撮像中に顕著なカメラモーションが生じたか否かを判別し、生じたと判別した場合は撮像を早期に打ち切り、打ち切り前の（又は暫時経過した後の）低解像度撮像の結果に基づきＳＮ比向上を図る一方、モーションブラーの少ない高解像度画像を提供する、といった具合である。
【００７６】
撮像に先立ちジャイロスコープから計測結果を得ておき、それに基づき現時点以降の撮像時カメラモーションを評価し、その結果に従い高解像度撮像時の露光具合を設定することもできる。高解像度撮像時の露光時間が所要露光時間より短くなった場合も、その信号を、低解像度撮像で得られる情報で補うことができる。
【００７７】
システムコントローラ５０に、初期的に導出しておいた目標露光時間に比べ高解像度撮像時の露光時間が常に短い時間になるよう露光時間を設定させることや、低解像度画像を使用し信号損逸分を補償させることも可能である。
【００７８】
本発明は撮像後処理にも役立つ。高解像度画像に適用されるアナログ利得及びディジタル利得を解析し、その値が大きすぎるのであれば低解像度画像に基づき高解像度画像のＳＮ比を高める、といった具合である。
【００７９】
本発明は、複数枚の高解像度画像を撮像で初期取得し、それら高解像度画像を互いにディジタル結合させて集積低解像度画像を生成し、その集積低解像度画像を最終撮像回の高解像度画像に結合させる、といった形態で実施することもできる。この場合、複数枚の高解像度画像がイメージセンサから読み出されるので、結合済画像の高速読出という効果は生じない。ただ、高解像度画像同士の結合で１枚の集積低解像度画像が生成されるので、メモリコストはやはり低くなる。集積低解像度画像を生成しているので、一般に除去しにくく目立ちやすい画像内低周波ノイズが低減され、低周波ＳＮ比が高い高解像度画像が得られる。
【００８０】
各低解像度画像のフレームレート、解像度及び露光条件は撮像条件やカメラ性能に基づき定めればよい。例えば、本実施形態では、どの方向についても、低解像度画像の解像度が高解像度画像のそれに比し約１／３倍に設定されている。こうした解像度低減倍率であれば、それら低解像度画像に従い高解像度画像の低周波ＳＮ比が改善される一方、高解像度画像中の高周波成分が保持される。高周波成分が保持されるので、空間解像度が等しいが光景内モーションの影響でコンテンツが部分的に違う画像同士を結合させるにもかかわらず、可視偽像が生じにくくなる。また、本実施形態では、カメラによる低解像度画像の撮像速度が３０枚／秒（所要解像度画像に係る最高撮像速度が３０枚／秒未満なら当該最高撮像速度）、各低解像度画像の露光時間が１／３０秒、というように、低解像度画像の撮像速度と各低解像度画像の露光時間とが反比例している。更に、本実施形態では、ビニングプロセスで無視される画素の個数が０である。具体的には、各方向３倍というビニング倍率であるので、合計９画素のビニングで１個のビニング後画素値が導出される。撮像対象となる光景が十分な量の光を有していない場合、例えば上述した露光時間・ビニング設定にて露出過剰及び飽和が生じる場合には、各画素の露光時間を短縮するか、ビニング処理中に幾ばくかの画素データを廃棄するか、いずれかの改変を低解像度画像に施せばよい。
【００８１】
いわゆる当業者には自明な通り、本発明に係る方法は様々な形態で実施することができる。
【符号の説明】
【００８２】
１０  光、１１  撮像段、１２  レンズ、１３  中性濃度（ＮＤ）フィルタアセンブリ、１４  アイリス、１６  輝度センサ、１８  シャッタ、２０  固体イメージセンサ、２２  アナログ信号プロセッサ、２４  アナログディジタル（Ａ／Ｄ）コンバータ、２６  タイミング発生器、２８  イメージセンサ段、３０，５２  バス、３２  ＤＳＰメモリ、３６  ディジタル信号プロセッサ（ＤＳＰ）、３８  処理段、４０  露光コントローラ、５０  システムコントローラ、５４  プログラムメモリ、５６  システムメモリ、５７  ホストインタフェース、６０  メモリカードインタフェース、６２  ソケット、６４  リムーバブルメモリカード、６８  ユーザインタフェース、７０  ビューファインダディスプレイ、７２  露光ディスプレイ、７４  ユーザ操作子、７６  ステータスディスプレイ、８０  ビデオエンコーダ、８２  ディスプレイコントローラ、８８  画像ディスプレイ、１１０  フィルタ伝達特性曲線、１１２  全色性（パンクロ）光応答曲線、１１４，１１６，１１８  有色光応答曲線、４１０  撮像ボタンＳ１化、４２０  低解像度撮像兼集積、４３０  撮像ボタンＳ２化、４４０  高解像度撮像、４５０  低解像度画像高解像度画像結合、５１０  撮像ボタンチェック、５２０  低解像度撮像、５３０  低解像度画像集積、６１０  高解像度画像、６２０  集積低解像度画像、６３０，６５０  補間、６４０  解像度低減、６６０，８６０  残差画像生成、６７０  画像差マップ生成、６８０  改質高解像度画像生成、７３０  画像差マップ、７４０  ボケ高解像度画像生成、７５０  結合色情報生成、７６０  高解像度画像内色情報、７７０  最終色情報生成、７８０  高解像度画像に基づく輝度情報生成、７９０  改質高解像度画像生成、８４０  ノイズ低減。
【図１】
2013521706.tif 000003
【図２】
2013521706.tif 000004
【図３】
2013521706.tif 000005
【図４】
2013521706.tif 000006
【図５】
2013521706.tif 000007
【図６】
2013521706.tif 000008
【図７】
2013521706.tif 000009
【図８】
2013521706.tif 000010
【国際調査報告】
2013521706.tif 000011
2013521706.tif 000012
2013521706.tif 000013