(57)【要約】【課題】  情報量の少ない原画像から、時間解像度および空間解像度の両方が高い高解像度画像を生成する。【解決手段】  撮像部１０１は、原画像として例えば１対ｎインターレース画像を取得する。取得された原画像は、書き込み制御部１０２を介してメモリ１０３に蓄積される。信号処理部１０４は、メモリ１０３に蓄積された原画像を用いて、時空間解像度を改善する補間処理を行い、高時空間解像度画像を生成する。【選択図】  図１
2007028208.tif 000002
【特許請求の範囲】
【請求項１】
１フレームの全画素が、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって、読み出されている原画像を、蓄積する蓄積部と、
前記蓄積部に蓄積された前記原画像を用いて、補間処理を行い、前記原画像よりも時空間解像度が向上した出力画像を生成する信号処理部とを備えた
ことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記信号処理部が行う補間処理の条件を設定する設定部を備え、
前記信号処理部は、前記設定部に設定された条件に従って、前記補間処理を行うものである
ことを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記原画像は、１対ｎインターレース画像である
ことを特徴とする画像処理装置。
【請求項４】
請求項３において、
ｎは４以上であり、
ｎ枚のフィールドにおけるインターレースの順番は、読み出される画素の位置が、時空間領域において均等になるように、設定されている
ことを特徴とする画像処理装置。
【請求項５】
請求項１において、
前記信号処理部は、
前記補間処理の実行の際に、画素値の分布、および、画像の動きの分布のうち少なくともいずれか一方に関する、滑らかさの拘束を、用いる
ことを特徴とする画像処理装置。
【請求項６】
請求項１記載の画像処理装置と、
前記原画像を撮影する撮像部とを備えた
ことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記撮像部は、
前記原画像として、１対ｎインターレース画像（ただし、ｎは４以上）を撮像するものであり、かつ、ｎ枚のフィールドにおけるインターレースの順番を、読み出す画素の位置が時空間領域において均等になるように、設定しているものである
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関するものであり、特に、時空間解像度の高い画像を生成する技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラの高画素化が進み、数百万画素のものが製品化されている。また、一部の機種では、動画撮影機能や連続撮影（いわゆる連写）機能を有するものがある。
【０００３】
しかしながら、現状では、動画撮影によって得られる画像は、ＶＧＡ（６４０画素×４８０画素）程度の空間解像度しかなく、また、連写では、１秒あたり数フレーム程度しか撮影できない。このように、従来の撮像装置では、時間解像度と空間解像度の両立が困難であった。
【０００４】
時間解像度と空間解像度の両立を図る技術が、例えば特許文献１に開示されている。特許文献１では、単一の撮像素子を用いて、全画素読み出しによる高空間解像度の静止画像と、間引き読み出しによる低空間解像度の動画像を撮影する。そして、これらの画像を用いて、高空間解像度画像を撮影した時刻と異なる時刻における低空間解像度画像を、高解像度化する。すなわち、任意の時刻における高解像度画像を得ることによって、時間解像度と空間解像度を両立させようとする技術が、開示されている。
【特許文献１】特許第３２４０３３９号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１による撮像装置では、高空間解像度画像を撮影するとき、その画像データの読み出しに時間がかかってしまう。このため、高空間解像度画像の撮影後にデータ読み出しが完了するまでの間、低解像度画像を読み出すことができず、したがって、その期間において、画像の動きを表現できない、という問題があった。
【０００６】
前記の問題に鑑み、本発明は、情報量の少ない原画像から、時間解像度および空間解像度の両方が高い高解像度画像を生成する画像処理技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって、１フレームの全画素が読み出されている原画像を用いて、補間処理を行い、前記原画像よりも時空間解像度が向上した出力画像を生成するものである。
【０００８】
この発明によると、原画像では、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって、１フレームの全画素が読み出されているので、一定時間に読み出される情報量（すなわち読み出しレート）はほぼ一定になる。そして、この、各フィールドが部分的に画素データを有する原画像を用いて、補間処理を行うことによって、原画像よりも時空間解像度が向上した出力画像を、生成することができる。
【０００９】
また、補間処理を行う場合の条件を任意に設定することによって、出力画像の時空間解像度を、可変にすることができる。
【００１０】
また、原画像としては、具体的には例えば、１対ｎインターレース（本願明細書では、「マルチインターレース」と呼ぶ。）画像である。
【発明の効果】
【００１１】
本発明によると、読み出しレートがほぼ一定の原画像から、時空間解像度を向上させることができるので、原画像の動きの表現を損なうことなく、より適切な高解像度画像を生成することができる。
【００１２】
具体的には例えば、マルチインターレース読み出しした原画像から、ハイビジョン（幅約２０００画素×高さ約１０００画素）を越える高空間解像度で、かつ、視覚特性上十分な高時間解像度（３０フレーム毎秒もしくは６０フィールド毎秒以上の時間解像度）の出力画像を生成することができ、かつ、時空間解像度を可変にできる。
【発明を実施するための最良の形態】
【００１３】
本発明の第１態様では、１フレームの全画素が、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって読み出されている原画像を蓄積する蓄積部と、前記蓄積部に蓄積された前記原画像を用いて補間処理を行い、前記原画像よりも時空間解像度が向上した出力画像を生成する信号処理部とを備えた画像処理装置を提供する。
【００１４】
本発明の第２態様では、前記信号処理部が行う補間処理の条件を設定する設定部を備え、前記信号処理部は、前記設定部に設定された条件に従って前記補間処理を行うものである前記第１態様の画像処理装置を提供する。
【００１５】
本発明の第３態様では、前記原画像は１対ｎインターレース画像である前記第１態様の画像処理装置を提供する。
【００１６】
本発明の第４態様では、ｎは４以上であり、ｎ枚のフィールドにおけるインターレースの順番は、読み出される画素の位置が時空間領域において均等になるように、設定されている前記第３態様の画像処理装置を提供する。
【００１７】
本発明の第５態様では、前記信号処理部は、前記補間処理の実行の際に、画素値の分布および画像の動きの分布のうち少なくともいずれか一方に関する滑らかさの拘束を用いる前記第１態様の画像処理装置を提供する。
【００１８】
本発明の第６態様では、前記第１態様の画像処理装置と、前記原画像を撮影する撮像部とを備えた撮像装置を提供する。
【００１９】
本発明の第７態様では、前記撮像部は、前記原画像として、１対ｎインターレース画像（ただし、ｎは４以上）を撮像するものであり、かつ、ｎ枚のフィールドにおけるインターレースの順番を、読み出す画素の位置が時空間領域において均等になるように、設定している前記第６態様の撮像装置を提供する。
【００２０】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２１】
（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置のブロック図である。図１において、１０１はマルチインターレース読み出しを行い、１対ｎインターレース画像（ｎは３以上の整数）を原画像として取得する撮像部、１０２は撮像部１０１によって取得された原画像をメモリ１０３に書き込む書き込み制御部、１０３は原画像を記憶するメモリ、１０４はメモリ１０３に蓄積された原画像を用いて、時空間解像度を改善する補間処理を行い、出力画像としての高時空間解像度画像を生成する信号処理部、１０５は撮像部１０１の撮像動作および信号処理部１０４の信号処理の条件を設定する設定部である。書き込み制御部１０２およびメモリ１０３によって、蓄積部１０６が構成されている。また、撮像部１０１以外の、蓄積部１０６、信号処理部１０４および設定部１０５によって、本実施形態に係る画像処理装置が構成されている。なお、撮像部１０１および信号処理部１０４の動作を可変にする必要がない場合は、設定部１０５は必ずしも設ける必要はない。
【００２２】
図２は本実施形態に係る撮像装置の動作のイメージ図である。図２に示すように、撮像部１０１によって１対ｎインターレース動画像１７１が撮像され、この原画像としての１対ｎインターレース動画像１７１から、信号処理部１０４が、フルフレーム動画像１７２（各画像がフィールド画像ではなくフレーム画像である動画像）を出力画像として出力する。図２において、実線は実際に読み出されたラインおよび実際に出力されたラインを示しており、破線は実際には読み出されなかったラインを示している。
【００２３】
以下、図１の構成における各部の動作について詳細に説明する。
【００２４】
設定部１０５は、１対ｎインターレースのｎの値、信号処理部１０４が生成する高解像度画像の大きさ・サイズ、および、フレームレートを設定する。なお、本実施形態では、ｎの値としては、１０程度以下の値を想定している。
【００２５】
撮像部１０１はマルチインターレース読み出しを行う。図３は、ｎ＝３のときのマルチインターレース（１対３インターレース）読み出しの動作を示している。図３において、２０１，２０２，２０３，…，２０ｋは所定時間間隔で撮像および読み出しがなされたフィールド画像を示す。実線は撮像素子に対して実際に読み出しを行うラインを示しており、破線は撮像素子に対して読み出しを行わないラインを示している。図３から分かるように、読み出しを行うラインは、３フィールド周期で、フィールド毎に変化している。すなわち、読み出しラインが互いに異なる３枚のフィールドによって、１フレームの全画素が読み出されている形になっている。マルチインターレース読み出しによって、読み出しレート（１秒あたりに読み出す画素数）が同一の場合、各時刻における画像の画素数が減るため空間的解像度は減少するものの、動画像の時間的解像度は高めることができる。
【００２６】
本実施形態では、信号処理部１０４による時空間解像度の改善処理の効果を際だたせるために、インターレースの順番を、読み出される画素の位置が時空間領域において均等となるように、設定する。
【００２７】
図４は、ｎ＝８のときのインターレースの順番の一例を示す図である。図４において、３０１は撮像素子である。図４では、読み出し順の一例として、第１フィールドでは３ライン目から８ラインおきに読み出し、第２フィールドでは６ライン目から８ラインおきに読み出し、第３フィールドでは２ライン目から８ラインおきに読み出す、という様に、隣接するフィールド同士で読み出しラインが連続しないようにしている。
【００２８】
図５〜図１０は読み出される画素の位置が時空間領域において均等となるように設定した、インターレースの順番の例である。各図では、画像のｙ方向（ライン）と時間ｔ方向（フィールド）との２次元平面において、読み出しラインの順番を示しており、ハッチが付された箇所が、実際に読み出される画素（ライン）を表している。例えば図８は、ｎ＝７の場合を示しており、読み出すラインの順番が、３→６→１→４→７→２→５の順に設定されている。
【００２９】
図５〜図１０では、それぞれ、ｎライン・ｎフィールド分しか図示していないが、実際の読み出しは、図示したパタンをｙｔ平面において時空間的に展開して用いればよい。
【００３０】
なお、図５〜図１０に示すような読み出し順は、例えば次のようにして決定すればよい。すなわち、補間すべき画素（ハッチが付されていない画素）と補間の際に参照する最近傍の読み出し画素（ハッチが付された画素）との距離ｄ
【数１】
2007028208.tif 000003
（（ｙ，ｔ）は補間すべき画素の座標値、（ｙs，ｔs）は距離ｄを最小にする参照画素の座標値、λは重み係数）に着目し、全ての補間すべき画素についてのこの距離ｄの平均値が最小になるような読み出し順を、決定すればよい。
【００３１】
あるいは、読み出し画素同士の距離ｄ
【数１Ａ】
2007028208.tif 000004
（（ｙs，ｔs）は着目している読み出し画素の座標値、（ｙsｍ，ｔsｍ）は（ｙs，ｔs）に最も近い他の読み出し画素の座標値）に着目し、全ての読み出し画素についてのこの距離ｄの平均値が最小になるような読み出し順を、決定してもよい。
【００３２】
なお、ここでは、ｎ＝４〜９の場合について示したが、ｎがそれ以外の値の場合であっても、もちろん、上述したような手法によって、読み出される画素の位置が時空間領域において均等となるように、インターレースの順番を設定できる。
【００３３】
なお、図４では１チャンネルの読み出し系統を用いる場合を示したが、例えば図１１のように、２チャンネルの読み出し系統を用いて、空間解像度を高めるようにしてもよい。４０１、４０２はそれぞれ撮像素子である。
【００３４】
書き込み制御部１０２は、撮像部１０１によって撮像されたマルチインターレース画像をメモリ１０３に書き込む。メモリ１０３には、数フィールドの遅延が許される用途の場合には、現フィールドを含む前後ｎフィールド程度を記憶することが望ましい。一方、遅延が許されない用途の場合には、現フィールドおよびその前のｎフィールド程度を記憶することが望ましい。
【００３５】
＜時空間解像度の改善処理＞
信号処理部１０４は、メモリ１０３に蓄えられた１対ｎインターレース画像を読み出し、次式を最小化して、時空間解像度の改善処理を行う。
【数２】
2007028208.tif 000005
ここで、Ｈはサンプリング過程、ｆは復元すべき高空間解像度かつ高時間解像度の画像、ｇは撮像部１０１によって撮像された１対ｎインターレース画像、Ｍはべき指数、Ｑは復元すべき画像ｆが満たすべき条件（すなわち拘束条件）である。
【００３６】
ｆおよびｇは、動画像の各画素値を要素とする縦ベクトルである。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、復元すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。ｎ＝１０で１：１０インターレース撮像する場合、ｇの要素数はｆの１０分の１となり、６００００００となる。ｆの縦横の画素数と信号処理に用いるフレーム数は、設定部１０５によって設定される。サンプリング過程Ｈは、ｎフィールド周期でｆをサンプリングする。Ｈは、行数がｇの要素数と等しく、列数がｆの要素数と等しい行列である。
【００３７】
なお、現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数２）を最小化するｆを単一の処理で求めることはできない。この場合、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、復元すべき動画像ｆを計算することができる。
【００３８】
次に、サンプリング過程Ｈの定式化を簡単な例を用いて説明する。幅２画素（ｘ＝１，２）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像を１：２（ｎ＝２）インターレースでサンプリングする場合、
【数３】
2007028208.tif 000006
【数４】
2007028208.tif 000007
より、サンプリング過程は
【数５】
2007028208.tif 000008
と定式化される。（数３）において、Ｉは輝度値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。カラー画像の場合は、ｒ，ｇ，ｂの値について独立に考えてもよく、また、ｒ，ｇ，ｂの３つの値を同時に考えて、ｆを復元すべき画素数の３倍の要素数のベクトルと考えてもよい。ｇは１対ｎインターレース読み出しによって得た画像なので、その画素数は、全画素読み出しした画像のｎ分の１である。
【００３９】
（数２）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。
【００４０】
（数５）はｆをインターレースによりサンプリングしてｇを得る過程を示すが、逆に、ｇからｆを復元する問題は、一般に逆問題といわれるものである。拘束条件Ｑのない場合、
【数６】
2007028208.tif 000009
を最小化するｆは無数に存在する（サンプリングされない画素値は任意の値を取り得るため）。そのため、（数６）の最小化によってｆを一意に解くことはできない。ｆについての一意な解を得るために、Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。
【００４１】
画素値ｆの分布に関する滑らかさの拘束としては、
【数７】
2007028208.tif 000010
や、
【数８】
2007028208.tif 000011
を用いる。ここで、∂ｆ／∂ｘは復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｘ方向の１階の微分値を要素とする縦ベクトル、∂ｆ／∂ｙは復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｙ方向の１階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｘ2は復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｘ方向の２階の微分値を要素とする縦ベクトル、∂2ｆ／∂ｙ2は復元すべき動画像の各画素における画素値Ｉ（ｘ，ｙ，ｔ）のｙ方向の１階の微分値を要素とする縦ベクトルである。また、｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数２）、（数６）におけるべき指数Ｍの場合と同様に、１または２が望ましい。
【００４２】
なお、画像ｆの画素値Ｉの分布に関する滑らかさの拘束としては、（数７）、（数８）に限らず、例えば、（数９）に示す２階の方向微分の絶対値のｍ乗としてもよい。
【数９】
2007028208.tif 000012
ここで、ベクトルｎminおよび角度θは１階の方向微分の２乗が最小になる方向であり、
【数１０】
2007028208.tif 000013
である。
【００４３】
さらに、画像ｆの画素値Ｉの分布に関する滑らかさの拘束としては、
【数１１】
2007028208.tif 000014
または、
【数１２】
2007028208.tif 000015
または、
【数１３】
2007028208.tif 000016
として、ｆの画素値のこう配に応じて拘束条件を適応的に変化させてもよい。ここで、ｗ（ｘ，ｙ）は画素値のこう配の関数であり、拘束条件に対する重み関数である。例えば、（数１４）
【数１４】
2007028208.tif 000017
に示す画素値のこう配成分のべき乗和が、大きい場合にはｗ（ｘ，ｙ）の値が小さく、逆の場合にはｗ（ｘ，ｙ）の値が大きくなる様にすると、ｆの輝度こう配に応じて拘束条件を適応的に変化させることができる。この様な重み関数を導入することにより、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。
【００４４】
また、（数７）に示す輝度こう配の成分の２乗和の代わりに、（数１５）に示す方向微分のべき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。
【数１５】
2007028208.tif 000018
ここで、ベクトルｎmaxおよび角度θは方向微分が最大になる方向であり、
【数１６】
2007028208.tif 000019
である。
【００４５】
（数７）〜（数９）、（数１１）〜（数１３）に示した様な、動画像ｆの画素値Ｉの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、公知の解法（有限要素法等の変分問題の解法）によって計算することができる。
【００４６】
ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、
【数１７】
2007028208.tif 000020
または、
【数１８】
2007028208.tif 000021
を用いる。ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数１７）、（数１８）に限らず、例えば（数１９）、（数２０）に示す１階または２階の方向微分としてもよい。
【数１９】
2007028208.tif 000022
【数２０】
2007028208.tif 000023
【００４７】
さらに、（数２１）〜（数２４）に示すように、（数１７）〜（数２０）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。
【数２１】
2007028208.tif 000024
【数２２】
2007028208.tif 000025
【数２３】
2007028208.tif 000026
【数２４】
2007028208.tif 000027
ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数と同一のものであり、（数７）に示す画素値のこう配の成分の２乗和、または、（数１２）に示す方向微分の２乗によって定義されるものである。この様な重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、復元される画像ｆが必要以上に平滑化されることを防ぐことができる。
【００４８】
（数１７）〜（数２４）に示した様な、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数２）を解く問題は、復元すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するため、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。これに対しては、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。
【００４９】
なお、（数７）〜（数９）、（数１１）〜（数１３）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数１７）〜（数２４）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数２５）の様に同時に用いてもよい。
【数２５】
2007028208.tif 000028
ここで、Ｑf はｆの画素値のこう配に関する滑らかさの拘束、Ｑuvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ1 ，λ2 はＱf とＱuvの拘束に関する重みである。
【００５０】
画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数２）を解く問題も、公知の解法（ＥＭアルゴリズム等を用いた変分問題の解法）によって計算することができる。
【００５１】
図１２は本実施形態に係る撮像装置の動作タイミングの一例を示す図である。図１２において、撮像部１０１によって露光、撮像されたフィールド画像は、順次メモリ１０３に書き込まれ、着目フィールドとその前後のフィールドの画像が書き込まれたタイミングで、信号処理部１０４が時空間解像度改善処理を実行する。このような動作により、高解像度画像がフールド毎に生成される。
【００５２】
また、信号処理部１０４による時空間解像度改善処理は、数フィールド毎（ｎ１フィールド毎）に行い、ｎ１フィールド分の高解像度画像を一括して生成してもよい。
【００５３】
また、マルチインターレース画像全体を一旦蓄積してから、信号処理部１０４が全フィールドについて時空間解像度改善処理を実行し、全フィールドの高解像度画像を生成するようにしてもよい。ただしこの場合、マルチインターレース画像全体を蓄積するために、必要となるメモリ容量が大きくなる。
【００５４】
さらに、特定のフィールドについての高空間解像度画像のみを生成することも、もちろん可能である。また、表示側のディスプレイの性能にあわせて、時空間解像度を適切に変更したり、高時空間解像度の画像の一部の領域だけを表示させることも、もちろん可能である。
【００５５】
すなわち、本実施形態における原画像は、１フレームの解像度がＣＩＦやＮＴＳＣ程度の画素数のものから、ＨＤＴＶやそれ以上の４ｋ×２ｋ（水平４０００画素×垂直２０００画素）や８ｋ×４ｋ（水平８０００画素×垂直４０００画素）までの画素数のものを、用いることができる。原画像のフィールド周期は、例えば、６０分の１秒ないし３０分の１秒程度である。一方、出力画像としては、原画像と同様に、ＣＩＦやＮＴＳＣから４ｋ×２ｋ、８ｋ×４ｋの解像度のフレーム画像を、３０フレーム／秒または６０フレーム／秒の動画像として生成することができる。さらに、ディスプレイの方式に応じて、出力画像を１：２のフィールド画像とすることも、もちろん可能である。
【００５６】
以上述べたように本実施形態によると、マルチインターレース画像を用いて、時空間解像度を改善する補間処理を行うことによって、時空間解像度がより高い動画像を生成することができる。また、マルチインターレース画像において、時間的空間的に概ね均等な間隔で画素を読み出すことによって、補間演算によって画素値を決定する着目画素と、補間演算に用いる参照画素（実際に読み出された画素）との時間的、空間的な距離が、均等に小さくなるので、生成される高解像度画像の精度がより高まる。
【００５７】
（第１の実施形態の変形例）
上述の第１の実施形態は、撮像部１０１におけるアクセス単位がライン毎であり、ＣＣＤ撮像素子およびＣＭＯＳ撮像素子の両方に適用可能である。これに加えて、アクセス単位を画素毎にして本発明を実現することも可能である。この変形例は、ＣＭＯＳ撮像素子のようなランダムアクセスが可能な素子に適用可能である。この場合も、原画像において、読み出し画素位置が互いに異なるｎ（ｎは３以上の整数）枚のフィールドによって、１フレームの全画素が読み出されるように、すればよい。
【００５８】
図１３〜図１６は本変形例における読み出し画素配置の一例であり、それぞれ、ｎ＝４，８，９，１０の場合を示している。各図では、連続するｎフィールドについて、画像のｘｙ平面において読み出される画素の位置を示しており、ハッチが付された箇所が、実際に読み出される画素を表している。このｘｙｔ空間内の読み出し画素の配置についても、第１の実施形態で説明した読み出しライン順の決定方法と同様の計算によって、決定することができる。
【００５９】
図１３〜図１６では、それぞれ、（ｎ×ｎ）画素・ｎフィールド分しか図示していないが、実際の読み出しは、図示したパタンをｘｙ平面において空間的に展開し、時間的に繰り返し用いればよい。また、ここでは、ｎ＝４，８，９，１０の場合について示したが、ｎがそれ以外の値であっても、もちろん、同様に読み出し位置を決定することができる。
【００６０】
第１の実施形態における読み出し方法は、ｘ方向には密なサンプリングを行い、ｙ方向にはフィールド毎に異なるラインにおいてサンプリングを行うものといえる。これに対して、本変形例に係る読み出し方法によると、ｘｙｔ時空間内でのサンプル位置をより均一にすることができるので、信号処理部１０４による時空間解像度改善処理がより効果的に実現される。
【００６１】
図１７は本実施形態に係る画像処理方法を示すフローチャートである。図１７において、Ｓ１１は原画像を撮像する撮像ステップ、Ｓ１２は撮像した原画像データをメモリに蓄積するデータ蓄積ステップ、Ｓ１３は蓄積された原画像を用いて高解像度画像を生成する信号処理ステップである。
【００６２】
また、ｎの値は固定されていてもよいが、撮影前にｎの値を設定するようにしてもよい。図１８はこの場合の画像処理方法を示すフローチャートであり、図１７の各ステップＳ１１〜Ｓ１３の前処理として、ｎの値を設定する設定ステップＳ２１が実行される。
【００６３】
また、図１７および図１８の画像処理方法は、コンピュータで実行可能なプログラムによって、コンピュータによって行ってももちろんかまわない。
【００６４】
さらに、本発明に係るシステムを、撮像部と信号処理部とが物理的に分離された構成によって実現してもよい。図１９は本発明に係る撮像システムの構成の一例である。図１９において、１２１はネットワーク網１２２に接続されたサーバーであり、蓄積部１０６および信号処理部１０４を備えている。撮像部１０１によって撮像された原画像は、ネットワーク網１２２を介して、サーバー１２１の蓄積部１０６に蓄積される。
【００６５】
図２０は本発明に係る撮像システムの他の構成例であり、図１９の構成要素に加えて、ｎの値を設定する設定部１３１が設けられている。さらに、設定部１３１は撮像部１０１と物理的に離れた場所にあってもよい。図２１はそのような本発明に係る撮像システムの構成例である。
【産業上の利用可能性】
【００６６】
本発明によると、例えばＣＣＤ素子のようなライン単位のアクセスを行う素子や、ＣＭＯＳ素子のようなランダムアクセスが可能な撮像素子を用いて撮像した、複数フィールドによって１フレーム分の画素が読み出されている動画像を用いて、時空間解像度が改善された画像を生成することができる。これにより、例えば、携帯電話、デジタルスチルカメラ等の連写機能等で撮影された画像から滑らかな動画を生成できたり、また、監視用カメラのコマ飛び映像から滑らかな動画を生成することも可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施形態に係る撮像装置のブロック図である。
【図２】図１の撮像装置の動作のイメージ図である。
【図３】マルチインターレース読み出しの動作を概念的に示す図である。
【図４】インターレースの順番の一例を示す図である。
【図５】ｎ＝４の場合における読み出しライン順の一例を示す図である。
【図６】ｎ＝５の場合における読み出しライン順の一例を示す図である。
【図７】ｎ＝６の場合における読み出しライン順の一例を示す図である。
【図８】ｎ＝７の場合における読み出しライン順の一例を示す図である。
【図９】ｎ＝８の場合における読み出しライン順の一例を示す図である。
【図１０】ｎ＝９の場合における読み出しライン順の一例を示す図である。
【図１１】２チャンネルの読み出し系統を用いた構成を示す概念図である。
【図１２】図１の撮像装置の動作タイミングの一例を示す図である。
【図１３】ｎ＝４の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。
【図１４】ｎ＝８の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。
【図１５】ｎ＝９の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。
【図１６】ｎ＝１０の場合の、各フィールドにおける読み出し画素の配置の例を示す図である。
【図１７】本発明の一実施形態に係る画像処理方法を示すフローチャートである。
【図１８】本発明の一実施形態に係る画像処理方法を示すフローチャートである。
【図１９】本発明に係る撮像システムの構成の一例である。
【図２０】本発明に係る撮像システムの構成の一例である。
【図２１】本発明に係る撮像システムの構成の一例である。
【符号の説明】
【００６８】
１０１  撮像部
１０２  書き込み制御部
１０３  メモリ
１０４  信号処理部
１０５  設定部
１０６  蓄積部
１７１  １対ｎインターレース動画像（原画像）
１７２  フルフレーム動画像（出力画像）
【図１】
2007028208.tif 000029
【図２】
2007028208.tif 000030
【図３】
2007028208.tif 000031
【図４】
2007028208.tif 000032
【図５】
2007028208.tif 000033
【図６】
2007028208.tif 000034
【図７】
2007028208.tif 000035
【図８】
2007028208.tif 000036
【図９】
2007028208.tif 000037
【図１０】
2007028208.tif 000038
【図１１】
2007028208.tif 000039
【図１２】
2007028208.tif 000040
【図１３】
2007028208.tif 000041
【図１４】
2007028208.tif 000042
【図１５】
2007028208.tif 000043
【図１６】
2007028208.tif 000044
【図１７】
2007028208.tif 000045
【図１８】
2007028208.tif 000046
【図１９】
2007028208.tif 000047
【図２０】
2007028208.tif 000048
【図２１】
2007028208.tif 000049