(57)【要約】蓄積部（２０２）の一部の第１の領域について、プログレッシブ走査用シフトレジスタ（２０６）によって生成された読み出しパルスを用いて、全ての行の蓄積単位画素（２２１）から信号を読み出すプログレッシブ読み出しを行う。一方、第１の領域以外の全領域を含む第２の領域については、飛び越し走査用シフトレジスタ（２０５）によって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素（２２１）から信号を読み出す飛び越しライン読み出しを行う。プログレッシブ走査用シフトレジスタ（２０６）は、第１の領域が、フレーム毎に移動し、かつ、複数のフレームにわたって蓄積部（２０２）の領域全体を走査するよう、読み出しパルスを生成する。【特許請求の範囲】
【請求項１】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、
前記プログレッシブ走査用シフトレジスタは、
前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成することを特徴とする撮像素子。
【請求項２】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、
前記飛び越し走査用シフトレジスタは、
前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項３】
請求項２において、
前記飛び越し走査用シフトレジスタは、
複数のフレームにわたって、前記飛び飛びの行の位置が前記第２の領域全体を走査するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、撮像素子に関し、特に、一画面中に画素密度が混在している動画データを取得するために用いる撮像素子に関するものである。
【背景技術】
【０００２】  従来から、一画面中に画素密度が混在している動画データを取得するための構成として、次のようなものが提案されている。【０００３】  特許文献１では、同一フレームから、間引き走査による全体画像情報と、全画素走査による高解像度部分画像情報とを同時に得られるようにした画像入力装置が、開示されている。すなわち、走査制御手段が、画素アレイの連続する所定領域の画素群のみを全画素走査するとともに、画素アレイの残りの領域の画素群については間引き走査を行っている。【０００４】  特許文献２では、低解像度の全体映像と高解像度の部分映像とを、同時にかつ高速に取得可能な映像入力装置が、開示されている。すなわち、低解像度の全体映像データを出力する低解像度全体映像走査部と、高解像度の部分映像データを出力する高解像度部分映像走査部とを備え、これらを予め定めたフレーム周期内で切り替えて、低解像度全体映像データと高解像度部分映像データとを順次出力させる。また、低解像度全体映像データに基づいて、次フレームにおける高解像度部分映像の切り出し位置を自動的に決定する。
【特許文献１】特開２０００−３２３１８号公報
【特許文献２】特開２００４−１８０２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】  しかしながら、従来の技術には、次のような問題があった。【０００６】  特許文献１に開示された技術によると、一画面内に、全画素走査領域と間引き走査領域とが含まれている。ところがこの全画素走査領域は、予め設定された所定の位置に固定されている。このため、例えば、全画素走査領域の位置をフレーム毎に変更することによって、高解像度部分画像情報をフレーム全体について取得する、といった処理は実現できず、また、このような処理について想定もされていない。【０００７】  また、間引き走査についても、走査を行う位置は予め所定の位置に設定されている。このため、間引き走査によって得られる全体画像情報は、各フレームにおいて、全て同一の走査位置の画像データから形成されることになり、したがって、画質が低下する可能性がある。【０００８】  特許文献２では、各フレームにおける高解像度部分映像の切り出し位置は、固定されておらず、前フレームにおける低解像度全体映像データに基づいて、自動的に決定されている。すなわち、高解像度部分映像の位置はフレーム毎に変化する。しかしながら、例えば、高解像度部分映像をフレーム全体について取得するために、意図的に、高解像度部分映像の位置を移動させる、といった処理は実現できず、また、このような処理について想定もされていない。【０００９】  また、低解像度全体映像データについて、走査を行う位置は予め所定の位置に設定されている。このため、低解像度全体映像データは、各フレームにおいて、全て同一の走査位置の画像データから形成されることになり、したがって、画質が低下する可能性がある。【００１０】  前記の問題に鑑み、本発明は、一画面中に画素密度が混在している動画データを取得するための撮像素子として、高解像度画像部分の情報をフレーム全体について取得可能にすることを課題とする。【００１１】  また、本発明は、一画面中に画素密度が混在している動画データを取得するための撮像素子として、低解像度画像部分について、画質を向上させることを課題とする。
【課題を解決するための手段】
【００１２】  本発明では、蓄積単位画素が２次元配置された蓄積部における一部の第１の領域については、プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う。その一方で、第１の領域以外の全領域を含む第２の領域については、飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行う。この結果、第１の領域については、高解像度画像が得られるとともに、第２の領域については、それよりも解像度が低い低解像度画像が得られる。【００１３】  そして、プログレッシブ走査用シフトレジスタは、第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、第１の領域が蓄積部の領域全体を走査するよう、読み出しパルスを生成する。このため、高解像度画像が得られる第１の領域は、フレーム毎に、複数のフレームにわたってフレーム全体を占めるように、移動することになる。したがって、高解像度画像部分の情報を、フレーム全体について取得することが可能になる。【００１４】  あるいは、飛び越し走査用シフトレジスタは、飛び飛びの行の位置がフレーム毎に移動するよう、読み出しパルスを生成する。このため、低解像度画像が得られる第２の領域において、画像読み出しが行われる行が、フレーム毎に移動することになる。したがって、いわゆるインターレース読み出しが実現されることになり、低解像度画像部分の画質が向上する。
【発明の効果】
【００１５】  本発明によると、高解像度画像が得られる第１の領域は、フレーム毎に、複数のフレームにわたってフレーム全体を占めるように、移動するので、高解像度画像部分の情報を、フレーム全体について取得することが可能になる。また、低解像度画像が得られる第２の領域において、画像読み出しが行われる行が、フレーム毎に移動するので、いわゆるインターレース読み出しが実現されることになり、低解像度画像部分の画質が向上する。
【図面の簡単な説明】
【００１６】
【図１】図１は、参考例に係る画像処理方法における録画プロセスを示すフローチャートである。
【図２】図２は、参考例に係る画像処理方法における高解像度化プロセスを示すフローチャートである。
【図３】図３は、参考例における録画プロセスおよび高解像度化プロセスの例を示す概念図である。
【図４】図４は、図１のステップＳ１３の処理の一例を示すフローチャートである。
【図５】図５は、図２のステップＳ２３の処理の一例を示すフローチャートである。
【図６】図６は、図４のステップＳ１３２におけるテクスチャ特徴量への変換手法の一例を示す図である。
【図７】図７は、変換後のテクスチャ特徴量を示す図である。
【図８】図８は、本発明の第１の実施形態に係る画像処理装置の構成例を示す図である。
【図９】図９は、図８における画素密度混在撮像部の構成例を示す概念図である。
【図１０】図１０は、画素密度混在撮像素子による画素読み出し方法の一例を示す図である。
【図１１】図１１は、画素密度混在撮像素子による画素読み出し方法の一例を示す図である。
【図１１Ａ】図１１Ａは、時空間均等読み出しを示す概念図である。
【図１１Ｂ】図１１Ｂは、時空間における均等性を考慮した読み出しパターンを示す図である。
【図１２】図１２は、本発明の第１の実施形態に係る撮像素子の回路構成の例を示す図である。
【図１３】図１３は、図１２の撮像素子における撮像単位画素の回路構成例を示す図である。
【図１４】図１４は、図１２の撮像素子における蓄積単位画素の回路構成例を示す図である。
【図１５】図１５は、図１２の撮像素子における飛び越し走査用シフトレジスタの回路構成例を示す図である。
【図１６】図１６は、図１２〜図１５に示す撮影素子の撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。
【図１７】図１７は、図１６の高速Ｖ転送期間における動作を示すタイミングチャートである。
【図１８】図１８は、図１６の水平読み出し期間の動作を示すタイミングチャートである。
【図１９】図１９は、図１２のセレクタの出力を示すタイミングチャートである。
【図２０】図２０は、本発明の第１の実施形態におけるテクスチャ変換処理を概念的に示す図である。
【図２１】図２１は、分析コードブックおよび再生コードブックの作成手法を示す図である。
【図２２】図２２は、本発明の第１の実施形態に係る画像表示部の構成を示す図である。
【符号の説明】
【００１７】２０１  撮像部
２０２  蓄積部
２０３  読み出し用シフトレジスタ
２０５  飛び越し走査用シフトレジスタ
２０６  プログレッシブ走査用シフトレジスタ
２０７  セレクタ
２０８  読み込み用シフトレジスタ
２１１  撮像単位画素
２２１  蓄積単位画素
ｐ２ｓｔｒ  信号線
ｒｄ−ｐ  読み出しパルス供給線
ｔｒｎ  転送パルス供給線
ｓｉｇ−ｏｕｔ  信号出力線
ｒｄ−ｓ  読み出しパルス供給線
【発明を実施するための最良の形態】
【００１８】  本発明の第１態様では、入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部とを備え、前記出力部は、前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、前記プログレッシブ走査用シフトレジスタは、前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する撮像素子を提供する。【００１９】  本発明の第２態様では、入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部とを備え、前記出力部は、前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、前記飛び越し走査用シフトレジスタは、前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する撮像素子を提供する。【００２０】  本発明の第３態様では、前記飛び越し走査用シフトレジスタは、複数のフレームにわたって、前記飛び飛びの行の位置が前記第２の領域全体を走査するよう、前記読み出しパルスを生成する前記第２態様の撮像素子を提供する。【００２１】  まず、本発明の撮像素子が用いられる参考例となる画像処理方法について、説明する。【００２２】  （参考例）
図１および図２は本発明の参考例に係る画像処理方法を示すフローチャートである。図１はシーンを撮影する場合の録画プロセスを示し、図２は録画した動画データを再生、表示する場合の高解像度化プロセスを示す。図１および図２のプロセスは、一般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれぞれ対応する。【００２３】  図１の録画プロセスでは、まず時刻ｔにおける低解像度画像ＬＦ（ｔ）を取得して記録する（Ｓ１１）。またこれとともに、画像フレームの一部を占めるウインドウ領域において、高解像度画像ＨＷＦ（ｔ）を取得する（Ｓ１２）。この高解像度画像ＨＷＦ（ｔ）は以降の処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、この解像度が異なる画像ＬＦ（ｔ），ＨＷＦ（ｔ）から、解像度変換ルールとしての高解像度化パラメータＰ（ｔ）を学習し記録する（Ｓ１３）。次に、ウインドウ領域の設定位置を他の位置へ移動する（Ｓ１４）。そして、録画が続行されていれば次の時刻ｔ＋１での処理に進み（Ｓ１６）、録画が完了すれば、プロセスを終了する（Ｓ１５）。【００２４】  ステップＳ１３では、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）とについてそれぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化する。このパラメータＰ（ｔ）のことを、本願明細書において、高解像度化パラメータと呼ぶ。その実体は、低解像度テクスチャＴＦＬを入力して高解像度テクスチャＴＦＨを出力する関数またはテーブル
ＴＦＨ＝Ｆｕｎｃｔｉｏｎ（ＴＦＬ，ｔ）  …（式１）
に他ならない。この高解像度化パラメータを解像度変換ルールとして用いる。【００２５】  図２の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画データＬＦ（ｔ）および録画プロセスで学習された高解像度化パラメータＰ（ｔ）を取得する（Ｓ２１）。そして、動画データの１フレームを取得し（Ｓ２２）、当該フレームについて高解像度化パラメータを用いて高解像度化を行う（Ｓ２３）。全フレームについて完了したときはプロセスを終了し（Ｓ２４）、そうでないときは、次のフレームの処理に進む（Ｓ２５）。【００２６】  ここで、ステップＳ２３では、当該フレームにおいて学習した高解像度化パラメータだけでなく、その前後の少なくとも１つのフレームにおいて学習した高解像度化パラメータも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは、画像の一部であるウインドウ領域のみにおいて高解像度化パラメータを学習しているに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば、当該フレームの時刻ｔに対して時間Ｔだけの前後期間を含む期間の高解像度化パラメータＰ（ｔ’）を適用すればよい。すなわち、
ｔ−Ｔ≦ｔ’≦ｔ＋Ｔ  …（式２）【００２７】  図３は本参考例における録画プロセスおよび高解像度化プロセスの例を概念的に示す図である。図３では、低解像度動画データＬＦ（ｔ）の各フレームは８×８画素の画像からなり、画像全体を４分割した１個の領域をウインドウ領域ＷＤ１〜ＷＤ４としている。ウインドウ領域ＷＤ１〜ＷＤ４の設定位置はフレーム毎に変化しており、ここでは副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動している。もちろん、ウインドウ領域の形状や移動方法はこれに限定されるものではないが、説明の便宜上、簡単な例を挙げている。【００２８】  そして、ウインドウ領域ＷＤ１〜ＷＤ４内では、ウインドウ領域外の領域よりも高解像度で撮像を行い、高解像度画像ＨＷＦ（ｔ）を得る。ここでは、ウインドウ領域内では、他領域に対して縦横２×２倍の画素密度によって撮像を行うものとする。なお、後述するように、ウインドウ領域内は高解像で撮像し、ウインドウ領域外は低解像度で撮像した、一画面中で画素密度が混在している動画データを取得するようにしてもかまわない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。【００２９】  画素密度混在動画データを取得した場合、ウインドウ領域外では低解像度画像が記録されるが、ウインドウ領域内では高解像度画像しか記録されない。ただし、ウインドウ領域における低解像度画像は再度取得する必要はなく、高解像度画像に対して間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、このモデル化は、光学系や撮像素子の開口形状を考慮することによって現実に近い形に高精度化することができる。例えば、高解像度画像に対してＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）をガウス型関数との畳み込み演算として実施し、次にこれを２次元的に一定の幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。【００３０】  いま、時刻ｔに着目すると、画像を縦方向に４分割した各部分領域ＡＲ１〜ＡＲ４について、上から順に、時刻ｔ−２のウインドウ領域ＷＤ１、時刻ｔ−１のウインドウ領域ＷＤ２、時刻ｔのウインドウ領域ＷＤ３および時刻ｔ−３のウインドウ領域ＷＤ４が、それぞれ対応している。すなわち、時刻ｔでは、各部分領域ＡＲ１〜ＡＲ４に対応する高解像度化パラメータが、すでに、時刻ｔ−２，ｔ−１，ｔ，ｔ−３において学習済になっている。動画データのフレームレートを１／３０（ｓｅｃ）とすると、時刻ｔ−３から時刻ｔまでの時間経過は約１／１０（ｓｅｃ）程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻ｔ−３から時刻ｔまでの高解像度化パラメータを適用することは有効である。【００３１】  また、時刻ｔにおける低解像度画像の領域は、時刻ｔに加えて、
・時刻（ｔ−１）または時刻（ｔ＋３）
・時刻（ｔ−２）または時刻（ｔ＋２）
・時刻（ｔ−３）または時刻（ｔ＋１）
において、必ず高解像度にて取得されているという性質がある。このため、前後３フレームの高解像度化パラメータを適用することによって、その時間内に大きなシーン変化が無い限り、高解像度化は有効であるといえる。これは、上の（式１）においてＴ＝３とすることに相当する。【００３２】  図３に示すように、各時刻において、高解像度化パラメータＰ（ｔ−３），Ｐ（ｔ−２），…が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームについて、各部分領域に対して、その位置にウインドウ領域が対応しており、かつ、時刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を行えばよい。例えば、時刻ｔにおける画像ＬＦ（ｔ）の場合には、画像の上部から順に、部分領域ＡＲ１に対しては高解像度化パラメータＰ（ｔ−２）を、部分領域ＡＲ２に対しては高解像度化パラメータＰ（ｔ−１）を、部分領域ＡＲ３に対しては高解像度化パラメータＰ（ｔ）を、そして部分領域ＡＲ４に対しては高解像度化パラメータＰ（ｔ＋１）を、それぞれ適用すればよい。なお、例えば部分領域ＡＲ１に対しては、高解像度化パラメータＰ（ｔ＋２）を適用してもよいし、部分領域ＡＲ２に対しては、高解像度化パラメータＰ（ｔ＋３）を適用してもかまわない。【００３３】  なお、図３では４分割の例を示したが、画像全体をｎ（ｎは２以上の整数）分割した１個の領域をウインドウ領域とし、ｎ個のフレームにわたって画像全体を占めるように、ウインドウ領域を移動させてもよい。また、これ以外でも、ウインドウ領域は、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい。【００３４】  図４は図１におけるステップＳ１３の処理の一例を示すフローチャートである。ここでは、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。まず、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）の画像サイズを合わせるために、低解像度画像ＬＦ（ｔ）を補間拡大する（Ｓ１３１）。次に、後述する３段階のスケーリングによるウェーブレット変換を用いて、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）をウェーブレット変換する（Ｓ１３２）。最後に、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）のウェーブレット係数の対応関係を、画素位置ごとに、蓄積する（Ｓ１３３）。この対応関係が、高解像度化パラメータＰ（ｔ）となる。【００３５】  図５は図２におけるステップＳ２３の処理の一例を示すフローチャートである。ここでは、ある期間における高解像度化パラメータＰ（ｔ’）を適用して、高解像度化を行う。まず、低解像度画像ＬＦ（ｔ）を補間拡大して画像サイズを高解像度画像ＨＷＦ（ｔ）に合わせる（Ｓ２３１）。次に、低解像度画像ＬＦ（ｔ）をウェーブレット変換し（Ｓ２３２）、高解像度化パラメータＰ（ｔ’）を用いてウェーブレット係数を置換する（Ｓ２３３）。そして、逆ウェーブレット変換を行い、高解像度画像に変換する（Ｓ２３４）。ステップＳ２３３において、図３で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度化パラメータを用いてもよい。あ���いは、ある期間における高解像度化パラメータを１つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。【００３６】  図６は図４のステップＳ１３２におけるウェーブレット変換の例を示す図である。図６において、第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２，Ｈ２Ｈ１，Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向へ分解され、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。【００３７】  図６のようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテクスチャ特徴量ＴＦ１である。【００３８】  以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌  Ｖｏｌ．Ｊ７９Ａ  １９９６／５（１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ１３におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。ここから、（式１）によって示した高解像度化パラメータＰ（ｔ）が算出される。【００３９】  本参考例では、撮影時に、画像の一部であるウインドウ領域のみにおいて高解像度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成する。このような処理にした利点は、以下のとおりである。【００４０】  第１に、高解像度化パラメータは、別の動画データから事前学習によって求めておくのではなく、後で実際に高解像度化する動画データの被写体自身に関して学習できるため、高精度の画像処理が実現できることである。また高解像度化パラメータは時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しない。【００４１】  第２に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面内の位置と直接的には無関係であり、ウインドウ領域をいかに移動しても、その影響を受けることはあまりない、ということである。したがって、ウインドウを適宜移動して画像全体をカバーすることにより、画面全域からの情報を十分に利用できる。【００４２】  なお、図１に示す録画プロセスと図２に示す高解像度化プロセスは、典型的には、録画プロセス、高解像度化プロセスの順に実施されるが、例えば中継放送のように、カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロセスを時間的に並行して実施してもかまわない。【００４３】  また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化プロセスで高解像度化するものとしたが、これ以外でも例えば、図３に示したようないわゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセスで高解像度化する、という態様にしてもかまわない。【００４４】  以下、本発明の実施の形態について、図面を参照して、詳細に説明する。【００４５】  （第１の実施形態）
本発明の第１の実施形態では、上述の参考例をベースとして、具体的な装置構成を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロセスを実行するものとする。画素密度混在撮像部は、後述するとおり、ＣＭＯＳ型撮像センサ等のＸＹアドレス型撮像素子を用いて構成される。【００４６】  図８は本実施形態に係る撮像素子が用いられる画像処理装置であって、ビデオムービーカメラに応用した構成例を示すブロック図である。図８の画像処理装置１０は、レンズ１０１、画素密度混在撮像部１０２、低解像度動画データの１フレームＬＦ（ｔ）を蓄積する低解像度フレームメモリ１０３、低解像度動画データＤＬＦを録画する低解像度動画記録部１０４、１フレーム内のウインドウ領域における高解像度画像ＨＷＦ（ｔ）を蓄積する高解像度ウインドウメモリ１０５、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を画像処理によって低解像度に変換する低解像度変換部１０６、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を用いて高解像度化パラメータＰ（ｔ）を学習する高解像度化パラメータ学習部１２０、高解像度化パラメータＤＰを記録する高解像度化パラメータ記録部１０９、全体制御部１１０および録画ボタン１１１を備えている。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）をテクスチャ特徴量に変換するテクスチャ変換部１０７、低解像度画像の画素サイズを補正した後、テクスチャに変換する画像サイズ補正・テクスチャ変換部１１２、およびテクスチャの対応関係を学習するテクスチャ学習部１０８を備えている。なお、ここでは、画素密度混在撮像部１０２はライン単位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路１１５が、画素密度混在撮像部１０２と低解像度フレームメモリ１０３との間に設けられている。【００４７】  録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および低解像度動画記録部１０４に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、低解像度画像ＬＦ（ｔ）が低解像度フレームメモリ１０３内にフレームごとに蓄積される。そして低解像度動画記録部１０４は、低解像度フレームメモリ１０３に蓄積された低解像度画像ＬＦ（ｔ）を時間的に連続して動画データとし、さらに圧縮などの処理を行って、低解像度動画データＤＬＦとして蓄積メディアやネットワーク上に記録する。【００４８】  全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。【００４９】  なお、低解像度変換部１０６の出力は低解像度フレームメモリ１０３にも供給されている。これは、画素密度混在撮像部１０２は、ウインドウ領域内は高解像度画像のみを取得しており、低解像度画像を読み出していないので、低解像度画像ＬＦ（ｔ）において欠落したウインドウ領域の部分を補充するためである。【００５０】  録画ボタン１１１の押下が解除されると、上述した動作は停止する。【００５１】  図８の構成において、画素密度混在撮像部１０２から低解像度動画記録部１０４までは例えばハードウエアによって構成でき、また、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９は、ＣＰＵまたはＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを中心に構成することも可能である。【００５２】  図９は画素密度混在撮像部１０２の構成例を示す概念図である。図９において、３板方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている。３板方式では、ダイクロックプリズム１３１によって波長帯域がレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂが割り当てられる。信号処理回路１３３はこれら画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂからの出力を処理して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号とに分離されて出力される。【００５３】  動画データの記録には、このＹＣｒＣｂ形式が用いられる。一方、テクスチャ学習には、このＹＣｒＣｂ形式のまま輝度色差信号を全て用いてもよいし、輝度Ｙ信号のみを用いてもよい。ただし、高解像度化倍率が４×４を超える場合には、人視覚系の輝度成分と色成分の周波数応答特性比率から考えると、輝度Ｙのみの高解像度化では画質的に不十分であるため、色差ＣｒＣｂの両方を別個に高解像度化する必要がある。したがって、４×４以上の倍率の場合には、テクスチャ学習にはレッドＲ、グリーンＧ、ブルーＢの３信号成分を用いてもよい。図９の構成では、レット、グリーン、ブルー全てに画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂを割り当て、かつ、動画データ記録方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度Ｙと２種類の色差Ｃｒ，Ｃｂ信号を独立に用いるものとする。【００５４】  図１０は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。図１０において、ハッチが付された画素が読み出し対象画素である。なお、実用的撮像素子は２０００×３０００個程度の画素を有するが、ここでは簡単のため、１６×１６画素すなわち垂直（Ｖ方向）１６ライン、水平（Ｈ方向）１６ラインの２次元センサを例として描いている。（Ａ）〜（Ｄ）は時間的に連続する４個のフレームにそれぞれ対応している。【００５５】  図１０から分かるよ���に、２５６（＝１６×１６）個の画素は、全画素読み出しを行う範囲（高解像度画像を取得するウインドウ領域に相当）と、それ以外の飛び越し読み出しを行う範囲とに分離されている。ウインドウ領域は下から上に順に移動しており、（Ａ）から（Ｄ）までの４フレームを１周期として、ウインドウ領域の位置は同様の移動を繰り返す。【００５６】  ウインドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図１０では、画像全体を均等に１６分割した仮想的なブロックの概略中心を、低解像度画像の読み出し画素位置として設定している。この方法によって、水平Ｈ、垂直Ｖ方向それぞれに１／４に間引きされた低解像度画像が得られる。図１０では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（７，１１，１５）、（Ｂ）では（３，１１，１５）、（Ｃ）では（３，７，１５）、（Ｄ）では（３，７，１１）となっている。【００５７】  このように、全ラインを読み出すウインドウ領域は、垂直方向に４ラインづつ規則的に移動させ、それ以外の場所では、垂直方向に３ラインを固定位置で読みだす。この方法により、同一画素を２回読み出すことなく、画素密度混在撮像を行うことができる。本実施形態では、この読み出し方法を用いるものとする。【００５８】  図１１は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である。図１１の例では、低解像度画像の読み出し方法が図１０と異なっている。この方式では、ウインドウ領域における全ライン読み出しとは独立に、１／４に間引きされた低解像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出しが重複することも許している。図１１では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（１，５，９，１３）、（Ｂ）では（２，６，１０，１４）、（Ｃ）では（３，７，１１，１５）、（Ｄ）では（４，８，１２，１６）となっている。黒く塗りつぶされた画素は、重複読み出しが行われるものである。この方法では、飛び越し読み出しの画素だけで低解像度動画データを構成することが可能となる。このため、低解像度画像において欠落したウインドウ領域を補充するための、低解像度変換部１０６から低解像度フレームメモリ１０３への画素値の供給処理が、不要になるという利点がある。【００５９】  時空間サンプリングの均等化について説明する。上述の参考例では、高解像度ウインドウ領域の学習によって高解像度化が実現できるが、前処理として通常の補間処理が実施される。動画の場合、この補間処理を時空間（空間ｘｙと時間ｔの）について行うと、時間方向の高画質化に効果的である。時空間をｙ−ｔ空間とした場合、時空間で予め走査線の均等読み出しを行った方が、この補間処理が良好になる。この考えに基づいて、図１１では、フレーム毎に異なる位置での読み出しを行っている。【００６０】  これを時空間で表現すると、図１１Ａに示すように、各フレーム毎に異なる位相で飛び越しライン読み出しが実施され、ｎフレームで一周するように読み出しが行われる。図１１Ｂはｎが４，５の場合に、実際に時空間における均等性を考慮した読み出しパタ���ンである。本発明は、このように１周期内で自由に飛び越しラインのパターンを設定できるような撮像素子を前提にしている。【００６１】  ＜本実施形態に係る撮像素子の構造＞
図１２は本実施形態に係る撮像素子としての画素密度混在撮像素子の構造の一例を示す回路ブロック図である。図１２では、垂直１６ライン、水平１６ラインの２次元センサを例として示しており、図１１で示したような読み出し方法を実現するものとする。なお、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というように、ラインを基準とした用語を用いるものとする。【００６２】  撮像素子は概略、入射光の光電変換を行う撮像単位画素２１１が２次元配置（アレイ配置）された撮像部２０１と、撮像単位画素２１１にそれぞれ対応して蓄積単位画素２２１が２次元配置されており、入射光に対して遮光部を備えた蓄積部２０２とを備えている。そして撮像部２０１と蓄積部２０２とは、撮像部２０１から蓄積部２０２へ信号電荷を移動する信号線ｐ２ｓｔｒによって接続されている。【００６３】  撮像部２０１の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シフトレジスタ２０３、およびリセットパルスをライン毎に順次シフトするリセット用シフトレジスタ２０４が設けられている。読み出しパルスは読み出しパルス供給線ｒｄ−ｐを介して、リセットパルスはリセットパルス供給線ｒｓｔ−ｐを介して、撮像部２０１の各撮像単位画素２１１に送られる。読み出しパルスを受けた撮像単位画素２１１は信号電荷を出力し、リセットパルスを受けた撮像単位画素２１１は信号電荷をリセットする。【００６４】  蓄積部２０２の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出力する飛び越し走査用シフトレジスタ２０５、「プログレッシブ読み出し」に用いる読み出しパルスを出力するプログレッシブ走査用シフトレジスタ２０６、飛び越し走査用シフトレジスタ２０５およびプログレッシブ走査用シフトレジスタ２０６の出力のいずれかを選択して蓄積部２０２に供給するセレクタ２０７、および、撮像部２０１から蓄積部２０２に信号電荷を転送する際に用いる読み込み用シフトレジスタ２０８が設けられている。セレクタ２０７から出力される読み出しパルスは、読み出しパルス供給線ｒｄ−ｓを介して蓄積部２０２の各蓄積単位画素２２１に供給される。また、読み込み用シフトレジスタ２０８から出力された転送パルスは、転送パルス供給線ｔｒｎを介して蓄積部２０２の各蓄積単位画素２２１に供給される。【００６５】  プログレッシブ走査用シフトレジスタ２０６は、全ライン読み出しの高解像度画像を毎フレーム部分的に読み出す（例えば、毎フレーム１／４画面ずつ出力し、４フレームにて１画面を構成する）ためのパルスを、発生する。すなわち、プログレッシブ走査用シフトレジスタ２０６は、蓄積部２０２の一部の第１の領域に与える読み出しパルスを生成する。そして、プログレッシブ走査用シフトレジスタ２０６は、第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、この第１の領域が蓄積部２０２の領域全体を走査するよう、読み出しパルスを生成する。【００６６】  一方、飛び越し走査用シフトレジスタ２０５は、飛び越しライン読み出しの低解像度画像を毎フレーム１画面得るためのパルスを、発生する。��なわち、飛び越し走査用シフトレジスタ２０５は、第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する。そして、飛び越し走査用シフトレジスタ２０５は、この飛び飛びの行の位置がフレーム毎に移動するよう、読み出しパルスを生成する。さらに、飛び越し走査用シフトレジスタ２０５は、この飛び飛びの行の位置が第２の領域全体を走査するよう、読み出しパルスを生成する。飛び越し走査用シフトレジスタ２０５に関しては、別途図１５にて詳細を説明する。【００６７】  その他、セレクトトランジスタ群２０９、水平シフトレジスタ２１０および出力アンプ２１１が設けられている。蓄積部２０２の各蓄積単位画素２２１に蓄積された信号電荷は、信号出力線ｓｉｇ−ｏｕｔを介して、水平シフトレジスタ２１０によって選択された順番にもとづき、セレクトトランジスタ群２０９および出力アンプ２１１を通じて、外部に出力される。【００６８】  また、タイミング発生回路２１２は、読み出し用シフトレジスタ２０３、リセット用シフトレジスタ２０４、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み込み用シフトレジスタ２０８、水平シフトレジスタ２１０、およびリセットパルス供給線ｒｓｔ−ｓにパルスを供給する。ただし、タイミング発生回路２１２は、撮像素子とは別のチップに分割搭載されていてもかまわない。【００６９】  信号線ｐ２ｓｔｒ、読み出し用シフトレジスタ２０３、読み出しパルス供給線ｒｄ−ｐ、読み込み用シフトレジスタ２０８、転送パルス供給線ｔｒｎによって、転送部が構成されている。また、信号出力線ｓｉｇ−ｏｕｔ、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み出しパルス供給線ｒｄ−ｓによって、出力部が構成されている。【００７０】  図１３は撮像単位画素２１１の構成の一例を示す図である。図１３の構成は、オーソドックスな３トランジスタ構成である。すなわち、光によって信号電荷を発生するフォトダイオードＰＤ、ゲートが読み出しパルス供給線ｒｄ−ｐに接続されており、信号電荷を信号線ｐ２ｓｔｒに出力するための読み出し用トランジスタＴＲ１、ソースフォロアトランジスタＴＲ２、および、ゲートがリセットパルス供給線ｒｓｔ−ｐに接続されており、蓄積された信号電荷をリセットするリセット用トランジスタＴＲ３を備えている。【００７１】  図１４は蓄積単位画素２２１の構成の一例を示す図である。図１４の構成は、４トランジスタと１キャパシタで構成されている。すなわち、ゲートが転送パルス供給線ｔｒｎと接続されたトランジスタＴＲ４、信号線ｐ２ｓｔｒおよびトランジスタＴＲ４を通じて撮像単位画素２１１から転送された信号電荷を蓄積するための蓄積容量Ｃ−ｓｔｒ、ゲートが読み出しパルス供給線ｒｄ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒに蓄積された信号電荷を信号出力線ｓｉｇ−ｏｕｔに読み出すためのトランジスタＴＲ５、ゲートがリセットパルス供給線ｒｓｔ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒをＧＮＤレベルにリセットするためのトランジスタＴＲ６、およびソースフォロアトランジスタＴＲ７を備えている���【００７２】  図１５は飛び越し走査用シフトレジスタ２０５の構成の一例を示す図である。図１５において、飛び越し走査用シフトレジスタ２０５は、飛び越しライン指定レジスタ２５１、ライン群走査シフトレジスタ２５２、およびＤラッチ２５３などから構成されている。その動作の詳細は、後述する。【００７３】  図１６は図１２〜図１５に示す画素密度混在撮像素子における撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。図１６では、連続する４フレーム期間の概略動作を示している（ただし、図示の都合上、第３フレームを省略している）。【００７４】  第１フレームにおいて、撮像部２０１におけるラインＰＤＲ１の露光時間Ｔ１が終了すると、続く転送期間Ｔ１１において、ラインＰＤＲ１上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ１の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。続いてラインＰＤＲ２の露光時間Ｔ２が終了すると、続く転送期間Ｔ２１において、ラインＰＤＲ２上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ２の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。【００７５】  このような読み出し・転送動作が、高速Ｖ転送期間Ｔｐ２ｓｔｒおいて、１６本のラインＰＤＲ１〜ＰＤＲ１６について、順次実行される。すなわち、露光時間中に各撮像単位画素２１１内のフォトダイオードＰＤにおいて光電変換された信号電荷は、高速Ｖ転送期間Ｔｐ２ｓｔｒにおいて、撮像部２０１から蓄積部２０２に転送され、蓄積される。【００７６】  第１フレームにおいて蓄積部２０２に蓄積された信号電荷は、次の第２フレームの水平読み出し期間において、外部に読み出される。第２フレームでは、ラインＳＴＲ５〜ＳＴＲ８の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ２，ＳＴＲ６，ＳＴＲ１０，ＳＴＲ１４の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。【００７７】  以降のフレームにおいても、同様の走査が行われる。第４フレームでは、ラインＳＴＲ１３〜ＳＴＲ１６の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ４，ＳＴＲ８，ＳＴＲ１２，ＳＴＲ１６の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。【００７８】  なお、図１６では、各フレームにおいて、プログレッシブ読み出しを４ライン連続で行い、飛び越し読み出しを４ラインおきの４ラインについて行うものとしている��、読み出すライン数はこれに限られるものではなく、また、プログレッシブ読み出しと飛び越し読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読み出しをｎライン連続で行い、飛び越し読み出しをｍラインおきに行うようにしてもよい。また、簡単のため、例えば第２フレームでは、ラインＳＴＲ６について重複読み出しを行うものとしているが、重複させる必要は必ずしもない。【００７９】  図１７は高速Ｖ転送期間Ｔｐ２ｓｔｒにおける動作を示すタイミングチャートである。図１７において、第１フレームのラインＰＤＲ１において、露光時間Ｔ１が終了すると、読み出しパルス供給線ｒｄ−ｐに読み出しパルスが供給される。この読み出しパルスは、図１３の撮像単位画素２１１におけるトランジスタＴＲ１のゲートに印加され、フォトダイオードＰＤの信号電荷に相当する信号電位はソースフォロアトランジスタＴＲ２を介して、信号線ｐ２ｓｔｒに出力される。ラインＳＴＲ１において、転送パルス供給線ｔｒｎに転送パルスが供給されると、この転送パルスは図１４の蓄積単位画素２２１におけるトランジスタＴＲ４のゲートに印加され、信号線ｐ２ｓｔｒからトランジスタＴＲ４を介して蓄積容量Ｃ−ｓｔｒに信号電荷が転送される。【００８０】  読み出しパルスの供給後に、リセットパルス供給線ｒｓｔ−ｐにリセットパルスが供給される。このリセットパルスは図１３の撮像単位画素２１１におけるトランジスタＴＲ３のゲートに印加され、これにより、フォトダイオードＰＤがリセットされる。【００８１】  このような動作により、撮像部２０１の各ラインＰＤＲ１〜ＰＤＲ１６における撮像単位画素２１１の信号電荷は、蓄積部２０２の対応するラインＳＴＲ１〜ＳＴＲ１６の蓄積単位画素２２１に、全て転送される。【００８２】  図１８は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチャートである。図１８において、タイミング発生回路２１２からクロックＣＫが供給される。第１フレームの水平読み出し期間では、クロックＣＫから、選択信号ｓｅｌ−Ｈ／Ｌによって切り出されたシフトクロックＣＫ−Ｈが、プログレッシブ走査用シフトレジスタ２０６に与えられる。プログレッシブ走査用シフトレジスタ２０６は、このシフトクロックＣＫ−Ｈと、タイミング発生回路２１２から供給されたシフトデータＤａｔａ−Ｈ（図示せず）とを受けて、ラインＳＴＲ１〜ＳＴＲ４に向けて、読み出しパルスを出力する。第２フレームの水平読み出し期間では、プログレッシブ走査用シフトレジスタ２０６は、ラインＳＴＲ５〜ＳＴＲ８に向けて、読み出しパルスを出力する。【００８３】  ここで図１５に示すように、飛び越し走査用シフトレジスタ２０５は、当該フレームにおける飛び越しラインを決定する飛び越しライン指定レジスタ２５１と、複数のラインを同位相で走査するためのライン群走査シフトレジスタ２５２とを備えている。まず、飛び越しライン指定レジスタ２５１は、タイミング発生回路２１２から供給されたクロックＣＫ−Ｌ１および飛び越しライン選択データＤａｔａ−Ｌ１を受けて、出力Ｌ１〜Ｌ１６のうち、当該フレームにおける飛び越し走査ラインに対応するものを“Ｈ”にする。第１フレームでは、Ｌ１���Ｌ５，Ｌ９、Ｌ１３が“Ｈ”になる。【００８４】  次に、ライン群走査シフトレジスタ２５２は、タイミング発生回路２１２から供給されたデータシフト用クロックＣＫ−Ｌ２およびデータＤａｔａ−Ｌ２が与えられる。ここでは、データＤａｔａ−Ｌ２として、データラッチ用クロックＣＫ−Ｌ３の４サイクル分を１周期として、１サイクル期間（データシフト用クロックＣＫ−Ｌ２の４パルス分）は“Ｈ”、続く３サイクル期間は“Ｌ”となるデータが与えられるものとする。これにより、各Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６は図１８のようになる。各ＡＮＤゲート２５４は、飛び越しライン指定レジスタ２５１の出力Ｌ１〜Ｌ１６と、各Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６との論理積信号を、それぞれ出力する。各ＡＮＤゲート２５４の出力信号が、読み出しパルスとなる。【００８５】  図１９はセレクタ２０７の出力を示すタイミングチャートである。セレクタ２０７は、選択信号ｓｅｌ−Ｈ／Ｌが“Ｈ”のときはプログレッシブ走査用シフトレジスタ２０６の出力を選択し、“Ｌ”のときは飛び越し走査用シフトレジスタ２０５の出力を選択する。これにより、図１８に示した一連の動作の結果、各ラインＳＴＲ１〜ＳＴＲ１６に対して図１９に示すような出力が得られる。【００８６】  ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路２１２の出力であるデータＤａｔａ−Ｌ２、データシフト用クロックＣＫ−Ｌ２およびデータラッチ用クロックＣＫ−Ｌ３を変更すればよい。また、プログレッシブ走査の連続するライン数を任意に変更するためには、これもまたタイミング発生回路２１２の出力である選択信号ｓｅｌ−Ｈ／Ｌにおける“Ｈ”期間を変更すればよい。このように、飛び越しライン数やプログレッシブ走査の連続するライン数は回路構成によって一意に決定されるものではなく、本実施形態では、自由に動作モードが設定でき、自由度のある駆動が可能となっている。【００８７】  また、水平読み出し期間における１ラインの読み出しは、次のように行われる。水平シフトレジスタ２１０は、タイミング発生回路２１２から供給された、１水平期間の選択信号ＨＳＥＬと水平転送クロックＨｃｋを受け、これに応じて、セレクトトランジスタ群２０９における各トランジスタＣ１〜Ｃ１６にパルスを次々に供給する。この結果、ラインＳＴＲ１〜ＳＴＲ１６のうちセレクタ２０７の出力によって選択されたラインから、蓄積単位画素２２１の蓄積容量Ｃ−ｓｔｒに蓄えられていた信号電荷が、順次、出力アンプ２１１を介して外部信号処理回路（ここでは図示せず）に転送され、読み出しが完了する。【００８８】  図８の構成にもどり、画素密度混在撮像部１０２からプログレッシブ読み出しされた画素値は、高解像度画像ＨＷＦ（ｔ）として高像度ウインドウメモリ１０５に一時的に蓄積される。また、画素密度混在撮像部１０２から飛び越しライン読み出しされた画素値は、間引き回路１１５によってＨ方向に１／４に間引きされた後、低解像度フレームメモリ１０３に１フレーム画面として一時的に蓄積される。この間引きは、図１０および図１１の例では、Ｈ方向の画素番号（２，６，１０，１４）のみの画素値を通過させ、他は読み捨てる動作によって、実現される。【００８９】  ここで、図１０の読み出し動作の場合には、このままでは、１フレームのうち、ウインドウ領域における低解像度画像が欠落することになる。このため、低解像度変換部１０６が高解像度画像ＨＷＦ（ｔ）に対してサンプリング処理などの画像処理を行い、低解像度フレームメモリ１０３における当該位置に格納する。例えば図１０の例では、ウインドウ領域の下辺をＶ方向の原点基準にして、座標（Ｖ，Ｈ）＝（２，３）、（６，３）、（１０，３）、（１４，３）の位置にある特定画素のサンプリングを、行えばよい。【００９０】  低解像度フレームメモリ１０３に蓄積された、縦横１／４×１／４に間引きされた低解像度画像ＬＦ（ｔ）は、逐次、フレーム毎に低解像度動画データ記録部１０４によって記録される。この際に、既存の動画データ圧縮方式を適用することは任意である。【００９１】  高解像度ウインドウメモリ１０５に蓄積された高解像度画像ＨＷＦ（ｔ）の輝度成分は、テクスチャ変換部１０７に入力され、ウェーブレット変換などの多重解像度変換によって、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部１０６から出力された低解像度画像の輝度成分は、画像サイズ補正・テクスチャ変換部１１２に入力される。画像サイズ補正・テクスチャ変換部１１２では、低解像度画像を一旦、高解像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は任意であるが、バイリニア補間、バイキュービック補間などの手法を用いることができる。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像度画像から高解像度化する場合の前処理として利用される。【００９２】  図２０はテクスチャ変換処理を概念的に示す図である。図２０において、２００１はウインドウ領域における高解像度画像であり、ここでは正方形のウインドウ領域を想定している。２００２は高解像度画像２００１をウェーブレット変換して得た複数階層からなるウェーブレット係数画像である。また２００３は低解像度画像であり、２００４は画素サイズ補正により高解像度画像２００１と画素数を一致させた画像、２００５は画像２００４から得たウェーブレット係数画像である。画像２００１を鮮鋭化画像、画像２００４をボケ画像と呼ぶものとすると、２００６および２００７はそれぞれ、鮮鋭化画像２００１とボケ画像２００４での画素位置ＰＰにおける１６次元の成分を持つテクスチャ特徴量である。【００９３】  学習（撮像）時には、テクスチャ特徴量２００６，２００７の関係を学習して、低解像度のテクスチャ特徴量２００７から高解像度のテクスチャ特徴量２００６への変換ルールを高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像２００３を入力し、画素サイズ補正を行うことによってボケ画像２００４を得て、学習した高解像度化パラメータを適用することにより、高解像度画像２００１を得る。なお、ここでの説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高解像度化が実現されているが、実際には、未学習の画像が対象となることが多く、必ずしも理想的な高解像度画像にまで復元するわけではない。ところが本発明では、撮像時に一緒に、被写体の一部のウインドウ領域において高解像度化パラメータを学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法よりも、数段性能の高い高解像度化が実現できる。【００９４】  テクスチャ学習部１０８は、テクスチャ変換部１０７および画像サイズ補正・テクスチャ変換部１１２から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブックと再生コードブックを作成して高解像度化パラメータを生成する。この手法について、図２１を用いて説明する。【００９５】  ここでは、ボケ画像と鮮鋭化画像はともに１００画素からなるものとする。ボケ画像と鮮鋭化画像について、それぞれ、画素位置ごとに、多重解像度ベクトルＵ１〜Ｕ１００、Ｖ１〜Ｖ１００に変換する。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。【００９６】  図２１の例では、ベクトルＵは２１０１と２１０２の２種に量子化され、ベクトルＶは２１０３と２１０４の２種に量子化されている。分析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合２１０３には代表ベクトルＺ１が、量子化集合２１０４には代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。本発明では、ここで述べたコードブックが時刻ｔの関数としてフレーム毎に計算され、高解像度化パラメータＰ（ｔ）となる。【００９７】  次に、ベクトル番号から量子化インデックス（１または２）を出力する分析コードブックＩＧと、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＩＦとが生成される。このようにして生成した分析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。【００９８】  以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメータ記録部１０９により、高解像度化パラメータＤＰとして蓄積される。【００９９】  図２２は本実施形態に係る画像表示部の構成を示す図である。図２２の構成は、図８のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２２の画像表示部３０は、動画入力部３０１、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５、全体制御部３０６およびディスプレイ３０７を備えている。画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって、高解像度化部３１０が構成されている。【０１００】  まず、図８の画像処理装置１０によって記録された低解像度動画データＤＬＦおよび高解像度化パラメータＤＰが、ネットワーク経由または様々な媒体経由にて、画像表示部３０に入力される。全体制御部３０６は動画データ入力部３０１にコマンドを送り、コマンドを受けた動画データ入力部３０１は、例えば圧縮された低解像度動画データＤＬＦを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、ＹＣｒＣｂの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解像度画像に比較して画素サイズが１／４×１／４の低解像度であるから、次に画像サイズ補正・テクスチャ変換部３０３が、画像サイズを縦横４倍に拡大してボケ画像を得て、次にカラー信号の輝度成分Ｙと色差ＣｒＣｂ独立にテクスチャ変換する。この動作は、図８の画像サイズ補正・テクスチャ変換部１１２と同様であり、説明は省略する。【０１０１】  次に、全体制御部３０６は高解像度化パラメータ入力部３０５にコマンドを送り、コマンドを受けた高解像度化パラメータ入力部３０５は、高解像度化パラメータＤＰを読み出してテクスチャ置換部３０３に入力する。テクスチャ置換部３０３は、高解像度化パラメータに記載された分析コードブックと再生コードブックを結合して用いることによって、ボケ画像のテクスチャを表現する多重解像度ベクトル（テクスチャ特徴量）を、鮮鋭画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変換部３０４は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を行う。そして、高解像度化された輝度Ｙ画像と元の色差ＣｒＣｂ画像とがディスプレイ３０７に入力されて、高解像度画像が動画データとして表示される。【０１０２】  なお、以上の説明は、カラー動画データをＹＣｒＣｂという輝度・色差成分に分離して扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれに限られるものではなく、カラー動画データをＲＧＢ成分で扱い、全成分について独立に高解像度化する方法や、輝度成分しか持たないモノクロ画像を高解像度化する方法を用いてもよい。【０１０３】  また上述のように、本実施形態では、低解像度の記録動画データから高解像度の動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレイに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、という大きな利点を有する。
【産業上の利用可能性】
【０１０４】  本発明に係る撮像素子では、画素密度混在動画データを取得する際に、高解像度画像部分の情報をフレーム全体について取得したり、低解像度画像部分の画質を向上させたりすることが可能となるので、例えば、高解像度画像を用いて解像度変換ルールを学習し、動画データの高解像度化を行う画像処理に有効である。
【図１】
2007029738.tif 000002
【図２】
2007029738.tif 000003
【図３】
2007029738.tif 000004
【図４】
2007029738.tif 000005
【図５】
2007029738.tif 000006
【図６】
2007029738.tif 000007
【図７】
2007029738.tif 000008
【図８】
2007029738.tif 000009
【図９】
2007029738.tif 000010
【図１０】
2007029738.tif 000011
【図１１】
2007029738.tif 000012
【図１１Ａ】
2007029738.tif 000013
【図１１Ｂ】
2007029738.tif 000014
【図１２】
2007029738.tif 000015
【図１３】
2007029738.tif 000016
【図１４】
2007029738.tif 000017
【図１５】
2007029738.tif 000018
【図１６】
2007029738.tif 000019
【図１７】
2007029738.tif 000020
【図１８】
2007029738.tif 000021
【図１９】
2007029738.tif 000022
【図２０】
2007029738.tif 000023
【図２１】
2007029738.tif 000024
【図２２】
2007029738.tif 000025
【手続補正書】
【提出日】平成19年3月12日(2007.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行うとともに、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行い、前記第１の領域の画素信号と前記第２の領域の画素信号とを組にして読み出すことが可能なように、構成されており、
前記プログレッシブ走査用シフトレジスタは、
前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
請求項１において、
前記飛び越し走査用シフトレジスタは、
前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項５】
請求項１において、
前記蓄積部に蓄積される電荷を、フレーム毎にリセットするリセット用レジスタを備えた
ことを特徴とする撮像素子。
【請求項６】
請求項１において、
前記第２の領域は、前記第１の領域を含む
ことを特徴とする撮像素子。
【請求項７】
請求項１において、
前記撮像部は、露光時間を一定にして撮像を行う
ことを特徴とする撮像素子。
【手続補正書】
【提出日】平成19年11月27日(2007.11.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、
前記プログレッシブ走査用シフトレジスタは、
前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項２】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、
前記飛び越し走査用シフトレジスタは、
前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項３】
請求項２において、
前記飛び越し走査用シフトレジスタは、
複数のフレームにわたって、前記飛び飛びの行の位置が前記第２の領域全体を走査するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子に関し、特に、一画面中に画素密度が混在している動画データを取得するために用いる撮像素子に関するものである。
【背景技術】
【０００２】
従来から、一画面中に画素密度が混在している動画データを取得するための構成として、次のようなものが提案されている。
【０００３】
特許文献１では、同一フレームから、間引き走査による全体画像情報と、全画素走査による高解像度部分画像情報とを同時に得られるようにした画像入力装置が、開示されている。すなわち、走査制御手段が、画素アレイの連続する所定領域の画素群のみを全画素走査するとともに、画素アレイの残りの領域の画素群については間引き走査を行っている。
【０００４】
特許文献２では、低解像度の全体映像と高解像度の部分映像とを、同時にかつ高速に取得可能な映像入力装置が、開示されている。すなわち、低解像度の全体映像データを出力する低解像度全体映像走査部と、高解像度の部分映像データを出力する高解像度部分映像走査部とを備え、これらを予め定めたフレーム周期内で切り替えて、低解像度全体映像データと高解像度部分映像データとを順次出力させる。また、低解像度全体映像データに基づいて、次フレームにおける高解像度部分映像の切り出し位置を自動的に決定する。
【特許文献１】特開２０００−３２３１８号公報
【特許文献２】特開２００４−１８０２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術には、次のような問題があった。
【０００６】
特許文献１に開示された技術によると、一画面内に、全画素走査領域と間引き走査領域とが含まれている。ところがこの全画素走査領域は、予め設定された所定の位置に固定されている。このため、例えば、全画素走査領域の位置をフレーム毎に変更することによって、高解像度部分画像情報をフレーム全体について取得する、といった処理は実現できず、また、このような処理について想定もされていない。
【０００７】
また、間引き走査についても、走査を行う位置は予め所定の位置に設定されている。このため、間引き走査によって得られる全体画像情報は、各フレームにおいて、全て同一の走査位置の画像データから形成されることになり、したがって、画質が低下する可能性がある。
【０００８】
特許文献２では、各フレームにおける高解像度部分映像の切り出し位置は、固定されておらず、前フレームにおける低解像度全体映像データに基づいて、自動的に決定されている。すなわち、高解像度部分映像の位置はフレーム毎に変化する。しかしながら、例えば、高解像度部分映像をフレーム全体について取得するために、意図的に、高解像度部分映像の位置を移動させる、といった処理は実現できず、また、このような処理について想定もされていない。
【０００９】
また、低解像度全体映像データについて、走査を行う位置は予め所定の位置に設定されている。このため、低解像度全体映像データは、各フレームにおいて、全て同一の走査位置の画像データから形成されることになり、したがって、画質が低下する可能性がある。
【００１０】
前記の問題に鑑み、本発明は、一画面中に画素密度が混在している動画データを取得するための撮像素子として、高解像度画像部分の情報をフレーム全体について取得可能にすることを課題とする。
【００１１】
また、本発明は、一画面中に画素密度が混在している動画データを取得するための撮像素子として、低解像度画像部分について、画質を向上させることを課題とする。
【課題を解決するための手段】
【００１２】
本発明では、蓄積単位画素が２次元配置された蓄積部における一部の第１の領域については、プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う。その一方で、第１の領域以外の全領域を含む第２の領域については、飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行う。この結果、第１の領域については、高解像度画像が得られるとともに、第２の領域については、それよりも解像度が低い低解像度画像が得られる。
【００１３】
そして、プログレッシブ走査用シフトレジスタは、第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、第１の領域が蓄積部の領域全体を走査するよう、読み出しパルスを生成する。このため、高解像度画像が得られる第１の領域は、フレーム毎に、複数のフレームにわたってフレーム全体を占めるように、移動することになる。したがって、高解像度画像部分の情報を、フレーム全体について取得することが可能になる。
【００１４】
あるいは、飛び越し走査用シフトレジスタは、飛び飛びの行の位置がフレーム毎に移動するよう、読み出しパルスを生成する。このため、低解像度画像が得られる第２の領域において、画像読み出しが行われる行が、フレーム毎に移動することになる。したがって、いわゆるインターレース読み出しが実現されることになり、低解像度画像部分の画質が向上する。
【発明の効果】
【００１５】
本発明によると、高解像度画像が得られる第１の領域は、フレーム毎に、複数のフレームにわたってフレーム全体を占めるように、移動するので、高解像度画像部分の情報を、フレーム全体について取得することが可能になる。また、低解像度画像が得られる第２の領域において、画像読み出しが行われる行が、フレーム毎に移動するので、いわゆるインターレース読み出しが実現されることになり、低解像度画像部分の画質が向上する。
【発明を実施するための最良の形態】
【００１６】
本発明の第１態様では、入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部とを備え、前記出力部は、前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、前記プログレッシブ走査用シフトレジスタは、前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する撮像素子を提供する。
【００１７】
本発明の第２態様では、入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、前記各蓄積単位画素から、信号を読み出す出力部とを備え、前記出力部は、前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行う一方、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行うことが可能なように、構成されており、前記飛び越し走査用シフトレジスタは、前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する撮像素子を提供する。
【００１８】
本発明の第３態様では、前記飛び越し走査用シフトレジスタは、複数のフレームにわたって、前記飛び飛びの行の位置が前記第２の領域全体を走査するよう、前記読み出しパルスを生成する前記第２態様の撮像素子を提供する。
【００１９】
まず、本発明の撮像素子が用いられる参考例となる画像処理方法について、説明する。
【００２０】
（参考例）
図１および図２は本発明の参考例に係る画像処理方法を示すフローチャートである。図１はシーンを撮影する場合の録画プロセスを示し、図２は録画した動画データを再生、表示する場合の高解像度化プロセスを示す。図１および図２のプロセスは、一般には、ビデオ撮影時と、撮影したビデオをディスプレイで観る再生表示時とにそれぞれ対応する。
【００２１】
図１の録画プロセスでは、まず時刻ｔにおける低解像度画像ＬＦ（ｔ）を取得して記録する（Ｓ１１）。またこれとともに、画像フレームの一部を占めるウインドウ領域において、高解像度画像ＨＷＦ（ｔ）を取得する（Ｓ１２）。この高解像度画像ＨＷＦ（ｔ）は以降の処理に用いるだけなので、動画データとして記録する必要は必ずしもない。そして、この解像度が異なる画像ＬＦ（ｔ），ＨＷＦ（ｔ）から、解像度変換ルールとしての高解像度化パラメータＰ（ｔ）を学習し記録する（Ｓ１３）。次に、ウインドウ領域の設定位置を他の位置へ移動する（Ｓ１４）。そして、録画が続行されていれば次の時刻ｔ＋１での処理に進み（Ｓ１６）、録画が完了すれば、プロセスを終了する（Ｓ１５）。
【００２２】
ステップＳ１３では、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）とについてそれぞれテクスチャ特徴量を求め、このテクスチャ特徴量同士の対応関係をパラメータ化する。このパラメータＰ（ｔ）のことを、本願明細書において、高解像度化パラメータと呼ぶ。その実体は、低解像度テクスチャＴＦＬを入力して高解像度テクスチャＴＦＨを出力する関数またはテーブル
ＴＦＨ＝Ｆｕｎｃｔｉｏｎ（ＴＦＬ，ｔ）  …（式１）
に他ならない。この高解像度化パラメータを解像度変換ルールとして用いる。
【００２３】
図２の高解像度化プロセスにおいて、録画プロセスで記録された低解像度の動画データＬＦ（ｔ）および録画プロセスで学習された高解像度化パラメータＰ（ｔ）を取得する（Ｓ２１）。そして、動画データの１フレームを取得し（Ｓ２２）、当該フレームについて高解像度化パラメータを用いて高解像度化を行う（Ｓ２３）。全フレームについて完了したときはプロセスを終了し（Ｓ２４）、そうでないときは、次のフレームの処理に進む（Ｓ２５）。
【００２４】
ここで、ステップＳ２３では、当該フレームにおいて学習した高解像度化パラメータだけでなく、その前後の少なくとも１つのフレームにおいて学習した高解像度化パラメータも併せて用いて、高解像度化を行うのが好ましい。この理由は、当該フレームでは、画像の一部であるウインドウ領域のみにおいて高解像度化パラメータを学習しているに過ぎず、画像全体の高解像度化には必ずしも十分ではないためである。例えば、当該フレームの時刻ｔに対して時間Ｔだけの前後期間を含む期間の高解像度化パラメータＰ（ｔ’）を適用すればよい。すなわち、
ｔ−Ｔ≦ｔ’≦ｔ＋Ｔ  …（式２）
【００２５】
図３は本参考例における録画プロセスおよび高解像度化プロセスの例を概念的に示す図である。図３では、低解像度動画データＬＦ（ｔ）の各フレームは８×８画素の画像からなり、画像全体を４分割した１個の領域をウインドウ領域ＷＤ１〜ＷＤ４としている。ウインドウ領域ＷＤ１〜ＷＤ４の設定位置はフレーム毎に変化しており、ここでは副走査方向（縦方向）に順に、上から下へ、そして下端から上端に戻るように移動している。もちろん、ウインドウ領域の形状や移動方法はこれに限定されるものではないが、説明の便宜上、簡単な例を挙げている。
【００２６】
そして、ウインドウ領域ＷＤ１〜ＷＤ４内では、ウインドウ領域外の領域よりも高解像度で撮像を行い、高解像度画像ＨＷＦ（ｔ）を得る。ここでは、ウインドウ領域内では、他領域に対して縦横２×２倍の画素密度によって撮像を行うものとする。なお、後述するように、ウインドウ領域内は高解像で撮像し、ウインドウ領域外は低解像度で撮像した、一画面中で画素密度が混在している動画データを取得するようにしてもかまわない。このような動画データを、本願明細書では、画素密度混在動画データと呼ぶ。
【００２７】
画素密度混在動画データを取得した場合、ウインドウ領域外では低解像度画像が記録されるが、ウインドウ領域内では高解像度画像しか記録されない。ただし、ウインドウ領域における低解像度画像は再度取得する必要はなく、高解像度画像に対して間引きまたは平均化などの画像フィルタ処理を行うことによって生成できる。なお、このモデル化は、光学系や撮像素子の開口形状を考慮することによって現実に近い形に高精度化することができる。例えば、高解像度画像に対してＰＳＦ(Point Spread Function)をガウス型関数との畳み込み演算として実施し、次にこれを２次元的に一定の幅を持つ撮像素子領域の範囲で積分する手法などが考えられる。
【００２８】
いま、時刻ｔに着目すると、画像を縦方向に４分割した各部分領域ＡＲ１〜ＡＲ４について、上から順に、時刻ｔ−２のウインドウ領域ＷＤ１、時刻ｔ−１のウインドウ領域ＷＤ２、時刻ｔのウインドウ領域ＷＤ３および時刻ｔ−３のウインドウ領域ＷＤ４が、それぞれ対応している。すなわち、時刻ｔでは、各部分領域ＡＲ１〜ＡＲ４に対応する高解像度化パラメータが、すでに、時刻ｔ−２，ｔ−１，ｔ，ｔ−３において学習済になっている。動画データのフレームレートを１／３０(sec)とすると、時刻ｔ−３から時刻ｔまでの時間経過は約１／１０(sec)程度に過ぎず、よほど瞬間的な画面変化が発生しない限り、各フレームにおいてほぼ同様の特徴量情報が取得される。このため、時刻ｔ−３から時刻ｔまでの高解像度化パラメータを適用することは有効である。
【００２９】
また、時刻ｔにおける低解像度画像の領域は、時刻ｔに加えて、
・時刻（ｔ−１）または時刻（ｔ＋３）
・時刻（ｔ−２）または時刻（ｔ＋２）
・時刻（ｔ−３）または時刻（ｔ＋１）
において、必ず高解像度にて取得されているという性質がある。このため、前後３フレームの高解像度化パラメータを適用することによって、その時間内に大きなシーン変化が無い限り、高解像度化は有効であるといえる。これは、上の（式１）においてＴ＝３とすることに相当する。
【００３０】
図３に示すように、各時刻において、高解像度化パラメータＰ（ｔ−３），Ｐ（ｔ−２），…が与えられたとする。高解像度化プロセスでは、低解像度動画データの各フレームについて、各部分領域に対して、その位置にウインドウ領域が対応しており、かつ、時刻ずれが少ないフレームにおける高解像度化パラメータを適用して、高解像度化を行えばよい。例えば、時刻ｔにおける画像ＬＦ（ｔ）の場合には、画像の上部から順に、部分領域ＡＲ１に対しては高解像度化パラメータＰ（ｔ−２）を、部分領域ＡＲ２に対しては高解像度化パラメータＰ（ｔ−１）を、部分領域ＡＲ３に対しては高解像度化パラメータＰ（ｔ）を、そして部分領域ＡＲ４に対しては高解像度化パラメータＰ（ｔ＋１）を、それぞれ適用すればよい。なお、例えば部分領域ＡＲ１に対しては、高解像度化パラメータＰ（ｔ＋２）を適用してもよいし、部分領域ＡＲ２に対しては、高解像度化パラメータＰ（ｔ＋３）を適用してもかまわない。
【００３１】
なお、図３では４分割の例を示したが、画像全体をｎ（ｎは２以上の整数）分割した１個の領域をウインドウ領域とし、ｎ個のフレームにわたって画像全体を占めるように、ウインドウ領域を移動させてもよい。また、これ以外でも、ウインドウ領域は、フレーム毎に、複数フレームにわたって画像全体を走査するように、移動させるのが好ましい。
【００３２】
図４は図１におけるステップＳ１３の処理の一例を示すフローチャートである。ここでは、画像をテクスチャ特徴量ベクトルに変換する手法の一例として、ウェーブレット変換による多重解像度解析を用いて、高解像度化パラメータの学習を行うものとする。まず、低解像度画像ＬＦ（ｔ）と高解像度画像ＨＷＦ（ｔ）の画像サイズを合わせるために、低解像度画像ＬＦ（ｔ）を補間拡大する（Ｓ１３１）。次に、後述する３段階のスケーリングによるウェーブレット変換を用いて、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）をウェーブレット変換する（Ｓ１３２）。最後に、２枚の画像ＬＦ（ｔ），ＨＷＦ（ｔ）のウェーブレット係数の対応関係を、画素位置ごとに、蓄積する（Ｓ１３３）。この対応関係が、高解像度化パラメータＰ（ｔ）となる。
【００３３】
図５は図２におけるステップＳ２３の処理の一例を示すフローチャートである。ここでは、ある期間における高解像度化パラメータＰ（ｔ’）を適用して、高解像度化を行う。まず、低解像度画像ＬＦ（ｔ）を補間拡大して画像サイズを高解像度画像ＨＷＦ（ｔ）に合わせる（Ｓ２３１）。次に、低解像度画像ＬＦ（ｔ）をウェーブレット変換し（Ｓ２３２）、高解像度化パラメータＰ（ｔ’）を用いてウェーブレット係数を置換する（Ｓ２３３）。そして、逆ウェーブレット変換を行い、高解像度画像に変換する（Ｓ２３４）。ステップＳ２３３において、図３で説明したように、画像上の部分領域に対して異なるフレーム時刻の高解像度化パラメータを用いてもよい。あるいは、ある期間における高解像度化パラメータを１つの集合に量子化し、これを高解像度化パラメータとして適用してもよい。
【００３４】
図６は図４のステップＳ１３２におけるウェーブレット変換の例を示す図である。図６において、第１段（スケール）では、入力画像ＩＮが、Ｘ、Ｙ方向のウェーブレット変換により、入力画像ＩＮと同一サイズの４成分画像Ｈ１Ｈ１、Ｈ１Ｌ１、Ｌ１Ｈ１、Ｌ１Ｌ１に分解される。第２段（スケール）では、分解した４成分のうち、Ｘ，Ｙ双方向の高周波成分Ｈ１Ｈ１以外の成分がさらに分解される。このとき、Ｌ１Ｌ１のみが再度Ｘ，Ｙの双方向に分解されるのに対して、Ｈ１Ｌ１とＬ１Ｈ１は１方向への分解だけが行われ、計８個の成分となる。さらに第３段（スケール）では、Ｈ１Ｈ２，Ｈ２Ｈ１，Ｈ２Ｈ２以外の成分を分解し、同様にＬ２Ｌ２のみがＸ，Ｙ双方向へ分解され、他は１方向への分解が行われ、１２個の成分に分解される。ここで、スケールの増加によって２個、４個に再分解されたもの（点線で図示）は、後の合成によって作成することができる。
【００３５】
図６のようなウェーブレット変換の分解によって、図７に示すように、入力画像ＩＮは、各画素が１６次元の成分に分解されたことになる。これら１６成分を束ねたベクトルが、画素位置ＰＰにおけるテクスチャ特徴量ＴＦ１である。
【００３６】
以上のようにして、低解像度画像と高解像度画像とをそれぞれテクスチャ特徴量に変換し、これら相互の関係を学習して、分析コードブックと再生コードブックを作成する。なお、この処理については、阿部淑人、菊池久和、佐々木重信、渡辺弘道、斎藤義明「多重解像度ベクトル量子化を用いた輪郭強調」電子情報通信学会論文誌  Vol.J79A  1996/5  （１０３２−１０４０ページ）、などに詳しく説明されており、ここでは詳細な説明を省略する。この場合、ステップＳ１３におけるパラメータ化とは、分析コードブックおよび再生コードブックを作成することに相当する。ここから、（式１）によって示した高解像度化パラメータＰ（ｔ）が算出される。
【００３７】
本参考例では、撮影時に、画像の一部であるウインドウ領域のみにおいて高解像度画像を取得し、テクスチャなどの画像特徴量を用いて高解像度パラメータを生成する。このような処理にした利点は、以下のとおりである。
【００３８】
第１に、高解像度化パラメータは、別の動画データから事前学習によって求めておくのではなく、後で実際に高解像度化する動画データの被写体自身に関して学習できるため、高精度の画像処理が実現できることである。また高解像度化パラメータは時間の関数であるため、フレーム毎に学習することによって、画面内にいかなる特性をもつ被写体が出現しても瞬時に最適な高解像度化パラメータを取得でき、表示時に利用できる。このため、学習によって取得した高解像度化パラメータと実際に高解像度化を行う動画データとの特性の違いに起因する性能劣化が、原理的に存在しない。
【００３９】
第２に、高解像度化に利用するのは画像テクスチャなどの特徴量であるため、画面内の位置と直接的には無関係であり、ウインドウ領域をいかに移動しても、その影響を受けることはあまりない、ということである。したがって、ウインドウを適宜移動して画像全体をカバーすることにより、画面全域からの情報を十分に利用できる。
【００４０】
なお、図１に示す録画プロセスと図２に示す高解像度化プロセスは、典型的には、録画プロセス、高解像度化プロセスの順に実施されるが、例えば中継放送のように、カメラ撮影と伝送表示とが同時に実行される場合は、録画プロセスと高解像度化プロセスを時間的に並行して実施してもかまわない。
【００４１】
また、録画プロセスでは、低解像度動画データのみを記録して、これを高解像度化プロセスで高解像度化するものとしたが、これ以外でも例えば、図３に示したようないわゆる画素密度混在動画データを、そのまま録画しておき、これを高解像度化プロセスで高解像度化する、という態様にしてもかまわない。
【００４２】
以下、本発明の実施の形態について、図面を参照して、詳細に説明する。
【００４３】
（第１の実施形態）
本発明の第１の実施形態では、上述の参考例をベースとして、具体的な装置構成を例にとって説明する。ここでは、上述した画素密度混在動画データを撮像可能に構成された画素密度混在撮像部を備えたビデオムービーカメラを用いて、録画プロセスを実行するものとする。画素密度混在撮像部は、後述するとおり、ＣＭＯＳ型撮像センサ等のＸＹアドレス型撮像素子を用いて構成される。
【００４４】
図８は本実施形態に係る撮像素子が用いられる画像処理装置であって、ビデオムービーカメラに応用した構成例を示すブロック図である。図８の画像処理装置１０は、レンズ１０１、画素密度混在撮像部１０２、低解像度動画データの１フレームＬＦ（ｔ）を蓄積する低解像度フレームメモリ１０３、低解像度動画データＤＬＦを録画する低解像度動画記録部１０４、１フレーム内のウインドウ領域における高解像度画像ＨＷＦ（ｔ）を蓄積する高解像度ウインドウメモリ１０５、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を画像処理によって低解像度に変換する低解像度変換部１０６、ウインドウ領域の高解像度画像ＨＷＦ（ｔ）を用いて高解像度化パラメータＰ（ｔ）を学習する高解像度化パラメータ学習部１２０、高解像度化パラメータＤＰを記録する高解像度化パラメータ記録部１０９、全体制御部１１０および録画ボタン１１１を備えている。高解像度化パラメータ学習部１２０は、高解像度画像ＨＷＦ（ｔ）をテクスチャ特徴量に変換するテクスチャ変換部１０７、低解像度画像の画素サイズを補正した後、テクスチャに変換する画像サイズ補正・テクスチャ変換部１１２、およびテクスチャの対応関係を学習するテクスチャ学習部１０８を備えている。なお、ここでは、画素密度混在撮像部１０２はライン単位の読み出しを行うものとしているので、水平方向の画素間引きを行う間引き回路１１５が、画素密度混在撮像部１０２と低解像度フレームメモリ１０３との間に設けられている。
【００４５】
録画ボタン１１１が押されると、全体制御部１１０が、画素密度混在撮像部１０２および低解像度動画記録部１０４に録画コマンドを送出する。画素密度混在撮像部１０２は録画コマンドを受けて撮像を実行し、低解像度画像ＬＦ（ｔ）が低解像度フレームメモリ１０３内にフレームごとに蓄積される。そして低解像度動画記録部１０４は、低解像度フレームメモリ１０３に蓄積された低解像度画像ＬＦ（ｔ）を時間的に連続して動画データとし、さらに圧縮などの処理を行って、低解像度動画データＤＬＦとして蓄積メディアやネットワーク上に記録する。
【００４６】
全体制御部１１０は、録画コマンドの送出と同時に、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９に学習信号を送出する。画素密度混在撮像部１０２が取得したウインドウ領域における高解像度画像ＨＷＦ（ｔ）は、高解像度ウインドウメモリ１０５に蓄積され、テクスチャ変換部１０７を経由してテクスチャ学習部１０８に入力される。高解像度画像ＨＷＦ（ｔ）はまた、低解像度変換部１０６によって低解像度変換された後、画像サイズ補正・テクスチャ変換部１１２を経由してテクスチャ学習部１０８に入力される。テクスチャ学習部１０８は、解像度が異なる同一時刻の画像からテクスチャ同士の対応を関連づけて、解像度変換ルールである高解像度化パラメータＰ（ｔ）を学習する。高解像度化パラメータ記録部１０９は、これを高解像度化パラメータＤＰとして蓄積またはネットワーク上に送出する。
【００４７】
なお、低解像度変換部１０６の出力は低解像度フレームメモリ１０３にも供給されている。これは、画素密度混在撮像部１０２は、ウインドウ領域内は高解像度画像のみを取得しており、低解像度画像を読み出していないので、低解像度画像ＬＦ（ｔ）において欠落したウインドウ領域の部分を補充するためである。
【００４８】
録画ボタン１１１の押下が解除されると、上述した動作は停止する。
【００４９】
図８の構成において、画素密度混在撮像部１０２から低解像度動画記録部１０４までは例えばハードウエアによって構成でき、また、テクスチャ学習部１０８および高解像度化パラメータ記録部１０９は、ＣＰＵまたはＧＰＵ(Graphic Processing Unit)などを中心に構成することも可能である。
【００５０】
図９は画素密度混在撮像部１０２の構成例を示す概念図である。図９において、３板方式の通常のビデオムービーにおけるカラー画像撮像用の光学系が用いられている。３板方式では、ダイクロックプリズム１３１によって波長帯域がレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）に分離される。そして、各カラーバンドにそれぞれ、画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂが割り当てられる。信号処理回路１３３はこれら画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂからの出力を処理して、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。このとき、後述する「飛び越しライン読み出し」がなされた低解像度の信号と、同じく後述する「プログレッシブ読み出し」がなされた高解像度の信号とに分離されて出力される。
【００５１】
動画データの記録には、このＹＣｒＣｂ形式が用いられる。一方、テクスチャ学習には、このＹＣｒＣｂ形式のまま輝度色差信号を全て用いてもよいし、輝度Ｙ信号のみを用いてもよい。ただし、高解像度化倍率が４×４を超える場合には、人視覚系の輝度成分と色成分の周波数応答特性比率から考えると、輝度Ｙのみの高解像度化では画質的に不十分であるため、色差ＣｒＣｂの両方を別個に高解像度化する必要がある。したがって、４×４以上の倍率の場合には、テクスチャ学習にはレッドＲ、グリーンＧ、ブルーＢの３信号成分を用いてもよい。図９の構成では、レット、グリーン、ブルー全てに画素密度混在撮像素子１３２Ｒ，１３２Ｇ，１３２Ｂを割り当て、かつ、動画データ記録方式を従来の輝度色差空間に設定しているため、テクスチャ学習には、輝度Ｙと２種類の色差Ｃｒ，Ｃｂ信号を独立に用いるものとする。
【００５２】
図１０は画素密度混在撮像素子による読み出し画素位置の一例を示す図である。図１０において、ハッチが付された画素が読み出し対象画素である。なお、実用的撮像素子は２０００×３０００個程度の画素を有するが、ここでは簡単のため、１６×１６画素すなわち垂直（Ｖ方向）１６ライン、水平（Ｈ方向）１６ラインの２次元センサを例として描いている。（Ａ）〜（Ｄ）は時間的に連続する４個のフレームにそれぞれ対応している。
【００５３】
図１０から分かるように、２５６（＝１６×１６）個の画素は、全画素読み出しを行う範囲（高解像度画像を取得するウインドウ領域に相当）と、それ以外の飛び越し読み出しを行う範囲とに分離されている。ウインドウ領域は下から上に順に移動しており、（Ａ）から（Ｄ）までの４フレームを１周期として、ウインドウ領域の位置は同様の移動を繰り返す。
【００５４】
ウインドウ領域以外の低解像度画像の読み出しは、様々な方法が考えられるが、図１０では、画像全体を均等に１６分割した仮想的なブロックの概略中心を、低解像度画像の読み出し画素位置として設定している。この方法によって、水平Ｈ、垂直Ｖ方向それぞれに１／４に間引きされた低解像度画像が得られる。図１０では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（７，１１，１５）、（Ｂ）では（３，１１，１５）、（Ｃ）では（３，７，１５）、（Ｄ）では（３，７，１１）となっている。
【００５５】
このように、全ラインを読み出すウインドウ領域は、垂直方向に４ラインづつ規則的に移動させ、それ以外の場所では、垂直方向に３ラインを固定位置で読みだす。この方法により、同一画素を２回読み出すことなく、画素密度混在撮像を行うことができる。本実施形態では、この読み出し方法を用いるものとする。
【００５６】
図１１は画素密度混在撮像素子による読み出し画素位置の他の例を示す図である。図１１の例では、低解像度画像の読み出し方法が図１０と異なっている。この方式では、ウインドウ領域における全ライン読み出しとは独立に、１／４に間引きされた低解像度画像を、フレーム毎に異なる位置で読み出すようにしている。これは、時空間的なサンプリングを均等化する効果をねらったものであり、一部の画素について読み出しが重複することも許している。図１１では、飛び越し読み出しを行う垂直ライン番号は、（Ａ）では（１，５，９，１３）、（Ｂ）では（２，６，１０，１４）、（Ｃ）では（３，７，１１，１５）、（Ｄ）では（４，８，１２，１６）となっている。黒く塗りつぶされた画素は、重複読み出しが行われるものである。この方法では、飛び越し読み出しの画素だけで低解像度動画データを構成することが可能となる。このため、低解像度画像において欠落したウインドウ領域を補充するための、低解像度変換部１０６から低解像度フレームメモリ１０３への画素値の供給処理が、不要になるという利点がある。
【００５７】
時空間サンプリングの均等化について説明する。上述の参考例では、高解像度ウインドウ領域の学習によって高解像度化が実現できるが、前処理として通常の補間処理が実施される。動画の場合、この補間処理を時空間（空間ｘｙと時間ｔの）について行うと、時間方向の高画質化に効果的である。時空間をｙ−ｔ空間とした場合、時空間で予め走査線の均等読み出しを行った方が、この補間処理が良好になる。この考えに基づいて、図１１では、フレーム毎に異なる位置での読み出しを行っている。
【００５８】
これを時空間で表現すると、図１１Ａに示すように、各フレーム毎に異なる位相で飛び越しライン読み出しが実施され、ｎフレームで一周するように読み出しが行われる。図１１Ｂはｎが４，５の場合に、実際に時空間における均等性を考慮した読み出しパターンである。本発明は、このように１周期内で自由に飛び越しラインのパターンを設定できるような撮像素子を前提にしている。
【００５９】
＜本実施形態に係る撮像素子の構造＞
図１２は本実施形態に係る撮像素子としての画素密度混在撮像素子の構造の一例を示す回路ブロック図である。図１２では、垂直１６ライン、水平１６ラインの２次元センサを例として示しており、図１１で示したような読み出し方法を実現するものとする。なお、以降の説明では、画面の一部を高解像度で読み出す処理を「プログレッシブ読み出し」、画面を低解像度画像で読み出す処理を「飛び越しライン読み出し」というように、ラインを基準とした用語を用いるものとする。
【００６０】
撮像素子は概略、入射光の光電変換を行う撮像単位画素２１１が２次元配置（アレイ配置）された撮像部２０１と、撮像単位画素２１１にそれぞれ対応して蓄積単位画素２２１が２次元配置されており、入射光に対して遮光部を備えた蓄積部２０２とを備えている。そして撮像部２０１と蓄積部２０２とは、撮像部２０１から蓄積部２０２へ信号電荷を移動する信号線ｐ２ｓｔｒによって接続されている。
【００６１】
撮像部２０１の周辺には、読み出しパルスをライン毎に順次シフトする読み出し用シフトレジスタ２０３、およびリセットパルスをライン毎に順次シフトするリセット用シフトレジスタ２０４が設けられている。読み出しパルスは読み出しパルス供給線ｒｄ−ｐを介して、リセットパルスはリセットパルス供給線ｒｓｔ−ｐを介して、撮像部２０１の各撮像単位画素２１１に送られる。読み出しパルスを受けた撮像単位画素２１１は信号電荷を出力し、リセットパルスを受けた撮像単位画素２１１は信号電荷をリセットする。
【００６２】
蓄積部２０２の周辺には、「飛び越しライン読み出し」に用いる読み出しパルスを出力する飛び越し走査用シフトレジスタ２０５、「プログレッシブ読み出し」に用いる読み出しパルスを出力するプログレッシブ走査用シフトレジスタ２０６、飛び越し走査用シフトレジスタ２０５およびプログレッシブ走査用シフトレジスタ２０６の出力のいずれかを選択して蓄積部２０２に供給するセレクタ２０７、および、撮像部２０１から蓄積部２０２に信号電荷を転送する際に用いる読み込み用シフトレジスタ２０８が設けられている。セレクタ２０７から出力される読み出しパルスは、読み出しパルス供給線ｒｄ−ｓを介して蓄積部２０２の各蓄積単位画素２２１に供給される。また、読み込み用シフトレジスタ２０８から出力された転送パルスは、転送パルス供給線ｔｒｎを介して蓄積部２０２の各蓄積単位画素２２１に供給される。
【００６３】
プログレッシブ走査用シフトレジスタ２０６は、全ライン読み出しの高解像度画像を毎フレーム部分的に読み出す（例えば、毎フレーム１／４画面ずつ出力し、４フレームにて１画面を構成する）ためのパルスを、発生する。すなわち、プログレッシブ走査用シフトレジスタ２０６は、蓄積部２０２の一部の第１の領域に与える読み出しパルスを生成する。そして、プログレッシブ走査用シフトレジスタ２０６は、第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、この第１の領域が蓄積部２０２の領域全体を走査するよう、読み出しパルスを生成する。
【００６４】
一方、飛び越し走査用シフトレジスタ２０５は、飛び越しライン読み出しの低解像度画像を毎フレーム１画面得るためのパルスを、発生する。すなわち、飛び越し走査用シフトレジスタ２０５は、第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する。そして、飛び越し走査用シフトレジスタ２０５は、この飛び飛びの行の位置がフレーム毎に移動するよう、読み出しパルスを生成する。さらに、飛び越し走査用シフトレジスタ２０５は、この飛び飛びの行の位置が第２の領域全体を走査するよう、読み出しパルスを生成する。飛び越し走査用シフトレジスタ２０５に関しては、別途図１５にて詳細を説明する。
【００６５】
その他、セレクトトランジスタ群２０９、水平シフトレジスタ２１０および出力アンプ２１１が設けられている。蓄積部２０２の各蓄積単位画素２２１に蓄積された信号電荷は、信号出力線ｓｉｇ−ｏｕｔを介して、水平シフトレジスタ２１０によって選択された順番にもとづき、セレクトトランジスタ群２０９および出力アンプ２１１を通じて、外部に出力される。
【００６６】
また、タイミング発生回路２１２は、読み出し用シフトレジスタ２０３、リセット用シフトレジスタ２０４、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み込み用シフトレジスタ２０８、水平シフトレジスタ２１０、およびリセットパルス供給線ｒｓｔ−ｓにパルスを供給する。ただし、タイミング発生回路２１２は、撮像素子とは別のチップに分割搭載されていてもかまわない。
【００６７】
信号線ｐ２ｓｔｒ、読み出し用シフトレジスタ２０３、読み出しパルス供給線ｒｄ−ｐ、読み込み用シフトレジスタ２０８、転送パルス供給線ｔｒｎによって、転送部が構成されている。また、信号出力線ｓｉｇ−ｏｕｔ、飛び越し走査用シフトレジスタ２０５、プログレッシブ走査用シフトレジスタ２０６、セレクタ２０７、読み出しパルス供給線ｒｄ−ｓによって、出力部が構成されている。
【００６８】
図１３は撮像単位画素２１１の構成の一例を示す図である。図１３の構成は、オーソドックスな３トランジスタ構成である。すなわち、光によって信号電荷を発生するフォトダイオードＰＤ、ゲートが読み出しパルス供給線ｒｄ−ｐに接続されており、信号電荷を信号線ｐ２ｓｔｒに出力するための読み出し用トランジスタＴＲ１、ソースフォロアトランジスタＴＲ２、および、ゲートがリセットパルス供給線ｒｓｔ−ｐに接続されており、蓄積された信号電荷をリセットするリセット用トランジスタＴＲ３を備えている。
【００６９】
図１４は蓄積単位画素２２１の構成の一例を示す図である。図１４の構成は、４トランジスタと１キャパシタで構成されている。すなわち、ゲートが転送パルス供給線ｔｒｎと接続されたトランジスタＴＲ４、信号線ｐ２ｓｔｒおよびトランジスタＴＲ４を通じて撮像単位画素２１１から転送された信号電荷を蓄積するための蓄積容量Ｃ−ｓｔｒ、ゲートが読み出しパルス供給線ｒｄ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒに蓄積された信号電荷を信号出力線ｓｉｇ−ｏｕｔに読み出すためのトランジスタＴＲ５、ゲートがリセットパルス供給線ｒｓｔ−ｓに接続されており、蓄積容量Ｃ−ｓｔｒをＧＮＤレベルにリセットするためのトランジスタＴＲ６、およびソースフォロアトランジスタＴＲ７を備えている。
【００７０】
図１５は飛び越し走査用シフトレジスタ２０５の構成の一例を示す図である。図１５において、飛び越し走査用シフトレジスタ２０５は、飛び越しライン指定レジスタ２５１、ライン群走査シフトレジスタ２５２、およびＤラッチ２５３などから構成されている。その動作の詳細は、後述する。
【００７１】
図１６は図１２〜図１５に示す画素密度混在撮像素子における撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。図１６では、連続する４フレーム期間の概略動作を示している（ただし、図示の都合上、第３フレームを省略している）。
【００７２】
第１フレームにおいて、撮像部２０１におけるラインＰＤＲ１の露光時間Ｔ１が終了すると、続く転送期間Ｔ１１において、ラインＰＤＲ１上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ１の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。続いてラインＰＤＲ２の露光時間Ｔ２が終了すると、続く転送期間Ｔ２１において、ラインＰＤＲ２上にある信号電荷は、蓄積部２０２の対応するラインＳＴＲ２の画素にライン一括にて転送される。転送された信号電荷は、水平方向位置が対応する蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒに、それぞれ蓄積される。
【００７３】
このような読み出し・転送動作が、高速Ｖ転送期間Ｔｐ２ｓｔｒおいて、１６本のラインＰＤＲ１〜ＰＤＲ１６について、順次実行される。すなわち、露光時間中に各撮像単位画素２１１内のフォトダイオードＰＤにおいて光電変換された信号電荷は、高速Ｖ転送期間Ｔｐ２ｓｔｒにおいて、撮像部２０１から蓄積部２０２に転送され、蓄積される。
【００７４】
第１フレームにおいて蓄積部２０２に蓄積された信号電荷は、次の第２フレームの水平読み出し期間において、外部に読み出される。第２フレームでは、ラインＳＴＲ５〜ＳＴＲ８の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ２，ＳＴＲ６，ＳＴＲ１０，ＳＴＲ１４の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
【００７５】
以降のフレームにおいても、同様の走査が行われる。第４フレームでは、ラインＳＴＲ１３〜ＳＴＲ１６の４ラインについて、プログレッシブ読み出しがなされ、ラインＳＴＲ４，ＳＴＲ８，ＳＴＲ１２，ＳＴＲ１６の４ラインについて、飛び越し読み出しがなされている。その他のラインは、読み出されない。そして、蓄積部リセット期間において、リセットパルス供給線ｒｓｔ−ｓにリセットパルスが印加されることにより、蓄積部２０２の全ての蓄積単位画素２２１における蓄積容量Ｃ−ｓｔｒは、一斉にＧＮＤレベルにリセットされる。
【００７６】
なお、図１６では、各フレームにおいて、プログレッシブ読み出しを４ライン連続で行い、飛び越し読み出しを４ラインおきの４ラインについて行うものとしているが、読み出すライン数はこれに限られるものではなく、また、プログレッシブ読み出しと飛び越し読み出しとで読み出すライン数を同じにする必要もない。例えば、プログレッシブ読み出しをｎライン連続で行い、飛び越し読み出しをｍラインおきに行うようにしてもよい。また、簡単のため、例えば第２フレームでは、ラインＳＴＲ６について重複読み出しを行うものとしているが、重複させる必要は必ずしもない。
【００７７】
図１７は高速Ｖ転送期間Ｔｐ２ｓｔｒにおける動作を示すタイミングチャートである。図１７において、第１フレームのラインＰＤＲ１において、露光時間Ｔ１が終了すると、読み出しパルス供給線ｒｄ−ｐに読み出しパルスが供給される。この読み出しパルスは、図１３の撮像単位画素２１１におけるトランジスタＴＲ１のゲートに印加され、フォトダイオードＰＤの信号電荷に相当する信号電位はソースフォロアトランジスタＴＲ２を介して、信号線ｐ２ｓｔｒに出力される。ラインＳＴＲ１において、転送パルス供給線ｔｒｎに転送パルスが供給されると、この転送パルスは図１４の蓄積単位画素２２１におけるトランジスタＴＲ４のゲートに印加され、信号線ｐ２ｓｔｒからトランジスタＴＲ４を介して蓄積容量Ｃ−ｓｔｒに信号電荷が転送される。
【００７８】
読み出しパルスの供給後に、リセットパルス供給線ｒｓｔ−ｐにリセットパルスが供給される。このリセットパルスは図１３の撮像単位画素２１１におけるトランジスタＴＲ３のゲートに印加され、これにより、フォトダイオードＰＤがリセットされる。
【００７９】
このような動作により、撮像部２０１の各ラインＰＤＲ１〜ＰＤＲ１６における撮像単位画素２１１の信号電荷は、蓄積部２０２の対応するラインＳＴＲ１〜ＳＴＲ１６の蓄積単位画素２２１に、全て転送される。
【００８０】
図１８は水平読み出し期間および蓄積部リセット期間の動作を示すタイミングチャートである。図１８において、タイミング発生回路２１２からクロックＣＫが供給される。第１フレームの水平読み出し期間では、クロックＣＫから、選択信号ｓｅｌ−Ｈ／Ｌによって切り出されたシフトクロックＣＫ−Ｈが、プログレッシブ走査用シフトレジスタ２０６に与えられる。プログレッシブ走査用シフトレジスタ２０６は、このシフトクロックＣＫ−Ｈと、タイミング発生回路２１２から供給されたシフトデータＤａｔａ−Ｈ（図示せず）とを受けて、ラインＳＴＲ１〜ＳＴＲ４に向けて、読み出しパルスを出力する。第２フレームの水平読み出し期間では、プログレッシブ走査用シフトレジスタ２０６は、ラインＳＴＲ５〜ＳＴＲ８に向けて、読み出しパルスを出力する。
【００８１】
ここで図１５に示すように、飛び越し走査用シフトレジスタ２０５は、当該フレームにおける飛び越しラインを決定する飛び越しライン指定レジスタ２５１と、複数のラインを同位相で走査するためのライン群走査シフトレジスタ２５２とを備えている。まず、飛び越しライン指定レジスタ２５１は、タイミング発生回路２１２から供給されたクロックＣＫ−Ｌ１および飛び越しライン選択データＤａｔａ−Ｌ１を受けて、出力Ｌ１〜Ｌ１６のうち、当該フレームにおける飛び越し走査ラインに対応するものを“Ｈ”にする。第１フレームでは、Ｌ１，Ｌ５，Ｌ９、Ｌ１３が“Ｈ”になる。
【００８２】
次に、ライン群走査シフトレジスタ２５２は、タイミング発生回路２１２から供給されたデータシフト用クロックＣＫ−Ｌ２およびデータＤａｔａ−Ｌ２が与えられる。ここでは、データＤａｔａ−Ｌ２として、データラッチ用クロックＣＫ−Ｌ３の４サイクル分を１周期として、１サイクル期間（データシフト用クロックＣＫ−Ｌ２の４パルス分）は“Ｈ”、続く３サイクル期間は“Ｌ”となるデータが与えられるものとする。これにより、各Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６は図１８のようになる。各ＡＮＤゲート２５４は、飛び越しライン指定レジスタ２５１の出力Ｌ１〜Ｌ１６と、各Ｄラッチ２５３の出力ＬＴ１〜ＬＴ１６との論理積信号を、それぞれ出力する。各ＡＮＤゲート２５４の出力信号が、読み出しパルスとなる。
【００８３】
図１９はセレクタ２０７の出力を示すタイミングチャートである。セレクタ２０７は、選択信号ｓｅｌ−Ｈ／Ｌが“Ｈ”のときはプログレッシブ走査用シフトレジスタ２０６の出力を選択し、“Ｌ”のときは飛び越し走査用シフトレジスタ２０５の出力を選択する。これにより、図１８に示した一連の動作の結果、各ラインＳＴＲ１〜ＳＴＲ１６に対して図１９に示すような出力が得られる。
【００８４】
ここで、飛び越しライン数を任意に変更するためには、タイミング発生回路２１２の出力であるデータＤａｔａ−Ｌ２、データシフト用クロックＣＫ−Ｌ２およびデータラッチ用クロックＣＫ−Ｌ３を変更すればよい。また、プログレッシブ走査の連続するライン数を任意に変更するためには、これもまたタイミング発生回路２１２の出力である選択信号ｓｅｌ−Ｈ／Ｌにおける“Ｈ”期間を変更すればよい。このように、飛び越しライン数やプログレッシブ走査の連続するライン数は回路構成によって一意に決定されるものではなく、本実施形態では、自由に動作モードが設定でき、自由度のある駆動が可能となっている。
【００８５】
また、水平読み出し期間における１ラインの読み出しは、次のように行われる。水平シフトレジスタ２１０は、タイミング発生回路２１２から供給された、１水平期間の選択信号ＨＳＥＬと水平転送クロックＨｃｋを受け、これに応じて、セレクトトランジスタ群２０９における各トランジスタＣ１〜Ｃ１６にパルスを次々に供給する。この結果、ラインＳＴＲ１〜ＳＴＲ１６のうちセレクタ２０７の出力によって選択されたラインから、蓄積単位画素２２１の蓄積容量Ｃ−ｓｔｒに蓄えられていた信号電荷が、順次、出力アンプ２１１を介して外部信号処理回路（ここでは図示せず）に転送され、読み出しが完了する。
【００８６】
図８の構成にもどり、画素密度混在撮像部１０２からプログレッシブ読み出しされた画素値は、高解像度画像ＨＷＦ（ｔ）として高像度ウインドウメモリ１０５に一時的に蓄積される。また、画素密度混在撮像部１０２から飛び越しライン読み出しされた画素値は、間引き回路１１５によってＨ方向に１／４に間引きされた後、低解像度フレームメモリ１０３に１フレーム画面として一時的に蓄積される。この間引きは、図１０および図１１の例では、Ｈ方向の画素番号（２，６，１０，１４）のみの画素値を通過させ、他は読み捨てる動作によって、実現される。
【００８７】
ここで、図１０の読み出し動作の場合には、このままでは、１フレームのうち、ウインドウ領域における低解像度画像が欠落することになる。このため、低解像度変換部１０６が高解像度画像ＨＷＦ（ｔ）に対してサンプリング処理などの画像処理を行い、低解像度フレームメモリ１０３における当該位置に格納する。例えば図１０の例では、ウインドウ領域の下辺をＶ方向の原点基準にして、座標（Ｖ，Ｈ）＝（２，３）、（６，３）、（１０，３）、（１４，３）の位置にある特定画素のサンプリングを、行えばよい。
【００８８】
低解像度フレームメモリ１０３に蓄積された、縦横１／４×１／４に間引きされた低解像度画像ＬＦ（ｔ）は、逐次、フレーム毎に低解像度動画データ記録部１０４によって記録される。この際に、既存の動画データ圧縮方式を適用することは任意である。
【００８９】
高解像度ウインドウメモリ１０５に蓄積された高解像度画像ＨＷＦ（ｔ）の輝度成分は、テクスチャ変換部１０７に入力され、ウェーブレット変換などの多重解像度変換によって、輝度画像のテクスチャ特徴量に変換される。一方、低解像度変換部１０６から出力された低解像度画像の輝度成分は、画像サイズ補正・テクスチャ変換部１１２に入力される。画像サイズ補正・テクスチャ変換部１１２では、低解像度画像を一旦、高解像度画像と同じ画素数に戻した上で、ウェーブレット変換などの多重解像度変換を実施し、輝度画像のテクスチャ特徴量に変換する。ここで画像サイズ補正の手法は任意であるが、バイリニア補間、バイキュービック補間などの手法を用いることができる。ここで用いた画像サイズ補正手法は、後で動画データ高解像表示の際に低解像度画像から高解像度化する場合の前処理として利用される。
【００９０】
図２０はテクスチャ変換処理を概念的に示す図である。図２０において、２００１はウインドウ領域における高解像度画像であり、ここでは正方形のウインドウ領域を想定している。２００２は高解像度画像２００１をウェーブレット変換して得た複数階層からなるウェーブレット係数画像である。また２００３は低解像度画像であり、２００４は画素サイズ補正により高解像度画像２００１と画素数を一致させた画像、２００５は画像２００４から得たウェーブレット係数画像である。画像２００１を鮮鋭化画像、画像２００４をボケ画像と呼ぶものとすると、２００６および２００７はそれぞれ、鮮鋭化画像２００１とボケ画像２００４での画素位置ＰＰにおける１６次元の成分を持つテクスチャ特徴量である。
【００９１】
学習（撮像）時には、テクスチャ特徴量２００６，２００７の関係を学習して、低解像度のテクスチャ特徴量２００７から高解像度のテクスチャ特徴量２００６への変換ルールを高解像度化パラメータとして得る。そして高解像度化においては、低解像度画像２００３を入力し、画素サイズ補正を行うことによってボケ画像２００４を得て、学習した高解像度化パラメータを適用することにより、高解像度画像２００１を得る。なお、ここでの説明では、学習した画像自身を用いて高解像度化を実施しているため理想的な高解像度化が実現されているが、実際には、未学習の画像が対象となることが多く、必ずしも理想的な高解像度画像にまで復元するわけではない。ところが本発明では、撮像時に一緒に、被写体の一部のウインドウ領域において高解像度化パラメータを学習するので、類似した被写体を予め学習して高解像度化パラメータを得る方法よりも、数段性能の高い高解像度化が実現できる。
【００９２】
テクスチャ学習部１０８は、テクスチャ変換部１０７および画像サイズ補正・テクスチャ変換部１１２から出力されたテクスチャ特徴量相互の関係を学習し、分析コードブックと再生コードブックを作成して高解像度化パラメータを生成する。この手法について、図２１を用いて説明する。
【００９３】
ここでは、ボケ画像と鮮鋭化画像はともに１００画素からなるものとする。ボケ画像と鮮鋭化画像について、それぞれ、画素位置ごとに、多重解像度ベクトルＵ１〜Ｕ１００、Ｖ１〜Ｖ１００に変換する。ベクトルＵ１〜Ｕ１００とベクトルＶ１〜Ｖ１００との間には、画素位置が同一という関係があるので、コードブックは、Ｕを入力したとき対応するＶを出力するように作成すればよい。ただし、実際には、各多重解像度ベクトルはベクトル量子化によって代表ベクトルに分類される。
【００９４】
図２１の例では、ベクトルＵは２１０１と２１０２の２種に量子化され、ベクトルＶは２１０３と２１０４の２種に量子化されている。分析コードブックや再生コードブックの量子化インデックスとは、これら量子化されたベクトル集合に付けられた番号を意味している。そして、コードブックを引くということは、ベクトル番号Ｖを入力すると量子化されたベクトルの集合の番号である１，２といった番号を得ることに他ならない。また、量子化集合２１０３には代表ベクトルＺ１が、量子化集合２１０４には代表ベクトルＺ２が付随している。これら代表ベクトルは、量子化集合に属するベクトルの平均値や代表値をとるなどの方法によって計算される。本発明では、ここで述べたコードブックが時刻ｔの関数としてフレーム毎に計算され、高解像度化パラメータＰ（ｔ）となる。
【００９５】
次に、ベクトル番号から量子化インデックス（１または２）を出力する分析コードブックＩＧと、量子化インデックス（１または２）を入力して再生ベクトルを出力する再生コードブックＩＦとが生成される。このようにして生成した分析コードブックと再生コードブックを結合して用いることによって、ボケ画像の多重解像度ベクトルを、鮮鋭画像の多重解像度ベクトルに変換することができる。
【００９６】
以上のようにして求められた分析コードブックと再生コードブックは、高解像度パラメータ記録部１０９により、高解像度化パラメータＤＰとして蓄積される。
【００９７】
図２２は本実施形態に係る画像表示部の構成を示す図である。図２２の構成は、図８のビデオムービーカメラなどの画像処理装置によって撮影された動画データを高解像度表示する機能を有し、例えば、ビデオムービーカメラ付属の表示部として実現されたり、他の携帯表示端末や家庭内の大型ＴＶなどに設けられたりする。図２２の画像表示部３０は、動画入力部３０１、画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３、テクスチャ逆変換部３０４、高解像度化パラメータ入力部３０５、全体制御部３０６およびディスプレイ３０７を備えている。画像サイズ補正・テクスチャ変換部３０２、テクスチャ置換部３０３およびテクスチャ逆変換部３０４によって、高解像度化部３１０が構成されている。
【００９８】
まず、図８の画像処理装置１０によって記録された低解像度動画データＤＬＦおよび高解像度化パラメータＤＰが、ネットワーク経由または様々な媒体経由にて、画像表示部３０に入力される。全体制御部３０６は動画データ入力部３０１にコマンドを送り、コマンドを受けた動画データ入力部３０１は、例えば圧縮された低解像度動画データＤＬＦを伸張して読み出す。ここでは、通常のカラー動画データを想定しているので、ＹＣｒＣｂの輝度色差信号が生成されるものとする。読み出された画像は、本来の高解像度画像に比較して画素サイズが１／４×１／４の低解像度であるから、次に画像サイズ補正・テクスチャ変換部３０３が、画像サイズを縦横４倍に拡大してボケ画像を得て、次にカラー信号の輝度成分Ｙと色差ＣｒＣｂ独立にテクスチャ変換する。この動作は、図８の画像サイズ補正・テクスチャ変換部１１２と同様であり、説明は省略する。
【００９９】
次に、全体制御部３０６は高解像度化パラメータ入力部３０５にコマンドを送り、コマンドを受けた高解像度化パラメータ入力部３０５は、高解像度化パラメータＤＰを読み出してテクスチャ置換部３０３に入力する。テクスチャ置換部３０３は、高解像度化パラメータに記載された分析コードブックと再生コードブックを結合して用いることによって、ボケ画像のテクスチャを表現する多重解像度ベクトル（テクスチャ特徴量）を、鮮鋭画像のテクスチャを表現する多重解像度ベクトルに変換する。次に、テクスチャ逆変換部３０４は鮮鋭画像テクスチャ特徴量から高解像度化された輝度画像への変換を行う。そして、高解像度化された輝度Ｙ画像と元の色差ＣｒＣｂ画像とがディスプレイ３０７に入力されて、高解像度画像が動画データとして表示される。
【０１００】
なお、以上の説明は、カラー動画データをＹＣｒＣｂという輝度・色差成分に分離して扱い、各成文を独立に高解像度化する、という考え方に基づく。ただし本発明はこれに限られるものではなく、カラー動画データをＲＧＢ成分で扱い、全成分について独立に高解像度化する方法や、輝度成分しか持たないモノクロ画像を高解像度化する方法を用いてもよい。
【０１０１】
また上述のように、本実施形態では、低解像度の記録動画データから高解像度の動画データを生成表示可能であるので、カメラ撮影時に蓄積情報量が少なくて済み、消費電力の大きな高解像度動画データ用の超高速撮像素子が不要になる、という利点がある。このため、消費電力に制限のある超小型ビデオカメラなどへの応用が可能になる。この結果、超小型ビデオカメラで撮影した動画データを大画面ディスプレイに高画質拡大表示したり、見たい部分をさらに拡大する等の処理に対応できる、という大きな利点を有する。
【産業上の利用可能性】
【０１０２】
本発明に係る撮像素子では、画素密度混在動画データを取得する際に、高解像度画像部分の情報をフレーム全体について取得したり、低解像度画像部分の画質を向上させたりすることが可能となるので、例えば、高解像度画像を用いて解像度変換ルールを学習し、動画データの高解像度化を行う画像処理に有効である。
【図面の簡単な説明】
【０１０３】
【図１】参考例に係る画像処理方法における録画プロセスを示すフローチャートである。
【図２】参考例に係る画像処理方法における高解像度化プロセスを示すフローチャートである。
【図３】参考例における録画プロセスおよび高解像度化プロセスの例を示す概念図である。
【図４】図１のステップＳ１３の処理の一例を示すフローチャートである。
【図５】図２のステップＳ２３の処理の一例を示すフローチャートである。
【図６】図４のステップＳ１３２におけるテクスチャ特徴量への変換手法の一例を示す図である。
【図７】変換後のテクスチャ特徴量を示す図である。
【図８】本発明の第１の実施形態に係る画像処理装置の構成例を示す図である。
【図９】図８における画素密度混在撮像部の構成例を示す概念図である。
【図１０】画素密度混在撮像素子による画素読み出し方法の一例を示す図である。
【図１１】画素密度混在撮像素子による画素読み出し方法の一例を示す図である。
【図１１Ａ】時空間均等読み出しを示す概念図である。
【図１１Ｂ】時空間における均等性を考慮した読み出しパターンを示す図である。
【図１２】本発明の第１の実施形態に係る撮像素子の回路構成の例を示す図である。
【図１３】図１２の撮像素子における撮像単位画素の回路構成例を示す図である。
【図１４】図１２の撮像素子における蓄積単位画素の回路構成例を示す図である。
【図１５】図１２の撮像素子における飛び越し走査用シフトレジスタの回路構成例を示す図である。
【図１６】図１２〜図１５に示す撮影素子の撮像、転送および読み出しの一連の動作概要を説明する動作シーケンス図である。
【図１７】図１６の高速Ｖ転送期間における動作を示すタイミングチャートである。
【図１８】図１６の水平読み出し期間の動作を示すタイミングチャートである。
【図１９】図１２のセレクタの出力を示すタイミングチャートである。
【図２０】本発明の第１の実施形態におけるテクスチャ変換処理を概念的に示す図である。
【図２１】分析コードブックおよび再生コードブックの作成手法を示す図である。
【図２２】本発明の第１の実施形態に係る画像表示部の構成を示す図である。
【符号の説明】
【０１０４】
２０１  撮像部
２０２  蓄積部
２０３  読み出し用シフトレジスタ
２０５  飛び越し走査用シフトレジスタ
２０６  プログレッシブ走査用シフトレジスタ
２０７  セレクタ
２０８  読み込み用シフトレジスタ
２１１  撮像単位画素
２２１  蓄積単位画素
ｐ２ｓｔｒ  信号線
ｒｄ−ｐ  読み出しパルス供給線
ｔｒｎ  転送パルス供給線
ｓｉｇ−ｏｕｔ  信号出力線
ｒｄ−ｓ  読み出しパルス供給線
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007029738.tif 000026
【図２】
2007029738.tif 000027
【図３】
2007029738.tif 000028
【図４】
2007029738.tif 000029
【図５】
2007029738.tif 000030
【図６】
2007029738.tif 000031
【図７】
2007029738.tif 000032
【図８】
2007029738.tif 000033
【図９】
2007029738.tif 000034
【図１０】
2007029738.tif 000035
【図１１】
2007029738.tif 000036
【図１１Ａ】
2007029738.tif 000037
【図１１Ｂ】
2007029738.tif 000038
【図１２】
2007029738.tif 000039
【図１３】
2007029738.tif 000040
【図１４】
2007029738.tif 000041
【図１５】
2007029738.tif 000042
【図１６】
2007029738.tif 000043
【図１７】
2007029738.tif 000044
【図１８】
2007029738.tif 000045
【図１９】
2007029738.tif 000046
【図２１】
2007029738.tif 000047
【図２２】
2007029738.tif 000048
【図２０】
2007029738.tif 000049
【手続補正書】
【提出日】平成20年2月1日(2008.2.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光の光電変換を行う撮像単位画素が２次元配置された撮像部と、
前記撮像単位画素にそれぞれ対応して蓄積単位画素が２次元配置された蓄積部と、
前記各撮像単位画素に生じた電荷を、対応する前記蓄積単位画素に信号として転送する転送部と、
前記各蓄積単位画素から、信号を読み出す出力部とを備え、
前記出力部は、
前記蓄積部の一部の第１の領域に与える読み出しパルスを生成するプログレッシブ走査用シフトレジスタと、
前記第１の領域以外の全領域を含む第２の領域における、飛び飛びの行に与える読み出しパルスを生成する飛び越し走査用シフトレジスタとを備え、
前記第１の領域については、前記プログレッシブ走査用シフトレジスタによって生成された読み出しパルスを用いて、全ての行の蓄積単位画素から信号を読み出すプログレッシブ読み出しを行うとともに、前記第２の領域については、前記飛び越し走査用シフトレジスタによって生成された読み出しパルスを用いて、飛び飛びの行の蓄積単位画素から信号を読み出す飛び越しライン読み出しを行い、前記第１の領域の画素信号と前記第２の領域の画素信号とを組にして読み出すことが可能なように、構成されており、
前記プログレッシブ走査用シフトレジスタは、
前記第１の領域がフレーム毎に移動し、かつ、複数のフレームにわたって、前記第１の領域が前記蓄積部の領域全体を走査するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項２】
請求項１において、
前記飛び越し走査用シフトレジスタは、
前記飛び飛びの行の位置がフレーム毎に移動するよう、前記読み出しパルスを生成する
ことを特徴とする撮像素子。
【請求項３】
請求項１において、
前記蓄積部に蓄積される電荷を、フレーム毎にリセットするリセット用レジスタを備えた
ことを特徴とする撮像素子。
【請求項４】
請求項１において、
前記第２の領域は、前記第１の領域を含む
ことを特徴とする撮像素子。
【請求項５】
請求項１において、
前記撮像部は、露光時間を一定にして撮像を行う
ことを特徴とする撮像素子。
【国際調査報告】
2007029738.tif 000050
2007029738.tif 000051
2007029738.tif 000052
2007029738.tif 000053