(57)【要約】  本発明の撮影記録再生装置１００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５を備えている。カメラ構成を複雑にすることなく、かつ光の利用効率を低下させずに、高空間解像度・高時間解像度の画像データを取得できる。
2009019808.tif 000002
【特許請求の範囲】
【請求項１】
画像データを生成する装置であって、
被写体からの光を分光する分光部と、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部と
を備える、装置。
【請求項２】
前記解像度変換部は、
前記第１画像と同じタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像の所定の第１画素と、前記第１画素と同じ画素位置にある前記変換後の第２画像の第２画素とを対応付け、前記対応関係を保持し、
前記第１画像と異なるタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像と異なるタイミングで撮像された第２画像の変換後の画像のうちの前記第２画素の画像との類似性が他の画素よりも高い第３画素を決定し、
前記第３画素と同じ画素位置にある前記第１画像の第４画素に、前記第１画素の画像を割り当て、前記第１画像が撮像されなかったタイミングの画像を生成する、請求項１に記載の装置。
【請求項３】
前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、
前記第１撮像部は、前記視感度が最も高い波長帯域の光として前記緑色光を受光して、緑色成分に対応した前記第１画像を取得し、
前記第２撮像部は、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記赤色光を受光して、赤色成分に対応した前記第２画像を取得する赤色光撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記青色光を受光して、青色成分に対応した前記第２画像を取得する青色光撮像部と
を備える、請求項１に記載の装置。
【請求項４】
前記赤色成分に対応した第２画像と、前記青色成分に対応した第２画像とは、互いに同じ空間解像度および時間解像度を有する、請求項３に記載の装置。
【請求項５】
前記第１画像および前記第２画像を格納する記録部をさらに備え、
前記解像度変換部は、前記記録部から読み出した前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項６】
前記解像度変換部は、前記第１画像と同じ空間解像度となるように、前記第２画像の空間解像度を変換し、
前記解像度変換部は、前記第１画像と前記変換後の第２画像とを格納するデータベース部を備え、
前記解像度変換部は、前記データベース部から読み出した前記第１画像と前記変換後の第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項７】
画像ぼけを検出する画像ぼけ検出部をさらに備え、
前記画像ぼけ検出部が画像ぼけを検出した場合には、前記データベース部は、前記第１画像および前記変換後の第２画像の格納動作を停止する、請求項６に記載の装置。
【請求項８】
前記解像度変換部が出力した出力画像から輝度画像を生成する輝度生成部と、
前記出力画像のうちの緑色成分に対応した画像を低解像度化し、前記低解像度化した緑色成分に対応した画像と、赤色成分に対応した画像と、青色成分に対応した画像とから色差画像を生成する色差生成部と
をさらに備える、請求項３に記載の装置。
【請求項９】
画像データを生成する方法であって、
被写体からの光を分光するステップと、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得するステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得するステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、方法。
【請求項１０】
画像データを生成する処理をコンピュータに実行させるプログラムであって、
前記画像データを生成する処理は、
被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され、且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取るステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、プログラム。
【請求項１１】
画像データを生成する処理を実行する装置であって、
前記装置は、画像の時間解像度を変換する解像度変換部を備え、
前記解像度変換部は、
被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るとともに、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取り、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度化画像を高フレームレートで撮影する装置、撮影する方法、撮影記録再生する装置、撮影記録再生する方法、および撮影記録するプログラムに関する。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化が著しい。画像の解像度が高いほど、目の前のシーンを詳細に記録できるため、高解像度撮影のニーズは一般的に高い。【０００３】
解像度は、空間解像度と時間解像度の２つに分類される。前者は、１枚の画像を構成する画素数に対応し、同じ大きさの撮像センサで画素数の多い方が空間解像度の高い撮像センサとなる。被写体の細部まで精細に記録できるため、臨場感の高い高画質の静止画が撮影できる。一方、後者は、単位時間あたりに撮像される画像の枚数に相当し、たとえば１秒間に撮影される画像の枚数が多い撮像センサの方が時間解像度の高い撮像センサとなる。被写体の早い動きも細かく撮影できるため、動きの滑らかな動画像が撮影できる。【０００４】
目の前のシーンをありのままに撮影したい場合、空間解像度と時間解像度を共に高く設定することが多く、従って、データ量が膨大になる。たとえば、ＤＶ方式のビデオカメラの場合、画像サイズは７２０画素×４８０ラインであり、フレームレートを３０枚／秒とすると、２４ビットＲＧＢカラー信号のデータ転送レートは２４９Ｍｂｐｓ（ｂｉｔ  ｐｅｒ  ｓｅｃｏｎｄ）（＝  ７２０画素×４８０ライン×２４ｂｉｔ×３０枚）となる。ハイビジョン方式では、画像サイズが１９２０画素×１０８０ラインとなり、データ転送レートは６倍の１．５Ｇｂｐｓ（＝  １９２０画素×１０８０ライン×２４ｂｉｔ×３０枚）となる。さらに時間解像度を２倍にし、フレームレートを秒６０枚とすると、３Ｇｂｐｓとなる。このようなデータ転送レートで、カメラの撮像センサの出力から記録メディアへの書き込みまで、あるいはディスプレイの走査までを行う必要がある。一般に、民生用ビデオ機器では、これらのデータ転送レートは負荷が大き過ぎるため、データの冗長性を使用してデータを圧縮し、機器の小型化、低消費電力化、コストダウンなどを図っている。また業務用ビデオ機器でも、データ圧縮によるデータ量の削減は頻繁に使われており、オリジナルのデータ転送レートのまま動作する機器は編集向けの高価なシステムだけである。【０００５】
このように、空間解像度と時間解像度がともに高い高画質画像を、できるだけ低いデータ転送レートでやりとりするには、必要なデータのみを取得し、冗長性を低くすることが肝心である。そこで、画像取得の源の段階で必要なデータのみを取得する方式は有効である。たとえば、特許文献１は、図２４（ａ）に示すように、高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、画像処理で図２４（ｂ）の高空間解像度・高時間解像度の画像データ３を生成する技術を開示している。【０００６】
たとえば、図２４の撮影時間が１秒で、画像データ１の画像サイズを１９２０画素×１０８０ライン、画像データ２の画像サイズを６４０画素×３６０ラインとした場合、図２４（ａ）の８ビット輝度信号のデータ転送レートは、５４Ｍｂｐｓ（＝  １９２０画素×１０８０ライン×８ｂｉｔ×２枚  ＋  ６４０画素×３２０ライン×８ｂｉｔ×１３枚）となる。一方、図２４（ｂ）は、１９２０画素×１０８０ラインが８枚であり、８ビット輝度信号のデータ転送レートは、１３３Ｍｂｐｓ（＝  １９２０画素×１０８０ライン×８ｂｉｔ×８枚）となる。図２４（ｂ）のデータ転送レートは、図２４（ａ）の約２．４倍に拡大されている。【０００７】
図２５は、画像データ３を生成する処理を示すフローチャートであり、画像データ２の低空間解像度画像で動きベクトルを推定し（ステップＳ１０１〜Ｓ１０３）、その結果から画像データ１の高空間解像度画像の動き補償を行い（ステップＳ１０４）、動き補償された高空間解像度画像のＤＣＴ（ＤｉｓＰｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）スペクトルを、それに対応する時間の低空間解像度画像のＤＣＴスペクトルと合成し、逆ＤＣＴ変換で目的の高空間解像度・高時間解像度の画像を得る（ステップＳ１０５〜Ｓ１０６）。【０００８】
図２６は、画像データ１と画像データ２を取得するための複合センサカメラの構成例を示す図である。複合センサカメラ４は、同一視野を有する２種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子５と、２枚のレンズ６と、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８とを備える。分光素子５は、入射光９の一部を反射する。２枚のレンズ６は分光素子５で反射した光および透過した光をそれぞれ集光する。高空間解像度・低時間解像度カメラ７は、一方のレンズ６で集光された光を高空間解像度・低時間解像度で撮像し、画像データ１を出力する。低空間解像度・高時間解像度カメラ８は、他方のレンズ６で集光された光を低空間解像度・高時間解像度で撮像し、画像データ２を出力する。
【特許文献１】特開２００５−３１８５４８号公報（図２、図３、図５）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の技術では、撮像センサの感度とＲＧＢカラー撮影の点で以下のような課題を有していた。【００１０】
すなわち、複合センサカメラ４は、分光素子５によって、入射光９を高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８に分配するため、それぞれのカメラに入射する光量が１／２に減少する。入射光量の減少は、撮像画像のＳＮ比（Ｓｉｇｎａｌ  Ｎｏｉｓｅ比）を低下させ、画質を劣化させる可能性が高まる。一方、ＳＮ比の低下を防ぐために、露出時間を長くすると、ブラーが発生する可能性が高くなり、画質劣化を引き起こす可能性が高くなる。【００１１】
また、仮に、複合センサカメラ４を用いてＲＧＢカラー画像を撮影しようとすれば、図２７に示すように、複合センサカメラ４を３つ用意することになり（それぞれ、複合センサカメラ４１、複合センサカメラ４２、複合センサカメラ４３とする）、入射光９を３つの複合センサカメラ４１〜４３に分配するために、２つの色分解フィルタ（色分解フィルタ１０、１１）が必要になる。色分解フィルタ１０は、たとえば、長波長域（概ね６００ｎｍ〜７８０ｎｍ）を反射し、残りの波長域を透過する。反射光１２は、複合センサカメラ４１へ入射し、長波長域の撮像が行われ、Ｒ画像（光の赤色成分に対応した画像）が得られる。一方、色分解フィルタ１０の透過光１３は、色分解フィルタ１１に入射し、たとえば、短波長域（概ね３８０ｎｍ〜５００ｎｍ）が反射され、残りの波長域を透過する。反射光１４は、複合センサカメラ４２へ入射し、短波長域の撮像が行われ、Ｂ画像（光の青色成分に対応した画像）が得られる。色分解フィルタ１１の透過光１５は、色分解フィルタ１０の反射光１２と色分解フィルタ１１の反射光１４以外の光であり、この残った中波長域（概ね５００ｎｍ〜６００ｎｍ）が透過する。透過光１５は複合センサカメラ４３に入射し、中波長域の撮像が行われ、Ｇ画像（光の緑色成分に対応した画像）が得られる。以上のように、色分解フィルタ１０、１１の追加は、カメラのサイズを大きくし、カメラの操作性や可搬性を低下させる。【００１２】
一方、カメラのサイズが大きくならないように、図２８に示す構成例のように、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８の前に、たとえば図２９に示すような色フィルタ１６を配置して、ＲＧＢに色分解する方式も考えられる。すなわち、色フィルタ１６の中で、画素２０に位置する色フィルタは中波長域のＧのみを透過し、それ以外の長波長域Ｒと短波長域Ｂを吸収してＧ画像を生成する。同様に、画素２１に位置する色フィルタは長波長域のＲのみを透過し、それ以外の中波長域Ｇと短波長域Ｂを吸収してＲ画像を生成する。画素２２に位置する色フィルタは短波長域のＢのみを透過し、それ以外の長波長域Ｒと中波長域Ｇを吸収してＢ画像を生成する。このように、色フィルタ１６は、不要な波長域の光を吸収して色分解するため、光の利用効率はモノクロカメラより低くなる。ＲＧＢ３色に分解されるため、概ね、１／３がカメラに入射し、２／３が色フィルタ１６に吸収される計算になる。【００１３】
本発明は、上記従来の課題を解決するもので、カメラ構成を複雑にすることなく、かつ光の利用効率を低下させずに、高空間解像度・高時間解像度の画像データを取得できる装置、方法、プログラムおよび撮影記録再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の装置は、画像データを生成する装置であって、被写体からの光を分光する分光部と、前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部とを備えることを特徴とする。【００１５】
ある実施形態によれば、前記解像度変換部は、前記第１画像と同じタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、前記第１画像の所定の第１画素と、前記第１画素と同じ画素位置にある前記変換後の第２画像の第２画素とを対応付け、前記対応関係を保持し、前記第１画像と異なるタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、前記第１画像と異なるタイミングで撮像された第２画像の変換後の画像のうちの、前記第２画素の画像との類似性が他の画素よりも高い第３画素を決定し、前記第３画素と同じ画素位置にある前記第１画像の第４画素に、前記第１画素の画像を割り当て、前記第１画像が撮像されなかったタイミングの画像を生成する。【００１６】
ある実施形態によれば、前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、前記第１撮像部は、前記視感度が最も高い波長帯域の光として前記緑色光を受光して、緑色成分に対応した前記第１画像を取得し、前記第２撮像部は、前記視感度が最も高い波長帯域以外の波長帯域の光として前記赤色光を受光して、赤色成分に対応した前記第２画像を取得する赤色光撮像部と、前記視感度が最も高い波長帯域以外の波長帯域の光として前記青色光を受光して、青色成分に対応した前記第２画像を取得する青色光撮像部とを備える。【００１７】
ある実施形態によれば、前記赤色成分に対応した第２画像と、前記青色成分に対応した第２画像とは、互いに同じ空間解像度および時間解像度を有する。【００１８】
ある実施形態によれば、前記第１画像および前記第２画像を格納する記録部をさらに備え、前記解像度変換部は、前記記録部から読み出した前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。【００１９】
ある実施形態によれば、前記解像度変換部は、前記第１画像と同じ空間解像度となるように、前記第２画像の空間解像度を変換し、前記解像度変換部は、前記第１画像と前記変換後の第２画像とを格納するデータベース部を備え、前記解像度変換部は、前記データベース部から読み出した前記第１画像と前記変換後の第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。【００２０】
ある実施形態によれば、画像ぼけを検出する画像ぼけ検出部をさらに備え、前記画像ぼけ検出部が画像ぼけを検出した場合には、前記データベース部は、前記第１画像および前記変換後の第２画像の格納動作を停止する。【００２１】
ある実施形態によれば、前記解像度変換部が出力した出力画像から輝度画像を生成する輝度生成部と、前記出力画像のうちの緑色成分に対応した画像を低解像度化し、前記低解像度化した緑色成分に対応した画像と、赤色成分に対応した画像と、青色成分に対応した画像とから色差画像を生成する色差生成部とをさらに備える。【００２２】
本発明の方法は、画像データを生成する方法であって、被写体からの光を分光するステップと、前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得するステップと、前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得するステップと、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップとを包含する。【００２３】
本発明のプログラムは、画像データを生成する処理をコンピュータに実行させるプログラムであって、前記画像データを生成する処理は、被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るステップと、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され、且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取るステップと、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップとを包含する。【００２４】
本発明の装置は、画像データを生成する処理を実行する装置であって、前記装置は、画像の時間解像度を変換する解像度変換部を備え、前記解像度変換部は、被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るとともに、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取り、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。【００２５】
上記従来の課題を解決するために、本発明は、視感度が最も高い波長域（Ｇ）で高空間解像度・低時間解像度の第１画像を取得し、その他の波長域（Ｒ、Ｂ）で低空間解像度・高時間解像度の第２画像を取得し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換する。入射光を３つの波長域に分解するために、２枚の色分解フィルタを用いる。すなわち、１枚目の色分解フィルタで３つの波長域のうち、たとえば、Ｒの長波長域を反射し、残りのＧとＢの波長域を透過する。ＧとＢの透過光は２枚目の色分解フィルタに入射し、たとえば、Ｂの短波長域を反射し、残りのＧの中波長域が透過する。【００２６】
視感度が最も高い波長域（Ｇ）の光は、高空間解像度・低時間解像度の撮像センサに入射し、上記第１画像を得る。ＲとＢの波長域の光は、それぞれに用意された低空間解像度・高時間解像度の撮像センサに入射し、２枚の第２画像を得る。第１画像（Ｇの高空間解像度画像）と第２画像（Ｒ、Ｂの低空間解像度画像）の対応関係から、空間解像度の高解像度化情報を取得し、これを元に、第１画像が撮影されていない時間位置で第２画像に高空間解像度化処理を施して第１画像を生成し、高空間解像度・高時間解像度のＧ画像を得る。視感度の低いＲとＢの低空間解像度画像は、隣接画素へ画素値をコピーしたり、補間拡大することでＧ画像と同じ空間解像度へ高解像度化する。高解像度化されたＲ画像、Ｇ画像、Ｂ画像は、グレーバランスを崩さないように合成するために、たとえば輝度色差信号ＹＰｂＰｒに変換し、ＹＰｂＰｒ空間で合成し、ＲＧＢ信号に逆変換して、高空間解像度・高時間解像度のＲＧＢカラー画像を得る。【００２７】
本構成によって、ＲＧＢの色分解と空間解像度と時間解像度の振り分けを同時に行うことができ、３板式カラーカメラの構成で、光効率を落とすことなく、高空間解像度・高時間解像度のＲＧＢカラー画像を取得できる。
【発明の効果】
【００２８】
本発明の装置は、被写体からの光を分光し、分光された光のうちの視感度が最も高い波長帯域の光を受光して第１画像を取得し、視感度が最も高い波長帯域以外の波長帯域の光を受光して第１画像よりも空間解像度が低く時間解像度が高い第２画像を取得する。そして、時間解像度変換部は、第１画像と第２画像とを用いて、第１画像の時間解像度を第２画像の時間解像度に変換する。このように、被写体からの光を分光させて受光することにより、光の利用効率の低下を防止することが出来る。また、第２画像を用いて第１画像の時間解像度を向上させることにより、高空間解像度且つ高時間解像度の画像データを取得することができる。【００２９】
本発明によれば、撮像センサのデータ転送レートを超える大容量の高空間解像度且つ高時間解像度の画像データを３板式カラーカメラの構成で取得でき、可搬性や経済性などを損ねることなく、より解像度の高い高画質画像を得ることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態１に係る撮影記録再生装置１００の構成を示すブロック図である。
【図２Ａ】Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表わした図である。
【図２Ｂ】空間解像度アップコンバータ部１１２がＲ画像１１７とＢ画像１１９の空間解像度を高解像度化する概念を模式的に表わした図である。
【図２Ｃ】時間解像度アップコンバータ部１１３がＧ画像１１８の時間解像度を高解像度化する概念を模式的に表わした図である。
【図３】空間解像度に対する感度分布の計測例を示す図である。
【図４】人間の目の分光感度特性を示す図である。
【図５】（ａ）および（ｂ）は空間解像度アップコンバータ部１１２および時間解像度アップコンバータ部１１３がＧ画像１２２を生成する原理を説明する図である。
【図６】ウェーブレット変換による多重解像度表現の例を示す図である。
【図７】（ａ）および（ｂ）はウェーブレット変換を説明する図である。
【図８】（ａ）から（ｃ）はスケールレベルｎ＝２のときの画像特徴量を画素ごとに算出する方法を説明する図である。
【図９】空間解像度アップコンバータ部１１２の構成を示すブロック図である。
【図１０】時間解像度アップコンバータ部１１３の構成を示すブロック図である。
【図１１】（ａ）および（ｂ）は撮影記録再生装置１００の動作フローを説明する図である。
【図１２】本発明の実施形態２に係る撮影記録再生装置２００の構成を示すブロック図である。
【図１３】輝度色差変換部２０２の構成を示すブロック図である。
【図１４】本発明の実施形態３に係る撮影記録再生装置３００の構成を示すブロック図である。
【図１５】色差変換部３０３の構成を示すブロック図である。
【図１６】（ａ）から（ｃ）は輝度画像３０４と色差画像３０８の画像サイズの違いの一例を示す図である。
【図１７】（ａ）および（ｂ）は輝度画像３０４と色差画像３０８の画像サイズの違いの一例を示す図である。
【図１８】本発明の実施形態４に係る撮影記録再生装置４００の構成を示すブロック図である。
【図１９】ＲＢ高域調整部４０２の構成を示すブロック図である。
【図２０】局所的な領域内の例を示す図である。
【図２１】ＲとＢの局所的な相関ρと重みＷの関係の例を示す図である。
【図２２】本発明の実施形態５に係る撮影記録再生装置５００の構成を示すブロック図である。
【図２３】本発明の実施形態６に係る撮影記録再生装置６００の構成を示すブロック図である。
【図２４】（ａ）および（ｂ）は高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、高空間解像度・高時間解像度の画像データ３を生成する概念を説明する図である。
【図２５】画像データ３を生成する処理を示すフローチャートである。
【図２６】画像データ１と画像データ２を取得するための複合センサカメラの構成例を示す図である。
【図２７】ＲＧＢカラー撮影のためのシステムを説明する図である。
【図２８】ＲＧＢカラー撮影のための複合センサカメラの構成例を示す図である。
【図２９】色フィルタ１６の詳細を説明する図である。
【符号の説明】
【００３１】
１００、２００、３００、４００、５００、６００  撮影記録再生装置
１０１  入射光
１０２  高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）
１０３  撮影部
１０４  色分解部
１０５  Ｒ撮像センサ部
１０６  Ｇ撮像センサ部
１０７  Ｂ撮像センサ部
１０８  撮影画像記録部
１０９  撮影画像書き込み部
１１０  メモリ部
１１１  撮影画像読み出し部
１１２  空間解像度アップコンバータ部
１１３  時間解像度アップコンバータ部
１１４  出力部
１８５  系統識別信号発生部
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照して本発明の実施形態を詳細に説明する。Ｒ、Ｇ、Ｂはそれぞれ赤色、緑色、青色を指している。Ｒ画像とは光の赤色成分に対応した画像を指し、Ｇ画像とは光の緑色成分に対応した画像を指し、Ｂ画像とは光の青色成分に対応した画像を指している。【００３３】
（実施形態１）
図１は、本発明の実施形態１による撮影記録再生装置１００を示すブロック図である。【００３４】
撮影記録再生装置１００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２を出力する。撮影記録再生装置１００は、視感度が最も高い波長域（緑色（Ｇ）の波長域）で高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域（赤色（Ｒ）と青色（Ｂ）の波長域）で低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する。【００３５】
撮影記録再生装置１００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５を備えている。【００３６】
撮影部１０３は、入射光１０１を受光し、ＲＧＢカラー画像を出力する。色分解部１０４は、入射光１０１を長波長域Ｒ、中波長域Ｇ、短波長域Ｂに分光する分光部であり、Ｒ撮像センサ部１０５でＲ画像、Ｇ撮像センサ部１０６でＧ画像、Ｂ撮像センサ部１０７でＢ画像が撮影できるように色分解を行う。面１１５は、図２７の色分解フィルタ１０に相当し、長波長域（Ｒ）を反射し、残りの波長域を透過する。面１１６は、図２７の色分解フィルタ１１に相当し、短波長域（Ｂ）を反射し、残りの波長域を透過する。【００３７】
Ｇ撮像センサ部１０６は、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７に比べて、撮像素子数が多い高空間解像度の撮像センサである。本実施形態では、Ｇ撮像センサ部１０６の画素数とライン数をハイビジョンサイズとして、１９２０画素×１０９０ラインとする。Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数とライン数は、Ｇ撮像センサ部１０６の１／３であり、６４０画素×３６０ラインとする。一方、時間解像度の関係は、空間解像度の逆になり、Ｇ撮像センサ部１０６は２ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は１５ｆｐｓであり、Ｇ撮像センサ部１０６は低時間解像度、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は高時間解像度を有する。図２Ａは、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表わしたものである。Ｇ撮像センサ部１０６が撮影するＧ画像１１８は、時間ｔ１と時間ｔ１５の２枚撮影され、Ｒ撮像センサ部１０５が撮影するＲ画像１１７とＢ撮像センサ部１０７が撮影するＢ画像１１９は、時間ｔ１から時間ｔ１５の１５枚撮影される。【００３８】
ここで、ＲＧＢの各画像の空間解像度と時間解像度の高低を
ＸS,T
という表記法で表わす。
ここで、ＸはＲ、あるいはＧ、あるいはＢであり、
ＳはＨ（高空間解像度）、あるいはＬ（低空間解像度）であり、
ＴはＨ（高時間解像度）、あるいはＬ（低時間解像度）である。
すなわち、Ｘは、ＲＧＢ画像の種類を表わし、Ｓは空間解像度の高低、Ｔは時間解像度の高低を表わす。解像度の高低は相対的に決まり、本実施例では、
高空間解像度が１９２０画素×１０８０ライン
低空間解像度が６４０画素×３６０ライン
高時間解像度が１５ｆｐｓ
低時間解像度が２ｆｐｓ
となる。図２Ａに示すように、Ｇ撮像センサ部１０６の出力であるＧ画像は、高空間解像度・低時間解像度であるため、ＧH,Lと表記する。一方、Ｒ撮像センサ部１０５の出力であるＲ画像とＢ撮像センサ部１０７の出力であるＢ画像は、低空間解像度・高時間解像度であるため、それぞれＲL,H、ＢL,Hと表記する。【００３９】
撮影画像記録部１０８は、撮影部１０２が出力したＲ画像、Ｇ画像、Ｂ画像を記録・再生する。【００４０】
撮影画像書き込み部１０９は、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０に書き込み、撮影画像を記録する。撮影画像読み出し部１１１は、メモリ部１１０からＲ画像、Ｇ画像、Ｂ画像をＡ系統５０とＢ系統５１の２系統で読み出す。Ａ系統５０は、後述するように、時間解像度アップコンバータ部１１３で低空間解像度の画像と高空間解像度の関係を学習するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。Ｂ系統５１は、撮影画像を再生し、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２を出力するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。撮影画像書き込み部１０９が、図２Ａに示した空間解像度と時間解像度の２４ビットＲＧＢ画像をメモリ部１１０に記録する場合、データ転送レートは、８８Ｍｂｐｓ（＝  （１９２０画素×１０８０ライン×８ｂｉｔ×２枚）  ＋  （６４０画素×３６０ライン×８ｂｉｔ×１５枚）  ＊  ２チャンネル）となる。撮影画像読み出し部１１１も同じデータ転送レートで動作する。メモリ部１１０は、磁性体を利用したハードディスクや半導体メモリや光ディスクなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置１００から取り外せるリムーバブル型にすれば、撮影記録再生装置１００で記録した撮影画像を他の機器との間で移動、あるいはコピーが可能である。【００４１】
空間解像度アップコンバータ部１１２は、図２Ｂに示すように、Ｒ画像１１７とＢ画像１１９の空間解像度を高解像度化し、Ｒ画像とＢ画像の画素数とライン数をＧ画像１１８と同じ１９２０画素×１０８０ラインへ変換して、Ｒ画像１２０とＢ画像１２１を出力する。空間解像度が高解像度化されたことを表記上に反映させるために、ＳとＴの添字を追加する。すなわち、空間解像度が高解像度化されたＲ画像１２０は、ＲLH,Hと表記する。また、Ｂ画像１２１は、ＢLH,Hと表記する。【００４２】
時間解像度アップコンバータ部１１３は、図２Ｃに示すように、Ｇ画像１１８の時間解像度を高解像度化し、Ｇ画像の枚数がＲ画像１１７とＢ画像１１９と同じ１５ｆｔｐであるＧ画像１２２を出力する。時間解像度が高解像度化されたＧ画像１２２は、ＧH,LHと表記する。【００４３】
空間解像度アップコンバータ部１１２および時間解像度アップコンバータ部１１３をまとめて解像度変換部とも称する。【００４４】
撮影記録再生装置１００の各構成要素、例えば、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３等は、半導体集積回路等の回路素子により実現され得る。これらの構成要素は１チップ上に集積されて形成されてもよいし、別々の部品として形成されてもよい。また、ＣＰＵ（中央演算処理装置）とそのＣＰＵを動作させるプログラムを格納した記憶媒体等により実現されてもよい。【００４５】
空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３の動作を詳細に説明する前に、人間の視覚系の時空間解像度特性について説明する。【００４６】
人間の視覚系の時空間解像度特性は、「色」の違いよりも、「輝度」の違いに敏感である。図３は、空間解像度に対する感度分布の計測例を文献（色彩科学ハンドブック第２版  東京大学出版会  １９９８年６月（１０２２ページ、１０２３ページ））から転記したものである。曲線３０は、黄と青の色の違いで縞模様が形成されたパターンを見た場合の相対感度を示す。視野角１度に０．１〜０．２周期分の縞模様が提示された場合、人間の目には識別が最も容易く、視野角１度に２周期分の縞模様になると、黄と青の色の違いが人間の目には識別できなくなる。曲線３１は、赤と緑の色の違いで縞模様が形成されたパターンを見た場合の相対感度を示す。黄と青の組み合わせより感度は高いが、概ね同じ傾向を示す。一方、曲線３２は、明暗の違い、すなわち、白と黒で縞模様が形成されたパターンを見た場合の相対感度を示す。感度のピークは、視野角１度に２周期の位置にあり、色の違いよりも明らかに敏感であることがわかる。時間解像度に対しても概ね同じ傾向があり、輝度の違いの感度曲線は、色の違いの感度曲線よりも広帯域であり、感度がなくなる限界周波数も輝度の方が高い、と報告されている。【００４７】
以上のような人間の目の時空間解像度特性から、高画質画像を撮影・記録・再生するには、色情報よりも輝度情報を優先すべきであると考えられる。そこで、本発明では、Ｒ画像、Ｇ画像、Ｂ画像のうち、輝度への寄与が大きいものを高解像度で撮影し、輝度への寄与が小さいものを低解像度で撮影する。これにより、画質への影響を抑えつつ、データ転送レートを低くできる。図４は、人間の目の分光感度特性を文献（色彩工学  東京電機大学出版局  １９９３年１２月（１２ページ））から転記したものである。人間の目は、中波長域のＧに対して相対的に敏感であり、長波長域のＲや短波長域のＢの感度は低い。そこで、Ｒ画像、Ｇ画像、Ｂ画像のうち、輝度への寄与が最も大きいのがＧ画像であると言え、人間の解像度特性も合わせると、Ｇ撮像センサ部１０６は、高解像度に撮影しておくことが画質的に重要である。視感度には若干の個人差があり得るが、統計的には視感度が最も高い波長帯域の光は緑色光となる。本発明の実施形態では、ＲＧＢ光のうちの視感度が最も高い波長帯域の光を緑色光（Ｇ光）とし、その視感度が最も高い波長帯域以外の波長帯域の光を赤色光（Ｒ光）および青色光（Ｂ光）として説明する。【００４８】
なお、視感度が最も高い波長帯域の光が緑色光以外の光となる条件下では、その色の光が視感度が最も高い波長帯域の光として選択されてもよく、緑色光に限定されない。【００４９】
また、例えば、海やプール等、水中のシーンを撮影する場合の様に、シーン中に緑色以外の色成分（この場合は青色）が強く現れることが事前に分っている場合には、青色を高空間解像度且つ低時間解像度で撮影し、赤色と緑色を低空間解像度且つ高時間解像度で撮影することにより、観察者の主観画質の良いカラー動画像を提示することができる。【００５０】
以上、図３と図４に示した観点から、Ｇ撮像センサ部１０６は、高空間解像度・低時間解像度とし、図２Ａに示すように、時間ｔ１と時間ｔ１５で高空間解像度画像を撮影する。一方、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は、低空間解像度・高時間解像度とし、図２Ａに示すように、時間ｔ１から時間ｔ１５のすべてのタイミングで低空間解像度画像を撮影する。この構成により、時間ｔ１と時間ｔ１５では、画質として重要なＧ画像を高い空間解像度で取得する。空間解像度を優先させたために、時間ｔ２から時間ｔ１４ではＧ画像が取得できないが、時間ｔ１と時間ｔ１５で取得した高空間解像度画像を元手に、時間ｔ２から時間ｔ１４の１３枚のＧ画像を高空間解像度で生成し、高空間解像度・高時間解像度のＧ画像１２２を作り出す。一方、Ｒ画像とＢ画像は時間ｔ１から時間ｔ１５のすべてのタイミングで空間解像度の低い画像しか取得できない。しかし、Ｒ画像とＢ画像は輝度への寄与が少なく、従って、人間が感覚する画質への影響は少ない。逆に、Ｒ画像とＢ画像の時間解像度は高く、後述するように、時間解像度アップコンバータ部１１３で時間ｔ２から時間ｔ１４のＧ画像を生成する際の拠り所となる。以上の考え方を踏まえ、空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３の動作をより詳細に説明する。【００５１】
図５は、時間解像度アップコンバータ部１１３がＧ画像１２２（図２Ｃ）を生成する原理を説明する図である。図５（ａ）は、低空間解像度の画像と高空間解像度の画像の関係を学習する原理を示し、図５（ｂ）は上記学習した空間解像度の関係を参照して、Ｇ画像１２２を生成する原理を示す。【００５２】
時間解像度アップコンバータ部１１３は、Ｇ画像の所定の第１画素と、第１画素と同じ画素位置にある高解像度化されたＲ画像および／またはＢ画像の第２画素とを対応付け、その対応関係を保持する。次に、Ｇ画像と異なるタイミングで撮像されたＲ画像および／またはＢ画像を高解像度化した画像のうちの、上記第２画素の画像との類似性が他の画素よりも高い第３画素を決定する。言いかえれば、Ｇ画像と異なるタイミングで撮像されたＲ画像および／またはＢ画像の変換後の画像の第３画素との類似性が他よりも高い第２画素を、保持された複数の対応関係に含まれる複数の第２画素の中から決定する。第２画素と対応付けられた第１画素の画像を、第３画素と同じ画素位置にあるＧ画像の第４画素に割り当てる。これにより、Ｇ画像が撮像されなかったタイミングのＧ画像１２２を生成することができる。以下、Ｇ画像１２２の生成処理を詳細に説明する。【００５３】
図５（ａ）を参照して、ベース画像組１３０は、図２Ａにおける時刻ｔ１、あるいは時刻ｔ１５の同じタイミングで取得されたＲ画像１１７とＧ画像１１８とＢ画像１１９の組を表わす。「時間ｔ１から時間ｔ１５に渡るＲ画像１１７」と「時刻ｔ１、あるいは時刻ｔ１５のＲ画像１１７」を区別するために、後者をＲベース画像１３１とする。同様に、「時間ｔ１から時間ｔ１５に渡るＧ画像１１８」と「時刻ｔ１、あるいは時刻ｔ１５のＧ画像１１８」を区別するために、後者をＧベース画像１３２とする。「時間ｔ１から時間ｔ１５に渡るＢ画像１１９」と「時刻ｔ１、あるいは時刻ｔ１５のＢ画像１１９」を区別するために、後者をＢベース画像１３３とする。ベース画像組１３０の中のＧベース画像１３２を元手に、時刻ｔ２から時刻ｔ１４の欠落しているＧ画像を生成することから、Ｇベース画像１３２がＧ画像生成用のリソースに位置付けられる。欠落しているＧ画像の生成では、時刻ｔ２から時刻ｔ１４で常に撮影されているＲ画像とＢ画像を頼りに、Ｇベース画像１３２の中から適切なＧ画像生成用リソースを見つけ出す処理を行う。そこで、ＲＧＢ画像がすべて揃っているベース画像組１３０を用いて、Ｒベース画像１３１とＢベース画像１３３の低空間解像度とＧベース画像１３２の高空間解像度の関係を構築し、Ｇ画像生成用データベース部１４０に格納する。【００５４】
Ｒベース画像１３１とＢベース画像１３３は、Ｇ画像との対応関係を取るために、たとえば補間拡大で空間解像度を高解像度化し、画素数とライン数をＧ画像に一致させる。補間によるアップサンプリングは、既存の情報を内挿して画素数とライン数を増やすため、高周波成分の生成には限界があり、一般にボケ感を伴った拡大画像が生成される。すなわち、補間拡大で復元できる波形周波数の上限は、内挿点の前後２点の重み付けをｓｉｎｃ関数に基づいて決定したＣｕｂｉｃ  ｃｏｎｖｏｌｕｔｉｏｎを用いれば、サンプリング周波数の１／２となる。しかし、Ｒ画像とＢ画像は、空間高解像度化のリソースをＧ画像から見つけ出すために参照される情報であり、高空間解像度の画像を持つ高周波成分まで完全に復元する必要はない。内挿によって既存の情報から中間的な値が算出されれば、空間高解像度化のリソースをＧ画像から見つけ出すことは可能である。【００５５】
補間拡大されたＲ画像１３４とＢ画像１３５、そしてＧベース画像１３２は周波数解析手段を用いて、画像特徴量に変換される。図５において、画像特徴量の表記にはｆを用い、たとえばＧH,Lが画像特徴量に変換されたものは、ｆＧH,Lと表記する。本発明において、画像特徴量の定義は任意であるが、たとえば、図６に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、ｎ個のスケールそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを得る。スケールレベルｎが３の場合、画像特徴量は、１０次元の画像特徴ベクトル（ｗ1，  ｗ2，  …，  ｗ10）になる。【００５６】
上記ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬとは、ハール型のマザーウェーブレットを用いた場合の出力であり、図７（ａ）に示すように、ＨＬは処理対象の画素６０の右隣接画素６１との差分値、ＬＨは処理対象の画素６０の下隣接画素６２との差分値、ＨＨは斜下隣接画素６３との差分値、ＬＬは処理対象の画素６０を含む右、下、斜下の４つの画素の平均値である。図７（ａ）はスケール１に相当し、図７（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素の平均値である出力ＬＬが差分値の計算対象になり、スケール２における出力ＨＬはブロック６４とブロック６５の差分値、スケール２における出力ＬＨはブロック６４とブロック６６の差分値、スケール２における出力ＨＨはブロック６４とブロック６７の差分値となる。また、スケール２における出力ＬＬはブロック６４からブロック６７の平均値となる。【００５７】
図８は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図８（ａ）は、画素７０の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,1を算出する方法であり、ブロック７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図８（ｂ）は、画素７２の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,2を算出する方法であり、ブロック７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図８（ｃ）は、画素７３の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,3を算出する方法であり、ブロック７４内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが、１画素ごとに移動することで、画素ごとに画像特徴量が算出される。【００５８】
低空間解像度の画像はＲ画像とＢ画像の２つがあるため、ｐ次元の画像特徴ベクトルＲ画像１３６とｐ次元の画像特徴ベクトルＢ画像１３７を組み合わせて、２ｐ次元の画像特徴ベクトルＲＢ画像１３８（図５（ａ））とする。Ｇベース画像１３２も同様に画像特徴量に変換し、ｐ次元の画像特徴ベクトルＧ画像１３９を生成する。Ｇ画像生成用データベース部１４０は、同じ画素位置にある画像特徴ベクトルＲＢ画像１３８の画像特徴量と画像特徴ベクトルＧ画像１３９の画像特徴ベクトルを対応付け（第１および第２画素の対応付け）、低空間解像度の画像特徴ベクトルを高空間解像度の画像特徴ベクトルに置換する辞書として機能する。本実施形態では、Ｇ画像は１９２０画素×１０８０ラインであり、およそ２０７万組の画像特徴ベクトルの置換情報がＧ画像生成用データベース部１４０に格納される。また、Ｇ画像は時間ｔ１と時間ｔ１５で２枚取得できるため、空間高解像度化で参照できる画像特徴ベクトル置換情報は、およそ４１４万組になる。時間ｔ２から時間ｔ１４で欠落するＧ画像を、およそ４１４万本のＧ画像の画像特徴ベクトルから選び出して作り出すことになる。【００５９】
図５（ｂ）において、画像組１５０は、時間ｔ２から時間ｔ１４におけるＲ画像１５１とＢ画像１５２の組を表わす。Ｒ画像１５１とＢ画像１５２は、図５（ａ）と同じ補間拡大方法によって、Ｇ画像と同じ画素数とライン数に変換されて、Ｒ画像１５３とＢ画像１５４が生成される。Ｒ画像１５３とＢ画像１５４は、図５（ａ）と同じ方法で画像特徴量に変換され、ｐ次元の画像特徴ベクトルＲ画像１５５とｐ次元の画像特徴ベクトルＢ画像１５６が生成される。ｐ次元の画像特徴ベクトルＲ画像１５５とｐ次元の画像特徴ベクトルＢ画像１５６は組み合わせて、２ｐ次元の画像特徴ベクトルＲＢ画像１５７とする。２ｐ次元の画像特徴ベクトルＲＢ画像１５７は、Ｇ画像生成用データベース部１４０の２ｐ次元の画像特徴ベクトルＲＢ画像１３８と、画素ごとに画像特徴ベクトルの類似度が比較される。類似するＲＢ画像１５７の画素（第３画素）とＲＢ画像１３８の画素（第２画素）とが特定され、類似ＲＢ画像特徴ベクトル１５８が選び出される。画像特徴ベクトルＧ画像１３９から類似ＲＢ画像特徴ベクトル１５８と同じ画素位置（第１画素）にある画像特徴ベクトルを引き出し、これを類似Ｇ画像特徴ベクトル１５９とする。Ｇ画像１３９のうちの、ＲＢ画像１５７の処理対象の画素（第３画素）と同じ座標（同じ位置）の画素（第４画素）に類似Ｇ画像特徴ベクトル１５９を対応付けることで、置換画像特徴ベクトルＧ画像１６０を生成する。【００６０】
類似ＲＢ画像特徴ベクトル１５８を選び出す具体的な方法は任意であるが、たとえば、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が最も短い画像特徴量ベクトルをＧ画像生成用データベース部１４０から選び出したり、あるいは、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が所定の基準距離より短い候補画像特徴量ベクトルを複数抽出し、上記複数抽出された候補画像特徴量ベクトルと同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出し、これらを平均して、類似Ｇ画像特徴ベクトル１５９とする。【００６１】
さらに、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が短い方から順に、たとえば３つ、候補画像特徴量ベクトルとして選び出し、同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出して、これらを平均し、類似Ｇ画像特徴ベクトル１５９とする方法などもある。【００６２】
上記類似Ｇ画像特徴ベクトル１５９は高空間解像度の画像特徴量であり、類似ＲＢ画像特徴ベクトル１５８が類似Ｇ画像特徴ベクトル１５９に置換されたことで空間解像度が高解像度化されたことになる。画像特徴ベクトルＲＢ画像１５７の全画素でＧ画像生成用データベース部１４０を参照して類似Ｇ画像特徴ベクトル１５９への置換が成され、置換画像特徴ベクトルＧ画像１６０が生成される。置換画像特徴ベクトルＧ画像１６０は画像特徴量変換の逆変換が施されて、輝度画像に戻り、置換高解像度化Ｇ画像１６１が生成される。置換高解像度化Ｇ画像１６１を時間ｔ２から時間ｔ１４で算出すれば、図２ＣにおけるＧ画像１２２が生成され、時間解像度が高解像度化される。【００６３】
図９は、空間解像度アップコンバータ部１１２の構成を示すブロック図である。Ａ系統５０からの入力とＢ系統５１からの入力は、系統識別信号１７６に従って、Ｂ用セレクタ１８２、Ｒ用セレクタ１８３、Ｇ用セレクタ１８４で切り替えられる。Ｂ用補間拡大部１７０は、低空間解像度・高時間解像度のＢ画像１５２の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＢ画像１５４を出力する。Ｒ用補間拡大部１７１は、低空間解像度・高時間解像度のＲ画像１５１の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＲ画像１５３を出力する。高空間解像度画像と低空間解像度画像の関係を学習するために用いるベース画像１３０（図５（ａ））に含まれる高空間解像度・低時間解像度のＧ画像１３２は、撮影画像の再生時には、高解像度化処理は不要である。そこで、高空間解像度・低時間解像度のＧ画像１３２は、空間解像度アップコンバータ部１１２ではスルーで出力される。なお、Ｂ用補間拡大部１７０とＲ用補間拡大部１７１を１つにまとめ、時分割で、たとえば最初にＢ画像を補間拡大、次にＲ画像を補間拡大という構成であっても構わない。【００６４】
図１０は、時間解像度アップコンバータ部１１３の構成を示すブロック図である。【００６５】
Ａ系統５０では、Ｇ画像生成用データベース部１４０に格納するデータを生成するために、メモリ部１１０から読み出した撮影画像を、空間解像度アップコンバータ部１１２を介して、Ｂ用画像特徴量変換部１７２、Ｒ用画像特徴量変換部１７３、Ｇ用画像特徴量変換部１７４に供給する。Ｂ用画像特徴量変換部１７２、Ｒ用画像特徴量変換部１７３は、後述するように、撮影画像再生時のＢ系統５１からも撮影画像の供給を受けるため、Ａ系統５０からの撮影画像と、Ｂ系統５１からの撮影画像は、Ｂ用セレクタ１７５ａとＲ用セレクタ１７５ｂで切り替えられる。セレクタの入力切り替えには、系統識別信号１７６を用い、Ａ系統５０とＢ系統５１のどちらかの画像データをＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給する。Ｂ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３で画像特徴ベクトルに変換された後は、Ｂ用セレクタ１７７とＲ用セレクタ１７８を経て、Ｇ画像生成用データベース部１４０の入力側に設定される。これは、図５における画像特徴ベクトルＲＢ画像１３８の画像特徴量に相当する。一方、Ｇ用画像特徴量変換部１７４の出力は、Ｇ画像生成用データベース部１４０の出力側に設定される。これは、画像特徴ベクトルＧ画像１３９の画像特徴ベクトルに相当する。【００６６】
以上の動作により、図５（ａ）に示した低空間解像度の画像と高空間解像度の画像の対応関係の学習が完了する。Ｇ画像生成用データベース部１４０には、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置１００から取り外せるリムーバブル型にすれば、Ｇ画像生成用データベース部１４０のデータを他の機器との間で移動、あるいはコピーが可能である。また、リムーバブル型の記録メディアの代わりに、ネットワークとの通信機能を持つインターフェイスを用いることも可能である。【００６７】
Ｂ系統５１では、撮影画像の再生時にメモリ部１１０から読み出した撮影画像を、空間解像度アップコンバータ部１１２を介して、時間解像度アップコンバータ部１１３に供給する。図２Ａの時間ｔ１と時間ｔ１５では、高空間解像度のＧ画像１１８が撮像されているため、時間解像度アップコンバータ部１１３でＧ画像を生成する必要はない。そこで、図２Ａの時間ｔ１や時間ｔ１５のように、高空間解像度のＧ画像１１８が存在する場合は、そのままスルーで出力する。一方、図２Ａの時間ｔ２から時間ｔ１４のように、Ｇ画像１１８が欠落している部分では、図２Ｃに示したような高空間解像度のＧ画像１２２を生成する。この切り替えを行うために、Ｇ用セレクタ１７９を使い、Ｇ画像１１８の有無をＧ画像識別信号１７９ａで与える。【００６８】
Ｂ系統５１から供給されたＲ画像とＢ画像は、空間解像度アップコンバータ部１１２で一旦、空間解像度が高解像度化された画像であり、図５のＲ画像１５３とＢ画像１５４に相当する。これらは、そのまま出力画像となって、出力Ｂ画像１９０と出力Ｒ画像１９１として、時間解像度アップコンバータ部１１３から出力される。同時に、図５の置換高解像度化Ｇ画像１６１を生成するために、Ｂ用セレクタ１７５ａとＲ用セレクタ１７５ｂを介して、それぞれＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給される。Ｂ用画像特徴量変換部１７２は、図５（ｂ）の画像特徴ベクトルＢ画像１５６を出力し、Ｒ用画像特徴量変換部１７３は、図５（ｂ）の画像特徴ベクトルＲ画像１５５を出力し、類似画像特徴量検出部１８０で組み合わされ、画像特徴ベクトルＲＢ画像１５７となる。【００６９】
引き続き、Ｇ画像生成用データベース部１４０の入力側にＡ系統５０から書き込まれた画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＲＢ画像１５７との間の距離を比較して類似ＲＢ画像特徴ベクトル１５８を検出し、Ｇ画像生成用データベース部１４０の出力側に格納されたＧ画像特徴ベクトルを類似Ｇ画像特徴ベクトル１５９として出力する。類似Ｇ画像特徴ベクトル１５９は、Ｇ用画像特徴量逆変換部１８１で輝度画像に戻り、出力Ｇ画像１９２を得る。【００７０】
出力部１１４は、時間解像度アップコンバータ部１１３から出力Ｂ画像１９０、出力Ｒ画像１９１、出力Ｇ画像１９２を受け、撮影記録再生装置１００の外部へ出力する。【００７１】
系統識別信号発生部１８５は、系統識別信号１７６を発生し、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３に入力する。撮影画像記録部１０８では、撮影画像読み出し部１１１において、系統識別信号１７６により、Ａ系統５０からの読み出しか、Ｂ系統５１からの読み出しかを切り替える。空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３では、Ａ系統５０からの入力か、Ｂ系統５１からの入力かを切り替える。系統識別信号１７６がＡ系統５０を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、図５（ａ）に示すベース画像組１３０のみを読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９が格納される。一方、系統識別信号１７６がＢ系統５１を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、撮影画像を順次読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１が生成される。【００７２】
なお、図５の説明では、ベース画像組１３０は、時刻ｔ１、あるいは時刻ｔ１５としたが、時刻ｔ１と時刻ｔ１５の両方の情報をベース画像組１３０に組み込んでも構わない。ベース画像組に組み込む画像数は任意であり、本発明はこれらに制限を設けない。【００７３】
また、ベース画像組に組み込まれる複数枚の画像の時間間隔は任意であり、本発明はこれらに制限を設けない。【００７４】
また、Ｇ画像生成用データベース部１４０が持つ画像特徴量が互いに類似していて、冗長性が高い場合、類似データを１つの代表データに集約するクラスタリング処理でＧ画像生成用データベース部１４０の規模を小さくしても構わない。たとえば、７２０画素×４８０ラインのベース画像を３枚用いた場合、図６におけるスケールを３段階とするならば、１０次元の画像特徴量ベクトルが、約１００万本（  ＝  ７２０画素×４８０ライン×３枚）算出される。そこで、乱数発生などを利用して、たとえば、１万本の画像特徴量ベクトルを初期クラスタ中心として設定し、各クラスタ中心の画像特徴量ベクトルに最も近い画像特徴量ベクトルを上記１００万本の画像特徴量ベクトルから検出する。検出された画像特徴量ベクトルは、クラスタ中心の画像特徴量ベクトルとの平均が算出され、新たなクラスタ中心として更新される。上記１００万本の画像特徴量ベクトルすべてが、クラスタ中心の画像特徴量ベクトルと平均されるまでクラスタ中心の更新を繰り返して、最終的に、１万本の画像特徴量ベクトルに集約する。クラスタリング以外に、主成分分析を用いることも可能であり、上記１００万本の画像特徴量ベクトルから成る分布の広がりを、複数の基底ベクトルの線形結合で表現して、冗長性を削減する。【００７５】
図１１は、撮影記録再生装置１００の動作フローを説明する図である。図１１（ａ）は、撮影記録時の動作フローを示し、図１１（ｂ）は、撮影画像の再生時の動作フローを示している。図１１（ａ）において、撮影が開始される（ステップＳ０１）と、撮影部１０３は入射光１０１を受光して、高空間解像度・低時間解像度のＧ画像１１８、低空間解像度・高時間解像度のＲ画像１１７とＢ画像１１９を出力する（ステップＳ０２）。撮影画像記録部１０８では、撮影画像書き込み部１０９が、Ｒ画像１１７、Ｇ画像１１８、Ｂ画像１１９をメモリ部１１０に記録する（ステップＳ０３）。図１１（ｂ）において、撮影画像の再生が開始される（ステップＳ０４）と、系統識別信号発生部１８５が系統識別信号１７６を発生し、Ａ系統５０を指定する（ステップＳ０５）。撮影画像記録部１０８では、撮影画像読み出し部１１１が、メモリ部１１０からベース画像組１３０を読み出す（ステップＳ０６）。ベース画像組１３０は、空間解像度アップコンバータ部１１２でＲ画像１３１とＢ画像１３２の空間解像度を補間拡大され（ステップＳ０７）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９を格納する（ステップＳ０８）。【００７６】
上記ステップＳ０８終了後、系統識別信号発生部１８５は、系統識別信号１７６をＢ系統５１に切り替える（ステップＳ０９）。撮影画像記録部１０８では、撮影画像読み出し部１１１が、メモリ部１１０から順次、撮影画像を読み出す（ステップＳ１０）。上記撮影画像は、空間解像度アップコンバータ部１１２でＲ画像１５１とＢ画像１５２の空間解像度が補間拡大され（ステップＳ１１）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１を算出し（ステップＳ１２）、補間拡大されたＲ画像１５３とＢ画像１５４とともに出力部１１４から外部に出力される（ステップＳ１３）。【００７７】
なお、Ｇ画像生成用データベース部１４０に登録された画像特徴ベクトルは、再生動作が終了しても保持されるようにしておけば、次の再生時には、ステップＳ０５からステップＳ０８を省略でき、ステップＳ０９からスタートできる。特に、同じシーンを撮影している場合は、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを再利用できる可能性が高いため、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２の画質を落とさずに、素早く再生画像を生成できる。メモリ部１１０から新たなベース画像組１３０が読み出された際には、Ａ系統５０に切り替え、ステップＳ０５からステップＳ０８によって、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを更新する。【００７８】
なお、本実施例では、図３と図４に示した視覚特性を拠り所に、Ｇ画像を高解像度で撮影し、Ｒ画像とＢ画像を低解像度で撮影する形式で説明した。しかし、色覚には個人差が存在し、図４の高感度域が、いわゆるＧの波長域以外に存在する場合も想定される。たとえば、長波長側のＲに高感度域を有する利用者には、Ｒ画像を高解像度で撮影し、Ｇ画像とＢ画像を低解像度で撮影する。【００７９】
以上のような撮影記録再生装置１００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。たとえば、７２０画素×４８０ラインの標準テレビ用のカメラで、１９２０画素×１０８０ラインのハイビジョン映像が得られる。標準テレビ用カメラの撮像素子は、ハイビジョンカメラよりも大きく、高感度撮影ができ、より手軽に高画質の撮影が可能になる。【００８０】
（実施形態２）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。高空間解像度・高時間解像度の画像を輝度色差空間で合成して、色バランスを保存した高画質画像を生成できる。【００８１】
図１２は、本発明の実施形態２に係る撮影記録再生装置２００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置２００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度の輝度色差画像（ＹOUT  ＰｂOUT  ＰｒOUT）２０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、輝度色差変換部２０２を備えている。【００８２】
輝度色差変換部２０２は、時間解像度アップコンバータ部１１３で生成された高空間解像度・高時間解像度のＲ画像１９０、Ｂ画像１９１、Ｇ画像１９２を輝度色差画像２０１に変換する。ＲＧＢから輝度色差への変換式には、たとえば、（式１）や（式２）を用いる。
【数１】
2009019808.tif 000003
【数２】
2009019808.tif 000004
【００８３】
（式１）や（式２）からわかるように、人間の視覚系が敏感である輝度成分Ｙは、Ｇ成分の寄与が７割を占める。そこで、ＲＧＢ３つのうち、Ｇ成分の空間解像度が最も高ければ、先鋭度の高い高画質画像を生成できる。Ｇ画像１９２は、高空間解像度を有するＧ撮像センサ１０６で撮影された画像の画像特徴量を使って生成されるため、低空間解像度であるＲ撮像センサ１０５やＢ撮像センサ１０７で撮影された画像を補間拡大するＲ画像１９０やＢ画像１９１よりも、高い周波成分を有し、先鋭度の高い高画質画像を生成できる。【００８４】
図１３は、輝度色差変換部２０２の構成を示すブロック図である。輝度算出部２０３は、Ｒ画像１９０、Ｇ画像１９２、Ｂ画像１９１を（式１）あるいは（式２）に従って、輝度画像２０４に変換する。低空間解像度化部２０５は、Ｇ画像１９２の空間解像度を落とし、Ｒ撮像センサ部１０５やＢ撮像センサ部１０７の空間解像度に一致させ、Ｇ画像２０６を生成する。引き続き、補間拡大部２０７がＧ画像２０６の空間解像度をＲ画像１９０、Ｂ画像１９１と一致させるために、補間拡大を行い、Ｇ画像２０８を生成する。以上の動作で、Ｇ画像２０８の空間周波数分布は、Ｒ画像１９０、Ｂ画像１９１と同じ扱いになり、ＲＧＢの色バランスを保存できる。色差算出部２０９は、（式１）に従って、Ｒ画像１９０、Ｂ画像１９１、Ｇ画像２０８を色差画像２１０に変換する。輝度画像２０４と色差画像２１０を合わせて、高空間解像度・高時間解像度の輝度色差画像２０１とし、出力部１１４から撮影記録再生装置２００の外部へ出力する。【００８５】
以上のような撮影記録再生装置２００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。Ｇ画像がデータベース参照によって、Ｒ画像とＢ画像が補間によって、高解像度化が成されるため、特に、Ｇ画像が高周波成分を有する領域で色バランスが崩れる可能性があるが、以上のような撮影記録再生装置２００を用いれば、色バランスを崩さないように、高解像度化されたＧ画像、Ｒ画像、Ｂ画像を色差成分に変換して出力する。一方、高解像度化されたＧ画像は、視覚系の時空間解像度が最も高い輝度成分への寄与度がＲ画像やＢ画像より高いため、先鋭感の高い高画質画像が生成できる。以上より、人間が見た目に高空間解像度・高時間解像度と感じる高画質画像を、輝度色差空間で合成して、色バランスを保存して生成できる。【００８６】
（実施形態３）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。高空間解像度・高時間解像度の画像を輝度色差空間で組み合わせて、色バランスを保存した高画質画像を生成できる。色差成分を複数画素で共通化することで、画質を維持したまま、データ量を抑えた高空間解像度・高時間解像度の輝度色差画像を生成できる。【００８７】
図１４は、本発明の実施形態３に係る撮影記録再生装置３００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置３００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度の輝度色差画像（ＹOUT  ＰｂOUT  ＰｒOUT）３０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、輝度変換部３０２、色差変換部３０３を備えている。輝度変換部３０２は輝度生成部とも称し、色差変換部３０３は色差生成部とも称する。【００８８】
輝度変換部３０２は、時間解像度アップコンバータ部１１３で生成された高空間解像度・高時間解像度のＲ画像１９０、Ｂ画像１９１、Ｇ画像１９２を輝度画像３０４に変換する。ＲＧＢから輝度への変換には、たとえば、（式１）を用いる。図１３に示した輝度算出部２０３と同様、高周波成分を含むＧ画像１９２によって、先鋭度の高い輝度画像３０４を生成する。【００８９】
色差変換部３０３は、撮影画像読み出し部１１１がＢ系統５１から読み出した低空間解像度のＲ画像１５０とＢ画像１５２、そして、高空間解像度のＧ画像１９２を低解像度化した画像から色差画像を生成する。図１５は、色差変換部３０３の構成を示すブロック図である。低空間解像度化部３０５は，高空間解像度のＧ画像１９２をＲ撮像センサ部１０５やＢ撮像センサ部１０７と同じ空間解像度に低解像度化して、Ｇ画像３０６を生成する。Ｇ画像３０６の空間周波数分布は、Ｒ画像１５０、Ｂ画像１５２と同じ扱いになり、ＲＧＢの色バランスを保存できる。色差算出部３０７は、（式１）に従って、Ｒ画像１５０、Ｂ画像１５２、Ｇ画像３０６から色差画像３０８を算出する。【００９０】
図１６は、輝度画像３０４と色差画像３０８の画像サイズの違いの一例を説明する図である。輝度画像３０４は、Ｇ撮像センサ部１０６の空間解像度と一致し、色差画像３０８は、Ｒ撮像センサ部１０５やＢ撮像センサ部１０７の空間解像度と一致する。そこで、図１６（ａ）のように、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数がＧ撮像センサ部１０６の画素数の半分である場合、Ｐｂ・Ｐｒの２つの色成分を有する色差画像３０８のデータ量は、輝度画像３０４と同一になる。この形式は、一般に、４：２：２フォーマットと呼ばれ、広く現行のビデオ機器で利用されている。図３で説明した人間の視覚系は色成分に対して感度が低いという特性を利用したフォーマットであり、図１６（ｃ）に示す色成分をそのまま有する４：４：４フォーマットの見た目の画質を維持しつつ、データ量を抑える有効な手法である。図１６（ｂ）のように、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数とライン数を共にＧ撮像センサ部１０６の半分にした場合、Ｐｂ・Ｐｒの２つの色成分を有する色差画像３０８のデータ量は、輝度画像３０４の半分になる。この形式は、一般に、４：２：０フォーマットと呼ばれ、広く現行のビデオ機器で利用されている。４：２：０フォーマットも４：２：２フォーマット同様、人間の視覚系の色成分に対する低感度特性を利用しており、図１６（ｃ）に示す色成分をそのまま有する４：４：４フォーマットの見た目の画質を維持しつつ、データ量を抑える有効な手法である。【００９１】
色差成分を複数画素で共有化する方式は、図１６に限らず、たとえば、図１７（ａ）および図１７（ｂ）のように、横方向に３画素、縦方向に２ライン、あるいは横に２画素、縦に３ラインを共通化した６：１：１など、任意のフォーマットを形成可能であり、本発明はこれらに制限を与えない。【００９２】
以上のような撮影記録再生装置３００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、高空間解像度・高時間解像度の画像を輝度色差空間で合成して、色バランスを保存した高画質画像を生成できる。特に、色差成分を複数画素で共通化することで、画質を維持したまま、データ量を抑えた高空間解像度・高時間解像度の輝度色差画像を生成できる。【００９３】
（実施形態４）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。ＲとＢの相関に応じて、補間拡大したＲとＢにＧの高域成分を重畳することにより、ＲとＢを高解像度化する。【００９４】
図１８は、本発明の実施形態４に係る撮影記録再生装置４００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置４００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）４０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、ＲＢ高域調整部４０２を備えている。【００９５】
ＲＢ高域調整部４０２は、ＲとＢの相関に応じて、補間拡大したＲとＢにＧの高域成分を重畳することにより、ＲとＢを高解像度化する。図１９に示すように、ＲＢ高域調整部４０２は、低解像度化部４０３と、局所相関演算部４０４と、重み生成部４０５と、カウンタ４０６と、画像メモリ４０７と、重み正規化部４０８とを備える。【００９６】
ＲＢ高域調整部４０２における処理は、フレーム単位の処理となる。まず、各フレーム処理の初めに、カウンタ４０６の内容と画像メモリ４０７の内容を０クリアする。【００９７】
低解像度化部４０３は、時間解像度アップコンバータ部１１３によって高解像度化されたＧ成分、ＧH,LHを空間的に低解像化しＧH,LH,Lを出力する。【００９８】
ＲLH,HとＢLH,Hは、空間解像度アップコンバータ部１１２で補間拡大されたＲ画像とＢ画像であり、時間解像度アップコンバータ部１１３で生成されたＧH,LHと同じ画素数、ライン数を有する。【００９９】
局所相関演算部４０４は、たとえば、図２０に示す２×２画素程度の局所的な領域内でＲLH,HとＢLH,Hの相関値を、（式３）によって計算する。
【数３】
2009019808.tif 000005
【０１００】
なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよく、また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。【０１０１】
重み生成部４０５は、局所相関演算部４０４が計算した相関値に応じた重みを生成する。相関値と重みの関係は、たとえば、図２１に示すように、正の相関が高いほど、重みＷを大きくして、ＧHHとＧLHの差（すなわちＧの高域成分）の重畳を強める。負の相関がある場合は、ＧHHとＧLHの差（すなわちＧの高域成分）の重畳を行わず、重みＷは０とする。重みＷを乗算したＧHHとＧLHの差（すなわちＧの高域成分）は、画像メモリ４０７の画素位置に応じたアドレスに加算してゆく。この時、画像メモリ４０７に書き込みを行なう範囲は、１画素でもよく、また、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域波形を重畳することになる。ここでは、その様な場合を考え、高域波形を重畳した回数を、カウンタ４０６において、各画素について記憶する。【０１０２】
正規化部４０８では、複数回重畳した高域波形をカウンタ４０６に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域信号は、ＲLH,HとＢLH,Hに重畳され、ＲOUT、ＢOUTとして出力される。【０１０３】
以上のような撮影記録再生装置４００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、局所的な色バランスを保った状態でＲとＢを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。【０１０４】
（実施形態５）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。第１画像の時間解像度を第２画像の時間解像度へ変換するために必要となるデータベースを撮影しながら生成し、記録できる。【０１０５】
図２２は、本発明の実施形態５に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置５００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）５０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部５０６、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部５０７、空間解像度アップコンバータ部５０２、時間解像度アップコンバータ部５０３、出力部１１４、ベース画像識別信号発生部５０４を備えている。【０１０６】
空間解像度アップコンバータ部５０２は、ベース画像識別信号発生部５０４が発生するベース画像識別信号５０５によって、ベース画像組１３０が取得されるタイミング（図２Ａの時間ｔ１あるいは時間ｔ１５に相当）を認識し、ベース画像組１３０に含まれるＲ画像１３１とＢ画像１３３のみを補間拡大してＲ画像１３４とＢ画像１３５を生成する。【０１０７】
時間解像度アップコンバータ部５０２は、ベース画像識別信号発生部５０４が発生するベース画像識別信号５０５によって、空間解像度アップコンバータ部５０２からＲ画像１３４、Ｂ画像１３５、Ｇ画像１３２が供給されるタイミング（図２Ａの時間ｔ１あるいは時間ｔ１５に相当）を認識し、画像特徴ベクトルＲ画像１３６、画像特徴ベクトルＢ画像１３７、画像特徴ベクトルＧ画像１３９を生成し、Ｇ画像生成用データベース部１４０（図１０）に記録する。【０１０８】
撮影画像記録部５０６の撮影画像読み出し部５０７は、撮影画像再生時に撮影画像をメモリ部１１０から読み出し、空間解像度アップコンバータ部５０２に入力する。【０１０９】
以上のような撮影記録再生装置５００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、時間解像度アップコンバータ部５０３が有するＧ画像生成用データベース部１４０に格納するデータを撮影と同時に生成し、記録できる。Ｇ画像生成用データベース部１４０には、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置５００から取り外せるリムーバブル型にすれば、Ｇ画像生成用データベース部１４０のデータを他の機器との間で移動、あるいはコピーが可能である。【０１１０】
（実施形態６）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。画像ぼけが発生した場合には、高空間解像度の画像が撮影できないため、第１画像の時間解像度を第２画像の時間解像度へ変換するデータベースの生成・記録を停止できる。【０１１１】
図２３は、本発明の実施形態６に係る撮影記録再生装置６００の構成を示すブロック図である。なお、図２２に示す撮影装置５００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置６００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）６０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部５０６、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部５０７、空間解像度アップコンバータ部５０２、時間解像度アップコンバータ部６０２、出力部１１４、ベース画像識別信号発生部５０４、画像ぼけ検出部６０３を備えている。【０１１２】
画像ぼけ検出部６０３は、撮影画像のぼけを検出し、画像ぼけ発生信号６０４で、時間解像度アップコンバータ部６０２に通知する。撮影画像のぼけは、入射光１０１がＲ撮像センサ１０５やＧ撮像センサ１０６、Ｂ撮像センサ１０７に入射中に、撮像記録再生装置６００と被写体の位置関係が変化した際に発生する。撮像記録再生装置６００と被写体の位置関係の変化とは、被写体が動いたり、撮影記録再生装置６００が動くことを意味する。撮像記録再生装置６００と被写体の位置関係の変化に起因する画像ぼけは、Ｒ撮像センサ１０５、Ｇ撮像センサ１０６、Ｂ撮像センサ１０７のシャッターを開けている時間が長いほど発生する可能性が高くなり、従って、室内や夕刻など、被写体を照らす光量が少ない場合、画像ぼけが発生する可能性が高くなる。従って、シャッター速度を予め設定した閾値と比較することで、画像ぼけを検出できる。また、撮影画像のぼけは、焦点距離合わせが不完全である場合に発生する。いわゆる、ピンボケであり、Ｒ撮像センサ１０５、Ｇ撮像センサ１０６、Ｂ撮像センサ１０７上に被写体像を結像させるレンズ系の焦点距離が不適切である場合に、画像ぼけが発生する。従って、オートフォーカス機構が動作している間は、画像ぼけが発生していると判断できる。【０１１３】
時間解像度アップコンバータ部６０２は、画像ぼけ発生信号６０４によって画像ぼけ発生が通知されると、Ｇ画像生成用データベース部１４０（図１０）へのデータの登録を停止する。画像ぼけが発生した際に撮影されるＧ画像１３２は、高周波成分を含まないため、空間解像度の高解像度化に利用できず、Ｇ画像生成用データベース部１４０へのデータの登録を停止する。【０１１４】
なお、本発明は、画像ぼけ検出の手法そのものに制限を与えることはなく、任意の手法を採用できる。【０１１５】
一般に、シャッタースピードが低下した際には、画像ぼけを解消するために、ストロボを点灯する。ストロボ点灯によって、高速シャッターが確保された場合は、高周波成分を撮影可能であるため、ストロボ点灯期間に撮影された高空間解像度画像をＧ画像生成用データベース部１４０に登録する。【０１１６】
以上のような撮影記録再生装置６００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、画像ぼけが発生した場合には、高空間解像度の画像が撮影できないため、第１画像の時間解像度を第２画像の時間解像度へ変換するデータベースの生成・記録を停止でき、データベースに再利用の可能性の低いデータを登録することを回避できる。【０１１７】
なお、上述した本発明の実施形態の装置の各構成要素は、ハードウェアにより実現されてもよいし、ソフトウェアにより実現されてもよい。例えば、上述した画像データ生成処理の少なくとも一部が、コンピュータにより実行可能なプログラムおよびコンピュータにより実現されてもよい。また、上述した各装置は、撮影部１０３および撮影画像書き込み部１０９を備えない構成であってもよく、この場合は、別のカメラで撮影して得られた画像データを入力して上述した画像処理を行う。
【産業上の利用可能性】
【０１１８】
以上のように本発明は、ビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラなどビデオ機器全般において有用である。また、広く普及しているパーソナルコンピュータにおいても有用である。
【図１】
2009019808.tif 000006
【図２Ａ】
2009019808.tif 000007
【図２Ｂ】
2009019808.tif 000008
【図２Ｃ】
2009019808.tif 000009
【図３】
2009019808.tif 000010
【図４】
2009019808.tif 000011
【図５】
2009019808.tif 000012
【図６】
2009019808.tif 000013
【図７】
2009019808.tif 000014
【図８】
2009019808.tif 000015
【図９】
2009019808.tif 000016
【図１０】
2009019808.tif 000017
【図１１】
2009019808.tif 000018
【図１２】
2009019808.tif 000019
【図１３】
2009019808.tif 000020
【図１４】
2009019808.tif 000021
【図１５】
2009019808.tif 000022
【図１６】
2009019808.tif 000023
【図１７】
2009019808.tif 000024
【図１８】
2009019808.tif 000025
【図１９】
2009019808.tif 000026
【図２０】
2009019808.tif 000027
【図２１】
2009019808.tif 000028
【図２２】
2009019808.tif 000029
【図２３】
2009019808.tif 000030
【図２４】
2009019808.tif 000031
【図２５】
2009019808.tif 000032
【図２６】
2009019808.tif 000033
【図２７】
2009019808.tif 000034
【図２８】
2009019808.tif 000035
【図２９】
2009019808.tif 000036
【手続補正書】
【提出日】平成21年1月29日(2009.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを生成する装置であって、
被写体からの光を波長帯域毎に分光する分光部と、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部と
を備える、装置。
【請求項２】
前記解像度変換部は、
前記第１画像と同じタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像の所定の第１画素と、前記第１画素と同じ画素位置にある前記変換後の第２画像の第２画素とを対応付け、前記対応関係を保持し、
前記第１画像と異なるタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像と異なるタイミングで撮像された第２画像の変換後の画像のうちの前記第２画素の画像との類似性が他の画素よりも高い第３画素を決定し、
前記第３画素と同じ画素位置にある前記第１画像の第４画素に、前記第１画素の画像を割り当て、前記第１画像が撮像されなかったタイミングの画像を生成する、請求項１に記載の装置。
【請求項３】
前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、
前記第１撮像部は、前記視感度が最も高い波長帯域の光として前記緑色光を受光して、緑色成分に対応した前記第１画像を取得し、
前記第２撮像部は、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記赤色光を受光して、赤色成分に対応した前記第２画像を取得する赤色光撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記青色光を受光して、青色成分に対応した前記第２画像を取得する青色光撮像部と
を備える、請求項１に記載の装置。
【請求項４】
前記赤色成分に対応した第２画像と、前記青色成分に対応した第２画像とは、互いに同じ空間解像度および時間解像度を有する、請求項３に記載の装置。
【請求項５】
前記第１画像および前記第２画像を格納する記録部をさらに備え、
前記解像度変換部は、前記記録部から読み出した前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項６】
前記解像度変換部は、前記第１画像と同じ空間解像度となるように、前記第２画像の空間解像度を変換し、
前記解像度変換部は、前記第１画像と前記変換後の第２画像とを格納するデータベース部を備え、
前記解像度変換部は、前記データベース部から読み出した前記第１画像と前記変換後の第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項７】
画像ぼけを検出する画像ぼけ検出部をさらに備え、
前記画像ぼけ検出部が画像ぼけを検出した場合には、前記データベース部は、前記第１画像および前記変換後の第２画像の格納動作を停止する、請求項６に記載の装置。
【請求項８】
前記解像度変換部が出力した出力画像から輝度画像を生成する輝度生成部と、
前記出力画像のうちの緑色成分に対応した画像を低解像度化し、前記低解像度化した緑色成分に対応した画像と、赤色成分に対応した画像と、青色成分に対応した画像とから色差画像を生成する色差生成部と
をさらに備える、請求項３に記載の装置。
【請求項９】
画像データを生成する方法であって、
被写体からの光を波長帯域毎に分光するステップと、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得するステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得するステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、方法。
【請求項１０】
画像データを生成する処理をコンピュータに実行させるプログラムであって、
前記画像データを生成する処理は、
被写体からの光を波長帯域毎に分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され、且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取るステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、プログラム。
【請求項１１】
画像データを生成する処理を実行する装置であって、
前記装置は、画像の時間解像度を変換する解像度変換部を備え、
前記解像度変換部は、
被写体からの光を波長帯域毎に分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るとともに、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取り、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、装置。
【請求項１２】
画像データを生成する装置であって、
被写体からの光を波長帯域毎に分光する分光部と、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、
前記視感度が最も高い波長帯以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、
前記第１画像の空間解像度を前記第２画像の空間解像度に変換して第３画像を生成し、前記第３画像と前記第２画像を比較して、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部と
を備える、装置。
【請求項１３】
前記解像度変換部は、前記第２画像の空間解像度を前記第１画像の空間解像度に変換し、
前記装置は、前記変換した第２画像に前記第１画像の高周波成分を加算する高域調整部をさらに備える、請求項１２に記載の装置。
【請求項１４】
前記高域調整部は、前記第１画像の高周波成分の加算において用いる重みを、前記第２画像を構成する複数画素の相関に基づいて算出する、請求項１３に記載の装置。
【手続補正書】
【提出日】平成21年11月24日(2009.11.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度化画像を高フレームレートで撮影する装置、撮影する方法、撮影記録再生する装置、撮影記録再生する方法、および撮影記録するプログラムに関する。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化が著しい。画像の解像度が高いほど、目の前のシーンを詳細に記録できるため、高解像度撮影のニーズは一般的に高い。
【０００３】
解像度は、空間解像度と時間解像度の２つに分類される。前者は、１枚の画像を構成する画素数に対応し、同じ大きさの撮像センサで画素数の多い方が空間解像度の高い撮像センサとなる。被写体の細部まで精細に記録できるため、臨場感の高い高画質の静止画が撮影できる。一方、後者は、単位時間あたりに撮像される画像の枚数に相当し、たとえば１秒間に撮影される画像の枚数が多い撮像センサの方が時間解像度の高い撮像センサとなる。被写体の早い動きも細かく撮影できるため、動きの滑らかな動画像が撮影できる。
【０００４】
目の前のシーンをありのままに撮影したい場合、空間解像度と時間解像度を共に高く設定することが多く、従って、データ量が膨大になる。たとえば、ＤＶ方式のビデオカメラの場合、画像サイズは７２０画素×４８０ラインであり、フレームレートを３０枚／秒とすると、２４ビットＲＧＢカラー信号のデータ転送レートは２４９Ｍｂｐｓ（ｂｉｔ  ｐｅｒ  ｓｅｃｏｎｄ）（＝  ７２０画素×４８０ライン×２４ｂｉｔ×３０枚）となる。ハイビジョン方式では、画像サイズが１９２０画素×１０８０ラインとなり、データ転送レートは６倍の１．５Ｇｂｐｓ（＝  １９２０画素×１０８０ライン×２４ｂｉｔ×３０枚）となる。さらに時間解像度を２倍にし、フレームレートを秒６０枚とすると、３Ｇｂｐｓとなる。このようなデータ転送レートで、カメラの撮像センサの出力から記録メディアへの書き込みまで、あるいはディスプレイの走査までを行う必要がある。一般に、民生用ビデオ機器では、これらのデータ転送レートは負荷が大き過ぎるため、データの冗長性を使用してデータを圧縮し、機器の小型化、低消費電力化、コストダウンなどを図っている。また業務用ビデオ機器でも、データ圧縮によるデータ量の削減は頻繁に使われており、オリジナルのデータ転送レートのまま動作する機器は編集向けの高価なシステムだけである。
【０００５】
このように、空間解像度と時間解像度がともに高い高画質画像を、できるだけ低いデータ転送レートでやりとりするには、必要なデータのみを取得し、冗長性を低くすることが肝心である。そこで、画像取得の源の段階で必要なデータのみを取得する方式は有効である。たとえば、特許文献１は、図２４（ａ）に示すように、高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、画像処理で図２４（ｂ）の高空間解像度・高時間解像度の画像データ３を生成する技術を開示している。
【０００６】
たとえば、図２４の撮影時間が１秒で、画像データ１の画像サイズを１９２０画素×１０８０ライン、画像データ２の画像サイズを６４０画素×３６０ラインとした場合、図２４（ａ）の８ビット輝度信号のデータ転送レートは、５４Ｍｂｐｓ（＝  １９２０画素×１０８０ライン×８ｂｉｔ×２枚  ＋  ６４０画素×３２０ライン×８ｂｉｔ×１３枚）となる。一方、図２４（ｂ）は、１９２０画素×１０８０ラインが８枚であり、８ビット輝度信号のデータ転送レートは、１３３Ｍｂｐｓ（＝  １９２０画素×１０８０ライン×８ｂｉｔ×８枚）となる。図２４（ｂ）のデータ転送レートは、図２４（ａ）の約２．４倍に拡大されている。
【０００７】
図２５は、画像データ３を生成する処理を示すフローチャートであり、画像データ２の低空間解像度画像で動きベクトルを推定し（ステップＳ１０１〜Ｓ１０３）、その結果から画像データ１の高空間解像度画像の動き補償を行い（ステップＳ１０４）、動き補償された高空間解像度画像のＤＣＴ（ＤｉｓＰｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）スペクトルを、それに対応する時間の低空間解像度画像のＤＣＴスペクトルと合成し、逆ＤＣＴ変換で目的の高空間解像度・高時間解像度の画像を得る（ステップＳ１０５〜Ｓ１０６）。
【０００８】
図２６は、画像データ１と画像データ２を取得するための複合センサカメラの構成例を示す図である。複合センサカメラ４は、同一視野を有する２種類の画像データを取り込むためのカメラであり、プリズムやハーフミラー等の分光素子５と、２枚のレンズ６と、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８とを備える。分光素子５は、入射光９の一部を反射する。２枚のレンズ６は分光素子５で反射した光および透過した光をそれぞれ集光する。高空間解像度・低時間解像度カメラ７は、一方のレンズ６で集光された光を高空間解像度・低時間解像度で撮像し、画像データ１を出力する。低空間解像度・高時間解像度カメラ８は、他方のレンズ６で集光された光を低空間解像度・高時間解像度で撮像し、画像データ２を出力する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３１８５４８号公報（図２、図３、図５）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記従来の技術では、撮像センサの感度とＲＧＢカラー撮影の点で以下のような課題を有していた。
【００１１】
すなわち、複合センサカメラ４は、分光素子５によって、入射光９を高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８に分配するため、それぞれのカメラに入射する光量が１／２に減少する。入射光量の減少は、撮像画像のＳＮ比（Ｓｉｇｎａｌ  Ｎｏｉｓｅ比）を低下させ、画質を劣化させる可能性が高まる。一方、ＳＮ比の低下を防ぐために、露出時間を長くすると、ブラーが発生する可能性が高くなり、画質劣化を引き起こす可能性が高くなる。
【００１２】
また、仮に、複合センサカメラ４を用いてＲＧＢカラー画像を撮影しようとすれば、図２７に示すように、複合センサカメラ４を３つ用意することになり（それぞれ、複合センサカメラ４１、複合センサカメラ４２、複合センサカメラ４３とする）、入射光９を３つの複合センサカメラ４１〜４３に分配するために、２つの色分解フィルタ（色分解フィルタ１０、１１）が必要になる。色分解フィルタ１０は、たとえば、長波長域（概ね６００ｎｍ〜７８０ｎｍ）を反射し、残りの波長域を透過する。反射光１２は、複合センサカメラ４１へ入射し、長波長域の撮像が行われ、Ｒ画像（光の赤色成分に対応した画像）が得られる。一方、色分解フィルタ１０の透過光１３は、色分解フィルタ１１に入射し、たとえば、短波長域（概ね３８０ｎｍ〜５００ｎｍ）が反射され、残りの波長域を透過する。反射光１４は、複合センサカメラ４２へ入射し、短波長域の撮像が行われ、Ｂ画像（光の青色成分に対応した画像）が得られる。色分解フィルタ１１の透過光１５は、色分解フィルタ１０の反射光１２と色分解フィルタ１１の反射光１４以外の光であり、この残った中波長域（概ね５００ｎｍ〜６００ｎｍ）が透過する。透過光１５は複合センサカメラ４３に入射し、中波長域の撮像が行われ、Ｇ画像（光の緑色成分に対応した画像）が得られる。以上のように、色分解フィルタ１０、１１の追加は、カメラのサイズを大きくし、カメラの操作性や可搬性を低下させる。
【００１３】
一方、カメラのサイズが大きくならないように、図２８に示す構成例のように、高空間解像度・低時間解像度カメラ７と、低空間解像度・高時間解像度カメラ８の前に、たとえば図２９に示すような色フィルタ１６を配置して、ＲＧＢに色分解する方式も考えられる。すなわち、色フィルタ１６の中で、画素２０に位置する色フィルタは中波長域のＧのみを透過し、それ以外の長波長域Ｒと短波長域Ｂを吸収してＧ画像を生成する。同様に、画素２１に位置する色フィルタは長波長域のＲのみを透過し、それ以外の中波長域Ｇと短波長域Ｂを吸収してＲ画像を生成する。画素２２に位置する色フィルタは短波長域のＢのみを透過し、それ以外の長波長域Ｒと中波長域Ｇを吸収してＢ画像を生成する。このように、色フィルタ１６は、不要な波長域の光を吸収して色分解するため、光の利用効率はモノクロカメラより低くなる。ＲＧＢ３色に分解されるため、概ね、１／３がカメラに入射し、２／３が色フィルタ１６に吸収される計算になる。
【００１４】
本発明は、上記従来の課題を解決するもので、カメラ構成を複雑にすることなく、かつ光の利用効率を低下させずに、高空間解像度・高時間解像度の画像データを取得できる装置、方法、プログラムおよび撮影記録再生システムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の装置は、画像データを生成する装置であって、被写体からの光を分光する分光部と、前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部とを備えることを特徴とする。
【００１６】
ある実施形態によれば、前記解像度変換部は、前記第１画像と同じタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、前記第１画像の所定の第１画素と、前記第１画素と同じ画素位置にある前記変換後の第２画像の第２画素とを対応付け、前記対応関係を保持し、前記第１画像と異なるタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、前記第１画像と異なるタイミングで撮像された第２画像の変換後の画像のうちの、前記第２画素の画像との類似性が他の画素よりも高い第３画素を決定し、前記第３画素と同じ画素位置にある前記第１画像の第４画素に、前記第１画素の画像を割り当て、前記第１画像が撮像されなかったタイミングの画像を生成する。
【００１７】
ある実施形態によれば、前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、前記第１撮像部は、前記視感度が最も高い波長帯域の光として前記緑色光を受光して、緑色成分に対応した前記第１画像を取得し、前記第２撮像部は、前記視感度が最も高い波長帯域以外の波長帯域の光として前記赤色光を受光して、赤色成分に対応した前記第２画像を取得する赤色光撮像部と、前記視感度が最も高い波長帯域以外の波長帯域の光として前記青色光を受光して、青色成分に対応した前記第２画像を取得する青色光撮像部とを備える。
【００１８】
ある実施形態によれば、前記赤色成分に対応した第２画像と、前記青色成分に対応した第２画像とは、互いに同じ空間解像度および時間解像度を有する。
【００１９】
ある実施形態によれば、前記第１画像および前記第２画像を格納する記録部をさらに備え、前記解像度変換部は、前記記録部から読み出した前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。
【００２０】
ある実施形態によれば、前記解像度変換部は、前記第１画像と同じ空間解像度となるように、前記第２画像の空間解像度を変換し、前記解像度変換部は、前記第１画像と前記変換後の第２画像とを格納するデータベース部を備え、前記解像度変換部は、前記データベース部から読み出した前記第１画像と前記変換後の第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。
【００２１】
ある実施形態によれば、画像ぼけを検出する画像ぼけ検出部をさらに備え、前記画像ぼけ検出部が画像ぼけを検出した場合には、前記データベース部は、前記第１画像および前記変換後の第２画像の格納動作を停止する。
【００２２】
ある実施形態によれば、前記解像度変換部が出力した出力画像から輝度画像を生成する輝度生成部と、前記出力画像のうちの緑色成分に対応した画像を低解像度化し、前記低解像度化した緑色成分に対応した画像と、赤色成分に対応した画像と、青色成分に対応した画像とから色差画像を生成する色差生成部とをさらに備える。
【００２３】
本発明の方法は、画像データを生成する方法であって、被写体からの光を分光するステップと、前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得するステップと、前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得するステップと、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップとを包含する。
【００２４】
本発明のプログラムは、画像データを生成する処理をコンピュータに実行させるプログラムであって、前記画像データを生成する処理は、被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るステップと、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され、且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取るステップと、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップとを包含する。
【００２５】
本発明の装置は、画像データを生成する処理を実行する装置であって、前記装置は、画像の時間解像度を変換する解像度変換部を備え、前記解像度変換部は、被写体からの光を分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るとともに、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取り、前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する。
【００２６】
上記従来の課題を解決するために、本発明は、視感度が最も高い波長域（Ｇ）で高空間解像度・低時間解像度の第１画像を取得し、その他の波長域（Ｒ、Ｂ）で低空間解像度・高時間解像度の第２画像を取得し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換する。入射光を３つの波長域に分解するために、２枚の色分解フィルタを用いる。すなわち、１枚目の色分解フィルタで３つの波長域のうち、たとえば、Ｒの長波長域を反射し、残りのＧとＢの波長域を透過する。ＧとＢの透過光は２枚目の色分解フィルタに入射し、たとえば、Ｂの短波長域を反射し、残りのＧの中波長域が透過する。
【００２７】
視感度が最も高い波長域（Ｇ）の光は、高空間解像度・低時間解像度の撮像センサに入射し、上記第１画像を得る。ＲとＢの波長域の光は、それぞれに用意された低空間解像度・高時間解像度の撮像センサに入射し、２枚の第２画像を得る。第１画像（Ｇの高空間解像度画像）と第２画像（Ｒ、Ｂの低空間解像度画像）の対応関係から、空間解像度の高解像度化情報を取得し、これを元に、第１画像が撮影されていない時間位置で第２画像に高空間解像度化処理を施して第１画像を生成し、高空間解像度・高時間解像度のＧ画像を得る。視感度の低いＲとＢの低空間解像度画像は、隣接画素へ画素値をコピーしたり、補間拡大することでＧ画像と同じ空間解像度へ高解像度化する。高解像度化されたＲ画像、Ｇ画像、Ｂ画像は、グレーバランスを崩さないように合成するために、たとえば輝度色差信号ＹＰｂＰｒに変換し、ＹＰｂＰｒ空間で合成し、ＲＧＢ信号に逆変換して、高空間解像度・高時間解像度のＲＧＢカラー画像を得る。
【００２８】
本構成によって、ＲＧＢの色分解と空間解像度と時間解像度の振り分けを同時に行うことができ、３板式カラーカメラの構成で、光効率を落とすことなく、高空間解像度・高時間解像度のＲＧＢカラー画像を取得できる。
【発明の効果】
【００２９】
本発明の装置は、被写体からの光を分光し、分光された光のうちの視感度が最も高い波長帯域の光を受光して第１画像を取得し、視感度が最も高い波長帯域以外の波長帯域の光を受光して第１画像よりも空間解像度が低く時間解像度が高い第２画像を取得する。そして、時間解像度変換部は、第１画像と第２画像とを用いて、第１画像の時間解像度を第２画像の時間解像度に変換する。このように、被写体からの光を分光させて受光することにより、光の利用効率の低下を防止することが出来る。また、第２画像を用いて第１画像の時間解像度を向上させることにより、高空間解像度且つ高時間解像度の画像データを取得することができる。
【００３０】
本発明によれば、撮像センサのデータ転送レートを超える大容量の高空間解像度且つ高時間解像度の画像データを３板式カラーカメラの構成で取得でき、可搬性や経済性などを損ねることなく、より解像度の高い高画質画像を得ることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態１に係る撮影記録再生装置１００の構成を示すブロック図である。
【図２Ａ】Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表わした図である。
【図２Ｂ】空間解像度アップコンバータ部１１２がＲ画像１１７とＢ画像１１９の空間解像度を高解像度化する概念を模式的に表わした図である。
【図２Ｃ】時間解像度アップコンバータ部１１３がＧ画像１１８の時間解像度を高解像度化する概念を模式的に表わした図である。
【図３】空間解像度に対する感度分布の計測例を示す図である。
【図４】人間の目の分光感度特性を示す図である。
【図５】（ａ）および（ｂ）は空間解像度アップコンバータ部１１２および時間解像度アップコンバータ部１１３がＧ画像１２２を生成する原理を説明する図である。
【図６】ウェーブレット変換による多重解像度表現の例を示す図である。
【図７】（ａ）および（ｂ）はウェーブレット変換を説明する図である。
【図８】（ａ）から（ｃ）はスケールレベルｎ＝２のときの画像特徴量を画素ごとに算出する方法を説明する図である。
【図９】空間解像度アップコンバータ部１１２の構成を示すブロック図である。
【図１０】時間解像度アップコンバータ部１１３の構成を示すブロック図である。
【図１１】（ａ）および（ｂ）は撮影記録再生装置１００の動作フローを説明する図である。
【図１２】本発明の実施形態２に係る撮影記録再生装置２００の構成を示すブロック図である。
【図１３】輝度色差変換部２０２の構成を示すブロック図である。
【図１４】本発明の実施形態３に係る撮影記録再生装置３００の構成を示すブロック図である。
【図１５】色差変換部３０３の構成を示すブロック図である。
【図１６】（ａ）から（ｃ）は輝度画像３０４と色差画像３０８の画像サイズの違いの一例を示す図である。
【図１７】（ａ）および（ｂ）は輝度画像３０４と色差画像３０８の画像サイズの違いの一例を示す図である。
【図１８】本発明の実施形態４に係る撮影記録再生装置４００の構成を示すブロック図である。
【図１９】ＲＢ高域調整部４０２の構成を示すブロック図である。
【図２０】局所的な領域内の例を示す図である。
【図２１】ＲとＢの局所的な相関ρと重みＷの関係の例を示す図である。
【図２２】本発明の実施形態５に係る撮影記録再生装置５００の構成を示すブロック図である。
【図２３】本発明の実施形態６に係る撮影記録再生装置６００の構成を示すブロック図である。
【図２４】（ａ）および（ｂ）は高空間解像度・低時間解像度の画像データ１と低空間解像度・高時間解像度の画像データ２を取得し、高空間解像度・高時間解像度の画像データ３を生成する概念を説明する図である。
【図２５】画像データ３を生成する処理を示すフローチャートである。
【図２６】画像データ１と画像データ２を取得するための複合センサカメラの構成例を示す図である。
【図２７】ＲＧＢカラー撮影のためのシステムを説明する図である。
【図２８】ＲＧＢカラー撮影のための複合センサカメラの構成例を示す図である。
【図２９】色フィルタ１６の詳細を説明する図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照して本発明の実施形態を詳細に説明する。Ｒ、Ｇ、Ｂはそれぞれ赤色、緑色、青色を指している。Ｒ画像とは光の赤色成分に対応した画像を指し、Ｇ画像とは光の緑色成分に対応した画像を指し、Ｂ画像とは光の青色成分に対応した画像を指している。
【００３３】
（実施形態１）
図１は、本発明の実施形態１による撮影記録再生装置１００を示すブロック図である。
【００３４】
撮影記録再生装置１００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２を出力する。撮影記録再生装置１００は、視感度が最も高い波長域（緑色（Ｇ）の波長域）で高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域（赤色（Ｒ）と青色（Ｂ）の波長域）で低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する。
【００３５】
撮影記録再生装置１００は、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５を備えている。
【００３６】
撮影部１０３は、入射光１０１を受光し、ＲＧＢカラー画像を出力する。色分解部１０４は、入射光１０１を長波長域Ｒ、中波長域Ｇ、短波長域Ｂに分光する分光部であり、Ｒ撮像センサ部１０５でＲ画像、Ｇ撮像センサ部１０６でＧ画像、Ｂ撮像センサ部１０７でＢ画像が撮影できるように色分解を行う。面１１５は、図２７の色分解フィルタ１０に相当し、長波長域（Ｒ）を反射し、残りの波長域を透過する。面１１６は、図２７の色分解フィルタ１１に相当し、短波長域（Ｂ）を反射し、残りの波長域を透過する。
【００３７】
Ｇ撮像センサ部１０６は、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７に比べて、撮像素子数が多い高空間解像度の撮像センサである。本実施形態では、Ｇ撮像センサ部１０６の画素数とライン数をハイビジョンサイズとして、１９２０画素×１０９０ラインとする。Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数とライン数は、Ｇ撮像センサ部１０６の１／３であり、６４０画素×３６０ラインとする。一方、時間解像度の関係は、空間解像度の逆になり、Ｇ撮像センサ部１０６は２ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は１５ｆｐｓであり、Ｇ撮像センサ部１０６は低時間解像度、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は高時間解像度を有する。図２Ａは、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７の空間解像度と時間解像度の関係を模式的に表わしたものである。Ｇ撮像センサ部１０６が撮影するＧ画像１１８は、時間ｔ１と時間ｔ１５の２枚撮影され、Ｒ撮像センサ部１０５が撮影するＲ画像１１７とＢ撮像センサ部１０７が撮影するＢ画像１１９は、時間ｔ１から時間ｔ１５の１５枚撮影される。
【００３８】
ここで、ＲＧＢの各画像の空間解像度と時間解像度の高低を
ＸS,T
という表記法で表わす。
ここで、ＸはＲ、あるいはＧ、あるいはＢであり、
ＳはＨ（高空間解像度）、あるいはＬ（低空間解像度）であり、
ＴはＨ（高時間解像度）、あるいはＬ（低時間解像度）である。
すなわち、Ｘは、ＲＧＢ画像の種類を表わし、Ｓは空間解像度の高低、Ｔは時間解像度の高低を表わす。解像度の高低は相対的に決まり、本実施例では、
高空間解像度が１９２０画素×１０８０ライン
低空間解像度が６４０画素×３６０ライン
高時間解像度が１５ｆｐｓ
低時間解像度が２ｆｐｓ
となる。図２Ａに示すように、Ｇ撮像センサ部１０６の出力であるＧ画像は、高空間解像度・低時間解像度であるため、ＧH,Lと表記する。一方、Ｒ撮像センサ部１０５の出力であるＲ画像とＢ撮像センサ部１０７の出力であるＢ画像は、低空間解像度・高時間解像度であるため、それぞれＲL,H、ＢL,Hと表記する。
【００３９】
撮影画像記録部１０８は、撮影部１０２が出力したＲ画像、Ｇ画像、Ｂ画像を記録・再生する。
【００４０】
撮影画像書き込み部１０９は、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０に書き込み、撮影画像を記録する。撮影画像読み出し部１１１は、メモリ部１１０からＲ画像、Ｇ画像、Ｂ画像をＡ系統５０とＢ系統５１の２系統で読み出す。Ａ系統５０は、後述するように、時間解像度アップコンバータ部１１３で低空間解像度の画像と高空間解像度の関係を学習するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。Ｂ系統５１は、撮影画像を再生し、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２を出力するために、Ｒ画像、Ｇ画像、Ｂ画像をメモリ部１１０から読み出す。撮影画像書き込み部１０９が、図２Ａに示した空間解像度と時間解像度の２４ビットＲＧＢ画像をメモリ部１１０に記録する場合、データ転送レートは、８８Ｍｂｐｓ（＝  （１９２０画素×１０８０ライン×８ｂｉｔ×２枚）  ＋  （６４０画素×３６０ライン×８ｂｉｔ×１５枚）  ＊  ２チャンネル）となる。撮影画像読み出し部１１１も同じデータ転送レートで動作する。メモリ部１１０は、磁性体を利用したハードディスクや半導体メモリや光ディスクなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置１００から取り外せるリムーバブル型にすれば、撮影記録再生装置１００で記録した撮影画像を他の機器との間で移動、あるいはコピーが可能である。
【００４１】
空間解像度アップコンバータ部１１２は、図２Ｂに示すように、Ｒ画像１１７とＢ画像１１９の空間解像度を高解像度化し、Ｒ画像とＢ画像の画素数とライン数をＧ画像１１８と同じ１９２０画素×１０８０ラインへ変換して、Ｒ画像１２０とＢ画像１２１を出力する。空間解像度が高解像度化されたことを表記上に反映させるために、ＳとＴの添字を追加する。すなわち、空間解像度が高解像度化されたＲ画像１２０は、ＲLH,Hと表記する。また、Ｂ画像１２１は、ＢLH,Hと表記する。
【００４２】
時間解像度アップコンバータ部１１３は、図２Ｃに示すように、Ｇ画像１１８の時間解像度を高解像度化し、Ｇ画像の枚数がＲ画像１１７とＢ画像１１９と同じ１５ｆｔｐであるＧ画像１２２を出力する。時間解像度が高解像度化されたＧ画像１２２は、ＧH,LHと表記する。
【００４３】
空間解像度アップコンバータ部１１２および時間解像度アップコンバータ部１１３をまとめて解像度変換部とも称する。
【００４４】
撮影記録再生装置１００の各構成要素、例えば、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３等は、半導体集積回路等の回路素子により実現され得る。これらの構成要素は１チップ上に集積されて形成されてもよいし、別々の部品として形成されてもよい。また、ＣＰＵ（中央演算処理装置）とそのＣＰＵを動作させるプログラムを格納した記憶媒体等により実現されてもよい。
【００４５】
空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３の動作を詳細に説明する前に、人間の視覚系の時空間解像度特性について説明する。
【００４６】
人間の視覚系の時空間解像度特性は、「色」の違いよりも、「輝度」の違いに敏感である。図３は、空間解像度に対する感度分布の計測例を文献（色彩科学ハンドブック第２版  東京大学出版会  １９９８年６月（１０２２ページ、１０２３ページ））から転記したものである。曲線３０は、黄と青の色の違いで縞模様が形成されたパターンを見た場合の相対感度を示す。視野角１度に０．１〜０．２周期分の縞模様が提示された場合、人間の目には識別が最も容易く、視野角１度に２周期分の縞模様になると、黄と青の色の違いが人間の目には識別できなくなる。曲線３１は、赤と緑の色の違いで縞模様が形成されたパターンを見た場合の相対感度を示す。黄と青の組み合わせより感度は高いが、概ね同じ傾向を示す。一方、曲線３２は、明暗の違い、すなわち、白と黒で縞模様が形成されたパターンを見た場合の相対感度を示す。感度のピークは、視野角１度に２周期の位置にあり、色の違いよりも明らかに敏感であることがわかる。時間解像度に対しても概ね同じ傾向があり、輝度の違いの感度曲線は、色の違いの感度曲線よりも広帯域であり、感度がなくなる限界周波数も輝度の方が高い、と報告されている。
【００４７】
以上のような人間の目の時空間解像度特性から、高画質画像を撮影・記録・再生するには、色情報よりも輝度情報を優先すべきであると考えられる。そこで、本発明では、Ｒ画像、Ｇ画像、Ｂ画像のうち、輝度への寄与が大きいものを高解像度で撮影し、輝度への寄与が小さいものを低解像度で撮影する。これにより、画質への影響を抑えつつ、データ転送レートを低くできる。図４は、人間の目の分光感度特性を文献（色彩工学  東京電機大学出版局  １９９３年１２月（１２ページ））から転記したものである。人間の目は、中波長域のＧに対して相対的に敏感であり、長波長域のＲや短波長域のＢの感度は低い。そこで、Ｒ画像、Ｇ画像、Ｂ画像のうち、輝度への寄与が最も大きいのがＧ画像であると言え、人間の解像度特性も合わせると、Ｇ撮像センサ部１０６は、高解像度に撮影しておくことが画質的に重要である。視感度には若干の個人差があり得るが、統計的には視感度が最も高い波長帯域の光は緑色光となる。本発明の実施形態では、ＲＧＢ光のうちの視感度が最も高い波長帯域の光を緑色光（Ｇ光）とし、その視感度が最も高い波長帯域以外の波長帯域の光を赤色光（Ｒ光）および青色光（Ｂ光）として説明する。
【００４８】
なお、視感度が最も高い波長帯域の光が緑色光以外の光となる条件下では、その色の光が視感度が最も高い波長帯域の光として選択されてもよく、緑色光に限定されない。
【００４９】
また、例えば、海やプール等、水中のシーンを撮影する場合の様に、シーン中に緑色以外の色成分（この場合は青色）が強く現れることが事前に分っている場合には、青色を高空間解像度且つ低時間解像度で撮影し、赤色と緑色を低空間解像度且つ高時間解像度で撮影することにより、観察者の主観画質の良いカラー動画像を提示することができる。
【００５０】
以上、図３と図４に示した観点から、Ｇ撮像センサ部１０６は、高空間解像度・低時間解像度とし、図２Ａに示すように、時間ｔ１と時間ｔ１５で高空間解像度画像を撮影する。一方、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７は、低空間解像度・高時間解像度とし、図２Ａに示すように、時間ｔ１から時間ｔ１５のすべてのタイミングで低空間解像度画像を撮影する。この構成により、時間ｔ１と時間ｔ１５では、画質として重要なＧ画像を高い空間解像度で取得する。空間解像度を優先させたために、時間ｔ２から時間ｔ１４ではＧ画像が取得できないが、時間ｔ１と時間ｔ１５で取得した高空間解像度画像を元手に、時間ｔ２から時間ｔ１４の１３枚のＧ画像を高空間解像度で生成し、高空間解像度・高時間解像度のＧ画像１２２を作り出す。一方、Ｒ画像とＢ画像は時間ｔ１から時間ｔ１５のすべてのタイミングで空間解像度の低い画像しか取得できない。しかし、Ｒ画像とＢ画像は輝度への寄与が少なく、従って、人間が感覚する画質への影響は少ない。逆に、Ｒ画像とＢ画像の時間解像度は高く、後述するように、時間解像度アップコンバータ部１１３で時間ｔ２から時間ｔ１４のＧ画像を生成する際の拠り所となる。以上の考え方を踏まえ、空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３の動作をより詳細に説明する。
【００５１】
図５は、時間解像度アップコンバータ部１１３がＧ画像１２２（図２Ｃ）を生成する原理を説明する図である。図５（ａ）は、低空間解像度の画像と高空間解像度の画像の関係を学習する原理を示し、図５（ｂ）は上記学習した空間解像度の関係を参照して、Ｇ画像１２２を生成する原理を示す。
【００５２】
時間解像度アップコンバータ部１１３は、Ｇ画像の所定の第１画素と、第１画素と同じ画素位置にある高解像度化されたＲ画像および／またはＢ画像の第２画素とを対応付け、その対応関係を保持する。次に、Ｇ画像と異なるタイミングで撮像されたＲ画像および／またはＢ画像を高解像度化した画像のうちの、上記第２画素の画像との類似性が他の画素よりも高い第３画素を決定する。言いかえれば、Ｇ画像と異なるタイミングで撮像されたＲ画像および／またはＢ画像の変換後の画像の第３画素との類似性が他よりも高い第２画素を、保持された複数の対応関係に含まれる複数の第２画素の中から決定する。第２画素と対応付けられた第１画素の画像を、第３画素と同じ画素位置にあるＧ画像の第４画素に割り当てる。これにより、Ｇ画像が撮像されなかったタイミングのＧ画像１２２を生成することができる。以下、Ｇ画像１２２の生成処理を詳細に説明する。
【００５３】
図５（ａ）を参照して、ベース画像組１３０は、図２Ａにおける時刻ｔ１、あるいは時刻ｔ１５の同じタイミングで取得されたＲ画像１１７とＧ画像１１８とＢ画像１１９の組を表わす。「時間ｔ１から時間ｔ１５に渡るＲ画像１１７」と「時刻ｔ１、あるいは時刻ｔ１５のＲ画像１１７」を区別するために、後者をＲベース画像１３１とする。同様に、「時間ｔ１から時間ｔ１５に渡るＧ画像１１８」と「時刻ｔ１、あるいは時刻ｔ１５のＧ画像１１８」を区別するために、後者をＧベース画像１３２とする。「時間ｔ１から時間ｔ１５に渡るＢ画像１１９」と「時刻ｔ１、あるいは時刻ｔ１５のＢ画像１１９」を区別するために、後者をＢベース画像１３３とする。ベース画像組１３０の中のＧベース画像１３２を元手に、時刻ｔ２から時刻ｔ１４の欠落しているＧ画像を生成することから、Ｇベース画像１３２がＧ画像生成用のリソースに位置付けられる。欠落しているＧ画像の生成では、時刻ｔ２から時刻ｔ１４で常に撮影されているＲ画像とＢ画像を頼りに、Ｇベース画像１３２の中から適切なＧ画像生成用リソースを見つけ出す処理を行う。そこで、ＲＧＢ画像がすべて揃っているベース画像組１３０を用いて、Ｒベース画像１３１とＢベース画像１３３の低空間解像度とＧベース画像１３２の高空間解像度の関係を構築し、Ｇ画像生成用データベース部１４０に格納する。
【００５４】
Ｒベース画像１３１とＢベース画像１３３は、Ｇ画像との対応関係を取るために、たとえば補間拡大で空間解像度を高解像度化し、画素数とライン数をＧ画像に一致させる。補間によるアップサンプリングは、既存の情報を内挿して画素数とライン数を増やすため、高周波成分の生成には限界があり、一般にボケ感を伴った拡大画像が生成される。すなわち、補間拡大で復元できる波形周波数の上限は、内挿点の前後２点の重み付けをｓｉｎｃ関数に基づいて決定したＣｕｂｉｃ  ｃｏｎｖｏｌｕｔｉｏｎを用いれば、サンプリング周波数の１／２となる。しかし、Ｒ画像とＢ画像は、空間高解像度化のリソースをＧ画像から見つけ出すために参照される情報であり、高空間解像度の画像を持つ高周波成分まで完全に復元する必要はない。内挿によって既存の情報から中間的な値が算出されれば、空間高解像度化のリソースをＧ画像から見つけ出すことは可能である。
【００５５】
補間拡大されたＲ画像１３４とＢ画像１３５、そしてＧベース画像１３２は周波数解析手段を用いて、画像特徴量に変換される。図５において、画像特徴量の表記にはｆを用い、たとえばＧH,Lが画像特徴量に変換されたものは、ｆＧH,Lと表記する。本発明において、画像特徴量の定義は任意であるが、たとえば、図６に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、ｎ個のスケールそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを得る。スケールレベルｎが３の場合、画像特徴量は、１０次元の画像特徴ベクトル（ｗ1，  ｗ2，  …，  ｗ10）になる。
【００５６】
上記ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬとは、ハール型のマザーウェーブレットを用いた場合の出力であり、図７（ａ）に示すように、ＨＬは処理対象の画素６０の右隣接画素６１との差分値、ＬＨは処理対象の画素６０の下隣接画素６２との差分値、ＨＨは斜下隣接画素６３との差分値、ＬＬは処理対象の画素６０を含む右、下、斜下の４つの画素の平均値である。図７（ａ）はスケール１に相当し、図７（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素の平均値である出力ＬＬが差分値の計算対象になり、スケール２における出力ＨＬはブロック６４とブロック６５の差分値、スケール２における出力ＬＨはブロック６４とブロック６６の差分値、スケール２における出力ＨＨはブロック６４とブロック６７の差分値となる。また、スケール２における出力ＬＬはブロック６４からブロック６７の平均値となる。
【００５７】
図８は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図８（ａ）は、画素７０の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,1を算出する方法であり、ブロック７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図８（ｂ）は、画素７２の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,2を算出する方法であり、ブロック７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図８（ｃ）は、画素７３の画像特徴量（ｗ1，  ｗ2，  …，  ｗ7）1,3を算出する方法であり、ブロック７４内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが、１画素ごとに移動することで、画素ごとに画像特徴量が算出される。
【００５８】
低空間解像度の画像はＲ画像とＢ画像の２つがあるため、ｐ次元の画像特徴ベクトルＲ画像１３６とｐ次元の画像特徴ベクトルＢ画像１３７を組み合わせて、２ｐ次元の画像特徴ベクトルＲＢ画像１３８（図５（ａ））とする。Ｇベース画像１３２も同様に画像特徴量に変換し、ｐ次元の画像特徴ベクトルＧ画像１３９を生成する。Ｇ画像生成用データベース部１４０は、同じ画素位置にある画像特徴ベクトルＲＢ画像１３８の画像特徴量と画像特徴ベクトルＧ画像１３９の画像特徴ベクトルを対応付け（第１および第２画素の対応付け）、低空間解像度の画像特徴ベクトルを高空間解像度の画像特徴ベクトルに置換する辞書として機能する。本実施形態では、Ｇ画像は１９２０画素×１０８０ラインであり、およそ２０７万組の画像特徴ベクトルの置換情報がＧ画像生成用データベース部１４０に格納される。また、Ｇ画像は時間ｔ１と時間ｔ１５で２枚取得できるため、空間高解像度化で参照できる画像特徴ベクトル置換情報は、およそ４１４万組になる。時間ｔ２から時間ｔ１４で欠落するＧ画像を、およそ４１４万本のＧ画像の画像特徴ベクトルから選び出して作り出すことになる。
【００５９】
図５（ｂ）において、画像組１５０は、時間ｔ２から時間ｔ１４におけるＲ画像１５１とＢ画像１５２の組を表わす。Ｒ画像１５１とＢ画像１５２は、図５（ａ）と同じ補間拡大方法によって、Ｇ画像と同じ画素数とライン数に変換されて、Ｒ画像１５３とＢ画像１５４が生成される。Ｒ画像１５３とＢ画像１５４は、図５（ａ）と同じ方法で画像特徴量に変換され、ｐ次元の画像特徴ベクトルＲ画像１５５とｐ次元の画像特徴ベクトルＢ画像１５６が生成される。ｐ次元の画像特徴ベクトルＲ画像１５５とｐ次元の画像特徴ベクトルＢ画像１５６は組み合わせて、２ｐ次元の画像特徴ベクトルＲＢ画像１５７とする。２ｐ次元の画像特徴ベクトルＲＢ画像１５７は、Ｇ画像生成用データベース部１４０の２ｐ次元の画像特徴ベクトルＲＢ画像１３８と、画素ごとに画像特徴ベクトルの類似度が比較される。類似するＲＢ画像１５７の画素（第３画素）とＲＢ画像１３８の画素（第２画素）とが特定され、類似ＲＢ画像特徴ベクトル１５８が選び出される。画像特徴ベクトルＧ画像１３９から類似ＲＢ画像特徴ベクトル１５８と同じ画素位置（第１画素）にある画像特徴ベクトルを引き出し、これを類似Ｇ画像特徴ベクトル１５９とする。Ｇ画像１３９のうちの、ＲＢ画像１５７の処理対象の画素（第３画素）と同じ座標（同じ位置）の画素（第４画素）に類似Ｇ画像特徴ベクトル１５９を対応付けることで、置換画像特徴ベクトルＧ画像１６０を生成する。
【００６０】
類似ＲＢ画像特徴ベクトル１５８を選び出す具体的な方法は任意であるが、たとえば、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が最も短い画像特徴量ベクトルをＧ画像生成用データベース部１４０から選び出したり、あるいは、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が所定の基準距離より短い候補画像特徴量ベクトルを複数抽出し、上記複数抽出された候補画像特徴量ベクトルと同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出し、これらを平均して、類似Ｇ画像特徴ベクトル１５９とする。
【００６１】
さらに、２ｐ次元の画像特徴ベクトルＲＢ画像１５７との距離が短い方から順に、たとえば３つ、候補画像特徴量ベクトルとして選び出し、同じ画素位置にある画像特徴ベクトルを画像特徴ベクトルＧ画像１３９から引き出して、これらを平均し、類似Ｇ画像特徴ベクトル１５９とする方法などもある。
【００６２】
上記類似Ｇ画像特徴ベクトル１５９は高空間解像度の画像特徴量であり、類似ＲＢ画像特徴ベクトル１５８が類似Ｇ画像特徴ベクトル１５９に置換されたことで空間解像度が高解像度化されたことになる。画像特徴ベクトルＲＢ画像１５７の全画素でＧ画像生成用データベース部１４０を参照して類似Ｇ画像特徴ベクトル１５９への置換が成され、置換画像特徴ベクトルＧ画像１６０が生成される。置換画像特徴ベクトルＧ画像１６０は画像特徴量変換の逆変換が施されて、輝度画像に戻り、置換高解像度化Ｇ画像１６１が生成される。置換高解像度化Ｇ画像１６１を時間ｔ２から時間ｔ１４で算出すれば、図２ＣにおけるＧ画像１２２が生成され、時間解像度が高解像度化される。
【００６３】
図９は、空間解像度アップコンバータ部１１２の構成を示すブロック図である。Ａ系統５０からの入力とＢ系統５１からの入力は、系統識別信号１７６に従って、Ｂ用セレクタ１８２、Ｒ用セレクタ１８３、Ｇ用セレクタ１８４で切り替えられる。Ｂ用補間拡大部１７０は、低空間解像度・高時間解像度のＢ画像１５２の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＢ画像１５４を出力する。Ｒ用補間拡大部１７１は、低空間解像度・高時間解像度のＲ画像１５１の空間解像度を補間拡大で高解像度化し、高空間解像度・高時間解像度のＲ画像１５３を出力する。高空間解像度画像と低空間解像度画像の関係を学習するために用いるベース画像１３０（図５（ａ））に含まれる高空間解像度・低時間解像度のＧ画像１３２は、撮影画像の再生時には、高解像度化処理は不要である。そこで、高空間解像度・低時間解像度のＧ画像１３２は、空間解像度アップコンバータ部１１２ではスルーで出力される。なお、Ｂ用補間拡大部１７０とＲ用補間拡大部１７１を１つにまとめ、時分割で、たとえば最初にＢ画像を補間拡大、次にＲ画像を補間拡大という構成であっても構わない。
【００６４】
図１０は、時間解像度アップコンバータ部１１３の構成を示すブロック図である。
【００６５】
Ａ系統５０では、Ｇ画像生成用データベース部１４０に格納するデータを生成するために、メモリ部１１０から読み出した撮影画像を、空間解像度アップコンバータ部１１２を介して、Ｂ用画像特徴量変換部１７２、Ｒ用画像特徴量変換部１７３、Ｇ用画像特徴量変換部１７４に供給する。Ｂ用画像特徴量変換部１７２、Ｒ用画像特徴量変換部１７３は、後述するように、撮影画像再生時のＢ系統５１からも撮影画像の供給を受けるため、Ａ系統５０からの撮影画像と、Ｂ系統５１からの撮影画像は、Ｂ用セレクタ１７５ａとＲ用セレクタ１７５ｂで切り替えられる。セレクタの入力切り替えには、系統識別信号１７６を用い、Ａ系統５０とＢ系統５１のどちらかの画像データをＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給する。Ｂ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３で画像特徴ベクトルに変換された後は、Ｂ用セレクタ１７７とＲ用セレクタ１７８を経て、Ｇ画像生成用データベース部１４０の入力側に設定される。これは、図５における画像特徴ベクトルＲＢ画像１３８の画像特徴量に相当する。一方、Ｇ用画像特徴量変換部１７４の出力は、Ｇ画像生成用データベース部１４０の出力側に設定される。これは、画像特徴ベクトルＧ画像１３９の画像特徴ベクトルに相当する。
【００６６】
以上の動作により、図５（ａ）に示した低空間解像度の画像と高空間解像度の画像の対応関係の学習が完了する。Ｇ画像生成用データベース部１４０には、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置１００から取り外せるリムーバブル型にすれば、Ｇ画像生成用データベース部１４０のデータを他の機器との間で移動、あるいはコピーが可能である。また、リムーバブル型の記録メディアの代わりに、ネットワークとの通信機能を持つインターフェイスを用いることも可能である。
【００６７】
Ｂ系統５１では、撮影画像の再生時にメモリ部１１０から読み出した撮影画像を、空間解像度アップコンバータ部１１２を介して、時間解像度アップコンバータ部１１３に供給する。図２Ａの時間ｔ１と時間ｔ１５では、高空間解像度のＧ画像１１８が撮像されているため、時間解像度アップコンバータ部１１３でＧ画像を生成する必要はない。そこで、図２Ａの時間ｔ１や時間ｔ１５のように、高空間解像度のＧ画像１１８が存在する場合は、そのままスルーで出力する。一方、図２Ａの時間ｔ２から時間ｔ１４のように、Ｇ画像１１８が欠落している部分では、図２Ｃに示したような高空間解像度のＧ画像１２２を生成する。この切り替えを行うために、Ｇ用セレクタ１７９を使い、Ｇ画像１１８の有無をＧ画像識別信号１７９ａで与える。
【００６８】
Ｂ系統５１から供給されたＲ画像とＢ画像は、空間解像度アップコンバータ部１１２で一旦、空間解像度が高解像度化された画像であり、図５のＲ画像１５３とＢ画像１５４に相当する。これらは、そのまま出力画像となって、出力Ｂ画像１９０と出力Ｒ画像１９１として、時間解像度アップコンバータ部１１３から出力される。同時に、図５の置換高解像度化Ｇ画像１６１を生成するために、Ｂ用セレクタ１７５ａとＲ用セレクタ１７５ｂを介して、それぞれＢ用画像特徴量変換部１７２とＲ用画像特徴量変換部１７３に供給される。Ｂ用画像特徴量変換部１７２は、図５（ｂ）の画像特徴ベクトルＢ画像１５６を出力し、Ｒ用画像特徴量変換部１７３は、図５（ｂ）の画像特徴ベクトルＲ画像１５５を出力し、類似画像特徴量検出部１８０で組み合わされ、画像特徴ベクトルＲＢ画像１５７となる。
【００６９】
引き続き、Ｇ画像生成用データベース部１４０の入力側にＡ系統５０から書き込まれた画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＲＢ画像１５７との間の距離を比較して類似ＲＢ画像特徴ベクトル１５８を検出し、Ｇ画像生成用データベース部１４０の出力側に格納されたＧ画像特徴ベクトルを類似Ｇ画像特徴ベクトル１５９として出力する。類似Ｇ画像特徴ベクトル１５９は、Ｇ用画像特徴量逆変換部１８１で輝度画像に戻り、出力Ｇ画像１９２を得る。
【００７０】
出力部１１４は、時間解像度アップコンバータ部１１３から出力Ｂ画像１９０、出力Ｒ画像１９１、出力Ｇ画像１９２を受け、撮影記録再生装置１００の外部へ出力する。
【００７１】
系統識別信号発生部１８５は、系統識別信号１７６を発生し、撮影画像記録部１０８、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３に入力する。撮影画像記録部１０８では、撮影画像読み出し部１１１において、系統識別信号１７６により、Ａ系統５０からの読み出しか、Ｂ系統５１からの読み出しかを切り替える。空間解像度アップコンバータ部１１２と時間解像度アップコンバータ部１１３では、Ａ系統５０からの入力か、Ｂ系統５１からの入力かを切り替える。系統識別信号１７６がＡ系統５０を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、図５（ａ）に示すベース画像組１３０のみを読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９が格納される。一方、系統識別信号１７６がＢ系統５１を指定した場合、撮影画像読み出し部１１１は、メモリ部１１０から、撮影画像を順次読出し、空間解像度アップコンバータ部１１２でＲ画像とＢ画像の空間解像度を補間拡大でＧ画像と一致させ、時間解像度アップコンバータ部１１３でＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１が生成される。
【００７２】
なお、図５の説明では、ベース画像組１３０は、時刻ｔ１、あるいは時刻ｔ１５としたが、時刻ｔ１と時刻ｔ１５の両方の情報をベース画像組１３０に組み込んでも構わない。ベース画像組に組み込む画像数は任意であり、本発明はこれらに制限を設けない。
【００７３】
また、ベース画像組に組み込まれる複数枚の画像の時間間隔は任意であり、本発明はこれらに制限を設けない。
【００７４】
また、Ｇ画像生成用データベース部１４０が持つ画像特徴量が互いに類似していて、冗長性が高い場合、類似データを１つの代表データに集約するクラスタリング処理でＧ画像生成用データベース部１４０の規模を小さくしても構わない。たとえば、７２０画素×４８０ラインのベース画像を３枚用いた場合、図６におけるスケールを３段階とするならば、１０次元の画像特徴量ベクトルが、約１００万本（  ＝  ７２０画素×４８０ライン×３枚）算出される。そこで、乱数発生などを利用して、たとえば、１万本の画像特徴量ベクトルを初期クラスタ中心として設定し、各クラスタ中心の画像特徴量ベクトルに最も近い画像特徴量ベクトルを上記１００万本の画像特徴量ベクトルから検出する。検出された画像特徴量ベクトルは、クラスタ中心の画像特徴量ベクトルとの平均が算出され、新たなクラスタ中心として更新される。上記１００万本の画像特徴量ベクトルすべてが、クラスタ中心の画像特徴量ベクトルと平均されるまでクラスタ中心の更新を繰り返して、最終的に、１万本の画像特徴量ベクトルに集約する。クラスタリング以外に、主成分分析を用いることも可能であり、上記１００万本の画像特徴量ベクトルから成る分布の広がりを、複数の基底ベクトルの線形結合で表現して、冗長性を削減する。
【００７５】
図１１は、撮影記録再生装置１００の動作フローを説明する図である。図１１（ａ）は、撮影記録時の動作フローを示し、図１１（ｂ）は、撮影画像の再生時の動作フローを示している。図１１（ａ）において、撮影が開始される（ステップＳ０１）と、撮影部１０３は入射光１０１を受光して、高空間解像度・低時間解像度のＧ画像１１８、低空間解像度・高時間解像度のＲ画像１１７とＢ画像１１９を出力する（ステップＳ０２）。撮影画像記録部１０８では、撮影画像書き込み部１０９が、Ｒ画像１１７、Ｇ画像１１８、Ｂ画像１１９をメモリ部１１０に記録する（ステップＳ０３）。図１１（ｂ）において、撮影画像の再生が開始される（ステップＳ０４）と、系統識別信号発生部１８５が系統識別信号１７６を発生し、Ａ系統５０を指定する（ステップＳ０５）。撮影画像記録部１０８では、撮影画像読み出し部１１１が、メモリ部１１０からベース画像組１３０を読み出す（ステップＳ０６）。ベース画像組１３０は、空間解像度アップコンバータ部１１２でＲ画像１３１とＢ画像１３２の空間解像度を補間拡大され（ステップＳ０７）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０に画像特徴ベクトルＲＢ画像１３８と画像特徴ベクトルＧ画像１３９を格納する（ステップＳ０８）。
【００７６】
上記ステップＳ０８終了後、系統識別信号発生部１８５は、系統識別信号１７６をＢ系統５１に切り替える（ステップＳ０９）。撮影画像記録部１０８では、撮影画像読み出し部１１１が、メモリ部１１０から順次、撮影画像を読み出す（ステップＳ１０）。上記撮影画像は、空間解像度アップコンバータ部１１２でＲ画像１５１とＢ画像１５２の空間解像度が補間拡大され（ステップＳ１１）、時間解像度アップコンバータ部１１３のＧ画像生成用データベース部１４０を参照して置換高解像度化Ｇ画像１６１を算出し（ステップＳ１２）、補間拡大されたＲ画像１５３とＢ画像１５４とともに出力部１１４から外部に出力される（ステップＳ１３）。
【００７７】
なお、Ｇ画像生成用データベース部１４０に登録された画像特徴ベクトルは、再生動作が終了しても保持されるようにしておけば、次の再生時には、ステップＳ０５からステップＳ０８を省略でき、ステップＳ０９からスタートできる。特に、同じシーンを撮影している場合は、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを再利用できる可能性が高いため、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）１０２の画質を落とさずに、素早く再生画像を生成できる。メモリ部１１０から新たなベース画像組１３０が読み出された際には、Ａ系統５０に切り替え、ステップＳ０５からステップＳ０８によって、Ｇ画像生成用データベース部１４０の画像特徴ベクトルを更新する。
【００７８】
なお、本実施例では、図３と図４に示した視覚特性を拠り所に、Ｇ画像を高解像度で撮影し、Ｒ画像とＢ画像を低解像度で撮影する形式で説明した。しかし、色覚には個人差が存在し、図４の高感度域が、いわゆるＧの波長域以外に存在する場合も想定される。たとえば、長波長側のＲに高感度域を有する利用者には、Ｒ画像を高解像度で撮影し、Ｇ画像とＢ画像を低解像度で撮影する。
【００７９】
以上のような撮影記録再生装置１００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。たとえば、７２０画素×４８０ラインの標準テレビ用のカメラで、１９２０画素×１０８０ラインのハイビジョン映像が得られる。標準テレビ用カメラの撮像素子は、ハイビジョンカメラよりも大きく、高感度撮影ができ、より手軽に高画質の撮影が可能になる。
【００８０】
（実施形態２）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。高空間解像度・高時間解像度の画像を輝度色差空間で合成して、色バランスを保存した高画質画像を生成できる。
【００８１】
図１２は、本発明の実施形態２に係る撮影記録再生装置２００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置２００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度の輝度色差画像（ＹOUT  ＰｂOUT  ＰｒOUT）２０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、輝度色差変換部２０２を備えている。
【００８２】
輝度色差変換部２０２は、時間解像度アップコンバータ部１１３で生成された高空間解像度・高時間解像度のＲ画像１９０、Ｂ画像１９１、Ｇ画像１９２を輝度色差画像２０１に変換する。ＲＧＢから輝度色差への変換式には、たとえば、（式１）や（式２）を用いる。
【数１】
2009019808.tif 000037
【数２】
2009019808.tif 000038
【００８３】
（式１）や（式２）からわかるように、人間の視覚系が敏感である輝度成分Ｙは、Ｇ成分の寄与が７割を占める。そこで、ＲＧＢ３つのうち、Ｇ成分の空間解像度が最も高ければ、先鋭度の高い高画質画像を生成できる。Ｇ画像１９２は、高空間解像度を有するＧ撮像センサ１０６で撮影された画像の画像特徴量を使って生成されるため、低空間解像度であるＲ撮像センサ１０５やＢ撮像センサ１０７で撮影された画像を補間拡大するＲ画像１９０やＢ画像１９１よりも、高い周波成分を有し、先鋭度の高い高画質画像を生成できる。
【００８４】
図１３は、輝度色差変換部２０２の構成を示すブロック図である。輝度算出部２０３は、Ｒ画像１９０、Ｇ画像１９２、Ｂ画像１９１を（式１）あるいは（式２）に従って、輝度画像２０４に変換する。低空間解像度化部２０５は、Ｇ画像１９２の空間解像度を落とし、Ｒ撮像センサ部１０５やＢ撮像センサ部１０７の空間解像度に一致させ、Ｇ画像２０６を生成する。引き続き、補間拡大部２０７がＧ画像２０６の空間解像度をＲ画像１９０、Ｂ画像１９１と一致させるために、補間拡大を行い、Ｇ画像２０８を生成する。以上の動作で、Ｇ画像２０８の空間周波数分布は、Ｒ画像１９０、Ｂ画像１９１と同じ扱いになり、ＲＧＢの色バランスを保存できる。色差算出部２０９は、（式１）に従って、Ｒ画像１９０、Ｂ画像１９１、Ｇ画像２０８を色差画像２１０に変換する。輝度画像２０４と色差画像２１０を合わせて、高空間解像度・高時間解像度の輝度色差画像２０１とし、出力部１１４から撮影記録再生装置２００の外部へ出力する。
【００８５】
以上のような撮影記録再生装置２００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。Ｇ画像がデータベース参照によって、Ｒ画像とＢ画像が補間によって、高解像度化が成されるため、特に、Ｇ画像が高周波成分を有する領域で色バランスが崩れる可能性があるが、以上のような撮影記録再生装置２００を用いれば、色バランスを崩さないように、高解像度化されたＧ画像、Ｒ画像、Ｂ画像を色差成分に変換して出力する。一方、高解像度化されたＧ画像は、視覚系の時空間解像度が最も高い輝度成分への寄与度がＲ画像やＢ画像より高いため、先鋭感の高い高画質画像が生成できる。以上より、人間が見た目に高空間解像度・高時間解像度と感じる高画質画像を、輝度色差空間で合成して、色バランスを保存して生成できる。
【００８６】
（実施形態３）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。高空間解像度・高時間解像度の画像を輝度色差空間で組み合わせて、色バランスを保存した高画質画像を生成できる。色差成分を複数画素で共通化することで、画質を維持したまま、データ量を抑えた高空間解像度・高時間解像度の輝度色差画像を生成できる。
【００８７】
図１４は、本発明の実施形態３に係る撮影記録再生装置３００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置３００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度の輝度色差画像（ＹOUT  ＰｂOUT  ＰｒOUT）３０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、輝度変換部３０２、色差変換部３０３を備えている。輝度変換部３０２は輝度生成部とも称し、色差変換部３０３は色差生成部とも称する。
【００８８】
輝度変換部３０２は、時間解像度アップコンバータ部１１３で生成された高空間解像度・高時間解像度のＲ画像１９０、Ｂ画像１９１、Ｇ画像１９２を輝度画像３０４に変換する。ＲＧＢから輝度への変換には、たとえば、（式１）を用いる。図１３に示した輝度算出部２０３と同様、高周波成分を含むＧ画像１９２によって、先鋭度の高い輝度画像３０４を生成する。
【００８９】
色差変換部３０３は、撮影画像読み出し部１１１がＢ系統５１から読み出した低空間解像度のＲ画像１５０とＢ画像１５２、そして、高空間解像度のＧ画像１９２を低解像度化した画像から色差画像を生成する。図１５は、色差変換部３０３の構成を示すブロック図である。低空間解像度化部３０５は，高空間解像度のＧ画像１９２をＲ撮像センサ部１０５やＢ撮像センサ部１０７と同じ空間解像度に低解像度化して、Ｇ画像３０６を生成する。Ｇ画像３０６の空間周波数分布は、Ｒ画像１５０、Ｂ画像１５２と同じ扱いになり、ＲＧＢの色バランスを保存できる。色差算出部３０７は、（式１）に従って、Ｒ画像１５０、Ｂ画像１５２、Ｇ画像３０６から色差画像３０８を算出する。
【００９０】
図１６は、輝度画像３０４と色差画像３０８の画像サイズの違いの一例を説明する図である。輝度画像３０４は、Ｇ撮像センサ部１０６の空間解像度と一致し、色差画像３０８は、Ｒ撮像センサ部１０５やＢ撮像センサ部１０７の空間解像度と一致する。そこで、図１６（ａ）のように、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数がＧ撮像センサ部１０６の画素数の半分である場合、Ｐｂ・Ｐｒの２つの色成分を有する色差画像３０８のデータ量は、輝度画像３０４と同一になる。この形式は、一般に、４：２：２フォーマットと呼ばれ、広く現行のビデオ機器で利用されている。図３で説明した人間の視覚系は色成分に対して感度が低いという特性を利用したフォーマットであり、図１６（ｃ）に示す色成分をそのまま有する４：４：４フォーマットの見た目の画質を維持しつつ、データ量を抑える有効な手法である。図１６（ｂ）のように、Ｒ撮像センサ部１０５とＢ撮像センサ部１０７の画素数とライン数を共にＧ撮像センサ部１０６の半分にした場合、Ｐｂ・Ｐｒの２つの色成分を有する色差画像３０８のデータ量は、輝度画像３０４の半分になる。この形式は、一般に、４：２：０フォーマットと呼ばれ、広く現行のビデオ機器で利用されている。４：２：０フォーマットも４：２：２フォーマット同様、人間の視覚系の色成分に対する低感度特性を利用しており、図１６（ｃ）に示す色成分をそのまま有する４：４：４フォーマットの見た目の画質を維持しつつ、データ量を抑える有効な手法である。
【００９１】
色差成分を複数画素で共有化する方式は、図１６に限らず、たとえば、図１７（ａ）および図１７（ｂ）のように、横方向に３画素、縦方向に２ライン、あるいは横に２画素、縦に３ラインを共通化した６：１：１など、任意のフォーマットを形成可能であり、本発明はこれらに制限を与えない。
【００９２】
以上のような撮影記録再生装置３００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、高空間解像度・高時間解像度の画像を輝度色差空間で合成して、色バランスを保存した高画質画像を生成できる。特に、色差成分を複数画素で共通化することで、画質を維持したまま、データ量を抑えた高空間解像度・高時間解像度の輝度色差画像を生成できる。
【００９３】
（実施形態４）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。ＲとＢの相関に応じて、補間拡大したＲとＢにＧの高域成分を重畳することにより、ＲとＢを高解像度化する。
【００９４】
図１８は、本発明の実施形態４に係る撮影記録再生装置４００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置４００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）４０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部１０８、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部１１１、空間解像度アップコンバータ部１１２、時間解像度アップコンバータ部１１３、出力部１１４、系統識別信号発生部１８５、ＲＢ高域調整部４０２を備えている。
【００９５】
ＲＢ高域調整部４０２は、ＲとＢの相関に応じて、補間拡大したＲとＢにＧの高域成分を重畳することにより、ＲとＢを高解像度化する。図１９に示すように、ＲＢ高域調整部４０２は、低解像度化部４０３と、局所相関演算部４０４と、重み生成部４０５と、カウンタ４０６と、画像メモリ４０７と、重み正規化部４０８とを備える。
【００９６】
ＲＢ高域調整部４０２における処理は、フレーム単位の処理となる。まず、各フレーム処理の初めに、カウンタ４０６の内容と画像メモリ４０７の内容を０クリアする。
【００９７】
低解像度化部４０３は、時間解像度アップコンバータ部１１３によって高解像度化されたＧ成分、ＧH,LHを空間的に低解像化しＧH,LH,Lを出力する。
【００９８】
ＲLH,HとＢLH,Hは、空間解像度アップコンバータ部１１２で補間拡大されたＲ画像とＢ画像であり、時間解像度アップコンバータ部１１３で生成されたＧH,LHと同じ画素数、ライン数を有する。
【００９９】
局所相関演算部４０４は、たとえば、図２０に示す２×２画素程度の局所的な領域内でＲLH,HとＢLH,Hの相関値を、（式３）によって計算する。
【数３】
2009019808.tif 000039
【０１００】
なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよく、また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。
【０１０１】
重み生成部４０５は、局所相関演算部４０４が計算した相関値に応じた重みを生成する。相関値と重みの関係は、たとえば、図２１に示すように、正の相関が高いほど、重みＷを大きくして、ＧHHとＧLHの差（すなわちＧの高域成分）の重畳を強める。負の相関がある場合は、ＧHHとＧLHの差（すなわちＧの高域成分）の重畳を行わず、重みＷは０とする。重みＷを乗算したＧHHとＧLHの差（すなわちＧの高域成分）は、画像メモリ４０７の画素位置に応じたアドレスに加算してゆく。この時、画像メモリ４０７に書き込みを行なう範囲は、１画素でもよく、また、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域波形を重畳することになる。ここでは、その様な場合を考え、高域波形を重畳した回数を、カウンタ４０６において、各画素について記憶する。
【０１０２】
正規化部４０８では、複数回重畳した高域波形をカウンタ４０６に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域信号は、ＲLH,HとＢLH,Hに重畳され、ＲOUT、ＢOUTとして出力される。
【０１０３】
以上のような撮影記録再生装置４００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、局所的な色バランスを保った状態でＲとＢを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。
【０１０４】
（実施形態５）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。第１画像の時間解像度を第２画像の時間解像度へ変換するために必要となるデータベースを撮影しながら生成し、記録できる。
【０１０５】
図２２は、本発明の実施形態５に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置５００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）５０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部５０６、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部５０７、空間解像度アップコンバータ部５０２、時間解像度アップコンバータ部５０３、出力部１１４、ベース画像識別信号発生部５０４を備えている。
【０１０６】
空間解像度アップコンバータ部５０２は、ベース画像識別信号発生部５０４が発生するベース画像識別信号５０５によって、ベース画像組１３０が取得されるタイミング（図２Ａの時間ｔ１あるいは時間ｔ１５に相当）を認識し、ベース画像組１３０に含まれるＲ画像１３１とＢ画像１３３のみを補間拡大してＲ画像１３４とＢ画像１３５を生成する。
【０１０７】
時間解像度アップコンバータ部５０２は、ベース画像識別信号発生部５０４が発生するベース画像識別信号５０５によって、空間解像度アップコンバータ部５０２からＲ画像１３４、Ｂ画像１３５、Ｇ画像１３２が供給されるタイミング（図２Ａの時間ｔ１あるいは時間ｔ１５に相当）を認識し、画像特徴ベクトルＲ画像１３６、画像特徴ベクトルＢ画像１３７、画像特徴ベクトルＧ画像１３９を生成し、Ｇ画像生成用データベース部１４０（図１０）に記録する。
【０１０８】
撮影画像記録部５０６の撮影画像読み出し部５０７は、撮影画像再生時に撮影画像をメモリ部１１０から読み出し、空間解像度アップコンバータ部５０２に入力する。
【０１０９】
以上のような撮影記録再生装置５００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、時間解像度アップコンバータ部５０３が有するＧ画像生成用データベース部１４０に格納するデータを撮影と同時に生成し、記録できる。Ｇ画像生成用データベース部１４０には、磁性体を利用したハードディスクや半導体メモリなど、任意の記録メディアが利用可能である。記録メディアを撮影記録再生装置５００から取り外せるリムーバブル型にすれば、Ｇ画像生成用データベース部１４０のデータを他の機器との間で移動、あるいはコピーが可能である。
【０１１０】
（実施形態６）
本実施形態では、視感度が最も高い波長域Ｇで高空間解像度・低時間解像度の第１画像を撮影・記録し、その他の波長域ＲとＢで低空間解像度・高時間解像度の第２画像を撮影・記録し、低空間解像度画像と高空間解像度画像の対応関係に基づいて、第１画像の時間解像度を第２画像の時間解像度へ変換して再生する撮影記録再生装置について説明する。画像ぼけが発生した場合には、高空間解像度の画像が撮影できないため、第１画像の時間解像度を第２画像の時間解像度へ変換するデータベースの生成・記録を停止できる。
【０１１１】
図２３は、本発明の実施形態６に係る撮影記録再生装置６００の構成を示すブロック図である。なお、図２２に示す撮影装置５００と同様の部分については同じ符号を付し、詳細な説明を省略する。撮影装置６００は、入射光１０１を受光して撮影画像を記録し、撮影画像を再生する際に高解像度化処理を施して、高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）６０１を出力する装置であり、撮影部１０３、色分解部１０４、Ｒ撮像センサ部１０５、Ｇ撮像センサ部１０６、Ｂ撮像センサ部１０７、撮影画像記録部５０６、撮影画像書き込み部１０９、メモリ部１１０、撮影画像読み出し部５０７、空間解像度アップコンバータ部５０２、時間解像度アップコンバータ部６０２、出力部１１４、ベース画像識別信号発生部５０４、画像ぼけ検出部６０３を備えている。
【０１１２】
画像ぼけ検出部６０３は、撮影画像のぼけを検出し、画像ぼけ発生信号６０４で、時間解像度アップコンバータ部６０２に通知する。撮影画像のぼけは、入射光１０１がＲ撮像センサ１０５やＧ撮像センサ１０６、Ｂ撮像センサ１０７に入射中に、撮像記録再生装置６００と被写体の位置関係が変化した際に発生する。撮像記録再生装置６００と被写体の位置関係の変化とは、被写体が動いたり、撮影記録再生装置６００が動くことを意味する。撮像記録再生装置６００と被写体の位置関係の変化に起因する画像ぼけは、Ｒ撮像センサ１０５、Ｇ撮像センサ１０６、Ｂ撮像センサ１０７のシャッターを開けている時間が長いほど発生する可能性が高くなり、従って、室内や夕刻など、被写体を照らす光量が少ない場合、画像ぼけが発生する可能性が高くなる。従って、シャッター速度を予め設定した閾値と比較することで、画像ぼけを検出できる。また、撮影画像のぼけは、焦点距離合わせが不完全である場合に発生する。いわゆる、ピンボケであり、Ｒ撮像センサ１０５、Ｇ撮像センサ１０６、Ｂ撮像センサ１０７上に被写体像を結像させるレンズ系の焦点距離が不適切である場合に、画像ぼけが発生する。従って、オートフォーカス機構が動作している間は、画像ぼけが発生していると判断できる。
【０１１３】
時間解像度アップコンバータ部６０２は、画像ぼけ発生信号６０４によって画像ぼけ発生が通知されると、Ｇ画像生成用データベース部１４０（図１０）へのデータの登録を停止する。画像ぼけが発生した際に撮影されるＧ画像１３２は、高周波成分を含まないため、空間解像度の高解像度化に利用できず、Ｇ画像生成用データベース部１４０へのデータの登録を停止する。
【０１１４】
なお、本発明は、画像ぼけ検出の手法そのものに制限を与えることはなく、任意の手法を採用できる。
【０１１５】
一般に、シャッタースピードが低下した際には、画像ぼけを解消するために、ストロボを点灯する。ストロボ点灯によって、高速シャッターが確保された場合は、高周波成分を撮影可能であるため、ストロボ点灯期間に撮影された高空間解像度画像をＧ画像生成用データベース部１４０に登録する。
【０１１６】
以上のような撮影記録再生装置６００を用いれば、現行の３板式カメラの構成をそのまま利用して、高空間解像度・高時間解像度の画質の高い画像が撮影、記録、再生できる。特に、画像ぼけが発生した場合には、高空間解像度の画像が撮影できないため、第１画像の時間解像度を第２画像の時間解像度へ変換するデータベースの生成・記録を停止でき、データベースに再利用の可能性の低いデータを登録することを回避できる。
【０１１７】
なお、上述した本発明の実施形態の装置の各構成要素は、ハードウェアにより実現されてもよいし、ソフトウェアにより実現されてもよい。例えば、上述した画像データ生成処理の少なくとも一部が、コンピュータにより実行可能なプログラムおよびコンピュータにより実現されてもよい。また、上述した各装置は、撮影部１０３および撮影画像書き込み部１０９を備えない構成であってもよく、この場合は、別のカメラで撮影して得られた画像データを入力して上述した画像処理を行う。
【産業上の利用可能性】
【０１１８】
以上のように本発明は、ビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラなどビデオ機器全般において有用である。また、広く普及しているパーソナルコンピュータにおいても有用である。
【符号の説明】
【０１１９】
１００、２００、３００、４００、５００、６００  撮影記録再生装置
１０１  入射光
１０２  高空間解像度・高時間解像度のＲＧＢ画像（ＲOUT  ＧOUT  ＢOUT）
１０３  撮影部
１０４  色分解部
１０５  Ｒ撮像センサ部
１０６  Ｇ撮像センサ部
１０７  Ｂ撮像センサ部
１０８  撮影画像記録部
１０９  撮影画像書き込み部
１１０  メモリ部
１１１  撮影画像読み出し部
１１２  空間解像度アップコンバータ部
１１３  時間解像度アップコンバータ部
１１４  出力部
１８５  系統識別信号発生部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データを生成する装置であって、
被写体からの光を波長帯域毎に分光する分光部と、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部と
を備える、装置。
【請求項２】
前記解像度変換部は、
前記第１画像と同じタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像の所定の第１画素と、前記第１画素と同じ画素位置にある前記変換後の第２画像の第２画素とを対応付け、前記対応関係を保持し、
前記第１画像と異なるタイミングで撮像された第２画像を、前記第１画像と同じ空間解像度を有するように変換し、
前記第１画像と異なるタイミングで撮像された第２画像の変換後の画像のうちの前記第２画素の画像との類似性が他の画素よりも高い第３画素を決定し、
前記第３画素と同じ画素位置にある前記第１画像の第４画素に、前記第１画素の画像を割り当て、前記第１画像が撮像されなかったタイミングの画像を生成する、請求項１に記載の装置。
【請求項３】
前記分光部は、前記被写体からの光を、赤色光、緑色光および青色光に分光し、
前記第１撮像部は、前記視感度が最も高い波長帯域の光として前記緑色光を受光して、緑色成分に対応した前記第１画像を取得し、
前記第２撮像部は、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記赤色光を受光して、赤色成分に対応した前記第２画像を取得する赤色光撮像部と、
前記視感度が最も高い波長帯域以外の波長帯域の光として前記青色光を受光して、青色成分に対応した前記第２画像を取得する青色光撮像部と
を備える、請求項１に記載の装置。
【請求項４】
前記赤色成分に対応した第２画像と、前記青色成分に対応した第２画像とは、互いに同じ空間解像度および時間解像度を有する、請求項３に記載の装置。
【請求項５】
前記第１画像および前記第２画像を格納する記録部をさらに備え、
前記解像度変換部は、前記記録部から読み出した前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項６】
前記解像度変換部は、前記第１画像と同じ空間解像度となるように、前記第２画像の空間解像度を変換し、
前記解像度変換部は、前記第１画像と前記変換後の第２画像とを格納するデータベース部を備え、
前記解像度変換部は、前記データベース部から読み出した前記第１画像と前記変換後の第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、請求項１に記載の装置。
【請求項７】
画像ぼけを検出する画像ぼけ検出部をさらに備え、
前記画像ぼけ検出部が画像ぼけを検出した場合には、前記データベース部は、前記第１画像および前記変換後の第２画像の格納動作を停止する、請求項６に記載の装置。
【請求項８】
前記解像度変換部が出力した出力画像から輝度画像を生成する輝度生成部と、
前記出力画像のうちの緑色成分に対応した画像を低解像度化し、前記低解像度化した緑色成分に対応した画像と、赤色成分に対応した画像と、青色成分に対応した画像とから色差画像を生成する色差生成部と
をさらに備える、請求項３に記載の装置。
【請求項９】
画像データを生成する方法であって、
被写体からの光を波長帯域毎に分光するステップと、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得するステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得するステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、方法。
【請求項１０】
画像データを生成する処理をコンピュータに実行させるプログラムであって、
前記画像データを生成する処理は、
被写体からの光を波長帯域毎に分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るステップと、
前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され、且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取るステップと、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換するステップと
を包含する、プログラム。
【請求項１１】
画像データを生成する処理を実行する装置であって、
前記装置は、画像の時間解像度を変換する解像度変換部を備え、
前記解像度変換部は、
被写体からの光を波長帯域毎に分光して得られる視感度が最も高い波長帯域の光を受光して生成された第１画像を受け取るとともに、前記視感度が最も高い波長帯域以外の波長帯域の光を受光して生成され且つ前記第１画像よりも空間解像度が低く時間解像度が高い第２画像を受け取り、
前記第１画像と前記第２画像とを用いて、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する、装置。
【請求項１２】
画像データを生成する装置であって、
被写体からの光を波長帯域毎に分光する分光部と、
前記分光された光のうちの視感度が最も高い波長帯域の光を受光して、第１画像を取得する第１撮像部と、
前記視感度が最も高い波長帯以外の波長帯域の光を受光し、前記第１画像よりも空間解像度が低く且つ時間解像度が高い第２画像を取得する第２撮像部と、
前記第１画像の空間解像度を前記第２画像の空間解像度に変換して第３画像を生成し、前記第３画像と前記第２画像を比較して、前記第１画像の時間解像度を前記第２画像の時間解像度に変換する解像度変換部と
を備える、装置。
【請求項１３】
前記解像度変換部は、前記第２画像の空間解像度を前記第１画像の空間解像度に変換し、
前記装置は、前記変換した第２画像に前記第１画像の高周波成分を加算する高域調整部をさらに備える、請求項１２に記載の装置。
【請求項１４】
前記高域調整部は、前記第１画像の高周波成分の加算において用いる重みを、前記第２画像を構成する複数画素の相関に基づいて算出する、請求項１３に記載の装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009019808.tif 000040
【図２Ａ】
2009019808.tif 000041
【図２Ｂ】
2009019808.tif 000042
【図２Ｃ】
2009019808.tif 000043
【図３】
2009019808.tif 000044
【図４】
2009019808.tif 000045
【図５】
2009019808.tif 000046
【図６】
2009019808.tif 000047
【図７】
2009019808.tif 000048
【図８】
2009019808.tif 000049
【図９】
2009019808.tif 000050
【図１０】
2009019808.tif 000051
【図１１】
2009019808.tif 000052
【図１２】
2009019808.tif 000053
【図１３】
2009019808.tif 000054
【図１４】
2009019808.tif 000055
【図１５】
2009019808.tif 000056
【図１６】
2009019808.tif 000057
【図１７】
2009019808.tif 000058
【図１８】
2009019808.tif 000059
【図１９】
2009019808.tif 000060
【図２０】
2009019808.tif 000061
【図２１】
2009019808.tif 000062
【図２２】
2009019808.tif 000063
【図２３】
2009019808.tif 000064
【図２４】
2009019808.tif 000065
【図２５】
2009019808.tif 000066
【図２６】
2009019808.tif 000067
【図２７】
2009019808.tif 000068
【図２８】
2009019808.tif 000069
【図２９】
2009019808.tif 000070
【国際調査報告】
2009019808.tif 000071
2009019808.tif 000072
2009019808.tif 000073
2009019808.tif 000074