(57)【要約】  各カメラへ入射する光量の低下をなくし、高解像度で、かつ、高フレームレートの動画像を生成可能な画像処理装置および方法を提供する。  撮像処理装置は、可視光を、少なくとも第１および第２色成分に分離する分離部と、第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、動画像の各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、第２色成分の動画像を撮影する第２撮像部であって、第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、動画像の各画像を第１空間解像度よりも高い第２空間解像度で、かつ、第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、第１および第２の撮像部における撮像条件を制御する制御部と、第１色成分および第２色成分の各動画像の情報に基づいて、時空間解像度を高めた第２成分の動画像を生成する処理部とを備えている。
2009019823.tif 000002
【特許請求の範囲】
【請求項１】
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、
前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた撮像処理装置。
【請求項２】
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、
前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた撮像処理装置。
【請求項３】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成する、請求項２に記載の撮像処理装置。
【請求項４】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像、および、前記拘束条件のもとで、前記関係式をもっともよく満足する動画像を、前記空間解像度を高めた第２成分の動画像として出力する、請求項３に記載の撮像処理装置。
【請求項５】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項１または２に記載の撮像処理装置。
【請求項６】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項２に記載の撮像処理装置。
【請求項７】
第３撮像部をさらに備え、
前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と第３成分とに分離し、
前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、
前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度よりも高い、請求項１または２に記載の撮像処理装置。
【請求項８】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項７に記載の撮像処理装置。
【請求項９】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項７に記載の撮像処理装置。
【請求項１０】
画像処理装置とともに画像処理システムを構成する撮像装置であって、
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と
を備え、前記画像処理装置が時間解像度を高めた前記第２成分の動画像を生成するために、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を出力する、撮像装置。
【請求項１１】
第３撮像部をさらに備え、
前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と、第３成分とに分離し、
前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、
前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度よりも高い、請求項１０に記載の撮像装置。
【請求項１２】
撮像装置から動画像の情報を受け取って処理する画像処理装置であって、
前記撮像装置は、
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備えており、
前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を受け取って、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、
前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた、画像処理装置。
【請求項１３】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第１色成分の動画像の時間変化に基づいて、動き情報を生成するステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１４】
前記第２成分の動画像を生成するステップは、さらに前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成する、請求項１３に記載の画像処理方法。
【請求項１５】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１６】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１７】
請求項１１に記載の撮像装置から、撮影された前記第１色成分、前記第２色成分および前記第３色成分の各動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力するステップと
を包含する、画像処理方法。
【請求項１８】
画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて動画像のデータを生成させるコンピュータプログラムであって、
前記コンピュータプログラムは、前記プロセッサに、
請求項１１に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を読み出すステップと、
前記第１色成分の動画像および前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成させるステップと
を実行させる、コンピュータプログラム。
【請求項１９】
請求項１８に記載のコンピュータプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。
【背景技術】
【０００２】
近年映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素ピッチの小型化が進んでいる。【０００３】
空間解像度は、画像撮像機器に必要とされる画質に応じて多岐にわたって使い分けられている。たとえばＴＶ電話の解像度はＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低画素数である。一方、デジタル一眼レフカメラの解像度は１０００万画素を超えている。【０００４】
時間解像度もまた多岐にわたって使い分けられている。たとえばＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。【０００５】
一方、映像表示の分野では、フラットテレビが急激な勢いで普及している。これに伴い、今後様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。【０００６】
入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度を比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限発揮させる映像を一般ユーザが手軽に入力できる状況にない。【０００７】
このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートで撮像は困難であった。【０００８】
上記の課題に対し、たとえば特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図１９に示す構成が記載されている。【０００９】
図１９は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。【００１０】
アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って、高解像度、高フレームレートの動画像を出力する。
【特許文献１】特開平７−１４３４３９号公報
【特許文献２】特表２００５−５１５６７５号公報
【特許文献３】特開２００５―３１８５４８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述の撮像装置では、光はハーフミラー１７１で２分割されるため、画素サイズがより小さい高解像度撮影用の第２カメラ１７３で光量が不足することがある。また、動画を撮影するために露光時間の上限が制限されている低解像度撮影用の第１カメラ１７２でも光量が不足することがある。これでは、画像の輝度が低下して画像が暗くなる。【００１２】
本発明は上述の課題を解決するものであって、その目的は、各カメラへ入射する光量の低下をなくし、高解像度で、かつ、高フレームレートの動画像を生成可能な画像処理装置および方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明による撮像処理装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。【００１４】
本発明による他の撮像処理装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。【００１５】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成してもよい。【００１６】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像、および、前記拘束条件のもとで、前記関係式をもっともよく満足する動画像を、前記空間解像度を高めた第２成分の動画像として出力してもよい。【００１７】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。【００１８】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。【００１９】
前記撮像処理装置は第３撮像部をさらに備え、前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と第３成分とに分離し、前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度より高くてもよい。【００２０】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。【００２１】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。【００２２】
本発明による撮像装置は、画像処理装置とともに画像処理システムを構成し、前記撮像装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備え、前記画像処理装置が時間解像度を高めた前記第２成分の動画像を生成するために、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を出力してもよい。【００２３】
前記撮像装置は、第３撮像部をさらに備え、前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と、第３成分とに分離し、前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度より高くてもよい。【００２４】
本発明による画像処理装置は、撮像装置から動画像の情報を受け取って処理する画像処理装置であって、前記撮像装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備えており、前記画像処理装置は、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を受け取って、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。【００２５】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第１色成分の動画像の時間変化に基づいて、動き情報を生成するステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。【００２６】
前記第２成分の動画像を生成するステップは、さらに前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成してもよい。【００２７】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。【００２８】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。【００２９】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分、前記第２色成分および前記第３色成分の各動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力するステップとを包含する。【００３０】
本発明によるコンピュータプログラムは、画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて動画像のデータを生成させるコンピュータプログラムであって、前記コンピュータプログラムは、前記プロセッサに、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を読み出すステップと、前記第１色成分の動画像および前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成させるステップとを実行させる。【００３１】
前記コンピュータプログラムは記録媒体に記録されてもよい。
【発明の効果】
【００３２】
本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、たとえばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ハーフミラーを用いる従来の技術と比較すると、個々の撮像部が受ける光量は半減することはないため、各色成分の動画像では光量の低下は発生しない。これにより、明るい動画像を得ることができる。そして、それらの色成分画像に基づいて、解像度およびフレームレートがともに高い動画像を生成する。よって得られた動画像も明るくできる。
【図面の簡単な説明】
【００３３】
【図１】実施形態１による撮像処理装置１の構成を示す図である。
【図２】Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。
【図３】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図４】２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【図５】大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す図である。
【図６】ＲとＢの局所的な相関ρと重みＷとの関係を示す図である。
【図７】Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。
【図８】他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。
【図９】相関値ρと重みＷ２との関係の例を示す図である。
【図１０】Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。
【図１１】実施形態１の変形例による撮像処理装置１１の構成を示す図である。
【図１２】実施形態１の変形例による撮像処理装置１２の構成を示す図である。
【図１３】撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。
【図１４】実施形態２による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。
【図１５】コンピュータによって構成された画像処理装置のハードウェアを示す図である。
【図１６】本発明の処理の手順を示すフローチャートである。
【図１７】図１６に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１８】他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１９】従来の撮像装置の構成を示す図である。
【図２０】２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【図２１】着目画素とその近傍３画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【符号の説明】
【００３４】
１０１  レンズ系
１０２  ダイクロイックミラー
１０３  第１の撮像部
１０４  第２の撮像部
１０５  画像処理部
１０６  Ｇ用アップコンバータ
１０７  Ｒ，Ｂ用アップコンバータ
１２０  制御部
【発明を実施するための最良の形態】
【００３５】
以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。【００３６】
（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す。撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。【００３７】
以下では、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。【００３８】
レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。【００３９】
ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する。すなわちダイクロイックミラー１０２は、入射した光を、赤（Ｒ）成分および青（Ｂ）成分と、緑（Ｇ）成分とに分離する。なお、以下では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。【００４０】
第１の撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１の撮像部１０３は内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分を検出する撮像素子を備えていてもよい。【００４１】
第２の撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。【００４２】
画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。【００４３】
画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７を備えている。【００４４】
Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。【００４５】
Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。【００４６】
制御部１２０は、第１の撮像部１０３および第２の撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。【００４７】
次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。【００４８】
レンズ系１０１は、被写体の像が、第１の撮像部１０３および第２の１０４の撮像素子上に結ばれるよう、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によってＲ成分、Ｇ成分、Ｂ成分に分離される。【００４９】
上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低解像度、高フレームレートで、第１の撮像部１０３によって撮影される。ここで、「低解像度」とは、例えばＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施の形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。【００５０】
上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高解像度」とは、例えば一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の解像度をいう。「低フレームレート」とは、第１の撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（たとえば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（たとえば１／３秒）を上限として露出することをいう。【００５１】
本実施形態においては、第１の撮像部１０３および第２の撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。【００５２】
なお、上述した露光時間の長短、解像度の高低、フレームレートの高低は、第１の撮像部１０３および第２の撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の解像度（ここでは画素数に対応）はＧ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートはＧ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。【００５３】
以下、本明細書では、解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHL、解像度が低く（Ｌ）フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像をそれぞれＲLH、ＢLHのように表記する。１文字目が色成分を表し、２文字目（第１の添え字）が解像度を表し、３文字目（第２の添え字）がフレームレートを表す。【００５４】
Ｇ用アップコンバータ１０６は、長時間露光、高解像度で低フレームレート撮像されたＧ画像ＧHL、短時間露光、低解像度で高フレームレート撮像されたＲ画像およびＢ画像ＲLH，ＢLHのデータを撮像条件として受け取り、ＧHLを高解像度化しＧHHとして出力する。【００５５】
すなわち、Ｇ用アップコンバータ１０６は、同じ解像度で高フレームレート化した合成動画像を生成する。これは、緑の合成動画像の主観画質が最も良くなるように処理することを意味している。【００５６】
このように処理する理由は、人の視覚感度は赤、青よりも緑に対して高いという特性を有しており、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。【００５７】
緑の合成動画像の主観画質を良くするためには、緑の動画像を高解像度低フレームレートで撮影することが好適な場合が多いと考えられる。例えば、画像中の被写体が静止もしくは動きが小さい場合、緑の動画像を高解像度低フレームレートで撮影すると、赤や青の合成動画像に対して、緑の合成動画像の解像度が高く、その結果主観画質が高くなる。そして、赤や青に比べてさらに緑の動画像のフレームレートを高くすることで、主観画質が良くなることが期待できる。【００５８】
図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。【００５９】
Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。【００６０】
動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、ＲLH、ＢLHから動き（オプティカルフロー）を検出する。公知技術として、たとえばJ. L. Barron, D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “Performance of Optical Flow Techniques”, In Proc. Computer Vision and Pattern Recognition, pp. 236-242, 1992が知られている。【００６１】
図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。【００６２】
探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆＡｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2009019823.tif 000003
【数２】
2009019823.tif 000004
（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。【００６３】
動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。【００６４】
再び図２を参照する。時間解像度アップコンバータ１０９は、第１の撮像部１０３によって撮像されたＲ画像ＲLHおよびＢ画像ＢLH、第２の撮影部１０４によって撮像されたＧ画像ＧHL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、ＧHLを高解像度化しＧHHとして出力する。【００６５】
ここで、ＧHLの高解像度化は、下記の（数３）を最小化するＧHHを求めることによって行われる。
【数３】
2009019823.tif 000005
ここで、ＧHH、ＧHLは動画像の各画素を要素とする縦ベクトル、ＨTは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Ｑsは滑らかさ拘束、λmは動き拘束に対する重み、Ｑmは動き拘束、λcは色相関拘束に対する重み、ＨSは高解像度画像と低解像度画像の関係をモデル化した行列、Ｑcは色相関拘束を表している。制御部１２０によって第２の撮像部１０４に設定される撮影条件は、少なくとも上記ＨT、Ｑs、ＱmおよびＱcに反映される。【００６６】
上記（数３）を最小化するＧHHとは、与えられた拘束条件の線形和をもっともよく満足するＧHHを意味する。なお、数３の左辺はスカラーである。右辺の各項の導出過程は後述する。【００６７】
時間解像度アップコンバータ１０９は、下記（数４）に基づいて（数３）を最小化するＧHHを得る。
【数４】
2009019823.tif 000006
その結果、時間解像度アップコンバータ１０９は、（数５）に示す連立方程式を解くことによってＧHHを得る。
【数５】
2009019823.tif 000007
（数５）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。【００６８】
時間解像度アップコンバータ１０９が、入力されたＧHLを上述の手順によって高解像度化しＧHHを求める処理は、フレーム数を多くする処理、すなわち時間解像度を高める処理だけでなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２の撮像部１０４によって高解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。そこで画像のシャープ化処理も含めて「高解像度化」と称している。【００６９】
以下に、（数３）の各項の意味、働きについてより詳細に説明する。【００７０】
（数３）の第一項は、高解像度化したＧHHから予測される長時間露光画像と、実際に観測した長時間露光画像ＧHLとの差異を示す。これは、高解像度化したＧHHと、長時間露光画像ＧHLと画像間の時空間的な対応関係を表している。ここで、ＨTでは行の数が列の数より少ない。これは、ＧHLが長時間露光画像であって、ＧHHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第一項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。【００７１】
この不良設定問題を良設定問題に変更するために、（数３）の第一項には第二項以降が付加されている。（数３）の第二項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、
【数６】
2009019823.tif 000008
として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数６の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第二項は、（数６）を差分展開しＩをＧに置き換えて、行列ＱsとベクトルＧHHの積の形で表している。【００７２】
（数３）の第三項は、画像中の動きに関する拘束である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第三項中の行列Ｑmは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（ＱmＧHH）2は、動きベクトルの始点と終点間の残差の２乗の動画像全体に関する総和となる。【００７３】
（数３）の第四項は、Ｒ，Ｇ，Ｂ間の局所的な相関に関する拘束である。（数３）の第二項で局所的な滑らかさを仮定しているのと同様、ここでは、局所的なＲ，Ｇ，Ｂの画素値の間での相関（色相関）を仮定する。【００７４】
いま、簡単のために、図４に示す例で考える。図４は、２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数７）が成り立つ。
【数７】
2009019823.tif 000009
【００７５】
これら各４つの比から２つを選ぶと、その選び方は4Ｃ2＝６通りであることから、（数８）を得る。
【数８】
2009019823.tif 000010
【００７６】
（数８）を行列とベクトルで表すと、（数９）となる。
【数９】
2009019823.tif 000011
【００７７】
局所的な領域として２×２画素を考えた場合、ＲＧＢ間の相関は、（数９）の左辺のノルム（数１０）によって評価できる。
【数１０】
2009019823.tif 000012
ここで、ｑTｑは（数１１）によって表すことができる。
【数１１】
2009019823.tif 000013
【００７８】
次に、２×２画素よりも大きな画像中の局所領域として２×２画素の領域を考える。図５は、大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す。図５に示すように、局所領域の左上の画素をi番目の画素とすると、右上の画素はｉ+１番目、左下の画素はｉ＋ｗ番目（ここで、ｗは画像の幅の画素数）、右下の画素はｉ＋ｗ＋１番目の画素となる。そのため、この場合（数１１）は（数１２）のように変形される。
【数１２】
2009019823.tif 000014
【００７９】
画像全体についてＱcTＱcを計算するには、ＱcTＱcの全要素を０にしたのち、局所領域の左上の画素の位置（すなわちｉ）を順次シフトさせながら、（数１０）で示される局所的な係数を大域的な係数行列ＱcTＱcに加算してゆけばよい。この時、局所領域の位置を縦横にそれぞれ1画素ずつシフトさせて互いに重なるように配置してもよいし、もしくは、縦横にそれぞれ2画素ずつシフトさせて互いに重ならずに隣接するように配置してもよい。後者の場合には、局所領域境界でアーチファクトが生じる場合がありえるが、より少ない演算量でほぼ同等の効果を得ることができる。【００８０】
以上述べた手順により、ＨT、Ｑs、Ｑm、ＱcTＱcを計算することができる。なお、（数３）の第４項に含まれているＨSは、ＧHHを空間的に低解像度化する作用素である。これは、上記の色相関拘束をＧHHの中域とＲLH，ＢLHの間で課すために用いられている。【００８１】
また、各拘束についての重みλs、λm、λcの各値は、生成される画像ＧHHの画質がよくなるように設定する。たとえば（数３）において、これらのパラメータで重み付けした各項（先頭の項を含む４項）の大きさがオーダーとしてほぼ揃うことが、重みλs、λm、λcの値を設定する際のひとつの目安となる。逆にこれら４項の大きさのオーダーが不揃いであると、値の大きな項が拘束条件として支配的になり、値の小さな項は拘束条件として効いていないことになる。【００８２】
以上のように計算した行列と重みを用いて、観測される画像ＧHLに対して（数５）の連立方程式を解くことにより、ＧHHを生成できる。【００８３】
なお、（数１２）に示した局所的な領域におけるＲとＢの相関に応じて（数１３）の様に重み付けすることにより、ＲＢ間の相関に応じて視覚的により自然なＧHHを再現することができる。
【数１３】
2009019823.tif 000015
【００８４】
ここで、重みＷの分布としては、局所領域内のＲとＢの相関値（−１から１）に応じて、０から１の値をとるように設定する。たとえば図６は、ＲとＢの局所的な相関ρと重みＷとの関係を示す。図４に示す２×２画素の領域に関して、ＲとＢの局所的な相関値ρは（数１４）によって示される。
【数１４】
2009019823.tif 000016
ＲとＢの局所的な相関値ρが得られると、図６の関係に基づいて重みＷが決定される。【００８５】
なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよい。また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。このような計算方法により、画像のパターンに対して、相関値の計算をより等方性のあるものにできる。【００８６】
なお、本実施の形態においては、色相関に関する拘束ＱcをＲ，Ｇ，Ｂのレベルそのものを用いて計算したが、レベルそのものの代わりにＲ，Ｇ，Ｂのこう配を用いても同様の効果を得ることができる。その様な例について以下に説明する。【００８７】
動画像中の動きに関しては、対応点間で明るさが一定であると仮定すると、画像中の動きベクトル（ｕ，ｖ）について、オプティカルフローの関係が近似的に成り立つことが知られている。Ｒ，Ｇ，Ｂそれぞれについてのオプティカルフローの式は（数１５）となる。
【数１５】
2009019823.tif 000017
ここで、画像中の動きベクトル（ｕ，ｖ）がＲ，Ｇ，Ｂ間で同じであるとすると、（数１６）を得る。
【数１６】
2009019823.tif 000018
【００８８】
（数１６）において、Ｒ，Ｇは１画素の値について考えている。しかしながら、∂／∂ｘ，∂／∂ｙは差分展開により行列として表現できるので、Ｒ，Ｇをベクトルとして考えると、動画像全体について（数１７）を得る。
【数１７】
2009019823.tif 000019
【００８９】
画像全体について、（数１７）の各式を可能な限り同時に成立させるために、（数１８）を最小化するＧHHを求める。
【数１８】
2009019823.tif 000020
【００９０】
（数１８）を最小化するＧHHを求めるためには、（数１８）をＧHHで偏微分して得られる式をゼロにするＧHHを求めればよい。これにより（数１９）を得る。
【数１９】
2009019823.tif 000021
（数１９）と（数３）の第４項との比較より、（数２０）を得る。
【数２０】
2009019823.tif 000022
【００９１】
なお、局所的な相関関係は、これまでに説明した空間的な近傍についての相関関係に限る必要はなく、時間的空間的近傍について考えてももちろんよい。例えば、その一例として図２０の様な近傍領域について考えることにより、より安定した効果を得ることができる。図２０は、２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数２１）が成り立つ。
【数２１】
2009019823.tif 000023
これら各８つの比から２つを選ぶと、その選び方は８Ｃ２＝２８通りである。その結果、（数２２）および（数２３）を得る。
【数２２】
2009019823.tif 000024
【数２３】
2009019823.tif 000025
【００９２】
（数２２）（数２３）を行列とベクトルで表すと、（数２４）（数２５）となる。
【数２４】
2009019823.tif 000026
【数２５】
2009019823.tif 000027
【００９３】
（数２４）（数２５）より以下の関係を得る。
【数２６】
2009019823.tif 000028
局所的な領域として２×２×２画素を考えた場合、ＲＧＢ間の相関は、（数２５）の左辺のノルム（数２７）によって評価できる。
【数２７】
2009019823.tif 000029
【００９４】
２×２×２画素よりも大きな画像中の局所領域として２×２×２画素の領域を考える場合には、先に２×２画素の空間的な近傍領域について考えた場合と同様に、局所的な関係を大域的な関係式に順次加算していくことにより、大域的な関係式を得ることができる。【００９５】
なお、上記２×２×２画素の近傍領域について局所的な相関関係を考えるかわりに、図２１に示すように、着目画素と着目画素に時間的、空間的に隣接する３画素の計４画素のみについて局所的な相関関係を考えてもよい。この場合、２×２×２画素の近傍領域について局所的な相関関係を考えるよりも少ない演算量で、ほぼ同様の効果を得ることができる。【００９６】
さらに、上述のような、時間方向の近傍領域について局所的な相関関係を考えるかわりに、オプティカルフローの方向、すなわち、動きベクトルの方向に沿って局所的な相関関係を仮定することにより、オプティカルフロー（動きベクトル場）が正しく求められている場合には、よりいっそう安定した効果を得ることができる。さらに、動きベクトルがサブピクセル精度で得られている場合には、小数点以下の動きベクトルの値を用いた重み付けにより、サブピクセル精度の動き情報を有効に用いることができる。【００９７】
上述の（数３）に関しては、右辺第１項から第４項までの拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数１）の第１項と第２項のみを利用して
【数２８】
2009019823.tif 000030
としてもよい。または、（数３）の第１項と第４項のみに基づく（数２９）を利用してもよい。
【数２９】
2009019823.tif 000031
【００９８】
または、（数３）の第１項と第２項と第３項のみに基づく（数３０）を利用してもよい。
【数３０】
2009019823.tif 000032
【００９９】
または、第１項と第２項と第４項のみに基づく（数３１）を利用してもよい。
【数３１】
2009019823.tif 000033
【０１００】
これらの変形例によれば、（数３）に示す４項全ての拘束条件を用いて（数１）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。【０１０１】
また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数２８）、（数２９）または（数３１））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。【０１０２】
前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。【０１０３】
また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。【０１０４】
また、色相関のないシーンについては、（数２８）や（数３０）を用いればよい。（数１３）に示す重み付け方法によれば、色相関のないシーンを処理すると重みが小さくなる。よって、その場合には自動的に（数３０）を用いていることになる。【０１０５】
再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１の撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。【０１０６】
以下、図７を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。【０１０７】
図７は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図７において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。【０１０８】
Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。【０１０９】
ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。係数推定部１１１は、ＧHHとＧLHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、ＧHHとＧLHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、ＲLH，ＢLHからＲHH，ＢHHを復元する。【０１１０】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の、いわゆる再構成型の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。【０１１１】
図８は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。【０１１２】
図８に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。【０１１３】
Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、たとえば０で埋めることにより、クリアする。【０１１４】
低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。【０１１５】
補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲLH，ＢLHと撮影条件とを受け取り、ＲLHとＢLHとをＧHHと同じ画素数になる様に補間拡大する。【０１１６】
局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、ＲLHとＢLHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、たとえば（数１４）を利用することができる。【０１１７】
重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図９は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図９に示す関係とに基づいて、重みＷ２を求める。【０１１８】
図８に示されるように、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。【０１１９】
このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図８のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。【０１２０】
正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。【０１２１】
以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。【０１２２】
なお、図９には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲＬＨ、ＢＬＨや図８のダウンコンバータ１１３でＧＨＨをダウンコンバートしたＧＬＨの画素値を用いればよい。【０１２３】
なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図８の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図１０に示す構成を採用することができる。図１０は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図１０に示すように、図８と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。【０１２４】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる再構成型の超解像処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記ＧLHとＧHH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。【０１２５】
なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。【０１２６】
これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。【０１２７】
図１１は、本実施形態の変形例による撮像処理装置１１の構成を示す。図１１において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。【０１２８】
画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。【０１２９】
制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数３２）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。
【数３２】
2009019823.tif 000034
【０１３０】
輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数３３）の計算によって輝度信号（Ｙ信号）に変換して出力する。
【数３３】
2009019823.tif 000035
【０１３１】
上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。【０１３２】
なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。【０１３３】
なお、出力信号がカラー画像である必要がなく、モノクロ（単色）でよい場合には、人の視覚感度を考慮するとＲ成分およびＢ成分の高解像度化は行わなくてもよい。この場合には、図１２に示す構成を採用することができる。【０１３４】
図１２は、本実施形態の変形例による撮像処理装置１２の構成を示す。Ｒ成分およびＢ成分についての高解像度化処理は不要であるため、撮像処理装置１２は、撮像処理装置１（図１）からＲ，Ｂ用アップコンバータ１０７を省略した構成を有している。撮像処理装置１２は、高解像度化された緑成分のＧHH信号のみを出力する。【０１３５】
なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。【０１３６】
たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。【０１３７】
たとえば図１３は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１３において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。【０１３８】
撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。【０１３９】
光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。【０１４０】
制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施の形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施の形態１におけるＲ，Ｂに相当）に設定する。【０１４１】
なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定する様にすればよい。【０１４２】
切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。【０１４３】
ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（たとえば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。【０１４４】
ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（たとえば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。【０１４５】
出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。【０１４６】
（実施形態２）
上述の実施形態１においては、撮像処理と高解像度化処理とが同一のシステムによって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。【０１４７】
本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。【０１４８】
図１４は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１の撮像処理装置（たとえば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。【０１４９】
撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、撮影モード設定部９０４とを有している。【０１５０】
第１の撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像ＲLHおよびＢ画像ＢLHを出力する。第２の撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像GHLを出力する。【０１５１】
撮影モード設定部９０４は、例えば第２の撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中のコメント領域に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。【０１５２】
出力部９０５は、撮像装置９０１によって撮像されたＧ画像ＧHL、Ｒ画像ＲLH、Ｂ画像ＢLH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。【０１５３】
処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記ＧHL、ＲLH、ＢLHおよびその撮影条件の情報を受け取り、実施形態１において説明した処理により、これらを空間的、時間的に高解像度化したＧHH、ＲHH、ＢHHを出力する。【０１５４】
以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。【０１５５】
なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。【０１５６】
上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。【０１５７】
たとえば、図１５は、コンピュータによって構成された画像処理装置のハードウェアを示す。【０１５８】
各実施形態の画像処理装置の各機能ブロックと、図１５に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す画像処理装置１を挙げて説明する。【０１５９】
撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１の撮像部１０３および第２の撮像部１０４は、図１５に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１５に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１５のＣＰＵ１５４によって実現される。【０１６０】
図１５のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。【０１６１】
コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。【０１６２】
画像処理部１０５を実現するコンピュータプログラムの処理は、たとえば次に説明するフローチャートにしたがって記述されている。【０１６３】
たとえば図１６は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。【０１６４】
まずＳ１０１において、第１の撮像部１０３および第２の撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像ＧHLと短時間露光低解像度高フレームレートのＲ画像ＲLH、Ｂ画像ＢLHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）に基づいて（数３）を最小化するＧHHを求める。【０１６５】
次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。【０１６６】
図１７は、図１６に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図７に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。【０１６７】
図１７のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、ＲLHおよびＢLHを高解像度化し、ＲHHおよびＢHHを出力する。【０１６８】
図１８は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図８に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。【０１６９】
ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１１０において、ＧHHからＧLHが減算される。【０１７０】
一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲLHおよびＢLHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。【０１７１】
そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。【０１７２】
ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。【０１７３】
そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。【０１７４】
以上、本発明の各実施形態を説明した。実施形態１および２においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。たとえば単一の素子で深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する撮像素子を用いても、Ｒ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。
【産業上の利用可能性】
【０１７５】
本発明の撮像装置および処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、コンピュータプログラムとしても実現することが可能である。
【図１】
2009019823.tif 000036
【図２】
2009019823.tif 000037
【図３】
2009019823.tif 000038
【図４】
2009019823.tif 000039
【図５】
2009019823.tif 000040
【図６】
2009019823.tif 000041
【図７】
2009019823.tif 000042
【図８】
2009019823.tif 000043
【図９】
2009019823.tif 000044
【図１０】
2009019823.tif 000045
【図１１】
2009019823.tif 000046
【図１２】
2009019823.tif 000047
【図１３】
2009019823.tif 000048
【図１４】
2009019823.tif 000049
【図１５】
2009019823.tif 000050
【図１６】
2009019823.tif 000051
【図１７】
2009019823.tif 000052
【図１８】
2009019823.tif 000053
【図１９】
2009019823.tif 000054
【図２０】
2009019823.tif 000055
【図２１】
2009019823.tif 000056
【手続補正書】
【提出日】平成21年1月16日(2009.1.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、
前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた撮像処理装置。
【請求項２】
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、
前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた撮像処理装置。
【請求項３】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成する、請求項２に記載の撮像処理装置。
【請求項４】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像、および、前記拘束条件のもとで、前記関係式をもっともよく満足する動画像を、前記空間解像度を高めた第２成分の動画像として出力する、請求項３に記載の撮像処理装置。
【請求項５】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項１または２に記載の撮像処理装置。
【請求項６】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項２に記載の撮像処理装置。
【請求項７】
第３撮像部をさらに備え、
前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と第３成分とに分離し、
前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、
前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度よりも高い、請求項１または２に記載の撮像処理装置。
【請求項８】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項７に記載の撮像処理装置。
【請求項９】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、
前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力する、請求項７に記載の撮像処理装置。
【請求項１０】
画像処理装置とともに画像処理システムを構成する撮像装置であって、
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と
を備え、前記画像処理装置が時間解像度を高めた前記第２成分の動画像を生成するために、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を出力する、撮像装置。
【請求項１１】
第３撮像部をさらに備え、
前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と、第３成分とに分離し、
前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、
前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度よりも高い、請求項１０に記載の撮像装置。
【請求項１２】
撮像装置から動画像の情報を受け取って処理する画像処理装置であって、
前記撮像装置は、
可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、
前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、
前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、
前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備えており、
前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を受け取って、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、
前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、空間解像度を高めた前記第２成分の動画像を生成する処理部と
を備えた、画像処理装置。
【請求項１３】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第１色成分の動画像の時間変化に基づいて、動き情報を生成するステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１４】
前記第２成分の動画像を生成するステップは、さらに前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成する、請求項１３に記載の画像処理方法。
【請求項１５】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１６】
請求項１０に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップと
を包含する、画像処理方法。
【請求項１７】
請求項１１に記載の撮像装置から、撮影された前記第１色成分、前記第２色成分および前記第３色成分の各動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、
前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力するステップと
を包含する、画像処理方法。
【請求項１８】
画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて動画像のデータを生成させるコンピュータプログラムであって、
前記コンピュータプログラムは、前記プロセッサに、
請求項１１に記載の撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、
前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を読み出すステップと、
前記第１色成分の動画像および前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成させるステップと
を実行させる、コンピュータプログラム。
【請求項１９】
請求項１８に記載のコンピュータプログラムを記録した記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くした動画像を生成する技術に関する。
【背景技術】
【０００２】
近年映像入力の分野では、携帯電話用カメラやデジタルスチルカメラの多画素化、画素ピッチの小型化が進んでいる。
【０００３】
空間解像度は、画像撮像機器に必要とされる画質に応じて多岐にわたって使い分けられている。たとえばＴＶ電話の解像度はＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ、横１７６画素、縦１４４画素）程度、または、ＱＶＧＡ（Ｑｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ、横３２０画素、縦１４４画素）程度の比較的低画素数である。一方、デジタル一眼レフカメラの解像度は１０００万画素を超えている。
【０００４】
時間解像度もまた多岐にわたって使い分けられている。たとえばＨＤＴＶまでの画素数の時間解像度については、民生機器によるビデオレート（３０フレーム／秒）での撮像が実現されている。しかしながら、それ以上の画素数での撮像については、そのフレームレートは、デジタルスチルカメラに搭載されている連写機能による毎秒数フレームにとどまっている。
【０００５】
一方、映像表示の分野では、フラットテレビが急激な勢いで普及している。これに伴い、今後様々な解像度のカメラとディスプレイの組み合わせにより、ユーザが映像を視聴することが予測される。
【０００６】
入力側のカメラの時空間解像度（「時間解像度および空間解像度」を意味する。以下同様）と出力側のディスプレイの時空間解像度を比較すると、現状の民生機器では出力側のディスプレイの方が高い。そのため、出力側の性能を最大限発揮させる映像を一般ユーザが手軽に入力できる状況にない。
【０００７】
このような状況になった理由として、これまでは読み出しスピードがボトルネックとなっていたことが挙げられる。高空間解像度の撮影は毎秒５フレーム程度までに限られ、逆に、毎秒３０フレームの撮影はＨＤＴＶの空間解像度までに限られていた。したがって、高い空間解像度画像で、かつ高いフレームレートで撮像は困難であった。
【０００８】
上記の課題に対し、たとえば特許文献１から３は、高空間解像度と高フレームレートの撮像を両立するための方式として、２系統のカメラにより時間解像度と空間解像度の異なる画像を入力し、信号処理によって高空間解像度で高フレームレートの画像を生成する方式を提案している。これらの特許文献には図１９に示す構成が記載されている。
【０００９】
図１９は、従来の撮像装置の構成を示す。撮像装置に入射した光は、その一部がハーフミラー１７１を透過し、第１カメラ１７２に入射する。その結果、低解像度、高フレームレートの動画像が撮影される。一方、撮像装置に入射した光のうち、ハーフミラー１７１で反射した光は、第２カメラ１７３に入射する。その結果、高解像度、低フレームレートの動画像が撮影される。
【００１０】
アップコンバータ１７４は、第１カメラ１７２および第２カメラ１７３で撮影された各動画像を受け取り、画像処理を行って、高解像度、高フレームレートの動画像を出力する。
【特許文献１】特開平７−１４３４３９号公報
【特許文献２】特表２００５−５１５６７５号公報
【特許文献３】特開２００５―３１８５４８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述の撮像装置では、光はハーフミラー１７１で２分割されるため、画素サイズがより小さい高解像度撮影用の第２カメラ１７３で光量が不足することがある。また、動画を撮影するために露光時間の上限が制限されている低解像度撮影用の第１カメラ１７２でも光量が不足することがある。これでは、画像の輝度が低下して画像が暗くなる。
【００１２】
本発明は上述の課題を解決するものであって、その目的は、各カメラへ入射する光量の低下をなくし、高解像度で、かつ、高フレームレートの動画像を生成可能な画像処理装置および方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明による撮像処理装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間で露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間で露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部と、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。
【００１４】
本発明による他の撮像処理装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、時空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。
【００１５】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成してもよい。
【００１６】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像、および、前記拘束条件のもとで、前記関係式をもっともよく満足する動画像を、前記空間解像度を高めた第２成分の動画像として出力してもよい。
【００１７】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。
【００１８】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。
【００１９】
前記撮像処理装置は第３撮像部をさらに備え、前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と第３成分とに分離し、前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度より高くてもよい。
【００２０】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。
【００２１】
前記処理部は、前記第２撮像部によって撮影された前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を保持しており、前記処理部は、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力してもよい。
【００２２】
本発明による撮像装置は、画像処理装置とともに画像処理システムを構成し、前記撮像装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備え、前記画像処理装置が時間解像度を高めた前記第２成分の動画像を生成するために、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を出力してもよい。
【００２３】
前記撮像装置は、第３撮像部をさらに備え、前記分離部は、前記可視光を、前記第１色成分と、前記第２色成分と、第３成分とに分離し、前記第３撮像部は、前記第３色成分の動画像を、第３電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第３空間解像度で、かつ、第３時間解像度で撮影し、前記第３電荷蓄積期間は前記第２電荷蓄積期間より短く、前記第３空間解像度は前記第２空間解像度よりも低く、かつ、前記第３時間解像度は前記第２時間解像度より高くてもよい。
【００２４】
本発明による画像処理装置は、撮像装置から動画像の情報を受け取って処理する画像処理装置であって、前記撮像装置は、可視光を、少なくとも第１色成分および第２色成分に分離する分離部と、前記第１色成分の動画像を撮影する第１撮像部であって、第１電荷蓄積期間だけ露光して、前記動画像を構成する各画像を第１空間解像度で、かつ、第１時間解像度で撮影する第１撮像部と、前記第２色成分の動画像を撮影する第２撮像部であって、前記第１電荷蓄積期間よりも長い第２電荷蓄積期間だけ露光して、前記動画像を構成する各画像を前記第１空間解像度よりも高い第２空間解像度で、かつ、前記第１時間解像度よりも低い第２時間解像度で撮影する第２撮像部と、前記第１の撮像部および前記第２の撮像部における撮像条件を制御する制御部とを備えており、前記画像処理装置は、前記第１色成分の動画像の情報、および、前記第２色成分の動画像の情報を受け取って、前記第１色成分の動画像の時間変化に基づいて動き情報を生成する動き検出部と、前記第１色成分の動画像の情報、前記第２色成分の動画像の情報、および、前記動き情報に基づいて、空間解像度を高めた前記第２成分の動画像を生成する処理部とを備えている。
【００２５】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第１色成分の動画像の時間変化に基づいて、動き情報を生成するステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。
【００２６】
前記第２成分の動画像を生成するステップは、さらに前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成してもよい。
【００２７】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、画像の近傍画素間での滑らかさの条件を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。
【００２８】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像と前記第２色成分の動画像との間の時間的および空間的な対応関係、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成するステップとを包含する。
【００２９】
本発明による画像処理方法は、前記撮像装置から、撮影された前記第１色成分、前記第２色成分および前記第３色成分の各動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を取得するステップと、前記第１色成分の動画像、前記第２色成分の動画像と前記第３色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、および、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分、前記第２色成分および前記第３色成分の間の画素値の局所的な相関関係を拘束条件として用い、前記関係式を満足する動画像を、空間解像度を高めた第２成分の動画像として出力するステップとを包含する。
【００３０】
本発明によるコンピュータプログラムは、画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて動画像のデータを生成させるコンピュータプログラムであって、前記コンピュータプログラムは、前記プロセッサに、前記撮像装置から、撮影された前記第１色成分の動画像の情報および前記第２色成分の動画像の情報を受け取るステップと、前記第２色成分の動画像と、空間解像度を高めた第２成分の動画像との関係式を読み出すステップと、前記第１色成分の動画像および前記第２色成分の動画像との間の時間的および空間的な対応関係、画像の近傍画素間での滑らかさの条件、画像中で動く被写体に対する明るさ一定の仮定、および、前記第１色成分および前記第２色成分の間の画素値の局所的な相関関係を拘束条件として用いて、前記関係式を満足する程度に応じて、空間解像度を高めた第２成分の動画像を生成させるステップとを実行させる。
【００３１】
前記コンピュータプログラムは記録媒体に記録されてもよい。
【発明の効果】
【００３２】
本発明の撮像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、たとえばダイクロイックミラーを用いて、入射光を色成分ごとに分離して撮影される。そのため、ハーフミラーを用いる従来の技術と比較すると、個々の撮像部が受ける光量は半減することはないため、各色成分の動画像では光量の低下は発生しない。これにより、明るい動画像を得ることができる。そして、それらの色成分画像に基づいて、解像度およびフレームレートがともに高い動画像を生成する。よって得られた動画像も明るくできる。
【発明を実施するための最良の形態】
【００３３】
以下、添付の図面を参照しながら、本発明による撮像処理装置の実施形態を説明する。
【００３４】
（実施形態１）
図１は、本実施形態による撮像処理装置１の構成を示す。撮像処理装置１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、画像処理部１０５と、制御部１２０とを有している。
【００３５】
以下では、まず各構成要素の機能を概説し、その後、撮像処理装置１の動作に関連して各構成要素の動作を詳述する。
【００３６】
レンズ系１０１は、撮像処理装置１の外部から入射した光、すなわち被写体の像を集束させる。
【００３７】
ダイクロイックミラー１０２は、光の赤（Ｒ）成分および青（Ｂ）成分を透過させ、光の緑（Ｇ）成分を反射する。すなわちダイクロイックミラー１０２は、入射した光を、赤（Ｒ）成分および青（Ｂ）成分と、緑（Ｇ）成分とに分離する。なお、以下では、赤成分を「Ｒ成分」、緑成分を「Ｇ成分」、青成分を「Ｂ成分」とも記述する。
【００３８】
第１の撮像部１０３は、入射光（ここでは光のＲ成分およびＢ成分）に基づいて、短時間の露光時間、低解像度および高フレームレートでＲ成分およびＢ成分の動画像をそれぞれ撮影する。そして、得られたデータを出力する。なお、Ｒ成分の動画像およびＢ成分の動画像をそれぞれ取得するために、第１の撮像部１０３は内部にダイクロイックミラーを有し、かつ、Ｒ成分およびＢ成分を検出する撮像素子を備えていてもよい。
【００３９】
第２の撮像部１０４は、入射光（ここでは光のＧ成分）に基づいて、長時間の露光時間、高解像度および低フレームレートで動画像を撮影し、Ｇ成分の動画像のデータを出力する。
【００４０】
画像処理部１０５は、Ｒ成分およびＢ成分の光に対応する動画像のデータ、およびＧ成分の光に対応する動画像のデータを受け取り、それぞれを、画像処理によって高解像度および高フレームレートの動画像に変換して出力する。
【００４１】
画像処理部１０５は、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７を備えている。
【００４２】
Ｇ用アップコンバータ１０６は、Ｇ成分のフレームレートを高めた高解像度、高フレームレートの動画像のデータを生成する。Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の解像度を高め、高解像度、高フレームレートの動画像のデータを生成する。動画像は、１枚または複数枚の画像を所定のフレームレートで連続して切り替えて表示される。Ｒ，Ｂ用アップコンバータ１０７による解像度を高める処理は、動画像を構成する各画像の画素数を増加させることを意味する。
【００４３】
Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７の詳細は後述する。
【００４４】
制御部１２０は、第１の撮像部１０３および第２の撮像部１０４を利用して動画像を撮影するときの撮像条件を制御する。そしてその制御情報を、Ｇ用アップコンバータ１０６およびＲ，Ｂ用アップコンバータ１０７に出力する。
【００４５】
次に、撮像処理装置１の動作とともに各構成要素の動作を詳述する。
【００４６】
レンズ系１０１は、被写体の像が、第１の撮像部１０３および第２の１０４の撮像素子上に結ばれるよう、その位置が調整される。レンズ系１０１を通った光は、ダイクロイックミラー１０２によってＲ成分、Ｇ成分、Ｂ成分に分離される。
【００４７】
上記Ｒ成分およびＢ成分の動画像は、制御部１２０から指示された撮像条件、すなわち、短時間露光、低解像度、高フレームレートで、第１の撮像部１０３によって撮影される。ここで、「低解像度」とは、例えばＮＴＳＣの１フレームの画素数（水平７２０画素×垂直４８０画素）程度か、もしくは、それ以下のＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ：水平６４０画素×垂直４８０画素）程度の画素数の解像度をいう。「高フレームレート」とは、３０ｆｐｓ（フレーム／秒）ないし６０ｆｐｓ程度をいう。「短時間露光」とは、最長でもフレームレートで決まる上限値（本実施の形態の場合、３０分の１秒ないし６０分の１秒）以下の時間で露光することをいう。
【００４８】
上記Ｇ成分の動画像についても、制御部１２０から指示された撮像条件、すなわち、長時間露光、高解像度、低フレームレートの撮像条件で、第２の撮影部１０４によって撮影される。ここで、「高解像度」とは、例えば一般的なデジタルスチルカメラの画素数（例えば水平約４０００画素、垂直約３０００画素）の解像度をいう。「低フレームレート」とは、第１の撮像部１０３の数分の１から１０分の１ないし２０分の１程度のフレームレート（たとえば３ｆｐｓ（フレーム／秒））をいう。「長時間露光」とは、前記低フレームレートの値で決まる時間（たとえば１／３秒）を上限として露出することをいう。
【００４９】
本実施形態においては、第１の撮像部１０３および第２の撮像部１０４は、制御部１２０によって同期制御されて動作する。しかしながら、同期して動作することは必須ではない。
【００５０】
なお、上述した露光時間の長短、解像度の高低、フレームレートの高低は、第１の撮像部１０３および第２の撮像部１０４における相対的な撮像条件を意味する。カラー画像のＲ成分およびＢ成分の露光時間は、Ｇ成分の露光時間よりも短ければよい。Ｒ成分およびＢ成分の解像度（ここでは画素数に対応）はＧ成分のそれよりも低ければよい。Ｒ成分およびＢ成分のフレームレートはＧ成分のそれよりも高ければよい。例示した上述の数値範囲に限定されることはない。
【００５１】
以下、本明細書では、解像度が高く（Ｈ）フレームレートが低い（Ｌ）、Ｇの色成分の動画像をＧHL、解像度が低く（Ｌ）フレームレートが高い（Ｈ）、ＲおよびＢの色成分の動画像をそれぞれＲLH、ＢLHのように表記する。１文字目が色成分を表し、２文字目（第１の添え字）が解像度を表し、３文字目（第２の添え字）がフレームレートを表す。
【００５２】
Ｇ用アップコンバータ１０６は、長時間露光、高解像度で低フレームレート撮像されたＧ画像ＧHL、短時間露光、低解像度で高フレームレート撮像されたＲ画像およびＢ画像ＲLH，ＢLHのデータを撮像条件として受け取り、ＧHLを高解像度化しＧHHとして出力する。
【００５３】
すなわち、Ｇ用アップコンバータ１０６は、同じ解像度で高フレームレート化した合成動画像を生成する。これは、緑の合成動画像の主観画質が最も良くなるように処理することを意味している。
【００５４】
このように処理する理由は、人の視覚感度は赤、青よりも緑に対して高いという特性を有しており、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。
【００５５】
緑の合成動画像の主観画質を良くするためには、緑の動画像を高解像度低フレームレートで撮影することが好適な場合が多いと考えられる。例えば、画像中の被写体が静止もしくは動きが小さい場合、緑の動画像を高解像度低フレームレートで撮影すると、赤や青の合成動画像に対して、緑の合成動画像の解像度が高く、その結果主観画質が高くなる。そして、赤や青に比べてさらに緑の動画像のフレームレートを高くすることで、主観画質が良くなることが期待できる。
【００５６】
図２は、Ｇ用アップコンバータ１０６の構成をより詳細に示す。図２において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【００５７】
Ｇ用アップコンバータ１０６は、動き検出部１０８および時間解像度アップコンバータ１０９を有している。
【００５８】
動き検出部１０８は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、ＲLH、ＢLHから動き（オプティカルフロー）を検出する。公知技術として、たとえばJ. L. Barron, D. J. Fleet, S. S. Beauchemin, and T. A. Burkitt. “Performance of Optical Flow Techniques”, In Proc. Computer Vision and Pattern Recognition, pp. 236-242, 1992が知られている。
【００５９】
図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１０８は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。
【００６０】
探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平飽和（ＳＳＤ：Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ  ｏｆＡｂｓｏｌｕｔｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。
【数１】
2009019823.tif 000057
【数２】
2009019823.tif 000058
（数１）および（数２）において、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。
【００６１】
動き検出部１０８は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。
【００６２】
再び図２を参照する。時間解像度アップコンバータ１０９は、第１の撮像部１０３によって撮像されたＲ画像ＲLHおよびＢ画像ＢLH、第２の撮影部１０４によって撮像されたＧ画像ＧHL、および、動き検出部１０８によって検出された動きベクトルＶの各データを受け取り、ＧHLを高解像度化しＧHHとして出力する。
【００６３】
ここで、ＧHLの高解像度化は、下記の（数３）を最小化するＧHHを求めることによって行われる。
【数３】
2009019823.tif 000059
ここで、ＧHH、ＧHLは動画像の各画素を要素とする縦ベクトル、ＨTは長時間露光による光の加算をモデル化した行列、λsは滑らかさ拘束に対する重み、Ｑsは滑らかさ拘束、λmは動き拘束に対する重み、Ｑmは動き拘束、λcは色相関拘束に対する重み、ＨSは高解像度画像と低解像度画像の関係をモデル化した行列、Ｑcは色相関拘束を表している。制御部１２０によって第２の撮像部１０４に設定される撮影条件は、少なくとも上記ＨT、Ｑs、ＱmおよびＱcに反映される。
【００６４】
上記（数３）を最小化するＧHHとは、与えられた拘束条件の線形和をもっともよく満足するＧHHを意味する。なお、数３の左辺はスカラーである。右辺の各項の導出過程は後述する。
【００６５】
時間解像度アップコンバータ１０９は、下記（数４）に基づいて（数３）を最小化するＧHHを得る。
【数４】
2009019823.tif 000060
その結果、時間解像度アップコンバータ１０９は、（数５）に示す連立方程式を解くことによってＧHHを得る。
【数５】
2009019823.tif 000061
（数５）は共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。
【００６６】
時間解像度アップコンバータ１０９が、入力されたＧHLを上述の手順によって高解像度化しＧHHを求める処理は、フレーム数を多くする処理、すなわち時間解像度を高める処理だけでなく、ぼけた画像をくっきりした（シャープな）画像に変換する処理も含んでいる。Ｇ成分の動画像は、第２の撮像部１０４によって高解像度で撮影されているが、長時間露光の影響で画像の一部がぼけていることもありえる。そこで画像のシャープ化処理も含めて「高解像度化」と称している。
【００６７】
以下に、（数３）の各項の意味、働きについてより詳細に説明する。
【００６８】
（数３）の第一項は、高解像度化したＧHHから予測される長時間露光画像と、実際に観測した長時間露光画像ＧHLとの差異を示す。これは、高解像度化したＧHHと、長時間露光画像ＧHLと画像間の時空間的な対応関係を表している。ここで、ＨTでは行の数が列の数より少ない。これは、ＧHLが長時間露光画像であって、ＧHHよりもフレームレートが低い（すなわち、トータルの画素数が少ない）ことからも理解できる。そのため、仮に（数３）の左辺を第一項だけにすると、解くべき問題（すなわち連立方程式）が一意に解けない不良設定問題となる。
【００６９】
この不良設定問題を良設定問題に変更するために、（数３）の第一項には第二項以降が付加されている。（数３）の第二項は、画像が一般的に満たしている特性、すなわち近傍画素間の局所的な滑らかさを示す。動画像をI（ｘ，ｙ，ｔ）とすると、局所的な滑らかさは、
【数６】
2009019823.tif 000062
として表すことができる。ここで、積分範囲は動画像の占める時空間全体であり、数６の被積分関数中の||・||はベクトルのノルムを示す。（数３）の第二項は、（数６）を差分展開しＩをＧに置き換えて、行列ＱsとベクトルＧHHの積の形で表している。
【００７０】
（数３）の第三項は、画像中の動きに関する拘束である。ここでは、動画像中の各点が明るさを変えずに移動していくことを仮定している。第三項中の行列Ｑmは、動画像中で検出された動きベクトルの始点と終点の画素に関係する要素だけが、それぞれ１と−１になっている。そのため（ＱmＧHH）2は、動きベクトルの始点と終点間の残差の２乗の動画像全体に関する総和となる。
【００７１】
（数３）の第四項は、Ｒ，Ｇ，Ｂ間の局所的な相関に関する拘束である。（数３）の第二項で局所的な滑らかさを仮定しているのと同様、ここでは、局所的なＲ，Ｇ，Ｂの画素値の間での相関（色相関）を仮定する。
【００７２】
いま、簡単のために、図４に示す例で考える。図４は、２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数７）が成り立つ。
【数７】
2009019823.tif 000063
【００７３】
これら各４つの比から２つを選ぶと、その選び方は4Ｃ2＝６通りであることから、（数８）を得る。
【数８】
2009019823.tif 000064
【００７４】
（数８）を行列とベクトルで表すと、（数９）となる。
【数９】
2009019823.tif 000065
【００７５】
局所的な領域として２×２画素を考えた場合、ＲＧＢ間の相関は、（数９）の左辺のノルム（数１０）によって評価できる。
【数１０】
2009019823.tif 000066
ここで、ｑTｑは（数１１）によって表すことができる。
【数１１】
2009019823.tif 000067
【００７６】
次に、２×２画素よりも大きな画像中の局所領域として２×２画素の領域を考える。図５は、大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す。図５に示すように、局所領域の左上の画素をi番目の画素とすると、右上の画素はｉ+１番目、左下の画素はｉ＋ｗ番目（ここで、ｗは画像の幅の画素数）、右下の画素はｉ＋ｗ＋１番目の画素となる。そのため、この場合（数１１）は（数１２）のように変形される。
【数１２】
2009019823.tif 000068
【００７７】
画像全体についてＱcTＱcを計算するには、ＱcTＱcの全要素を０にしたのち、局所領域の左上の画素の位置（すなわちｉ）を順次シフトさせながら、（数１０）で示される局所的な係数を大域的な係数行列ＱcTＱcに加算してゆけばよい。この時、局所領域の位置を縦横にそれぞれ1画素ずつシフトさせて互いに重なるように配置してもよいし、もしくは、縦横にそれぞれ2画素ずつシフトさせて互いに重ならずに隣接するように配置してもよい。後者の場合には、局所領域境界でアーチファクトが生じる場合がありえるが、より少ない演算量でほぼ同等の効果を得ることができる。
【００７８】
以上述べた手順により、ＨT、Ｑs、Ｑm、ＱcTＱcを計算することができる。なお、（数３）の第４項に含まれているＨSは、ＧHHを空間的に低解像度化する作用素である。これは、上記の色相関拘束をＧHHの中域とＲLH，ＢLHの間で課すために用いられている。
【００７９】
また、各拘束についての重みλs、λm、λcの各値は、生成される画像ＧHHの画質がよくなるように設定する。たとえば（数３）において、これらのパラメータで重み付けした各項（先頭の項を含む４項）の大きさがオーダーとしてほぼ揃うことが、重みλs、λm、λcの値を設定する際のひとつの目安となる。逆にこれら４項の大きさのオーダーが不揃いであると、値の大きな項が拘束条件として支配的になり、値の小さな項は拘束条件として効いていないことになる。
【００８０】
以上のように計算した行列と重みを用いて、観測される画像ＧHLに対して（数５）の連立方程式を解くことにより、ＧHHを生成できる。
【００８１】
なお、（数１２）に示した局所的な領域におけるＲとＢの相関に応じて（数１３）の様に重み付けすることにより、ＲＢ間の相関に応じて視覚的により自然なＧHHを再現することができる。
【数１３】
2009019823.tif 000069
【００８２】
ここで、重みＷの分布としては、局所領域内のＲとＢの相関値（−１から１）に応じて、０から１の値をとるように設定する。たとえば図６は、ＲとＢの局所的な相関ρと重みＷとの関係を示す。図４に示す２×２画素の領域に関して、ＲとＢの局所的な相関値ρは（数１４）によって示される。
【数１４】
2009019823.tif 000070
ＲとＢの局所的な相関値ρが得られると、図６の関係に基づいて重みＷが決定される。
【００８３】
なお、局所的なＲとＢの相関は、必ずしも２×２画素の領域について求める必要はなく、３×３画素、４×４画素、５×５画素等のより広い範囲の矩形領域について求めてもよい。また、円形や４角形以上の多角形等の領域について求めたり、ガウシン関数等により着目画素位置近傍を重視するような重みをつけて計算してもよい。このような計算方法により、画像のパターンに対して、相関値の計算をより等方性のあるものにできる。
【００８４】
なお、本実施の形態においては、色相関に関する拘束ＱcをＲ，Ｇ，Ｂのレベルそのものを用いて計算したが、レベルそのものの代わりにＲ，Ｇ，Ｂのこう配を用いても同様の効果を得ることができる。その様な例について以下に説明する。
【００８５】
動画像中の動きに関しては、対応点間で明るさが一定であると仮定すると、画像中の動きベクトル（ｕ，ｖ）について、オプティカルフローの関係が近似的に成り立つことが知られている。Ｒ，Ｇ，Ｂそれぞれについてのオプティカルフローの式は（数１５）となる。
【数１５】
2009019823.tif 000071
ここで、画像中の動きベクトル（ｕ，ｖ）がＲ，Ｇ，Ｂ間で同じであるとすると、（数１６）を得る。
【数１６】
2009019823.tif 000072
【００８６】
（数１６）において、Ｒ，Ｇは１画素の値について考えている。しかしながら、∂／∂ｘ，∂／∂ｙは差分展開により行列として表現できるので、Ｒ，Ｇをベクトルとして考えると、動画像全体について（数１７）を得る。
【数１７】
2009019823.tif 000073
【００８７】
画像全体について、（数１７）の各式を可能な限り同時に成立させるために、（数１８）を最小化するＧHHを求める。
【数１８】
2009019823.tif 000074
【００８８】
（数１８）を最小化するＧHHを求めるためには、（数１８）をＧHHで偏微分して得られる式をゼロにするＧHHを求めればよい。これにより（数１９）を得る。
【数１９】
2009019823.tif 000075
（数１９）と（数３）の第４項との比較より、（数２０）を得る。
【数２０】
2009019823.tif 000076
【００８９】
なお、局所的な相関関係は、これまでに説明した空間的な近傍についての相関関係に限る必要はなく、時間的空間的近傍について考えてももちろんよい。例えば、その一例として図２０の様な近傍領域について考えることにより、より安定した効果を得ることができる。図２０は、２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す。ここでは、Ｒ，Ｇ，Ｂ間で相関があると仮定している。すなわち、各画素におけるＲ，Ｇ，Ｂの比が一様であると仮定している。すると下記（数２１）が成り立つ。
【数２１】
2009019823.tif 000077
これら各８つの比から２つを選ぶと、その選び方は８Ｃ２＝２８通りである。その結果、（数２２）および（数２３）を得る。
【数２２】
2009019823.tif 000078
【数２３】
2009019823.tif 000079
【００９０】
（数２２）（数２３）を行列とベクトルで表すと、（数２４）（数２５）となる。
【数２４】
2009019823.tif 000080
【数２５】
2009019823.tif 000081
【００９１】
（数２４）（数２５）より以下の関係を得る。
【数２６】
2009019823.tif 000082
局所的な領域として２×２×２画素を考えた場合、ＲＧＢ間の相関は、（数２５）の左辺のノルム（数２７）によって評価できる。
【数２７】
2009019823.tif 000083
【００９２】
２×２×２画素よりも大きな画像中の局所領域として２×２×２画素の領域を考える場合には、先に２×２画素の空間的な近傍領域について考えた場合と同様に、局所的な関係を大域的な関係式に順次加算していくことにより、大域的な関係式を得ることができる。
【００９３】
なお、上記２×２×２画素の近傍領域について局所的な相関関係を考えるかわりに、図２１に示すように、着目画素と着目画素に時間的、空間的に隣接する３画素の計４画素のみについて局所的な相関関係を考えてもよい。この場合、２×２×２画素の近傍領域について局所的な相関関係を考えるよりも少ない演算量で、ほぼ同様の効果を得ることができる。
【００９４】
さらに、上述のような、時間方向の近傍領域について局所的な相関関係を考えるかわりに、オプティカルフローの方向、すなわち、動きベクトルの方向に沿って局所的な相関関係を仮定することにより、オプティカルフロー（動きベクトル場）が正しく求められている場合には、よりいっそう安定した効果を得ることができる。さらに、動きベクトルがサブピクセル精度で得られている場合には、小数点以下の動きベクトルの値を用いた重み付けにより、サブピクセル精度の動き情報を有効に用いることができる。
【００９５】
上述の（数３）に関しては、右辺第１項から第４項までの拘束条件は、必ずしもそれら全てを同時に用いる必要はない。以下のような変形例を用いてもよい。すなわち、（数１）の第１項と第２項のみを利用して
【数２８】
2009019823.tif 000084
としてもよい。または、（数３）の第１項と第４項のみに基づく（数２９）を利用してもよい。
【数２９】
2009019823.tif 000085
【００９６】
または、（数３）の第１項と第２項と第３項のみに基づく（数３０）を利用してもよい。
【数３０】
2009019823.tif 000086
【００９７】
または、第１項と第２項と第４項のみに基づく（数３１）を利用してもよい。
【数３１】
2009019823.tif 000087
【００９８】
これらの変形例によれば、（数３）に示す４項全ての拘束条件を用いて（数１）によって計算するよりも少ない演算量でＧ成分の高解像度化を実現できる。ただし、拘束条件を緩和することになるため、生成される画像の高解像度感が多少低下することがある。
【００９９】
また、動き検出が難しいシーンでは、動き検出の結果を用いない数式（（数２８）、（数２９）または（数３１））によって高解像度化処理を行うことにより、出力される画像の画質に関して、動きの誤検出によるアーティファクト（画像の乱れ、ノイズ）の発生を抑えることができる。シーンからの動き検出が難しいか否かは、（ａ）時間的に双方向に動き検出を行った結果の差異から判断したり、（ｂ）（数１）、（数２）に示した動き検出時の評価値の探索範囲内での最小値から判断することができる。
【０１００】
前者（ａ）の場合、基準フレームの画像中の（ｘ，ｙ）において、時間的に順方向の動き検出結果が（ｕ，ｖ）であるとすると、次に順方向の動き検出時の参照フレームを基準に逆方向に動き検出をして、（ｘ＋ｕ，ｙ＋ｖ）における動き検出結果が（−ｕ，−ｖ）であれば、双方向の動き検出において一貫性があり信頼できる。一方、（−ｕ，−ｖ）と異なる場合、例えば一定のしきい値以上の差異がある場合には、動き検出が難しい状況であると判断できる。
【０１０１】
また、後者（ｂ）の場合も同様に、ＳＳＤやＳＡＤの動き検出時の評価値の探索範囲内での最小値について、例えば予め定めたしきい値以上である場合、動き検出が難しい状況であると判断できる。
【０１０２】
また、色相関のないシーンについては、（数２８）や（数３０）を用いればよい。（数１３）に示す重み付け方法によれば、色相関のないシーンを処理すると重みが小さくなる。よって、その場合には自動的に（数３０）を用いていることになる。
【０１０３】
再び図１を参照する。Ｒ，Ｂ用アップコンバータ１０７は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分の動画像を用いて、第１の撮像部１０３によって、短時間露光、低解像度、高フレームレートの撮像条件で撮像されたＲ，Ｂ成分の動画像を高解像度化する。
【０１０４】
以下、図７を参照しながら、Ｒ，Ｂ成分の動画像を高解像度化する処理を詳細に説明する。
【０１０５】
図７は、Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す。図７において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１０６】
Ｒ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１０と、係数推定部１１１と、復元フィルタ１１２とを有している。
【０１０７】
ダウンコンバータ１１０は、Ｇ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。係数推定部１１１は、ＧHHとＧLHから復元フィルタ１１２（復元フィルタＨ+）のフィルタ係数を推定する。復元フィルタ１１２として、ウィーナフィルタや一般逆フィルタ等の公知のフィルタを用いることができる。これらの復元フィルタは、ＧHHとＧLHの関係を用いて、低解像度側の信号から高解像度側の信号を推定するものである。復元フィルタ１１２は、係数推定部１１１によって推定されたフィルタ係数を用いて、ＲLH，ＢLHからＲHH，ＢHHを復元する。
【０１０８】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述の、いわゆる再構成型の処理に限る必要はなく、他の高解像度化処理によって行ってもよい。他の例による高解像度化処理を以下に説明する。
【０１０９】
図８は、他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す。ここで、Ｒ，Ｂ用アップコンバータ１０７は、ＲとＢの相関に応じてＧの高域成分を、補間拡大したＲ成分およびＢ成分に重畳することにより、Ｒ成分およびＢ成分を高解像度化する。
【０１１０】
図８に示されるＲ，Ｂ用アップコンバータ１０７は、ダウンコンバータ１１３と、補間拡大部１１４と、局所相関演算部１１５と、重み生成部１１６と、カウンタ１１７と、画像メモリ１１８と、正規化部１１９とを有している。
【０１１１】
Ｒ，Ｂ用アップコンバータ１０７は、動画像を構成するフレーム単位で処理を行う。まず、各フレーム処理の初めに、カウンタ１１７の内容と画像メモリ１１８の内容を、たとえば０で埋めることにより、クリアする。
【０１１２】
低解像度化部１１３はＧ用アップコンバータ１０６によって高解像度化されたＧ成分（ＧHH）を空間的に低解像化し、ＧLHを出力する。
【０１１３】
補間拡大部１１４は、低解像度、高フレームレートで撮像されたＲLH，ＢLHと撮影条件とを受け取り、ＲLHとＢLHとをＧHHと同じ画素数になる様に補間拡大する。
【０１１４】
局所相関演算部１１５は、２×２画素や３×３画素程度の局所的な領域に関し、ＲLHとＢLHの局所的な相関値を計算する。２×２画素について局所的な相関値ρを計算するときは、局所相関演算部１１５は、たとえば（数１４）を利用することができる。
【０１１５】
重み生成部１１６は、局所相関演算部１１５によって計算された相関値に応じた重みを生成する。図９は、相関値ρと重みＷ２との関係の例を示す。重み生成部１１６は、相関値ρと図９に示す関係とに基づいて、重みＷ２を求める。
【０１１６】
図８に示されるように、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、画像メモリ１１８が更新される。より詳しくは、乗算が行われた後、画像メモリ１１８内の画素データの格納位置に応じたアドレスが特定される。そして、乗算結果とそのアドレスに保持されていた値とが加算され、そのアドレスの値が加算結果に書き換えられる。
【０１１７】
このとき、画像メモリ１１８に書き込みを行う対象は、１画素でもよく、または、局所的な相関値を計算した範囲でもよい。ただし、後者の様に複数画素について高域成分を重畳する場合、局所相関を計算する領域の設定の仕方（すなわち画像内でのインクリメントの仕方）によっては、同一画素に複数回、高域成分を重畳することになる。そのような場合を考慮して、図８のＲ，Ｂ用アップコンバータ１０７では、カウンタ１１７を利用する。カウンタ１１７は、高域成分を重畳した回数を各画素について記憶する。
【０１１８】
正規化部１１９は、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算する。正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１１９】
以上述べた方法によって、Ｒ，Ｂを高解像度化することにより、局所的な色バランスを保った状態でＲとＢとを高解像度化することができ、その結果、偽色の発生を抑えた高解像度化を行うことができる。
【０１２０】
なお、図９には相関値と重みの関係の一例として線形な関係の場合を示した。しかしこれは例であり、撮像時や表示時のγ特性を考慮して非線形な関係にしてもよい。また、前記の重みを、Ｒについては（Ｒの局所平均）／（Ｇの局所平均）で正規化し、Ｂについては（Ｂの局所平均）／（Ｇの局所平均）で正規化してもよい。この正規化により、Ｒ、Ｇ、Ｂの画素値に応じて、ＲとＢ重畳するＧの高域成分の振幅を調節することができ、過度な高域の重畳による観察時の違和感を低減できる。ここで、Ｒ、Ｇ、Ｂの局所平均としては、補間拡大したＲＬＨ、ＢＬＨや図８のダウンコンバータ１１３でＧＨＨをダウンコンバートしたＧＬＨの画素値を用いればよい。
【０１２１】
なお、補間拡大したＲ、Ｂ画像に対する高域成分の重畳を１画素につき１回だけ行うように動作させるとすると、図８の画像メモリ１１８、カウンタ１１７、正規化部１１９は不要であり、図１０に示す構成を採用することができる。図１０は、Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す。図１０に示すように、図８と比較するとより簡単な構成でＲ，Ｂ用アップコンバータ１０７を実現することができ、かつ、同様の効果を得ることができる。
【０１２２】
なお、Ｒ，Ｂ用アップコンバータ１０７におけるＲ，Ｂの高解像度化処理は、上述したいわゆる再構成型の超解像処理や、Ｇの高域成分をＲおよびＢ成分に重畳する処理に限る必要はない。高解像度化したＧ成分とそれを低解像度化したもの（上記ＧLHとＧHH）との間の関係を学習し、学習結果に基づいてＲ成分、Ｂ成分を高解像度化するようにしてもよい。
【０１２３】
なお、学習は入力された画像の処理過程において行うものに限らず、予め事前に学習パターンを用意して行うようにしてもよい。この場合には、低解像度のＧ成分と高解像度のＧ成分の関係を学習する方法だけでなく、低解像のＲＧＢ成分と高解像度のＲＧＢ成分の関係を学習することも可能である。
【０１２４】
これまでの説明では、出力信号はＲ，Ｇ，Ｂの各色成分であるとした。以下では、ＲＧＢの各出力信号を輝度成分と色差成分に変換して出力する撮像処理装置を説明する。
【０１２５】
図１１は、本実施形態の変形例による撮像処理装置１１の構成を示す。図１１において、上述した撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１２６】
画像処理部１０５は、Ｇ用アップコンバータ１０６、補間拡大部１１４、およびダウンコンバータ１１３に加え、さらに色差計算部１２９および輝度計算部１３０を有する。
【０１２７】
制御部１２０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、低解像度化部１１３で低解像度化されたＧ成分の信号を受け取り、（数３２）の計算によって色差信号（Ｃｂ信号、Ｃｒ信号）に変換して出力する。
【数３２】
2009019823.tif 000088
【０１２８】
輝度計算部１３０は、補間拡大部１１４によって補間拡大されたＲ成分、Ｂ成分の信号、および、Ｇ用アップコンバータで高解像度化されたＧ成分の信号を受け取り、（数３３）の計算によって輝度信号（Ｙ信号）に変換して出力する。
【数３３】
2009019823.tif 000089
【０１２９】
上述の色差計算部１２９および輝度計算部１３０の説明から理解されるように、色差成分Ｃｂ、Ｃｒの計算には低解像度化したＧを用い、一方、輝度成分Ｙの計算には高解像度化されたＧを用いている。これにより、偽色の発生を抑えつつ、出力される画像の高解像度化を実現できる。
【０１３０】
なお、画像処理部１０５の後段にＹ、Ｃｂ、Ｃｒの各信号をＲＧＢの各信号へ変換するブロックをさらに設けて、ＲＧＢ成分の信号を出力する構成にしてもよい。
【０１３１】
なお、出力信号がカラー画像である必要がなく、モノクロ（単色）でよい場合には、人の視覚感度を考慮するとＲ成分およびＢ成分の高解像度化は行わなくてもよい。この場合には、図１２に示す構成を採用することができる。
【０１３２】
図１２は、本実施形態の変形例による撮像処理装置１２の構成を示す。Ｒ成分およびＢ成分についての高解像度化処理は不要であるため、撮像処理装置１２は、撮像処理装置１（図１）からＲ，Ｂ用アップコンバータ１０７を省略した構成を有している。撮像処理装置１２は、高解像度化された緑成分のＧHH信号のみを出力する。
【０１３３】
なお、本実施形態による撮像処理装置およびその変形例による撮像処理装置は、Ｇ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＢ成分を低解像度、短時間露光、高フレームレートで撮像するとした。しかしながら、これは例である。どの色成分（波長帯）を高解像度、長時間露光、低フレームレートで撮像するかについては、他の例を採用することが可能である。
【０１３４】
たとえば、海やプール等、水中のシーンを撮像する場合の様に、シーン中にＢ成分が強く現れることが事前に分っている場合には、Ｂ成分を高解像度、長時間露光、低フレームレートで撮像し、Ｒ成分およびＧ成分を低解像度、短時間露光、高フレームレートで撮像することにより、観察者により高解像度感のある画像を提示することができる。
【０１３５】
たとえば図１３は、撮像処理装置１を一般化した撮像処理装置１３の構成を示す。図１３において、図１の撮像処理装置の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１３６】
撮像処理装置１３は、Ｒ成分撮像部１３１と、Ｇ成分撮像部１３２と、Ｂ成分撮像部１３３と、制御部１３４と、切替部１３５と、ＨＬ用アップコンバータ１３６と、ＬＨ用アップコンバータ１３７と、出力部１３８とを有している。以下、撮像処理装置１３の動作とともに各構成要素の機能を説明する。
【０１３７】
光学系１０１を通った可視光は、ダイクロイックプリズムで波長分解され、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３によって撮像される。ＲＧＢ各成分の撮像部１３１，１３２，１３３の読み出し画素数は、ビニング読み出し方法により、個別に、かつ動的に設定できる。「ビニング読み出し方法」とは、隣接する画素に蓄積された電荷を加算して読み出す方法である。また、各撮像部１３１，１３２，１３３では、露光時間、フレームレートについても同様に設定可能とする。読み出し時の条件設定は、制御部１３４によって行われる。
【０１３８】
制御部１３４は、シーン中の色成分の分布に応じて、Ｒ成分撮像素子１３１、Ｇ成分撮像素子１３２、Ｂ成分撮像素子１３３のうちのいずれかを、高解像度、長時間露光、低フレームレート（実施の形態１におけるＧに相当）に設定し、残りを低解像度、短時間露光、高フレームレート（実施の形態１におけるＲ，Ｂに相当）に設定する。
【０１３９】
なお、撮像開始時にはシーン中の色成分の分布が未知であるので、例えばＧを高解像度、長時間露光、低フレームレートに設定する様にすればよい。
【０１４０】
切替部１３５は、制御部によるＲＧＢ各成分の撮像部１３１，１３２，１３３の設定に応じて、高解像度、長時間露光、低フレームレートでの撮像が設定されている成分の撮像データがＨＬ用アップコンバータ１３６に入力され、残りの成分のデータがＬＨ用アップコンバータ１３７に入力されるように切り替え動作を行う。
【０１４１】
ＨＬ用アップコンバータ１３６は、Ｇ用アップコンバータ１０６（たとえば図１）と同じ処理を行い、高解像度、長時間露光、低フレームレートで撮像された成分の動画像を空間的に高解像化する。
【０１４２】
ＬＨ用アップコンバータ１３７は、低解像度、短時間露光、高フレームレートで撮像された２系統（２つの色成分）の動画像と、ＨＬ用アップコンバータ１３６で高解像度化された動画像とを受け取り、Ｒ，Ｂ用アップコンバータ１０７（たとえば図１）と同じ処理により、その２系統の動画像を空間的に高解像化する。
【０１４３】
出力部１３８は、ＨＬ用アップコンバータ１３６とＬＨ用アップコンバータ１３７によってそれぞれ高解像度化された動画像を受け取り、制御部１３４による設定に応じて、ＲＧＢ３系統の動画を出力する。もちろん、出力部１３８が輝度信号（Ｙ）および色差信号（Ｃｂ，Ｃｒ）信号等の、他の信号形式に変換して出力するようにしてもよい。
【０１４４】
（実施形態２）
上述の実施形態１においては、撮像処理と高解像度化処理とが同一のシステムによって行われる例を説明した。しかしながら、両処理は必ずしも同一のシステムで行われる必要はない。
【０１４５】
本実施形態においては、撮像処理と高解像度化処理とが異なるシステムにおいて行われる例を説明する。
【０１４６】
図１４は、本実施形態による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す。ネットワーク９０２に代えて、メディア９０６を用いても、本実施形態による画像処理システムを構成することができる。図１４において、実施形態１の撮像処理装置（たとえば図１）の構成要素と共通する構成要素には同じ参照符号を付し、その説明を省略する。
【０１４７】
撮像装置９０１は、レンズ系１０１と、ダイクロイックミラー１０２と、第１の撮像部１０３と、第２の撮像部１０４と、撮影モード設定部９０４とを有している。
【０１４８】
第１の撮像部１０３は、カラー画像のＲ成分とＢ成分とを短時間の露光時間で、低解像度かつ高フレームレートで撮像し、Ｒ画像ＲLHおよびＢ画像ＢLHを出力する。第２の撮像部１０４は、カラー画像のＧ成分を長時間の露光時間で、高解像度かつ低フレームレートで撮像し、Ｇ画像GHLを出力する。
【０１４９】
撮影モード設定部９０４は、例えば第２の撮像部１０４におけるフレームレート、露光時間等の、設定が可変な撮影条件を設定し、設定した条件を示す情報を映像信号のヘッダ中のコメント領域に書き込み、または、別途データとして出力部９０５を介してネットワーク９０２に出力する。
【０１５０】
出力部９０５は、撮像装置９０１によって撮像されたＧ画像ＧHL、Ｒ画像ＲLH、Ｂ画像ＢLH、および、それらの撮影条件の情報をネットワーク９０２またはメディア９０６に出力する。
【０１５１】
処理装置９０３は、画像処理部１０５を有している。画像処理部１０５は、ネットワーク９０２またはメディア９０６を介して、上記ＧHL、ＲLH、ＢLHおよびその撮影条件の情報を受け取り、実施形態１において説明した処理により、これらを空間的、時間的に高解像度化したＧHH、ＲHH、ＢHHを出力する。
【０１５２】
以上の構成により、撮像装置と処理装置とが別体で構成され、空間的に離れて存在していても、ネットワーク９０２またはメディア９０６を介して動画像信号および撮影条件の情報を授受できるように構成することにより、処理装置が高時空間解像度の動画像を出力できる。
【０１５３】
なお、ネットワーク９０２は家庭内に構築されたＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）でもよいし、インターネットなどのＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）でもよい。または、ＵＳＢ規格やＩＥＥＥ１３９４規格の通信回線でもよい。さらに無線でも有線でもよい。上述のメディア９０６は、光ディスクや取り外し可能なハードディスクなどのリムーバブルディスク、フラッシュメモリカードが含まれる。
【０１５４】
上述の各実施形態では、撮像処理装置は、図に示す種々の構成を有するとして説明した。たとえば、各構成に含まれる画像処理部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。
【０１５５】
たとえば、図１５は、コンピュータによって構成された画像処理装置のハードウェアを示す。
【０１５６】
各実施形態の画像処理装置の各機能ブロックと、図１５に示すハードウェアとの対応関係は以下のとおりである。以下では例として、主に図１に示す画像処理装置１を挙げて説明する。
【０１５７】
撮像処理装置１のレンズ系１０１、ダイクロイックミラー１０２、第１の撮像部１０３および第２の撮像部１０４は、図１５に示すカメラ１５１およびＡ／Ｄ変換器１５２に対応する。また、画像処理部１０５が実際の処理で利用する一時バッファ（図示せず）やメディア９０６は、図１５に示すフレームメモリ１５３またはハードディスクドライブ（ＨＤＤ）１６０に対応する。そして制御部１２０および画像処理部１０５は、コンピュータプログラムを実行した図１５のＣＰＵ１５４によって実現される。
【０１５８】
図１５のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ１５５に保持されている。または、光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ１５６に取り込まれてもよい。
【０１５９】
コンピュータプログラムは、プロセッサであるＣＰＵ１５４によってＲＡＭ１５６に読み出されて展開される。ＣＰＵ１５４はコンピュータプログラムの実態であるコード化された各命令を実行する。命令の実行結果として得られたデジタル画像信号は、フレームメモリ１５７に送られて一時的に保持され、Ｄ／Ａ変換器１５８によってアナログ信号に変換され、ディスプレイ１５９に送られ、表示される。
【０１６０】
画像処理部１０５を実現するコンピュータプログラムの処理は、たとえば次に説明するフローチャートにしたがって記述されている。
【０１６１】
たとえば図１６は、本発明の処理の手順を示すフローチャートである。この処理は、実施形態１による処理として説明するが、実施形態２の撮像装置９０１および処理装置９０３によって個別に行われる処理として把握することもできる。
【０１６２】
まずＳ１０１において、第１の撮像部１０３および第２の撮像部１０４は、長時間露光高解像度低フレームレートのＧ画像ＧHLと短時間露光低解像度高フレームレートのＲ画像ＲLH、Ｂ画像ＢLHとを撮像する。ステップＳ１０２において、画像処理部１０５のＧ用アップコンバータ１０６は、Ｇ成分の動画像を高解像度化する。より具体的には、ステップＳ１０４とＳ１０５とに分けることができる。ステップＳ１０４において、Ｇ用アップコンバータ１０６の動き検出部１０８は、動き検出を行う。ステップＳ１０５において、時間解像度アップコンバータ１０９は、動き検出の結果等を利用して、（数４）に基づいて（数３）を最小化するＧHHを求める。
【０１６３】
次のステップＳ１０３において、Ｒ，Ｂ用アップコンバータ１０７は、Ｒ成分およびＢ成分の各動画像を高解像度化する。その後、制御部１２０は、撮像が完了したか否かを判定し、完了していないと判定すると処理はステップＳ１０１から繰り返され、完了したと判定すると処理は終了する。
【０１６４】
図１７は、図１６に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図７に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１６５】
図１７のステップＳ１０６において、ダウンコンバータ１１０は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１０７において、係数推定部１１１は復元フィルタ１１２に適用するための係数を推定する。ステップＳ１０８において、推定された係数が復元フィルタ１１２に適用され、復元フィルタ１１２は、ＲLHおよびＢLHを高解像度化し、ＲHHおよびＢHHを出力する。
【０１６６】
図１８は、他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。この処理は、図８に示すＲ，Ｂ用アップコンバータ１０７の処理に対応する。
【０１６７】
ステップＳ１０９において、ダウンコンバータ１１３は、撮像条件に基づいてＧHHを低解像度化する。ステップＳ１１０において、ＧHHからＧLHが減算される。
【０１６８】
一方、ステップＳ１１１において、補間拡大部１１４が撮像条件に基づいてＲLHおよびＢLHを補間拡大すると、その信号に基づいて、ステップＳ１１２において局所相関演算部１１５が局所的な相関値を計算する。
【０１６９】
そしてステップＳ１１３において、重み生成部１１６が重みを生成すると、ステップＳ１１４においてカウンタ１１７が高域成分を重畳した回数を各画素について記憶する。ステップＳ１１５において、重み生成部１１６によって生成され、出力された重みと、ＧHHとＧLHの差（すなわちＧの高域成分）とが乗算され、ステップＳ１１６において画像メモリ１１８が更新される。
【０１７０】
ステップＳ１１７において、正規化部１１９は、画像メモリ１１８に保持された、複数回重畳した高域成分を、カウンタ１１７に１画素毎に記憶されている書き込み回数値で除算して、正規化する。
【０１７１】
そしてステップＳ１１８において、正規化された高域成分は、補間拡大部１１４によって補間拡大されたＲ，Ｂ画像に重畳され、ＲHH，ＢHHとして出力される。
【０１７２】
以上、本発明の各実施形態を説明した。実施形態１および２においては、Ｒ，Ｇ，Ｂの３成分をダイクロイックミラーで分離する場合について説明したが、色成分の分離の形態はこれに限るものではない。たとえば単一の素子で深さ方向に、順に、Ｒ＋Ｇ＋Ｂ、Ｒ＋Ｇ、Ｒと３層に分けて撮像する撮像素子を用いても、Ｒ＋ＧもしくはＲ＋Ｇ＋Ｂを高解像度、長時間露光、低フレームレートで撮像し、その他を低解像度、短時間、低フレームレートで撮像した画像を受け取って処理することで、同様の効果を得ることができる。
【産業上の利用可能性】
【０１７３】
本発明の撮像装置および処理装置は、撮像素子サイズを小型化したカメラによる高精細画像の撮像とその再生装置、システムとして有用である。また、コンピュータプログラムとしても実現することが可能である。
【図面の簡単な説明】
【０１７４】
【図１】実施形態１による撮像処理装置１の構成を示す図である。
【図２】Ｇ用アップコンバータ１０６の構成をより詳細に示す図である。
【図３】（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。
【図４】２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【図５】大きな画像中の局所領域を構成する画素ｉ、ｉ＋１、ｉ＋ｗおよびｉ＋ｗ＋１を示す図である。
【図６】ＲとＢの局所的な相関ρと重みＷとの関係を示す図である。
【図７】Ｒ，Ｂ用アップコンバータ１０７の構成をより詳細に示す図である。
【図８】他の例によるＲ，Ｂ用アップコンバータ１０７の構成を詳細に示す図である。
【図９】相関値ρと重みＷ２との関係の例を示す図である。
【図１０】Ｒ，Ｂ用アップコンバータ１０７の構成の変形例を示す図である。
【図１１】実施形態１の変形例による撮像処理装置１１の構成を示す図である。
【図１２】実施形態１の変形例による撮像処理装置１２の構成を示す図である。
【図１３】撮像処理装置１を一般化した撮像処理装置１３の構成を示す図である。
【図１４】実施形態２による撮像装置９０１、ネットワーク９０２および処理装置９０３で構成された画像処理システムの例を示す図である。
【図１５】コンピュータによって構成された画像処理装置のハードウェアを示す図である。
【図１６】本発明の処理の手順を示すフローチャートである。
【図１７】図１６に示すステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１８】他の例によるステップＳ１０３の詳細な処理の手順を示すフローチャートである。
【図１９】従来の撮像装置の構成を示す図である。
【図２０】２×２×２画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【図２１】着目画素とその近傍３画素のカラー画像を構成するＲ，Ｇ，Ｂ画素群を示す図である。
【符号の説明】
【０１７５】
１０１  レンズ系
１０２  ダイクロイックミラー
１０３  第１の撮像部
１０４  第２の撮像部
１０５  画像処理部
１０６  Ｇ用アップコンバータ
１０７  Ｒ，Ｂ用アップコンバータ
１２０  制御部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009019823.tif 000090
【図２】
2009019823.tif 000091
【図３】
2009019823.tif 000092
【図４】
2009019823.tif 000093
【図５】
2009019823.tif 000094
【図６】
2009019823.tif 000095
【図７】
2009019823.tif 000096
【図８】
2009019823.tif 000097
【図９】
2009019823.tif 000098
【図１０】
2009019823.tif 000099
【図１１】
2009019823.tif 000100
【図１２】
2009019823.tif 000101
【図１３】
2009019823.tif 000102
【図１４】
2009019823.tif 000103
【図１５】
2009019823.tif 000104
【図１６】
2009019823.tif 000105
【図１７】
2009019823.tif 000106
【図１８】
2009019823.tif 000107
【図１９】
2009019823.tif 000108
【図２０】
2009019823.tif 000109
【図２１】
2009019823.tif 000110
【国際調査報告】
2009019823.tif 000111
2009019823.tif 000112
2009019823.tif 000113
2009019823.tif 000114