(57)【要約】【課題】ユーザに負荷を与えることなく、スムーズな画像の高解像度化処理を行い、その高解像度化処理の結果の表示部への表示等の迅速な利用を可能とすること。【解決手段】一枚以上の画像の中から高解像度化される画像を基準画像として選択する基準画像選択部２６と、この基準画像選択部２６によって選択された基準画像を複数の部分領域に分割し、その部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出し、分割された複数の部分領域の中から、その算出された優先度に応じて、高解像度化を行なう部分領域を順次選択する優先度演算部２２と、この優先度演算部２２により順次選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力する変位推定部２８及び高解像度化部２０と、を備える。【選択図】図１
2008077501.tif 000002
【特許請求の範囲】
【請求項１】
画像を高解像度化して表示させる画像処理装置において、
一枚以上の画像の中から高解像度化される画像を基準画像として選択する基準画像選択手段と、
この基準画像選択手段によって選択された基準画像を複数の部分領域に分割する領域分割手段と、
この領域分割手段により分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出する優先度演算手段と、
上記領域分割手段により分割された複数の部分領域の中から、上記優先度演算手段により算出された優先度に応じて、高解像度化を行なう部分領域を順次選択する部分領域選択手段と、
この部分領域選択手段により順次選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力する高解像度化手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記基準画像選択手段で選択される前記基準画像の他に、上記高解像度化手段での高解像度化処理に使用される画像を一枚以上選択する使用画像選択手段を更に具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記部分領域分割手段は、上記基準画像の部分領域間で重複領域を持たせて上記基準画像を分割することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
上記高解像度化手段は、逐次的に上記基準画像の部分領域を高解像度化処理するごとに、その高解像度化された部分領域の画像により上記基準画像選択手段によって選択された基準画像の表示における当該部分領域の表示を更新させることを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
画像の拡大処理を行なうための拡大手段を更に具備し、
上記使用画像選択手段は、この拡大手段が画像を拡大する拡大率に応じて使用画像の枚数を決定し、この使用画像の枚数に基づいて、上記高解像度化処理に使用される使用画像を選択することを特徴とする請求項２乃至４の何れかに記載の画像処理装置。
【請求項６】
上記優先度演算手段は、上記基準画像の中央からの距離が大きくなるに従って、各部分領域の優先度を低く設定することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
上記基準画像のうちどの領域を表示領域として表示するか選択する表示領域選択手段を更に具備し、
上記優先度演算手段は、上記表示領域選択手段において選択された上記表示領域の中央からの距離が大きくなるに従って、各部分領域の優先度を低く設定することを特徴とする請求項１乃至６の何れかに記載の画像処理装置。
【請求項８】
上記表示領域選択手段は、上記表示領域をスクロールして変更する機能を備え、
上記優先度検出手段は、上記スクロールによる上記基準画像の表示上の移動量を検出することにより、新たに表示される部分領域の優先度を他よりも高く設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
上記基準画像の任意の部分領域を指定する部分領域指定手段を更に具備し、
上記優先度演算手段は、上記部分領域指定手段で指定された部分領域の優先度を他の部分領域よりも高く設定することを特徴とする請求項１乃至８の何れかに記載の画像処理装置。
【請求項１０】
上記優先度演算手段は、上記基準画像の部分領域のうち、高周波成分が大きい部分領域ほど大きな優先度を設定することを特徴とする請求項１乃至９の何れかに記載の画像処理装置。
【請求項１１】
一枚以上の画像を撮影可能な撮影手段を更に具備し、
上記基準画像選択手段は、この撮影手段により撮影された画像から基準画像を選択することを特徴とする請求項１乃至１０の何れかに記載の画像処理装置。
【請求項１２】
上記使用画像選択手段は、上記撮影手段により撮像された画像を逐次高解像度化に用いる使用画像として選択し、撮影が進行するにしたがって逐次的に高解像度化に使用する画像枚数を制御することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
上記高解像度化手段により高解像度化された基準画像は、逐次的に撮影制御に用いられることを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
画像を高解像度化して表示させる画像処理制御プログラムであって、
コンピュータに、
一枚以上の画像の中から高解像度化される画像を基準画像として選択させる手順と、
選択された基準画像を複数の部分領域に分割させる手順と、
分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出させる手順と、
上記分割された複数の部分領域の中から、算出された優先度に応じて、高解像度化を行なう部分領域を順次選択させる手順と、
選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力させる手順と、
を実行させるための画像処理制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１枚以上の画像を用いて少なくとも１枚の高解像度画像を生成する画像処理装置、並びにコンピュータをこのような画像処理装置として機能させるためのコンピュータ読み込み可能な画像処理制御プログラムに関する。
【背景技術】
【０００２】
従来の画像処理装置またはデジタルカメラなどの撮像装置において、低解像度の画像を複数枚撮影し、これらの画像を合成することにより１枚の高解像度画像を生成する画像高解像度化（超解像）技術が幾つか提案されている。
【０００３】
例えば、特許文献１に開示されている高解像度化技術では、光学系から得た画像を空間的に離散化してサンプリングした画像信号に変換してから、高周波成分と低周波成分に帯域分離処理する。このように分離された低周波成分に対して、高解像画像推定処理を行なうことにより、全画像データについて計算負荷の大きな高解像度画像推定処理を行なう必要が無くなり、処理の高速化が図られている。
【０００４】
また、撮像デバイスの画素数が出力するデバイスの画素数よりも多くなる場合に、従来、超解像処理を行なう画角の変更を光学的な像倍率の変更により行なっていた。これに対して、特許文献２においては、撮像デバイスに結像された被写体の画像を設定された領域の大きさに応じて、撮像デバイスから、撮像デバイス上の開始位置と間引き読み出しの規則とにより設定される読み出し規則に応じて複数のフレームの画像信号を出力し、これらの複数のフレームの画像信号から超解像処理を行なうことにより、電子的に撮像領域の大きさを変更することを可能としている。
【特許文献１】特開２００５−３５２７２０号公報
【特許文献２】特開２００５−３５２７２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの従来の複数枚画像を用いた画像高解像度化は、画像全体に対し、複数枚の画像全てを用いて行なわれていたため、一度に処理される画像データ量が膨大となっていた。そのため、必要とされる処理用のハードウェアの規模が大きくなるのが避けられなかった。また、処理に要する時間も長時間におよび、生成された高解像度画像が、ユーザによって表示リソース等として用いられるまでには長時間が必要とされていた。
【０００６】
本発明は、上記の点に鑑みてなされたもので、ユーザに負荷を与えることなく、スムーズな画像の高解像度化処理を行い、その高解像度化処理の結果の表示部への表示等の迅速な利用を可能とする画像処理装置及び画像処理制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置の一態様は、画像を高解像度化して表示させる画像処理装置において、
一枚以上の画像の中から高解像度化される画像を基準画像として選択する基準画像選択手段と、
この基準画像選択手段によって選択された基準画像を複数の部分領域に分割する領域分割手段と、
この領域分割手段により分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出する優先度演算手段と、
上記領域分割手段により分割された複数の部分領域の中から、上記優先度演算手段により算出された優先度に応じて、高解像度化を行なう部分領域を順次選択する部分領域選択手段と、
この部分領域選択手段により順次選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力する高解像度化手段と、
を具備することを特徴とする。
【０００８】
また、本発明の画像処理制御用プログラムの一態様は、画像を高解像度化して表示させる画像処理制御プログラムであって、
コンピュータに、
一枚以上の画像の中から高解像度化される画像を基準画像として選択させる手順と、
選択された基準画像を複数の部分領域に分割させる手順と、
分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出させる手順と、
上記分割された複数の部分領域の中から、算出された優先度に応じて、高解像度化を行なう部分領域を順次選択させる手順と、
選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力させる手順と、
を実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像高解像度化に用いられる複数枚の画像の使用法について、その画像を複数の部分領域に分割し、それらの部分領域に対して優先度を持たせて、優先度の高いものから段階的に演算を行なうことにより、ユーザに負荷を与えることなく、スムーズな画像の高解像度化処理を行い、その高解像度化処理の結果の表示部への表示等の迅速な利用を可能とする画像処理装置及び画像処理制御プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１１】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。この画像処理装置１０は、入力部１２、出力部１４、記録部１６、表示部１８、高解像度化部２０、優先度演算部２２、表示領域選択部２４、基準画像選択部２６、変位推定部２８、使用画像選択部３０、拡大部３２、制御部３４、及び外部インターフェース（Ｉ／Ｆ）部３６を備えている。
【００１２】
画像リソースの映像信号は、入力部１２を介して、画像処理装置１０へ入力され、該入力部１２に映像信号線を介して接続されている記録部１６に記録される。本実施形態に係る画像処理装置１０は、この記録部１６に記録された画像を用いて高解像度化処理を行なう。上記記録部１６は、更に、出力部１４、表示部１８、及び優先度演算部２２へと映像信号線を介して接続されている。出力部１４は、当該画像処理装置１０の外部へ、生成した高解像度画像を映像リソースとして出力するためのものである。なお、上記入力部１２及び出力部１４に用いる映像信号の入出力のためのＩ／Ｆには、ＴＣＰ／ＩＰ、ＩＥＥＥ１３９４、ＵＳＢなどのネットワークインターフェース、無線ネットワーク用インターフェース、又はＸＤカード、ＳＤカード、ＵＳＢメモリ、ＤＶＤＲ等各種メモリ用のインターフェース等を用いてもよい。
【００１３】
本画像処理装置１０のユーザ操作は、外部Ｉ／Ｆ部３６により行なわれる。この外部Ｉ／Ｆ部３６は、この画像処理装置１０に設けられたスイッチ等の操作手段や外部のリモコンからの赤外線信号を受信する受光部のようなものでもよい。外部Ｉ／Ｆ部３６は、制御信号線を介して制御部３４に接続されている。さらに、この制御部３４は、制御信号線を介して表示領域選択部２４、基準画像選択部２６、使用画像選択部３０、及び拡大部３２に接続されている。
【００１４】
基準画像選択部２６では、外部Ｉ／Ｆ部３６を介して、ユーザが高解像度化を行なう画像を選択することにより、基準画像選択情報が決定される。基準画像選択部２６は、制御信号線を介して記録部１６を制御することができ、ユーザにより選択された基準画像は、バイキュービック補間、バイリニア補間等の拡大法で画像拡大を行い、以下で説明する高解像度化部２０で高解像度化された画像と同一の画素数で、そのまま記録部１６に記録されてもよい。また、その画像が、そのまま表示部１８に表示されてもよい。
【００１５】
使用画像選択部３０では、２つのモードにより使用画像選択情報が決定される。すなわち、外部Ｉ／Ｆ部３６を介して、ユーザが、高解像度化に使用する画像を選択することにより決定されるか、もしくは、以下で説明する拡大部３２における画像拡大率により、高解像度化に使用される画像の枚数が制御され、その制御情報により使用画像選択部３０において使用画像が決定される。この後者のモードのために、拡大部３２は、制御信号線を介して、使用画像選択部３０へと接続されている。例えば、この使用画像選択部３０は、画像の拡大率が１倍の場合は、１枚の画像を用い、拡大率が増加するにつれて、使用される画像の枚数が増加するような、拡大率と使用される画像の枚数との関係を表現する関数を記憶している。
【００１６】
図２は、このような記憶されている関数の例を示す図である。即ち、この例では、画像の拡大率が１倍の場合は１枚の画像を用い、拡大率が２倍の場合は４枚の画像を用い、拡大率が３倍の場合は８枚の画像を用い、拡大率が４倍の場合は１０枚の画像を用い、拡大率が５倍の場合は１２枚の画像を用い、拡大率が６倍以上の場合は１４枚の画像を用いる。勿論、これは、一例であり、本発明はそれに限定されないことは勿論である。
【００１７】
こうして決定された使用画像選択情報を記録部１６に送るために、使用画像選択部３０は制御信号線を介して記録部１６に接続されている。
【００１８】
なお、本実施形態に係る画像処理装置１０は、画像の拡大や表示領域の選択を行なうことができるように構成されている。
【００１９】
即ち、拡大部３２は、外部Ｉ／Ｆ部３６からユーザ操作に応じて制御部３４により制御されるものであり、該拡大部３２は、制御信号線を介して、上記のように使用画像選択部３０に接続されるとともに、表示部１８にも制御信号線を介して接続されている。
【００２０】
また、表示領域選択部２４は、制御信号線を介して、制御部３４からの制御を受け、表示部１８に表示される表示領域を選択する。この制御部３４は、上述のように外部Ｉ／Ｆ部３６から制御されており、ユーザは、この外部Ｉ／Ｆ部３６を操作し、表示部１８のスクロール操作を行なう。ユーザが、この外部Ｉ／Ｆ部３６を介して与えたスクロール情報は、制御部３４を介して、表示領域選択部２４に転送される。表示領域選択部２４に転送されたスクロール情報は、表示部１８にさらに転送され、画像のスクロール動作が実行される。ユーザは、このスクロール動作を利用して、表示部１８に画像の表示したい部分を表示させることができる。この表示領域選択部２４は、このように表示部１８に接続される他、制御信号線を介して優先度演算部２２にも接続されている。
【００２１】
記録部１６に記録される複数の画像のうち、上記のように基準画像選択部２６において選択される基準画像選択情報、及び使用画像選択部３０において選択される使用画像選択情報をもとにして、高解像度化処理に用いる画像が決定され、その決定結果をもとに画像は、映像信号線を介して、優先度演算部２２へ転送される。
【００２２】
優先度演算部２２では、基準画像が部分領域に分割され、これらの部分領域ごとに、以下で説明される高解像度化に対する優先度が、演算される。図３（Ａ）及び（Ｂ）は、基準画像３８の部分領域４０への分割の例を示す図である。ここで、図３（Ａ）は、部分領域４０を互いに重複のない単位ブロック領域として取った例を示している。それに対して、図３（Ｂ）に示すように、部分領域４０を互いに重複領域４２があるように取ることもできる。このように重複領域４２があるように、部分領域４０を取ると、部分領域４０の分割の不連続性（つぎはぎ）が目立たなくなるという利点がある。重複領域４２は、図３（Ｂ）に示されているような取り方の他、大きく取ることも小さく取ることもできる。
【００２３】
以下、この優先度演算部２２において行なわれる優先度の演算、即ち高解像度化の優先度を高く設定する条件の算出、の複数の方法について説明する。
【００２４】
第１の優先度演算方法は、画像の中心であればあるほど、その部分領域４０の優先度を高く設定するというものである。一般的に、画像の中心に近いところに、主要な被写体が撮影されているという仮定を、この第１の優先度演算方法で表現している。具体的には、図４（Ａ）に示すように、画像の中心からの距離が増加するに従って単調に減少する関数を定義し、この関数に従って、各部分領域４０の優先度を設定する。即ち、この例では、画像の中心にある部分領域４０で優先度は最大値の「１」を取り、中心からの距離が増加するに従って優先度は減少し、距離Ｔ０を閾値としてそれ以上の距離にある部分領域４０では優先度は最小値の「０」を取っている。なお、ここで、優先度が「０」とは、「優先しない」というだけであり、「高解像度化を行わない」ということを意味するものではない。
【００２５】
第２の優先度演算方法では、表示部１８に表示されている部分領域４０は優先度を高く設定し、且つ、その表示部１８に表示されている部分領域４０の内でも、この表示領域の中央に近ければ近いほど高い優先度を設定する。優先度演算部２２に基準画像選択部２６において選択された画像が基準画像３８として転送されると同時に、表示部１８にも同じ基準画像３８が転送され、画像表示される。上述のように、表示部１８で表示される基準画像３８の表示領域（複数の部分領域４０）は、表示領域選択部２４により選択が行なわれ、この表示領域選択部２４で選択された表示領域の情報は、優先度演算部２２へも送られる。具体的には、図４（Ｂ）に示すように、表示部１８の中心領域からの距離が増加するにつれて、単調に減少する関数を定義し、この関数に従って各部分領域４０の優先度を設定する。即ち、この例では、表示領域の中心にある部分領域４０で優先度は最大値の「１」を取り、この距離が増加するにつれて優先度は減少し、距離Ｔ１を閾値としてそれ以上の距離の部分領域４０では優先度は最小値の「０」を取っている。
【００２６】
第３の優先度演算方法では、ユーザが、画像のスクロール動作を行なった場合、このスクロールによる画像の変位情報から予測されるその後表示される可能性が高い部分領域４０ほど優先度を高く設定する。上述のように、ユーザは、外部Ｉ／Ｆ部３６を介して表示部１８のスクロール動作を行なう。表示領域選択部２４にスクロール情報が転送されることは上述したが、この時、同時に、同じスクロール情報が優先度演算部２２にも転送される。優先度演算部２２では、このスクロール情報により、新たに表示部１８に表示されることが予想される部分領域４０を求める。
【００２７】
スクロール情報は、スクロール方向と大きさとを表す２次元のベクトルが、優先度演算部２２の作動サイクルに対応した離散的な時系列に沿って並んでいるものであると考えることができる。この場合、ベクトルの始点は、前時刻の表示画像の中心位置（中心にある部分領域４０）、終点は、現時刻の表示画像の中心位置とする。スクロール情報として、現時刻のベクトルまでを求めており、次の時刻のベクトルが求められていない場合、このまだ求められていない次の時刻のベクトルは、以下のように、現時刻のベクトル及び現時刻以前のベクトルから求められる。
【００２８】
上述のように、ベクトルを定義すると、ベクトルは速度情報であるとみなすことができるため、前の時刻のベクトルＶ３、現時刻のベクトルＶ２、および次の時刻のベクトルＶ１が等加速度運動を表すと仮定することにより、次の時刻のベクトルＶ１は、現時刻のベクトルＶ２に現時刻のベクトルＶ２と前の時刻のベクトルＶ３との差分を加えたベクトルとして評価できる：Ｖ１＝Ｖ２＋（Ｖ２−Ｖ３）。このように求められた次の時刻のベクトルにより、次の時刻に表示部１８に表示される中心位置を予測し、その中心位置である部分領域４０の優先度を高く設定する。
【００２９】
優先度の設定の具体的な方法は、上記の第２の優先度演算方法に従って、次の時刻の予想される表示部１８での表示画像の中心位置で優先度が最大に設定されるように図４（Ｂ）のような関数を用いて行なう。
【００３０】
第４の優先度演算方法では、基準画像３８に含まれている高周波成分が多い部分領域４０ほど、優先度を高く設定する。このように、優先度の設定を行なうことにより、テクスチャ領域やエッジ領域など、情報量の多い部分領域４０ほど高い優先度が設定される。記録部１６から転送される基準画像３８に対して、ラプラシアンフィルタ等の鮮鋭化フィルタを畳み込み演算し、画像の高周波成分を抽出する。これら高周波成分を優先度演算部２２で分割された部分領域４０ごとに足し合わせて部分領域４０ごとの高周波成分の大きさを求める。この高周波成分の大きさが大きい部分領域４０ほど、高い優先度を設定する処理を行なう。優先度の設定の具体的な方法は、図４（Ｃ）に示すように、高周波成分が大きい部分領域４０で優先度が最大値「１」をとり、高周波成分が減少するにつれて優先度が減少するような関数を定義し、この関数に従って各部分領域４０の優先度を設定する。即ち、この例では、高周波成分が大きい領域で一定の最大値「１」をとり、高周波成分が減少すると、閾値Ｔ３を境にして優先度は単調に減少を始め、閾値Ｔ２以下で優先度は最小値「０」を取っている。
【００３１】
第５の優先度演算方法では、ユーザが、外部Ｉ／Ｆ部３６を介して、表示部１８に表示されている基準画像３８のうち特定領域部分を選択し、その選択された部分に含まれる部分領域４０の優先度を高く設定する。表示部１８に表示されている画像領域の中でもユーザが選択した領域は、特にユーザが注視する領域であると推測できるためである。具体的には、ユーザにより指定される領域に含まれる部分領域４０の優先度の上昇値をあらかじめ決めておくなどの方法で行なう。
【００３２】
以上のようにして、第１乃至５の優先度演算方法のそれぞれにより得られた、基準画像３８の部分領域４０ごとの優先度を足し合わせる（掛け合わせであっても良い）ことで、各部分領域４０の最終的な優先度を設定する。そして、設定された優先度が大きな部分領域４０より、順次画像の高解像度化処理を行なうものとする。なお、優先度の足し合わせの場合に、第１乃至第５の全ての優先度演算方法について優先度を足し合わせる必要は無く、ユーザが、外部Ｉ／Ｆ部３６により、足し合わせる優先度の項目の組合せを自由に設定できるようにしても良い。
【００３３】
なお、以上の第１、第２、及び第４の優先度演算方法の各々で示した図４（Ａ）乃至（Ｃ）の各グラフの形状、優先度の値は、例示的なものにすぎず、他の形状、優先度の値をとる関数を定義することも可能なことは勿論である。
【００３４】
次に、高解像度化の処理（超解像処理）について説明する。
【００３５】
高解像度化の処理では、まず変位推定部２８において画像間の画素の位置対応を求めた後、この画素位置情報及び画像を用いて、高解像度化部２０において高解像度化処理を行なう。
【００３６】
まず、画像間の画素の位置対応を求める手順を詳細に説明する。
【００３７】
即ち、優先度の高い順に優先度演算部２２から映像信号線を介して、基準画像３８の部分領域４０を変位推定部２８に転送すると共に、同時に基準画像以外の画像の部分領域も変位推定部２８に転送し、変位推定部２８にて、基準画像に対する基準画像以外の画像の画像変位量を推定する。なお、ここで述べた変位推定部２８に転送される画像の部分領域は、基準画像３８に対しては、単一の部分領域４０であり、基準画像以外の画像に対しては、画像の位置合わせに用いられるため、単一の部分領域以上の領域である。例えば、基準画像３８の単一の部分領域４０に対し、基準画像以外の画像からは、この単一の部分領域４０に対応する部分領域とその近傍の８個の部分領域を含む９個の部分領域が転送される。
【００３８】
上記変位推定部２８で実施される画素対応位置を求める画像変位推定のアルゴリズムの詳細を、図５に示すフローチャートを用いて説明する。
【００３９】
まず、画像変位推定の基準となる基準画像３８の一つの部分領域４０を読み込む（ステップＳ１０）。次に、この読み込まれた基準画像３８の部分領域４０を複数の画像変位で変形させ、画像列を生成する（ステップＳ１２）。この変形は、例えば、水平、垂直方向に対して、±１ピクセル、回転方向に対して、±１°[ｄｅｇｒｅｅ]の動きパラメータで基準画像を１９通り（２７通り中８通り（（１[ピクセル]、１[ピクセル]、−１[ｄｅｇｒｅｅ]）、（１、−１、１）、（−１、１、１）、（１、−１、−１）、（−１、１、−１）、（−１、−１、１）、（１、１、１）、（−１、−１、−１））は、省略可能。）に変形させる。
【００４０】
続いて、上記読み込まれた基準画像３８の部分領域４０との間の画像変位推定を行なう画像を参照画像として、その参照画像の複数（例えば９個）の部分領域を読み込む（ステップＳ１４）。次に、それら読み込まれた基準画像３８の部分領域４０と参照画像の複数の部分領域でなる参照領域との間で、領域ベースマッチング等のピクセルマッチング手法により大まかな画素位置の対応付けを行なう（ステップＳ１６）。その後、上記のステップＳ１２で生成された画像列と参照画像の参照領域との間の類似度値を算出する（ステップＳ１８）。そして、画像変位のパラメータと、上記ステップＳ１８において算出された類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ２０）。このような類似度マップが、図６に模式的に示されている。この図６において、縦軸は、類似度を表し、値が小さいほど類似が高い。横軸は、画像を変形させた動きのパラメータを示している。
【００４１】
続いて、上記ステップＳ２０において作成された離散的な類似度マップを補間することにより補完された連続的な類似度のマップを作成し、この連続的な類似度マップの極値を探索し、連続的な類似度値の極値を求める（ステップＳ２２）。このように離散的な類似度マップを連続的な類似度マップに補間する方法としては、パラボラフィッティング、スプライン補間等がある。図６には、パラボラフィッティングされた連続的な類似度マップが曲線として表現されている。
【００４２】
この後、対象となる全ての参照画像において画像変位推定を行なったか否か確認し（ステップＳ２４）、未だ処理していない参照画像がある場合には、処理すべき参照画像のフレーム番号を１つ上げた上で（ステップＳ２６）、上記ステップＳ１４に戻ることで次の参照画像を読み込み、上述の処理を継続する。
【００４３】
そして、処理対象となる全ての参照画像において画像変位推定を行なった場合には（ステップＳ２４）、処理を終了する。
【００４４】
次に、上記のようにして変位推定部２８で推定された画像間変位推定量と、上記優先度演算部２２より転送される画像とを、高解像度化部２０に転送し、基準画像３８の選択された部分領域４０に対する高解像度化処理を行なう。そのため、変位推定部２８は、高解像度化部２０に、映像信号線と制御信号線とを介して接続されている。
【００４５】
次に、高解像度化部２０において行なわれる画像の高解像度化処理の例を、図７に示すフローチャートを参照して説明する。本実施形態においては、この高解像度化処理のアルゴリズムとして「超解像処理」を用いている。この超解像処理の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｍｅｄｉａ（ＣＶＩＭ）  Ｖｏｌ．２００４，  Ｎｏ．１１３，  ｐｐ．９７−１０４（２００４−１１）」に開示されている。
【００４６】
即ち、まず、高解像度画像推定に用いるため、複数枚の部分領域の画像（低解像度画像）を読み込む。続いて、基準画像選択部２６において選択された画像つまり基準画像３８の部分領域４０を高解像度化のターゲット画像として、このターゲット画像に対して補間処理を行なうことにより初期の高解像度画像ｚを作成する（ステップＳ３２）。なお、このステップＳ３２は、場合によって省略することができる。
【００４７】
その後、上記変位推定部２８で推定された画像変位情報により、ターゲット画像とそれ以外の画像との画像間の画素対応位置を明らかにし、その画像対応位置情報を元にして、ターゲット画像の拡大画像を基準とする座標空間で、重ね合わせ処理を行い、レジストレーション画像ｙを生成する（ステップＳ３４）。次に、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮にいれた点広がり関数（ＰＳＦ）を求める（ステップＳ３６）。ＰＳＦは、例えば、Ｇａｕｓｓ関数を簡易に用いることができる。
【００４８】
そして、これらステップＳ３４及びステップＳ３６の情報を元にして、評価関数ｆ（ｚ）の最小化を行なう。この評価関数ｆ（ｚ）は、以下のような式で表される。
【数１】
2008077501.tif 000003
【００４９】
ここで、ｙは上記ステップＳ３４で生成されたレジストレーション画像、ｚはターゲット画像の高解像度化された結果画像（高解像度画像）、ＡはＰＳＦ、ＣＦＡ等を含む撮像システムを表現する画像変換行列である。ｇ（ｚ）は、画像の滑らかさや画像の色の相関を考慮した拘束項等である。λは、重み係数である。評価関数の最小化には、例えば、最急降下法を用いる。
【００５０】
この最急降下法を用いた場合、評価関数ｆ（ｚ）の高解像度画像ｚにおける微分値を計算し、その微分値を高解像度画像ｚに付加していくことで画像を更新させていき評価関数ｆ（ｚ）の最小値を得る。評価関数ｆ（ｚ）の微分値は、以下のようになる。
【数２】
2008077501.tif 000004
【００５１】
この微分値を高解像度画像ｚに付加していき、画像を更新させ評価関数ｆ（ｚ）の最小値を得る。
【数３】
2008077501.tif 000005
【００５２】
ここで、ｚｎはｎ回目の高解像度化された結果画像（高解像度画像）を表し、αは更新量の歩み幅を表す。
【００５３】
そして、上記ステップＳ３８で求めた評価関数ｆ（ｚ）が最小化された否かを判別する（ステップＳ４０）。ここで、まだ、評価関数ｆ（ｚ）が最小化されていない場合には、高解像度画像ｚｎを更新して（ステップＳ４２）、上記ステップＳ３８に戻る。
【００５４】
而して、上記ステップＳ３８で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度画像ｚが得られたとして処理を終了する。
【００５５】
図８は、上で説明された高解像度化処理を行なうための高解像度化部２０の構成の一例を示すブロック図である。この高解像度化部２０は、補間拡大部２０Ａ、画像蓄積部２０Ｂ、ＰＳＦデータ保持部２０Ｃ、第１畳込み積分部２０Ｄ、レジストレーション画像生成部２０Ｅ、画像比較部２０Ｆ、第２畳込み積分部２０Ｇ、正則化項演算部２０Ｈ、更新画像生成部２０Ｉ、及び収束判定部２０Ｊを備えている。
【００５６】
以下では、図７を参照して説明した高解像度化の処理が、このような構成の高解像度化部２０各部によりどのように実行されるのかを説明する。
【００５７】
即ち、始めに、記録部１６に記録されている複数枚の画像のうち、基準画像選択部２６で選択された基準画像を高解像度化のターゲット画像とし、補間拡大部２０Ａに転送し、該補間拡大部２０Ａにおいて、このターゲット画像の補間拡大を行なう（上記ステップＳ３０に対応）。用いられる補間拡大の手法としては、例えば、バイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は、画像蓄積部２０Ｂに転送され、ここに蓄積される。
【００５８】
画像蓄積部２０Ｂに蓄積された画像は、第１畳込み積分部２０Ｄに転送され、該第１畳込み積分部２０Ｄにおいて、ＰＳＦデータ保持部２０Ｃから転送されるＰＳＦデータとの間で畳込み積分が行なわれる（この畳込み積分は上記式（２）の中のＡＴ（ｙ−Ａｚ）の演算の中のＡｚの部分に対応する）。
【００５９】
また、ターゲット画像は、それ以外の複数枚画像と共に、レジストレーション画像生成部２０Ｅにも転送され、該レジストレーション画像生成部２０Ｅにおいて、変位推定部２８で求められた各フレーム間の画像変位情報を元に、ターゲット画像の拡大座標を基準とする座標空間で重ね合わせ処理を行い、レジストレーション画像を生成する（上記ステップＳ３４に対応）。ここでの重ね合わせ処理は、例えば、複数枚画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上に画素を置いていく処理により行なう。この時、同一格子点上に複数のピクセル値を置くことが想定されるが、この場合は、複数のピクセル値の間で取られた平均値を置くことができる。
【００６０】
次に、第１畳込み積分部２０Ｄで畳込み演算された画像データは、画像比較部２０Ｆに転送され、該画像比較部２０Ｆにおいて、レジストレーション画像生成部２０Ｅにて生成されたレジストレーション画像との間で、同一ピクセル位置においてそのピクセル値の差分値を算出し、差分画像データが生成される（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のｙ−Ａｚに対応）。この画像比較部２０Ｆにおいて生成された差分画像データは、第２畳込み積分部２０Ｇに転送され、該第２畳込み積分部２０Ｇにおいて、ＰＳＦデータ保持部２０Ｃにより与えられるＰＳＦデータとの間で畳込み積分が行なわれる（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のＡＴ・（ｙ−Ａｚ）に対応）。
【００６１】
さらに、画像蓄積部２０Ｂに蓄積された画像から、正則化項演算部２０Ｈによって正則化画像が生成される。即ち、この正則化項演算部２０Ｈにおいては、例えば、画像蓄積部２０Ｂに蓄積された画像に対して、ＲＧＢからＹＣＣへの色変換処理が行なわれ、そのＣＣ成分（色差成分）において、周波数広域通過フィルタ（ラプラシアンフィルタ）の畳込み演算処理を行い、正則化画像を生成し、その二乗ノルムのｚにおける偏微分量を求める。この方法で生成した更新量を更新画像生成部２０Ｉにおいて付加することにより、「一般に画像の色差成分は滑らかな変化である」という画像の先見情報を用いることになるので、色差を抑制した高解像度画像を安定して求めることができるようになる（上記式（２）のｇ（ｚ）のｚによる偏微分に対応）。
【００６２】
そして、上記の第２畳込み積分部２０Ｇで生成された画像、画像蓄積部２０Ｂに蓄積されている画像、及び正則化項演算部２０Ｈで生成された画像は、更新画像生成部２０Ｉに転送され、該更新画像生成部２０Ｉにおいて、これら３枚の画像の重み付けされた画像を生成することにより、更新画像を生成する（上記式（３）に対応）。生成された更新画像は、収束判定部２０Ｊに転送され、該収束判定部２０Ｊにおいて収束判定が行なわれる。この収束判定にあっては、収束に必要とされた繰り返し演算回数が一定回数よりも多くなった場合に画像の更新作業は収束したと判断するようにしてもよいし、また、繰り返しの過去の更新画像を保持しておき、現在の更新画像との差分を取り、その差分が一定の値よりも小さいと判断された場合に画像の更新作業は収束したと判断するようにしてもよい。収束判定部２０Ｊにおいて更新作業が収束したと判断された場合、更新画像は、高解像度画像として外部に出力される。
【００６３】
これに対して、更新作業が収束していないと判断された場合には、更新画像は、画像蓄積部２０Ｂへ転送され、更新作業の繰り返しの次の回の更新画像生成の為に利用される。そして、次回の更新画像生成の為に、第１畳込み積分部２０Ｄ、正則化項演算部２０Ｈ及び更新画像生成部２０Ｉへと与えられる。
【００６４】
以上の処理を繰り返すことにより、更新画像生成部２０Ｉで生成される更新画像を更新し、最終的な高解像度画像を得る。
【００６５】
このように、変位推定部２８及び高解像度化部２０で実行される高解像度化処理により、優先度演算部２２より転送された基準画像の部分領域は、高解像度化される。
【００６６】
高解像度化部２０により高解像度化処理された基準画像の部分領域は、記録部１６へと転送される。記録部１６に転送された基準画像の部分領域は、さらに表示部１８に転送され、あらかじめ表示されている基準画像の対応領域に対して更新作業が行なわれ、表示部１８に表示されている基準画像の部分領域が高解像度化され、表示される。
【００６７】
以上で説明された、一連の高解像度化処理及び画像表示処理が、優先度演算部２２において設定された優先度の高さに応じて部分領域ごとに、逐次実行され、表示部１８に表示される部分領域が逐次、高解像度化されていく。この逐次的な高解像度化の途中で、ユーザは、外部Ｉ／Ｆ部３６を介して、拡大部３２で改めて画像拡大処理を行なったり、表示領域選択部２４において画像表示領域を改めて選択したり、画像表示領域を改めて選択したり又は画像スクロールを行なったり、基準画像選択部２６で改めて基準画像の選択を行なったり、使用画像選択部３０で改めて使用画像の選択を行なったりすることが可能である。その際、ユーザの外部Ｉ／Ｆ部３６の操作に応じて優先度演算部２２は、逐次基準画像高解像度化の優先度の再演算を行い、この優先度の再演算の結果に従い、変位推定部２８及び高解像度化部２０により画像の高解像度化の再処理が行なわれる。
【００６８】
以上のように、本第１実施形態によれば、画像高解像度化に用いられる複数枚の画像の使用法について、その画像を複数の部分領域に分割し、それらの部分領域に対して優先度を持たせて、優先度の高いものから段階的に演算を行なうことにより、ユーザに負荷を与えることなく、スムーズな画像の高解像度化処理を行い、その高解像度化処理の結果の表示部１８への表示等の迅速な利用が可能となる。
【００６９】
［第２実施形態］
図９は、本発明の第２実施形態に係る画像処理装置を適用したデジタルカメラ４４の構成を示すブロック構成図である。
【００７０】
このデジタルカメラ４４は、本実施形態に係る画像処理装置１０、絞り４６Ａを含むレンズ系４６、カラーフィルタアレイ（ＣＦＡ）４８、ＣＣＤ撮像素子５０、増幅回路５２、Ａ／Ｄ変換回路５４、バッファ５６、プリホワイトバランス（ＷＢ）部５８、測光評価部６０、合焦点検出部６２、モータ６４、及び本実施形態に係る画像処理装置１０を備えている。そして、本実施形態に係る画像処理装置は、上記第１実施形態における入力部１２及び出力部１４の代わりに外部入出力部６６を備え、その他の記録部１６、表示部１８、高解像度化部２０、優先度演算部２２、表示領域選択部２４、基準画像選択部２６、変位推定部２８、使用画像選択部３０、拡大部３２、制御部３４、及び外部Ｉ／Ｆ部３６については上記第１実施形態と同様である。
【００７１】
以下、図９に示されているデジタルカメラ４４の構成に基づいて信号の流れを説明する。
【００７２】
外部Ｉ／Ｆ部３６を介して、ＩＳＯ感度、シャッタースピード等の外部から指定可能な撮影条件を設定する。この外部Ｉ／Ｆ部３６は、当該デジタルカメラ４４に設けられているスイッチや外部のリモコンからの赤外線信号を受信する受光部のようなものでよい。この外部Ｉ／Ｆ部３６に備えられているレリーズボタンを半押しにすることでプリ撮影モードに入る。そして、このプリ撮影モードにおいて、絞り４６Ａを含むレンズ系４６、ＣＦＡ４８、ＣＣＤ撮像素子５０を介して撮影された映像信号は、ＣＣＤ撮像素子５０よりアナログ信号として出力される。この出力されたアナログ信号は、増幅回路５２で増幅された後、Ａ／Ｄ変換回路５４でデジタル信号に変換されて、バッファ５６へ転送される。
【００７３】
なお、本実施形態において、ＣＦＡ４８は、Ｂａｙｅｒ型原色フィルタが想定され、ＣＣＤ撮像素子５０として、このＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤ撮像素子を想定している。図１０に示されているのは、Ｂａｙｅｒ型原色フィルタの構成である。Ｂａｙｅｒ型原色フィルタは、２×２画素を基本単位とし、赤（Ｒ）、青（Ｂ）フィルタが１画素ずつ、緑（Ｇｒ、Ｇｂ）フィルタが２画素配置されている（２つの緑フィルタは、同一のものであるが、図に示されている例では、これらをＧｒ、Ｇｂと便宜上区別している）。ただし、ＣＦＡ４８として、Ｂａｙｅｒ型原色フィルタ以外にも、色差型フィルタ等、周期性を持つ色フィルタならば、どのようなものでもよい。
【００７４】
バッファ５６内の映像信号は、プリＷＢ部５８、測光評価部６０、及び合焦点検出部６２へと、映像信号線を介して、転送される。プリＷＢ部５８では、所定レベル内の映像信号を色信号ごとに積算することで簡易ホワイトバランス係数を算出する。この簡易ホワイトバランス係数は、制御信号線を介して、増幅回路５２へ転送され、色信号ごとに異なるゲインを設定することで簡易ホワイトバランス処理が行なわれる。また、測光評価部６０では、設定されたＩＳＯ感度、手ぶれ限界のシャッタ速度などを加味して、映像信号中の輝度レベルを求めて、制御信号線を介して、適正露光となるような絞り４６ＡやＣＣＤ撮像素子５０の電子シャッタ速度や増幅回路５２の増幅率などを制御する。また、合焦点検出部６２は、映像信号中のエッジ強度を検出し、これが最大となるように、制御信号線を介して、モータ６４を制御することで、合焦信号を得る。
【００７５】
こうして、合焦信号が得られたならば、音や表示で、合焦したことをユーザに報知することが好ましい。これにより、ユーザは、レリーズボタンを全押しすることとなる。
【００７６】
而して、レリーズボタンの全押しにより本撮影が行なわれ、上記プリ撮影と同様にして得られた映像信号が、バッファ５６へ転送される。このバッファ５６に転送された映像信号は、更に、記録部１６に映像信号線を介して転送され、この記録部１６で記録される。この記録部１６は、外部入出力部６６、表示部１８、及び優先度演算部２２に映像信号線を介して接続されている。外部入出力部６は、入出力インターフェースを通して、本実施形態におけるデジタルカメラ４４の外部と画像リソースの入出力を行なう。なお、外部入出力部６６に用いられる入出力インターフェースとしては、ＴＣＰ／ＩＰ、ＩＥＥＥ１３９４、ＵＳＢなどのネットワークインターフェース、無線ネットワークインターフェース、ＸＤカード、ＳＤカード、ＵＳＢメモリ、ＤＶＤＲ等の各種メモリによるインターフェース等を用いることができる。
【００７７】
こうして一回以上の本撮影により記録部１６に記録された一枚以上の画像に対して、上記第１実施形態と同様にして、基準画像選択部２６において、基準画像の選択が行なわれ、その基準画像に選択された指定された画像は、表示部１８に拡大表示される。さらに、本実施の形態におけるデジタルカメラ４４では、現時刻に撮像した画像を基準画像として選択して、表示部１８へ表示するようにしてもよい。
【００７８】
使用画像選択部３０では、本実施形態においては、３つのモードにより使用画像選択情報が決定される。すなわち、上記第１実施形態と同様に、外部Ｉ／Ｆ部３６を介して、ユーザが、高解像度化に使用する画像を選択することにより決定されるか、もしくは、拡大部３２における画像拡大率により、高解像度化に使用される画像の枚数が制御され、その制御情報により使用画像選択部３０において使用画像が決定される。そして、本実施形態においては、さらに、画像の高解像度化の処理に並行して撮像が行なわれている場合には、使用画像選択部３０は、撮像された画像を逐次高解像度化に用いる使用画像として選択し、優先度演算部２２に転送することができる。
【００７９】
上記の基準画像選択部２６で選択された基準画像は、優先度演算部２２へと映像信号線を介して転送され、それと同時に、使用画像選択部３０において、上記のように、高解像度化処理に用いられる画像が選択され、その選択された画像も優先度演算部２２に転送される。ここで、高解像度化処理を行なう使用画像が１枚である場合、その使用画像は、基準画像選択部２６において選択された１枚の基準画像選択情報のみであり、その他の使用画像を用いないため、使用画像選択部３０で選択される使用画像情報が０枚であることを表す場合を例外的にとってもよいものとする。
【００８０】
優先度演算部２２では、転送された基準画像及び高解像度化に用いられる画像を、部分領域に分割し、その部分領域ごとの優先度が演算される。部分領域の取られ方は、上記第１実施形態と同様であり、また、優先度の演算法についても、上記第１実施形態で説明した第１乃至５の優先度演算方法を用いることができる。そして、上記第１実施形態で説明したように、第１乃至５の優先度演算方法で得られた基準画像の部分領域ごとの優先度を足し合わせる（かけ算でもよい）ことで、最終的な優先度を算出する。なお、第１乃至第５の優先度の演算方法全てについての優先度を足し合わせる必要はなく、ユーザが外部Ｉ／Ｆ２４６より、足し合わせる優先度の項目の組合せを自由に設定できる点も第１実施形態と同様である。
【００８１】
そして、本第２実施形態においても、優先度が大きい部分領域から、順次、画像の高解像度化処理を行なう。
【００８２】
即ち、優先度演算部２２により算出された優先度が高い領域から、逐次、変位推定部２８へと画像の部分領域が転送される。転送の方法は、上記第１実施形態にて述べた方法と同様である。転送された画像の部分領域は、変位推定部２８において、基準画像の画像データを中心として、その他の画像との間の画像変位量を推定し、画像間の画素位置対応を求める。なお、変位推定部２８における画像間変位推定のアルゴリズムの詳細についても、上記第１実施形態と同様である。
【００８３】
その後、変位推定部２８において推定された画像間の画素位置対応の情報、基準画像、及びその他の高解像度化に使用する画像の部分領域を、高解像度化部２０へ転送し、該高解像度化部２０において、基準画像の部分領域について、高解像度化処理が行なわれる。この高解像度化処理のアルゴリズムの詳細は、上記第１実施形態で説明したものと同様である。
【００８４】
高解像度化部２０において高解像度処理された基準画像の部分領域は、記録部１６へ転送される。記録部１６へ転送された基準画像の部分領域は、さらに表示部１８へ転送され、あらかじめ表示されている基準画像の対応する部分領域との間で更新作業が行なわれ、表示部１８に表示されている基準画像の部分領域が高解像度化され、表示される。
【００８５】
このように、一連の撮像処理、高解像度化処理及び表示処理において、撮像された画像の高解像度化処理は、優先度演算部２２で算出される優先度の高さに応じて、変位推定部２８及び高解像度化部２０において部分領域ごとに逐次実行され、記録部１６を介して、表示部１８に表示される部分領域が、逐次、高解像度化されていく。
【００８６】
また、高解像度化部２０において逐次高解像度化された部分領域は、プリＷＢ部５８、測光評価部６０、合焦点検出部６２等の撮像の制御に関わる構成要素に転送され、カメラの撮像制御に利用されることにより、高精度に撮影制御を行うことも可能である。
【００８７】
これらの処理の間に、ユーザは、外部Ｉ／Ｆ部３６を介して、拡大部３２で改めて画像拡大処理を行なったり、表示領域選択部２４において画像表示領域を改めて選択したり又は画像スクロールを行なったり、基準画像選択部２６で改めて基準画像の選択を行なったり、使用画像選択部３０で改めて使用画像の選択を行なったりすることが可能である。その際、ユーザによる外部Ｉ／Ｆ部３６の操作に応じて、優先度演算部２２は、逐次的に、基準画像の高解像度化の優先度の再演算を行なう。
【００８８】
以上のように、画像処理装置１０をデジタルカメラ４４に応用することができ、ユーザは、撮影した画像を高解像度で確認できるようになる。
【００８９】
［第３実施形態］
図１１は、本発明の第３実施形態に係る画像処理装置１０の構成を示すブロック図である。
【００９０】
本実施形態に係る画像処理装置１０は、通信によってデータ交換が可能なサーバ１０Ａとクライアント１０Ｂに振り分けたものである。即ち、サーバ１０Ａには、上記第１実施形態で説明したような入力部１２、高解像度化部２０、優先度演算部２２、変位推定部２８が配され、クライアント１０Ｂには、上記第１実施形態で説明したような記録部１６、表示部１８、表示領域選択部２４、基準画像選択部２６、使用画像選択部３０、拡大部３２、制御部３４、外部Ｉ／Ｆ部３６が配されている。
【００９１】
また、サーバ１０Ａとクライアント１０Ｂとの間で通信を行うために、サーバ１０Ａには送信部６８と受信部７０が、クライアント１０Ｂには受信部７２と送信部７４が、それぞれ設けられている。更に、クライアント１０Ｂには、バッファ７６が設けられている。
【００９２】
ここで、サーバ１０Ａの送信部６８は、入力部１２及び高解像度化部２０に映像信号線を介して接続されており、入力部１２に入力された画像リソースや高解像度化部２０で高解像度化された高解像度画像をクライアント１０Ｂに送信するものである。また、サーバ１０Ａの受信部７０は、制御信号線を介して優先度演算部２２に接続され、クライアント１０Ｂから送信されてきた制御信号を受信して、優先度演算部２２に伝達するものである。
【００９３】
一方、クライアント１０Ｂの受信部７２は、映像信号線を介してバッファ７６に接続されており、サーバ１０Ａから送信されてきた画像をバッファ７６に転送して一時記憶させるものである。このバッファ７６に一時記憶された画像リソースは、表示部１８に表示されて、上記第１実施形態で説明したような、画像拡大、表示領域選択、画像スクロール、基準画像選択、使用画像選択を行なうためのユーザによる外部Ｉ／Ｆ部３６の操作のもととなる。更に、バッファ７６に一時記憶された高解像度画像は、必要により、表示部１８に表示されたり、記録部１６に記録されたりすることができる。また、クライアント１０Ｂの送信部７４は、制御信号線を介して、表示領域選択部２４、基準画像選択部２６、使用画像選択部３０、及び拡大部３２に接続されており、それら各部からの制御信号をサーバ１０Ａに送信する。
【００９４】
従って、本実施形態においては、サーバ１０Ａの優先度演算部２２は、受信部７０で受信した制御信号に従って、入力部１２を介して順次入力される画像リソースから基準画像や参照画像を選択する機能を備えている。
【００９５】
それ以外の点については、上記第１実施形態と同様である。
【００９６】
このように、比較的高い処理能力を必要とする機能をサーバ１０Ａ側に配置することで、クライアント１０Ｂとして、パーソナルコンピュータだけでなく、ＰＤＡや携帯電話機といった処理能力の低い携帯端末を利用することも可能となる。また、複数のクライアント１０Ｂで一つのサーバ１０Ａを共用できる。
【００９７】
また、このように機能部分を２つに振り分けることで、一方の機能部分を交換、更新することが容易になる。特に、本実施形態では、サーバ１０Ａは、高解像度化部２０、優先度演算部２２及び変位推定部２８を備え、これらの部分は、各々の部分で採用されているアルゴリズムが改良される可能性があるため、このアルゴリズムの改良の際に交換、更新される可能性がある部分である。そのような部分をサーバ１０Ａ側に振り分けることで、各クライアント１０Ｂの交換、更新を行う必要が無く、サーバ１０Ａ側だけで対処することができるという好都合な点を有している。
【００９８】
以上、実施形態に基づいて、本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９９】
特に、上記実施の形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することが可能である。
【０１００】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０１】
（１）  画像を高解像度化して表示させる画像処理装置において、
一枚以上の画像の中から高解像度化される画像を基準画像として選択する基準画像選択手段と、
この基準画像選択手段によって選択された基準画像を複数の部分領域に分割する領域分割手段と、
この領域分割手段により分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出する優先度演算手段と、
上記領域分割手段により分割された複数の部分領域の中から、上記優先度演算手段により算出された優先度に応じて、高解像度化を行なう部分領域を順次選択する部分領域選択手段と、
この部分領域選択手段により順次選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力する高解像度化手段と、
を具備することを特徴とする画像処理装置。
【０１０２】
（対応する実施形態）
この（１）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、画像処理装置１０が上記画像処理装置に、基準画像選択部２６が上記基準画像選択手段に、優先度演算部２２が上記領域分割手段、上記優先度演算手段、及び上記部分領域選択手段に、高解像度化部２０が上記高解像度化手段に、それぞれ対応する。
【０１０３】
（作用効果）
この（１）に記載の画像処理装置によれば、画像高解像度化を部分的に行なうことにより、ユーザに負荷を与えることなくスムーズな画像の高解像度化処理行なうことができる。特に、高解像度化処理された高解像度化画像がすぐに利用されることが望まれる場合では、例えば、モニタ等の表示部に表示する時などでは、高解像度化処理された画像が優先度の高い部分領域から順次高解像度化処理され順次出力されるため、従来の高解像度化処理のように高解像度化処理の全体が終了するまで待つ必要がなく出力された高解像度化画像がすぐに利用可能である。
【０１０４】
（２）  上記基準画像選択手段で選択される前記基準画像の他に、上記高解像度化手段での高解像度化処理に使用される画像を一枚以上選択する使用画像選択手段を更に具備することを特徴とする（１）に記載の画像処理装置。
【０１０５】
（対応する実施形態）
この（２）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、使用画像選択部３０が上記使用画像選択手段に、対応する。
【０１０６】
（作用効果）
この（２）に記載の画像処理装置によれば、基準画像選択手段で選択された１枚の基準画像以外に、使用画像選択手段で選択される複数の画像を用いて高解像度化処理を行なうことができる。特に、拡大画像の高解像度化処理に対して使用画像選択手段で、適切な枚数の複数画像を高解像度化処理のためにさらに選択することができる。さらに、使用画像選択手段をユーザが制御することにより高解像度化に用いるための基準画像以外の複数画像を選択することができる。また、高解像度化処理された画像を高解像度化処理のために使用する画像として選択させることによりさらに高解像度化処理が進められた画像を得ることができる。
【０１０７】
（３）  上記部分領域分割手段は、上記基準画像の部分領域間で重複領域を持たせて上記基準画像を分割することを特徴とする（１）又は（２）に記載の画像処理装置。
【０１０８】
（対応する実施形態）
この（３）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。
【０１０９】
（作用効果）
この（３）に記載の画像処理装置によれば、部分領域分割手段が基準画像の部分領域間で重複領域を与えないように分割した部分領域に対する高解像度処理の結果として、出力される高解像度化画像が元の基準画像の部分領域の境界付近で分割の不連続性（継ぎ目）を生じる傾向があったのに対して、部分領域分割手段が基準画像の部分領域間で重複領域を与えるように基準画像を分割することによりこの分割の不連続性が目立たなくなるという利点がある。
【０１１０】
（４）  上記高解像度化手段は、逐次的に上記基準画像の部分領域を高解像度化処理するごとに、その高解像度化された部分領域の画像により上記基準画像選択手段によって選択された基準画像の表示における当該部分領域の表示を更新させることを特徴とする（１）乃至（３）の何れかに記載の画像処理装置。
【０１１１】
（対応する実施形態）
この（４）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。
【０１１２】
（作用効果）
この（４）に記載の画像処理装置によれば、モニタ等の表示部に表示する時などに、高解像度化処理された画像が優先度の高い部分領域から順次高解像度化処理され順次出力されるため、従来の高解像度化処理のように高解像度化処理の全体が終了するまで待つ必要がなく出力された高解像度化画像がすぐに表示可能である。また、撮影領域を変更する場合など基準画像が変化する場合にも、変化した新たな基準画像に対して順次部分領域の高解像度化処理を行なうため、基準画像の変化の目立つ部分などを優先度演算手段で優先度が高く算出されるように設定されていれば、上述の基準画像の変化に対して高解像度化処理が滑らかに対応することができる。
【０１１３】
（５）  画像の拡大処理を行なうための拡大手段を更に具備し、
上記使用画像選択手段は、この拡大手段が画像を拡大する拡大率に応じて使用画像の枚数を決定し、この使用画像の枚数に基づいて、上記高解像度化処理に使用される使用画像を選択することを特徴とする（２）乃至（４）の何れかに記載の画像処理装置。
【０１１４】
（対応する実施形態）
この（５）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、拡大部３２が上記拡大手段に対応する。
【０１１５】
（作用効果）
この（５）に記載の画像処理装置によれば、拡大画像の高解像度化処理に対して使用画像選択手段で、適切な枚数の複数画像を高解像度化処理のためにさらに選択することができる。使用画像選択手段が拡大手段による画像の拡大率に応じた使用画像の枚数の制御を行なう拡大率と使用画像の枚数との関係を表す関数をユーザが選択可能であれば、高解像度化処理された拡大画像の画質の向上や処理にかかる時間の低減などユーザが優先させたい項目を優先させて処理させることも可能である。
【０１１６】
（６）  上記優先度演算手段は、上記基準画像の中央からの距離が大きくなるに従って、各部分領域の優先度を低く設定することを特徴とする（１）乃至（５）の何れかに記載の画像処理装置。
【０１１７】
（対応する実施形態）
この（６）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。
【０１１８】
（作用効果）
この（６）に記載の画像処理装置によれば、基準画像の中央からの距離が小さいほど、すなわち、通常関心のある被写体が撮影されることが多い中央付近ほど優先度が高く設定されるので、その関心のある被写体が存在する確率の高い部分領域から優先的に高解像度化処理が行なわれるという利点がある。また、関心のある被写体が中央付近からあまり動かずに動作する場合にも基準画像の変化が、すぐに高解像度化画像に反映されるという利点がある。
【０１１９】
（７）  上記基準画像のうちどの領域を表示領域として表示するか選択する表示領域選択手段を更に具備し、
上記優先度演算手段は、上記表示領域選択手段において選択された上記表示領域の中央からの距離が大きくなるに従って、各部分領域の優先度を低く設定することを特徴とする（１）乃至（６）の何れかに記載の画像処理装置。
【０１２０】
（対応する実施形態）
この（７）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、表示領域選択部２４が上記表示領域選択手段に対応する。
【０１２１】
（作用効果）
この（７）に記載の画像処理装置によれば、この画像処理装置にモニタ等の表示手段が接続されている場合、表示領域選択手段により、選択された基準画像の部分領域を表示手段に表示させることができる。また、表示領域の中央付近の優先度が優先度演算手段により高く設定されることから、表示手段の中央付近に関心のある被写体が撮影されている場合、この関心のある被写体付近から順次優先的に高解像度化処理が行なわれるという利点がある。さらに、この高解像度化処理を上記表示手段に順次反映させていくことができる。さらに、表示手段の中央付近の関心のある被写体が中央付近で動作する場合、又は、表示手段の中央付近に関心のある被写体が位置するようにユーザが撮像装置を連続的に操作した場合、関心のある被写体の変化は優先的に順次表示手段に反映される。
【０１２２】
（８）  上記表示領域選択手段は、上記表示領域をスクロールして変更する機能を備え、
上記優先度検出手段は、上記スクロールによる上記基準画像の表示上の移動量を検出することにより、新たに表示される部分領域の優先度を他よりも高く設定することを特徴とする（７）に記載の画像処理装置。
【０１２３】
（対応する実施形態）
この（８）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。
【０１２４】
（作用効果）
この（８）に記載の画像処理装置によれば、この撮像装置にモニタ等の表示手段が接続されている場合、基準画像のうちユーザが関心のある領域を表示手段に表示させることができる。さらに、優先度演算手段が、スクロールにより基準画像の表示上の移動量を検出することにより新たに表示される部分領域の優先度を高く設定することにより、ユーザは関心のある領域に向けてスクロールするということから、ユーザが関心があると思われる部分領域を早めに高解像度化処理することができるという利点がある。
【０１２５】
（９）  上記基準画像の任意の部分領域を指定する部分領域指定手段を更に具備し、
上記優先度演算手段は、上記部分領域指定手段で指定された部分領域の優先度を他の部分領域よりも高く設定することを特徴とする（１）乃至（８）の何れかに記載の画像処理装置。
【０１２６】
（対応する実施形態）
この（９）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。これらの実施形態において、制御部３４及び外部Ｉ／Ｆ部３６が上記部分領域指定手段に対応する。
【０１２７】
（作用効果）
この（９）に記載の画像処理装置によれば、基準画像の部分領域のうちでユーザが関心のある部分領域の優先度を優先度演算手段により高く設定させることができる。ユーザが指定した部分領域の優先度をどの位上昇させるかをあらかじめ選択しておくことにより、ユーザの部分領域指定からその指定された部分領域の高解像度化への反応速度を変えることができ、例えば、反応速度が早くなるように設定されていれば、ユーザがモニタ等の表示手段で基準画像を見ながら、関心を持った部分領域を指定した時に即座にその部分が高解像度化されてユーザは表示手段上の高解像度化画像を見て関心を持った部分領域の詳細を確認できる。
【０１２８】
（１０）  上記優先度演算手段は、上記基準画像の部分領域のうち、高周波成分が大きい部分領域ほど大きな優先度を設定することを特徴とする（１）乃至（９）の何れかに記載の画像処理装置。
【０１２９】
（対応する実施形態）
この（１０）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。
【０１３０】
（作用効果）
この（１０）に記載の画像処理装置によれば、基準画像の部分領域のうち、高周波成分が大きい部分領域は、テクスチャ領域やエッジ領域など情報量の多い部分領域に対応するので、これらの情報量の大きい領域から優先的に高解像度化処理を行なうことができる。
【０１３１】
（１１）  一枚以上の画像を撮影可能な撮影手段を更に具備し、
上記基準画像選択手段は、この撮影手段により撮影された画像から基準画像を選択することを特徴とする（１）乃至（１０）の何れかに記載の画像処理装置。
【０１３２】
（対応する実施形態）
この（１１）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。その実施形態において、レンズ系４６、絞り４６Ａ、ＣＦＡ４８、ＣＣＤ撮像素子５０、増幅回路５２、Ａ／Ｄ変換回路５４、バッファ５６、プリＷＢ部５８、測光評価部６０、合焦点検出部６２、及びモータ６４が上記撮影手段に対応する。
【０１３３】
（作用効果）
この（１１）に記載の画像処理装置によれば、撮影手段により撮影された画像を基準画像として高解像度化処理を行なうことができるので、撮影手段がデジタルカメラの電子ビューファインダのような表示手段を備えている場合、この表示手段を見ながら高解像度化画像に基づいて撮影手段の合焦操作を行なうことができ、高解像度化処理を行なう前の低解像度画像を用いた合焦操作よりも精度よく撮影手段の合焦操作ができる。また、このように精度の高い合焦状態の撮影手段を用いて撮影を行なうことにより解像度のよい基準画像を用意することができ、この基準画像を高解像度化処理に用いることができるという相乗効果が期待できる。また、特に高解像度処理のアルゴリズムとして超解像処理のアルゴリズムを用いる場合、このアルゴリズムの性質として、鮮鋭度が高ければ高解像度化処理された画像と低解像度画像との解像感の落差が大きく、鮮鋭度が低ければこれらの解像感の落差が小さいという性質があるので、マニュアルフォーカスを行なう際には、高解像度化処理された画像の解像感の復元効果を目視することにより鮮鋭度が高くなる焦点位置に焦点合わせすることが可能である。
【０１３４】
（１２）  上記使用画像選択手段は、上記撮影手段により撮像された画像を逐次高解像度化に用いる使用画像として選択し、撮影が進行するにしたがって逐次的に高解像度化に使用する画像枚数を制御することを特徴とする（１１）に記載の画像処理装置。
【０１３５】
（対応する実施形態）
この（１２）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。
【０１３６】
（作用効果）
この（１２）に記載の画像処理装置によれば、画像処理装置にデジタルカメラの電子ビューファインダのような表示手段が接続されている場合、ユーザが撮影手段を移動させるにしたがって順次高解像度化処理された画像が表示手段上で更新され、ユーザはこの高解像度化画像を見ながら、撮影手段を移動させながら、被写体を追跡することができる。さらに、使用画像選択手段が、撮影が進行するにしたがって逐次的に高解像度化処理に使用する画像の枚数を制御するため、被写体を変更するなどして撮影手段の合焦状態が一時的に悪くなった時に、使用画像選択手段が高解像度化処理に用いる画像の枚数を増加させることにより、高解像度化画像を表示手段に表示させることができる。合焦操作により、基準画像の解像度が向上した場合、使用画像選択手段は、高解像度化処理に使用する画像の枚数を減少させて元に戻し、高解像度化処理を高速化させる。
【０１３７】
（１３）  上記高解像度化手段により高解像度化された基準画像は、逐次的に撮影制御に用いられることを特徴とする（１１）に記載の画像処理装置。
【０１３８】
（対応する実施形態）
この（１３）に記載の画像処理装置に関する実施形態は、第２実施形態が対応する。
【０１３９】
（作用効果）
この（１３）に記載の画像処理装置によれば、高解像度化手段により高解像度化された基準画像は、プリＷＢ、測光評価、及び合焦点検出等に用いられ、撮影手段を高精度に制御することができる。特に、画像処理装置にデジタルカメラの電子ビューファインダのような表示手段が接続されている場合、合焦点操作をマニュアルフォーカスで行なう場合には、高解像度化された画像を用いて合焦操作を行なうことができ合焦精度が向上する。また、合焦操作をイメージャオートフォーカスで行なう場合、優先度演算手段に、基準画像の部分領域のうち、上記（１０）に記載の画像処理装置のように、高周波成分が大きいエッジ部分のような部分領域ほど大きな優先度を設定させることにより、基準画像のエッジ部分から優先的に高解像度化処理が行なわれ、エッジ部分がイメージャオートフォーカスの合焦評価に必要なエッジ鮮鋭度の算出に用いられることからイメージャオートフォーカスで行なわれる合焦位置推定までの動作を高速化することができる。特に、高解像度処理のアルゴリズムとして、超解像処理のアルゴリズムを使用する場合、このアルゴリズムの性質として、鮮鋭度が高ければ高解像度化処理された画像と低解像度画像との解像感の落差が大きく、鮮鋭度が低ければこれらの解像感の落差が小さいという性質があるので、マニュアルフォーカスを行なう際には、高解像度化処理された画像の解像感の復元効果を目視することにより鮮鋭度が高くなる焦点位置に焦点合わせすることが可能である。また、イメージャオートフォーカスを行なう際には、合焦状態に近いほどエッジ鮮鋭度の解像感が向上するため、合焦位置推定の動作が容易になる。
【０１４０】
（１４）  画像を高解像度化して表示させる画像処理制御プログラムであって、
コンピュータに、
一枚以上の画像の中から高解像度化される画像を基準画像として選択させる手順と、
選択された基準画像を複数の部分領域に分割させる手順と、
分割された部分領域ごとに画像の高解像度化を行なう順序に関する優先度を算出させる手順と、
上記分割された複数の部分領域の中から、算出された優先度に応じて、高解像度化を行なう部分領域を順次選択させる手順と、
選択された部分領域に対して高解像度化処理を行なって、表示用の高解像度化された画像を出力させる手順と、
を実行させるための画像処理制御プログラム。
【０１４１】
（対応する実施形態）
この（１４）に記載の画像処理装置に関する実施形態は、第１乃至第３実施形態が対応する。それらの実施形態において、基準画像選択部２６で行なわれる基準画像の選択が上記高解像度化される画像を基準画像として選択させる手順に、優先度演算部２２が行なう基準画像の部分領域への分割が上記基準画像を複数の部分領域に分割させる手順に、優先度演算部２２が行なう部分領域の高解像度化処理ための優先度の算出が上記優先度を算出させる手順に、優先度演算部２２が行なう高解像度化を行なう部分領域の算出された優先度に基づく選択が上記高解像度化を行なう部分領域を順次選択させる手順に、高解像度化部２０が行なう高解像度処理が上記高解像度化処理を行なって表示用の高解像度化された画像を出力させる手順に、それぞれ対応する。
【０１４２】
（作用効果）
この（１４）に記載の画像処理制御プログラムによれば、画像高解像度化に用いる複数枚画像のデータを部分的に使用していき、段階的に演算を行なうことにより、ユーザに負荷を与えることなくスムーズな画像の高解像度化処理行なうことができる。特に、高解像度化処理された高解像度化画像がすぐに利用されることが望まれる場合では、例えば、モニタ等の表示部に表示する時などでは、高解像度化処理された画像が優先度の高い部分領域から順次高解像度化処理され順次出力されるため、従来の高解像度化処理のように高解像度化処理の全体が終了するまで待つ必要がなく出力された高解像度化画像がすぐに利用可能である。
【図面の簡単な説明】
【０１４３】
【図１】図１は、本発明の第１実施形態に係る画像処理装置の概略的なブロック構成図である。
【図２】図２は、画像拡大部で設定される画像の拡大率と高解像度化に使用される画像の枚数との関係を表す関数の例を示す図である。
【図３】図３（Ａ）及び（Ｂ）はそれぞれ基準画像の部分領域への分割の例を示す図である。
【図４】図４（Ａ）乃至（Ｃ）はそれぞれ優先度演算方法に対して用いられる優先度の大きさを設定する関数の例を示す図である。
【図５】図５は、変位推定部で実施される画素対応位置を求める画像変位推定のアルゴリズムを説明するためのフローチャートを示す図である。
【図６】図６は、離散的な類似度マップを連続的な類似度マップに補間するためにパラボラフィッティングを用いる処理の例を説明するための図である。
【図７】図７は、高解像度化部で実施される高解像度化処理を説明するためのフローチャートを示す図である。
【図８】図８は、高解像度化部の構成の一例を示す概略的なブロック図である。
【図９】図９は、本発明の第２実施形態に係る画像処理装置が適用されたデジタルカメラの概略的なブロック構成図である。
【図１０】図１０は、Ｂａｙｅｒ型原色フィルタの構成を説明するための図である。
【図１１】図１１は、本発明の第３実施形態に係る画像処理装置の概略的なブロック構成図である。
【符号の説明】
【０１４４】
１０…画像処理装置、  １０Ａ…サーバ、  １０Ｂ…クライアント、  １２…入力部、  １４…出力部、  １６…記録部、  １８…表示部、  ２０…高解像度化部、  ２０Ａ…補間拡大部、  ２０Ｂ…画像蓄積部、  ２０Ｃ…ＰＳＦデータ保持部、  ２０Ｄ…第１畳込み積分部、  ２０Ｅ…レジストレーション画像生成部、  ２０Ｆ…画像比較部、  ２０Ｇ…第２畳込み積分部、  ２０Ｈ…正則化項演算部、  ２０Ｉ…更新画像生成部、  ２０Ｊ…収束判定部、  ２２…優先度演算部、  ２４…表示領域選択部、  ２６…基準画像選択部、  ２８…変位推定部、  ３０…使用画像選択部、  ３２…拡大部、  ３４…制御部、  ３６…外部Ｉ／Ｆ部、  ３８…基準画像、  ４０…部分領域、  ４２…重複領域、  ４４…デジタルカメラ、  ４６…レンズ系、  ４６Ａ…絞り、  ４８…ＣＦＡ、  ５０…ＣＣＤ撮像素子、  ５２…増幅回路、  ５４…Ａ／Ｄ変換回路、  ５６，７６…バッファ、  ５８…プリＷＢ部、  ６０…測光評価部、  ６２…合焦点検出部、  ６４…モータ、  ６６…外部入出力部、  ６８，７４…送信部、  ７０，７２…受信部。
【図１】
2008077501.tif 000006
【図２】
2008077501.tif 000007
【図３】
2008077501.tif 000008
【図４】
2008077501.tif 000009
【図５】
2008077501.tif 000010
【図６】
2008077501.tif 000011
【図７】
2008077501.tif 000012
【図８】
2008077501.tif 000013
【図９】
2008077501.tif 000014
【図１０】
2008077501.tif 000015
【図１１】
2008077501.tif 000016