(57)【要約】【課題】動画等の画像を高解像度化する際に、演算量を負荷分散して処理する画像処理技術を提供する。【解決手段】第１演算装置は入力画像Ａの偶数番目の画像フレームを高解像度化の対象として処理を行い、第２演算装置は入力画像Ａの奇数番目の画像フレームを高解像度化の対象として処理を分担する。高解像度化の処理には、入力画像Ａをメモリ装置３０によって１フレーム遅延させた入力画像Ｂが参照画像として用いられる。そして、第１演算装置と第２演算装置とで演算処理を分担するため、処理時間Ｔｐがフレーム期間Ｔｆより長くなっても、出力画像がコマ落ちすることなく、適正に高解像度化した画像を生成することが可能となる。【選択図】図８
2009290710.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して演算処理を行って出力画像を生成する画像処理装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う演算部とを備え、
前記演算部は、
前記メモリ部においてフレーム期間単位で前記入力画像を遅延させた遅延画像と、前記入力画像とを受け付けて、所定の演算処理を行い、高解像度化した出力画像を生成すること、
を特徴とする画像処理装置。
【請求項２】
前記演算部は、前記入力画像と前記遅延画像との画像のずれを、該ずれの算出対照となる画素の画素値とその周辺の画素の画素値とを用いて算出し、前記遅延画像の画素を前記入力画像の画素の位置に合わせて、所定の演算処理を行い、前記入力画像に対して高解像度化した出力画像を生成すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力画像に対して演算処理を行って出力画像を生成する画像処理装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う演算部とが、前記メモリ部と前記演算部とを制御する制御部と通信可能に接続され、
前記制御部は、前記メモリ部に記憶した前記入力画像を、フレーム期間単位で遅延させて遅延画像を読み出し、前記演算部に、前記入力画像と前記遅延画像とを入力し、
前記演算部は、前記入力された前記入力画像と前記遅延画像とに対して所定の演算処理を行い、高解像度化した出力画像を生成すること、
を特徴とする画像処理装置。
【請求項４】
複数の前記演算部を備え、
前記制御部は、
前記入力画像と前記遅延画像とを、画像フレーム単位で、前記演算部のいずれか一つに入力すること、
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御部は、
前記入力画像の画像フレーム数をカウントし、前記画像フレーム数が偶数であれば、第１の演算部に前記入力画像と前記遅延画像とを入力し、前記画像フレーム数が奇数であれば、第２の演算部に前記入力画像と前記遅延画像とを入力すること、
を特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記制御部は、
前記入力画像を前記演算部に入力した順に対応させて、前記演算部によって生成された出力画像を選択して表示すること、
を特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記制御部は、
前記画像フレーム数のカウントを、垂直同期信号に基づいて行うこと、
を特徴とする請求項５に記載の画像処理装置。
【請求項８】
入力画像に対して演算処理を行って生成した出力画像を表示する表示装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う演算部とが、前記メモリ部と前記演算部とを制御する制御部と通信可能に接続された画像処理部と、
前記入力画像用の同期信号を、表示用の信号に対応する同期信号に変換する同期信号変換部と、
前記画像処理部によって生成された出力画像と、前記同期信号変換部によって生成された前記表示用の信号に対応する同期信号とを受け付けて表示用の信号を生成する駆動部と、
前記駆動部によって生成された前記表示用の信号を表示する表示部と、
を備え、
前記画像処理部は、前記入力画像を受け付けて、
前記制御部は、前記メモリ部に記憶した前記入力画像を、フレーム期間単位で遅延させた遅延画像を読み出し、前記演算部に、前記入力画像と前記遅延画像とを入力し、
前記演算部は、前記入力された前記入力画像と前記遅延画像とに対して所定の演算処理を行い、高解像度化した出力画像を生成し、
前記駆動部は、前記高解像度化した出力画像と、前記表示用の信号に対応する同期信号とを受け付けて、前記表示用の信号を生成し、前記表示部に表示すること、
を特徴とする表示装置。
【請求項９】
複数の前記演算部を備え、
前記制御部は、
前記入力画像と前記遅延画像とを、画像フレーム単位で、前記演算部のいずれか一つに入力すること、
を特徴とする請求項８に記載の表示装置。
【請求項１０】
前記制御部は、
前記入力画像の画像フレーム数をカウントし、前記画像フレーム数が偶数であれば、第１の演算部に前記入力画像と前記遅延画像とを入力し、前記画像フレーム数が奇数であれば、第２の演算部に前記入力画像と前記遅延画像とを入力すること、
を特徴とする請求項８に記載の表示装置。
【請求項１１】
前記制御部は、
前記入力画像を前記演算部に入力した順に対応させて、前記演算部によって生成された出力画像を選択して表示すること、
を特徴とする請求項９または請求項１０に記載の表示装置。
【請求項１２】
前記制御部は、
前記画像フレーム数のカウントを、垂直同期信号に基づいて行うこと、
を特徴とする請求項１０に記載の表示装置。
【請求項１３】
入力画像に対して演算処理を行って出力画像を生成する画像処理装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う演算部とが、前記メモリ部と前記演算部とを制御する制御部と通信可能に接続され、
複数の前記演算部を備え、
前記制御部は、前記メモリ部に記憶した前記入力画像を、フレーム期間単位で遅延させた遅延画像を読み出し、前記入力画像および前記遅延画像の画像フレームを複数の領域に分割し、前記領域ごとに、処理する前記演算部を定め、
前記演算部は、前記入力された前記入力画像の領域の画像データと前記遅延画像の領域の画像データとに対して所定の演算処理を行い、領域ごとに高解像度化した出力画像を生成し、前記領域ごとの出力画像を合成して出力用の画像フレームを生成すること、
を特徴とする画像処理装置。
【請求項１４】
入力画像に対して演算処理を行って生成した出力画像を表示する表示装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う複数の演算部とが、前記メモリ部と前記演算部とを制御する制御部と通信可能に接続された画像処理部と、
前記入力画像用の同期信号を、表示用の信号に対応する同期信号に変換する同期信号変換部と、
前記画像処理部によって生成された出力画像と、前記同期信号変換部によって生成された前記表示用の信号に対応する同期信号とを受け付けて表示用の信号を生成する駆動部と、
前記駆動部によって生成された前記表示用の信号を表示する表示部と、
を備え、
前記画像処理部は、前記入力画像を受け付けて、
前記制御部は、前記メモリ部に記憶した前記入力画像を、フレーム期間単位で遅延させた遅延画像を読み出し、前記入力画像および前記遅延画像の画像フレームを複数の領域に分割し、前記領域ごとに、処理する前記演算部を定め、
前記演算部は、前記入力された前記入力画像の領域の画像データと前記遅延画像の領域の画像データとに対して所定の演算処理を行い、領域ごとに高解像度化した出力画像を生成し、前記領域ごとの出力画像を合成して出力用の画像フレームを生成し、
前記駆動部は、前記合成した出力画像と、前記表示用の信号に対応する同期信号とを受け付けて、前記表示用の信号を生成し、前記表示部に表示すること、
を特徴とする表示装置。
【請求項１５】
入力画像に対して演算処理を行って生成した出力画像を表示する表示装置であって、
前記入力画像を記憶して遅延させるメモリ部と高解像度化する演算処理を行う複数の演算部とが、前記メモリ部と前記演算部とを制御する制御部と通信可能に接続された画像処理部と、
前記入力画像用の同期信号を、表示用の信号に対応する同期信号に変換する同期信号変換部と、
前記画像処理部によって生成された出力画像と、前記同期信号変換部によって生成された前記表示用の信号に対応する同期信号とを受け付けて表示用の信号を生成する複数の駆動部と、
前記駆動部によって生成された前記表示用の信号を表示する表示部と、
を備え、
前記画像処理部は、前記入力画像を受け付けて、
前記制御部は、前記メモリ部に記憶した前記入力画像を、フレーム期間単位で遅延させた遅延画像を読み出し、前記入力画像および前記遅延画像の画像フレームを複数の領域に分割し、前記領域ごとに、処理する前記演算部を定め、
前記演算部は、前記入力された前記入力画像の領域の画像データと前記遅延画像の領域の画像データとに対して所定の演算処理を行い、領域ごとに高解像度化した出力画像を生成し、
前記駆動部は、前記領域ごとに高解像度化した出力画像と、前記表示用の信号に対応する同期信号とを受け付けて、前記表示用の信号を生成し、前記表示部に表示すること、
を特徴とする表示装置。
【請求項１６】
複数の画像フレームを比較して表示対象の動きを推定し、その推定結果を用いて前記画像フレームよりも解像度の高い高解像度画像フレームを生成する画像処理装置において、
Ｎ個の演算回路を備え（Ｎは２以上の整数）、
各演算回路は、他の演算回路の高解像度画像フレームの生成処理と時間的に一部オーバーラップして、前記他の演算回路が処理する複数の画像フレームとは異なるまたは一部異なる複数の画像フレームから、前記他の演算回路が生成する高解像度画像フレームとは異なる高解像度画像フレームを生成することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画等の画像を高解像度化する際に、演算の負荷を分散して処理することによって高速に処理し、表示画像の乱れを防止する画像処理技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体等から入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして高解像度化した画像を表示することが一般的に行われている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは細部まで明瞭な画像を生成することはできない。なお、本明細書では、「高解像度化」の意味は、単に画素数を増加させるだけでなく、後記するように、折返し成分を除去して画像信号に含まれる高周波成分を復元し、細部まで表示すること、として用いる。
【０００３】
非特許文献１には、サンプリング位相のずれた画像フレームを複数用いて、高解像度化した画像を生成する超解像処理が記載されている。
この非特許文献１に記載されている超解像処理では、（１）位置推定、（２）広帯域補間（画素補間）、（３）加重和、の３つの処理により高解像度化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。（２）広帯域補間（画素補間）は、各画像データの画素数(標本点)を、画像信号に含まれる折返し成分や高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間して増やし、画像データの画素数を高密度化するものである。（３）加重和は、高密度化された各画像フレームの画像データに対して、標本化位置に応じた重み係数を加味して加重和をとることによって、標本化の際に生じた折返し成分を打ち消して除去するとともに、画像信号の高周波成分を復元するものである。
すなわち、非特許文献１に記載の超解像処理は、高解像度化した画像を生成するものである。
【０００４】
非特許文献１に記載の超解像処理の演算量は、画素数にほぼ比例するため、画像フレームの縦横にＮ倍の高密度化を行うと、Ｎの二乗のオーダで飛躍的に増大する。したがって、動画等の画像を高解像度化する際に、処理の遅れにともなって、コマ落ち等の表示乱れの発生が懸念される。特許文献１には、非特許文献１に係る超解像処理の処理技術が記載されているが、コマ落ち等の表示乱れを起こさない装置構成については、開示されていない。
【特許文献１】特開平９−６９７５５号公報
【非特許文献１】青木伸，“複数のデジタル画像データによる超解像処理”, Ricoh Technical Report，NOVEMBER, 1998，No.24，p.19-25
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、前記超解像処理による動画等の画像の高解像度化において、演算の負荷を分散して処理することによって、表示画像の乱れを防止可能な画像処理に関する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、本発明は、動画等の画像の高解像度化において、画像信号を時間的および／または空間的に複数の領域に分けて、その領域ごとに一つの演算装置に分担させて処理することによって、一つあたりの演算装置の演算量を低減し、処理の負荷を分散すること、を特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画等の画像の高解像度化において、表示画像の乱れを防止することができる。
【発明を実施するための最良の形態】
【０００８】
次に、本発明を実施するための最良の形態（以降、「実施形態」という）について、適宜図面を用いながら詳細に説明する。
【０００９】
《第１実施形態》
初めに、高解像度化の処理を行う高解像度画像生成部の基本動作について、図１を用いて説明する。図１（ａ）は、高解像度化の処理を行う高解像度画像生成部の第１の基本動作を示す図であり、（ｂ）は、第２の基本動作を示す図である。
なお、図１に示す高解像度画像生成部１０，１０ａは、連続する２つの画像フレームの画像を用いて高解像度化の処理を行う場合を示している。本明細書では、「連続する画像フレーム」とは、デジタルスチルカメラによって撮影された連続写真や、デジタルビデオカメラによって撮影された動画等において、隣り合った画像フレームのことを意味する。
【００１０】
まず、図１（ａ）に示すように、高解像度画像生成部１０（画像処理装置）は、入力画像の高解像度化の処理を行う演算装置２０（演算部）と、フレーム期間単位で入力画像を遅延させることが可能なメモリ装置３０（メモリ部）とによって構成される。
高解像度画像生成部１０は、演算装置２０を汎用プロセッサによって実現した場合を示す。
メモリ装置３０は、入力画像の画像データを蓄積する。そして、メモリ装置３０に蓄積された画像データは、演算装置２０から読み出しの指示を受けて読み出される。また、図１に示す高解像度画像生成部１０では、メモリ装置３０からは、フレーム期間を単位として遅延された画像データが、入力画像Ｂ（遅延画像）として読み出される。
【００１１】
演算装置２０は、前記した位置推定の機能を有する位置推定２１、前記した広帯域補間の機能を有する画素補間２２，２３、および前記した加重和の機能を有する加重和２４を備える。
位置推定２１は、入力画像Ｂの画素の位置が入力画像Ａを基準としてどの方向にどれだけ移動したか（ずれ）を推定する機能を有する。例えば、推定の処理では、推定する対象となる画素値と、その周辺の画素値とが用いられ、相関の大きさ等によって、ずれの量が推定される。
画素補間２２は、入力画像Ａに対して、全てを透過する帯域の広いローパスフィルタで処理し、高密度化（画素数を増加）する。
画素補間２３は、入力画像Ｂに対して、全てを透過する帯域の広いローパスフィルタで処理し、高密度化する。その際、位置推定２１によって算出されたずれを用いて、入力画像Ｂの位置を入力画像Ａの位置に合うように調整して、高密度化する。
加重和２４は、画素補間２２，２３の出力に対して、それぞれの標本化位置に応じた重みを使って加重和をとることにより、折返し成分を除去すると同時に高周波成分を復元する。そして、加重和２４は、入力画像Ａに対応する高解像度化した画像を生成する。
【００１２】
次に、図１（ｂ）に示すように、第２の基本動作の高解像度画像生成部１０ａは、入力画像の高解像度化の処理を行う演算装置２０ａ（演算部）と、フレーム期間単位で入力画像を遅延させることが可能なメモリ装置３０（メモリ部）とによって構成される。
高解像度画像生成部１０ａは、演算装置２０ａをＬＳＩ（Large Scale Integration）等の集積回路によって実現した場合を示す。
そして、演算装置２０と演算装置２０ａとの相違は、演算装置２０では入力画像Ａと入力画像Ｂとが入力されるのに対して、演算装置２０ａでは入力画像（入力画像Ａ）のみが入力される点において異なる。しかし、両者における処理内容に差異は無い。
【００１３】
次に、図１に示す高解像度画像生成部１０，１０ａが、適正な演算速度の演算装置の使用によって、適正に動作しているときのタイミングチャートについて、図２を用いて説明する（適宜、図１参照）。図２は、適正な動作をしているときのタイミングチャートを示す図である。
【００１４】
図２において、垂直同期信号は、フレーム期間の区切りを示している。また、図２に示す数字１，２・・は、入力した画像フレームの通し番号を表し、数字１’，２’・・は、入力した画像フレームの通し番号に対応する、生成（出力）した画像フレームの通し番号を表している。
図２に示すように、入力画像Ｂは、入力画像Ａに対して１フレーム遅延されて、メモリ装置３０から読み出される。そして、演算装置２０，２０ａは、入力画像Ａのフレーム番号２の画像データと，入力画像Ｂのフレーム番号１の画像データとを用いて、フレーム番号２に対応する画像フレームを高解像度化して、フレーム番号２’を生成（出力）する。そのときの処理時間Ｔｐが、フレーム期間Ｔｆより小さければ、出力画像の表示が乱れることはない（コマ落ちすることはない）。
なお、出力画像の表示タイミングは、入力画像用の垂直同期信号に合わせる必要はなく、演算装置の処理に並行して出力しても構わない。
【００１５】
次に、図１に示す高解像度画像生成部１０を備えた表示装置の構成について、図３を用いて説明する（適宜、図１参照）。図３は、入力画像を高解像度化して表示する表示装置の構成を示す図である。
表示装置１００は、入力画像と、そのタイミングを規定する同期信号（フレームの区切りを示す垂直同期信号、水平方向のラインの区切りを示す水平同期信号、画像データの画素の同期をとるクロック信号等）とを入力とする。そして、表示装置１００は、同期信号変換部６１、高解像度画像生成部１０、駆動回路７０（駆動部）、および表示パネル８０（表示部）によって構成される。
同期信号変換部６１は、入力画像のクロックを、高解像度化した画像用のクロックに変換する機能を有する。
高解像度画像生成部１０の機能は、前記したとおり（図１参照）である。なお、高解像度画像生成部１０に入力される同期信号は、メモリ装置３０に蓄積した画像データを遅延させて読み出すときのタイミングに使用される。
駆動回路７０は、同期信号変換部６１の出力と、高解像度画像生成部１０の出力とを受け付けて、表示パネル８０に適合する信号形式に変換して出力する。
表示パネル８０は、例えば、液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬ(Electroluminescence)ディスプレイである。
ちなみに、高解像度画像生成部１０が高解像度画像生成部１０ａに置き換わっても同じである。
【００１６】
なお、図１，図２では、２フレーム分の画像データを用いて、高解像度化の処理を行う場合を示した。しかし、これに限られず、Ｎフレーム分の画像データを用いて、高解像度化の処理を行ってもよい。図４には、４フレーム分の画像データを用いて高解像度化の処理を行う動作を示す。図４（ａ）は、図１（ａ）に示す基本動作を４フレームに拡張した場合の動作の一例を示す図であり、（ｂ）は、図４（ａ）に示す動作の変形例を示す図である。なお、図４では、図１と同じ機能を有するブロックには同じ符号を付し、説明を省略する。
【００１７】
図４（ａ）に示す高解像度画像生成部４００の構成では、入力画像（遅延なし）を高解像度化対象の画像フレームとし、１フレーム遅延、２フレーム遅延、および３フレーム遅延の画像フレームを参照用の画像フレームとする。そして、画素補間２２，２３および加重和２４によって、入力画像（遅延なし）の折返し成分が除去され、高周波成分が復元され、高解像度化されて、出力画像が生成される。
図４（ｂ）に示す高解像度画像生成部４００ａの構成では、位置推定２１ａが、１フレーム分異なる画像フレーム間のずれを算出し、算出したずれを記憶する。そして、破線に示すように、高解像度画像生成部４００ａの処理が次の画像フレームを対象とするときに、記憶しておいたずれの情報を順送りで隣の（破線矢印の方向の）位置推定２５に送信し、記憶する。次に、位置推定２５は、記憶しておいたずれを用いて、入力画像からのずれをそれぞれ算出する。そして、画素補間２２，２３および加重和２４によって、入力画像（遅延なし）の折返し成分が除去され、高周波成分が復元され、高解像度化されて、出力画像が生成される。
【００１８】
なお、図１，図２，図４では、直接入力した（遅延のない）画像フレームを高解像度化の対象とし、メモリ装置３０によって遅延した画像フレームを折返し成分の除去や高周波成分の復元のために参照する処理（前フレーム参照処理という）を行う場合を示した。しかし、これに限られず、その逆に、メモリ装置３０によって最も遅延させた画像フレームを高解像度化の対象とし、その他の画像フレームを折返し成分の除去や高周波成分の復元のために参照する処理（後フレーム参照処理という）を行っても良い。
また、図４に示すような４フレームの画像データを用いて高解像度化の処理を行う場合には、１フレーム遅延または２フレーム遅延した画像データを、高解像度化対象の画像フレームとし、前フレーム参照処理と後フレーム参照処理との両方を併用しても良い。
【００１９】
次に、高解像度化のために、演算量が多くなり、演算装置２０（図１参照）の処理が所定の期間（フレーム期間Ｔｆ、図２参照）では終わらなくなったために、出力画像の表示が乱れる場合について、図５を用いて説明する（適宜、図１参照）。図５は、出力画像の表示が乱れるときのタイミングチャートの一例を示す図である。
【００２０】
図５の表示形式は、図２の表示形式と同様であるので、相違点のみを説明する。
図５では、演算装置２０の処理時間Ｔｐが、フレーム期間Ｔｆより大きくなっている。演算装置２０は、処理の終了のタイミングが入力画像を受け付けるタイミングに間に合っている間、すなわち、フレーム番号２’〜４’までは、フレーム順に処理を行うことができる。しかし、｛入力画像Ａのフレーム番号５、入力画像Ｂのフレーム番号４｝の組が処理されるべき期間においても、依然としてフレーム番号４’の処理が行われているため、フレーム番号５’の処理を開始することができない。そのため、演算装置２０，２０ａは、フレーム番号５’の出力画像を生成することができない。したがって、表示が乱れることになる。
【００２１】
また、フレーム番号２’，３’に対しては、出力画像は、表示が乱れることなく表示される。しかし、フレーム番号４’の出力画像は、演算装置２０，２０ａの処理の終了が適正なタイミングより遅れているため、１フレーム遅れて表示される。すなわち、演算装置２０，２０ａは、フレーム番号４’の出力画像をフレーム番号３’の出力画像に連続させて表示することができない。したがって、表示が乱れることになる。
ちなみに、演算装置２０が演算装置２０ａに置き換わっても同じである。
【００２２】
《第２実施形態》
そこで、演算装置２０の処理時間Ｔｐがフレーム期間Ｔｆより大きくても、コマ落ちしないようにするために、複数の演算装置２０で高解像度化の処理を分担する場合について以下に説明する。
【００２３】
まず、演算装置２０を２つ用いる場合の動作について、図６を用いて説明する。図６（ａ）は、図１（ａ）に示す演算装置を２つ用いて処理を分担する動作を示す図であり、（ｂ）は、図１（ｂ）に示す演算装置を２つ用いて処理を分担する動作を示す図である。
図６（ａ）では、高解像度画像生成部１１は、入力画像信号とメモリ装置３０によって遅延させて読み出した信号とを、切り替えて、それぞれの第１・第２演算装置２０，２０によって、処理を分担して、出力するものである。切り替えのタイミングは、画像フレーム単位、または、画像フレームを複数の領域（エリア）に分割したときの分割エリア単位で行われる。なお、切り替えのタイミングの詳細については、後記する。
図６（ｂ）では、高解像度画像生成部１１ａは、入力画像信号を全て受け付けて、それぞれの第１・第２演算装置２０ａ，２０ａが、処理を分担して、出力するものである。処理の分担は、画像フレーム単位、または、画像フレームを複数の領域（エリア）に分割したときの分割エリア単位で行われる。なお、処理の分担の詳細については、後記する。
【００２４】
次に、図６（ａ），（ｂ）の動作に対応する構成について、図７を用いて説明する。図７（ａ）は、図６（ａ）の動作に対応する構成の一例を示す図であり、（ｂ）は、図６（ｂ）の動作に対応する構成の一例を示す図である。
図７（ａ）では、高解像度画像生成部１１は、汎用のプロセッサである第１・第２演算装置２０，２０、メモリ装置３０、入力バッファ４１、出力バッファ４２、および制御部４０がバスに接続されて構成される。
制御部４０は、バスに接続されている各ブロック（２０，３０，４１，４２）の機能の制御を司る。また、制御部４０は、切り替えのタイミングを制御し、第１・第２演算装置２０，２０への入力が正しく行われるようにする。なお、制御部４０は、例えば、図示しないＣＰＵ（Central Processing Unit ）と、このＣＰＵが演算処理に用いる図示しないメモリ（ＲＡＭ等）とで構成され、アプリケーションプログラムがメモリに展開され、ＣＰＵが、それを実行することにより、制御部４０の機能を具現化する。
【００２５】
第１・第２演算装置２０，２０およびメモリ装置３０は、前記した高解像度化のための機能を司る。
入力バッファ４１は、入力画像を一時的に記憶する機能を有し、高解像度画像生成部１１への入力のタイミングと第１・第２演算装置２０，２０およびメモリ装置３０の受け取りタイミングとのずれを調整する。
出力バッファ４２は、第１・第２演算装置２０，２０が生成した画像を一時的に記憶する機能を有し、第１・第２演算装置２０，２０からの出力のタイミングと、出力先（例えば、表示パネル等）の受け取りタイミングとのずれを調整する。
【００２６】
図７（ｂ）では、高解像度画像生成部１１ａは、ＬＳＩのような集積回路で製作された第１・第２演算装置２０ａ，２０ａ、メモリ装置３０、および第１・第２演算装置２０ａ，２０ａの入出力を司る機能を有する周辺回路４３，４４によって構成される。
周辺回路４４は、図６（ｂ）に示す切り替えを行う機能を備えている。
【００２７】
なお、切り替えのタイミング制御において、画像フレーム単位で時間分割して処理を分担する時間分割処理と、１つの画像フレームの画像空間を複数の領域（エリア）に分割して処理を分担する空間分割処理とがあるので、以下に説明する。
【００２８】
《時間分割処理》
ここで、第１・第２演算装置２０，２０が分担する処理対象を、第１演算装置２０が偶数番の画像フレーム、第２演算装置２０が奇数番の画像フレームとする。そのときの、高解像度画像生成部１１（図６，図７参照）のタイミングチャートについて、図８を用いて説明する。図８は、２つの演算装置を用いて画像フレーム単位で時間分割して処理を分担したときのタイミングチャートの一例を示す図である。
図８において、垂直同期信号は、フレーム期間の区切りを示している。また、図８に示す数字１，２・・は、入力した画像フレームの通し番号を表し、数字１’，２’・・は、入力した画像フレームの通し番号に対応する、生成（出力）する画像フレームの通し番号を表している。
【００２９】
図８に示すように、入力画像Ｂは、入力画像Ａに対して１フレーム遅延されて、メモリ装置３０から読み出される。そして、第１演算装置２０は、入力画像Ａのフレーム番号２の画像データと，入力画像Ｂのフレーム番号１の画像データとを用いて、フレーム番号２（偶数番の画像フレーム）に対応する画像フレームを高解像度化して、フレーム番号２’を生成する。また、第２演算装置２０は、入力画像Ａのフレーム番号３と，入力画像Ｂのフレーム番号２とを用いて、フレーム番号３（奇数番の画像フレーム）に対応する画像フレームを高解像度化して、フレーム番号３’を生成する。
そのときの第１・第２演算装置２０，２０における処理時間Ｔｐが、フレーム期間Ｔｆの２倍より小さければ、出力画像の表示が乱れることはない（コマ落ちすることはない）。
この点は、第１・第２演算装置２０，２０が第１・第２演算装置２０ａ，２０ａに置き換わっても同じである。
【００３０】
次に、第１・第２演算装置２０，２０およびメモリ装置３０を備えた表示装置の構成について、図９を用いて説明する。図９（ａ）は、負荷分散して高解像度化した画像を表示する表示装置の構成の一例を示す図であり、（ｂ）は、負荷分散して高解像度化した画像を表示する表示装置の別の構成例を示す図である。
【００３１】
図９（ａ）に示すように、表示装置２００は、入力画像と、そのタイミングを規定する同期信号（フレームの区切りを示す垂直同期信号、水平方向のラインの区切りを示す水平同期信号、画像データの画素の同期をとるクロック信号等）とを入力とする。そして、表示装置２００は、第１・第２演算装置２０，２０、メモリ装置３０、フレーム選択部４５、同期信号変換部６１、フレーム切替部４７、駆動回路７０、および表示パネル８０によって構成される。なお、図３と同じ機能ブロックには、同じ符号を付し、説明を省略する。
【００３２】
フレーム選択部４５は、例えば、垂直同期信号を用いてフレーム数をカウントするフレームカウンタを備え、フレーム数のカウントが奇数か偶数かを判定し、偶数であれば第１演算装置２０に入力画像と遅延させた画像（遅延画像）とを入力させ、奇数であれば第２演算装置２０に入力画像と遅延させた画像（遅延画像）とを入力させる機能を有する。なお、フレーム選択部４５は、奇数と偶数とを入れ替えて動作しても良い。
同期信号変換部６１は、駆動回路７０に、高解像度化した出力画像表示用の同期信号（垂直同期信号、水平同期信号、クロック信号等）を出力する。また、同期信号変換部６１は、フレーム切替部４７に、垂直同期信号を出力する機能を有する。
フレーム切替部４７は、前記したのと同様のフレームカウンタを備え、フレーム数のカウントが偶数であれば第１演算装置２０の出力を選択し、奇数であれば第２演算装置２０の出力を選択する機能を有する。なお、フレーム切替部４７は、フレーム選択部４５の動作に対応して、奇数と偶数とを入れ替えて動作させても良い。なお、フレーム切替部４７の切り替えのタイミングは、フレーム選択部４５の切り替えのタイミングから所定時間ずれていても構わない。なお、所定時間は、コマ落ちしない範囲で設定されるものとする。
【００３３】
次に、図９（ｂ）に示す表示装置２００ａにおいて、第１・第２演算装置２０ａ，２０ａを用いた場合の構成について以下に説明する。表示装置２００ａが表示装置２００（図９（ａ）参照）と異なる点は、フレーム選択部４８が全ての入力画像を第１・第２演算装置２０ａ，２０ａに入力することである。そして、第１・第２演算装置２０ａ，２０ａの処理は、フレームカウンタの出力（フレーム数のカウント）が奇数か偶数かによって分担が決められている。
また、フレーム切替部４９は、図９（ａ）に示すフレーム切替部４７の機能と同様であり、第１・第２演算装置２０ａ，２０ａの周辺回路で構成される。
【００３４】
《空間分割処理》
次に、空間分割処理の概要について、図１０を用いて説明する。図１０は、空間分割処理の概要を示す図である。
入力画像は、その画面を左右に２分割される。そして、第１演算装置は、フレーム番号２の左半分の画像を高解像度化の対象画像フレームとし、フレーム番号１の左半分の画像を参照画像フレームとして、フレーム番号２の領域２ａを生成（出力）する。同様に、第２演算装置は、フレーム番号２の右半分の画像を高解像度化の対象画像フレームとし、フレーム番号１の右半分の画像を参照画像フレームとして、フレーム番号２の領域２ｂを生成（出力）する。そして、両者を合成して、出力画像２’が生成される。
他のフレーム番号３，４，５・・についても、同様の処理が行われる。
【００３５】
ただし、図１０に示すような処理を行う場合には、左半分の画像と右半分の画像との境界において、画像の不連続が生じる場合がある。その例を、図１１を用いて説明する。図１１（ａ）は、適正に画像の処理が行われた場合の例を示す図であり、（ｂ）は、空間分割した境界における画像の不連続を生じた場合の一例を示す図である。
図１１（ａ）では、領域１と領域２との境界で、円の連続性がを正しく保たれて生成されている。それに対して、図１１（ｂ）では、領域１と領域２との境界で、円が不連続になっている。この原因は、第１演算装置と第２演算装置とで、図１０に示すように、演算する領域をオーバーラップさせることなく、処理を行ったためである。そのため、位置推定が、境界を越えて行うことができずに、誤った結果となる。
【００３６】
そこで、図１２に示すように、位置推定が正しく行われるように、第１演算装置は、半分より大きな領域２ｃ（横線）の範囲で処理を行い、第２演算装置は、半分より大きな領域２ｄ（縦線）の範囲で処理を行う。そして、領域２ｃと領域２ｄとがオーバーラップする領域における位置推定の結果は、第１・第２演算装置２０，２０の間または第１・第２演算装置２０ａ，２０ａの間で、相互に交換されると良い。その結果、出力画像は、第１演算装置によって生成された左半分の画像と、第２演算装置によって生成された右半分の画像とを合成して生成されても、境界における画像の不連続は生じない。
なお、図１２のように明確に右半分の画像と左半分の画像とを合成するのではなく、オーバーラップする領域は、両者の加重平均を取って生成しても構わない。
また、分割は、左右ではなく、上下でも構わない。
【００３７】
次に、空間分割処理における、高解像度画像生成部１１（図６，図７参照）のタイミングチャートについて、図１３を用いて説明する。図１３は、２つの演算装置を用いて画像フレーム単位で空間分割して処理を分担したときのタイミングチャートの一例を示す図である。
図１３において、垂直同期信号は、フレーム期間の区切りを示している。また、図１３に示す数字１，２・・は、入力した画像フレームの通し番号を表し、数字１’，２’・・は、入力した画像フレームの通し番号に対応する、生成（出力）する画像フレームの通し番号を表している。
【００３８】
そして、図１３に示すように、入力画像Ｂは、入力画像Ａに対して１フレーム遅延されて、メモリ装置３０から読み出される。そして、第１演算装置２０は、入力画像Ａのフレーム番号２の画像データと，入力画像Ｂのフレーム番号１の画像データとを用いて、フレーム番号２の領域２ａを高解像度化して、フレーム番号２の領域２ａ’を生成する。また、第２演算装置２０は、入力画像Ａのフレーム番号２の画像データと，入力画像Ｂのフレーム番号１の画像データとを用いて、フレーム番号２の領域２ｂを高解像度化して、フレーム番号２ｂ’を生成する。そして、両者を合成して、出力画像がフレーム番号２の領域２’として生成される。
そのときの第１・第２演算装置２０，２０における処理時間Ｔｐが、フレーム期間Ｔｆより小さければ、出力画像の表示が乱れることはない（コマ落ちすることはない）。
ちなみに、第１・第２演算装置２０，２０が第１・第２演算装置２０ａ，２０ａに置き換わっても同じである。
【００３９】
次に、第１・第２演算装置２０，２０または第１・第２演算装置２０ａ，２０ａおよびメモリ装置３０を備えた表示装置の構成について、図１４を用いて説明する。図１４（ａ）は、負荷分散して高解像度化した画像を表示する表示装置の構成の一例を示す図であり、（ｂ）は、負荷分散して高解像度化した画像を表示する表示装置の別の構成例を示す図である。
【００４０】
図１４（ａ）に示すように、表示装置２１０は、入力画像と、そのタイミングを規定する同期信号（フレームの区切りを示す垂直同期信号、水平方向のラインの区切りを示す水平同期信号、画像データの画素の同期をとるクロック信号等）とを入力とする。そして、表示装置２１０は、第１・第２演算装置２０，２０、メモリ装置３０、領域分割部６０、同期信号変換部６１、領域統合部６２、駆動回路７０、および表示パネル８０によって構成される。なお、図９と同じ機能ブロックには、同じ符号を付し、説明を省略する。
【００４１】
領域分割部６０は、例えば、垂直同期信号を用いて画像フレーム内の画像の垂直位置と水平位置をカウントし、現在の入力画像の画像データが２つの領域のどちらに属するかを判定する領域判定部と、その判定結果に基づいて第１・第２演算装置２０，２０に入力する画像データを振り分けるスイッチとから構成される。
領域統合部６２は、領域判定部と、その領域判定部の結果に基づいて、第１・第２演算装置２０，２０の処理結果のどちらを出力するかを選択するスイッチとから構成される。
なお、領域分割部６０と領域統合部６２との機能は、図７に示す制御部４０によって行われる。また、第１演算装置２０と第２演算装置２０との間における位置推定に係る情報の交換は、図７に示す制御部４０によって行われる。
【００４２】
次に、図１４（ｂ）に示す表示装置２１０ａについて以下に説明する。表示装置２１０ａは、入力画像と、そのタイミングを規定する同期信号（垂直同期信号、水平同期信号、クロック信号等）とを入力とする。そして、表示装置２１０ａは、第１・第２演算装置２０ａ，２０ａ、メモリ装置３０、領域分割部６３、同期信号変換部６１、領域統合部６４、駆動回路７０、および表示パネル８０によって構成される。なお、図９と同じ機能ブロックには、同じ符号を付し、説明を省略する。
【００４３】
領域分割部６３は、例えば、垂直同期信号を用いて画像フレーム内の画像の垂直位置と水平位置をカウントし、現在の入力データが２つの領域のどちらに属するかを判定する領域判定部と、その判定結果に基づいて第１・第２演算装置２０ａ，２０ａに入力する画像データを振り分けるスイッチとから構成される。
領域統合部６４は、領域判定部と、その領域判定部の結果に基づいて、第１・第２演算装置２０ａ，２０ａの処理結果のどちらを出力するかを選択するスイッチとから構成される。
なお、領域分割部６３と領域統合部６４との機能は、図７に示す周辺回路４３，４４によって行われる。また、第１演算装置２０ａと第２演算装置２０ａとの間における位置推定に係る情報の交換は、周辺回路を経由して行われる。
また、図１４（ｂ）では、領域分割部６３ではスイッチを設けて、第１・第２演算装置２０ａ，２０ａに入力される画像データが処理する領域となるように制限していた。しかし、これに限られることはなく、全ての画像データをメモリ装置３０に記憶して、指定された領域の画像データのみを読み出して、処理しても構わない。
【００４４】
次に、図１４に示す表示装置２１０，２１０ａの構成の変形例を、図１５に示す。図１５は、図１４に示す表示装置の構成の変形例の一例を示す図である。
図１５に示す表示装置２２０，２２０ａが図１４に示す表示装置２１０，２１０ａと異なる点は、駆動回路１（７１）と駆動回路２（７２）とを、第１・第２演算装置２０，２０ごとに１対１で設けた点である。なお、駆動回路１（７１），２（７２）はそれぞれ、表示パネル８１の左右半分ずつの表示領域の表示を分担している。そのため、領域統合部６２，６４（図１４参照）を設ける必要がなく、表示パネル上で、画像の統合が行われる。
【００４５】
なお、第２実施形態では、２つの演算装置によって、処理を分担する場合について説明した。しかし、これに限られることは無く、３以上の演算装置によって、処理を分担しても構わない。演算装置を増加することは、より高い解像度を、コマ落ちさせることなく高解像度化の処理することを可能とする。
【００４６】
本発明の表示装置２００，２００ａ，２１０，２１０ａ，２２０，２２０ａは、複数の演算装置によって処理負荷を分担するので、非常に高性能かつ高価な演算装置を用いることなく、比較的低価格な演算装置で実現可能となり、全体としてコストを低減することが可能となる。
また、図７（ａ）に示す高解像度画像生成部１１は、メモリ装置３０を共有することが可能であり、コストの低減を図ることができる。さらに、演算装置２０の追加は、バスに接続すればよいだけであり、容易に行うことが可能である。
図７（ｂ）に示す高解像度画像生成部１１ａは、演算装置２０ａとメモリ装置３０とをセットとして、同じ機能を増設すればよいので、構成が簡単になるという利点がある。
【図面の簡単な説明】
【００４７】
【図１】（ａ）は、高解像度化の処理を行う高解像度画像生成部の第１の基本動作を示す図であり、（ｂ）は、第２の基本動作を示す図である。
【図２】適正な動作をしているときのタイミングチャートを示す図である。
【図３】入力画像を高解像度化して表示する表示装置の構成を示す図である。
【図４】（ａ）は、図１（ａ）に示す基本動作を４フレームに拡張した場合の動作の一例を示す図であり、（ｂ）は、図４（ａ）に示す動作の変形例を示す図である。
【図５】出力画像の表示が乱れるときのタイミングチャートの一例を示す図である。
【図６】（ａ）は、図１（ａ）に示す演算装置を２つ用いて処理を分担する動作を示す図であり、（ｂ）は、図１（ｂ）に示す演算装置を２つ用いて処理を分担する動作を示す図である。
【図７】（ａ）は、図６（ａ）の動作に対応する構成の一例を示す図であり、（ｂ）は、図６（ｂ）の動作に対応する構成の一例を示す図である。
【図８】２つの演算装置を用いて画像フレーム単位で時間分割して処理を分担したときのタイミングチャートの一例を示す図である。
【図９】（ａ）は、負荷分散して高解像度化した画像を表示する表示装置の構成の一例を示す図であり、（ｂ）は、負荷分散して高解像度化した画像を表示する表示装置の別の構成例を示す図である。
【図１０】空間分割処理の概要を示す図である。
【図１１】（ａ）は、適正に画像の処理が行われた場合の例を示す図であり、（ｂ）は、空間分割した境界における画像の不連続を生じた場合の一例を示す図である。
【図１２】オーバーラップする領域を設けた空間分割処理の一例を示す図である。
【図１３】２つの演算装置を用いて画像フレーム単位で空間分割して処理を分担したときのタイミングチャートの一例を示す図である。
【図１４】（ａ）は、負荷分散して高解像度化した画像を表示する表示装置の構成の一例を示す図であり、（ｂ）は、負荷分散して高解像度化した画像を表示する表示装置の別の構成例を示す図である。
【図１５】図１４に示す表示装置の構成の変形例の一例を示す図である。
【符号の説明】
【００４８】
１０，１０ａ  高解像度画像生成部（画像処理装置）
１１，１１ａ  高解像度画像生成部（画像処理装置）
２０  演算装置，第１・第２演算装置（演算部）
２０ａ  演算装置，第１・第２演算装置（演算部）
３０    メモリ装置（メモリ部）
６１    同期信号変換部
７０，７１，７２  駆動回路（駆動部）
８０，８１    表示パネル（表示部）
２００，２００ａ  表示装置
２１０，２１０ａ  表示装置
２２０，２２０ａ  表示装置
Ｔｆ    フレーム期間
Ｔｐ    処理時間
【図１】
2009290710.tif 000003
【図２】
2009290710.tif 000004
【図３】
2009290710.tif 000005
【図４】
2009290710.tif 000006
【図５】
2009290710.tif 000007
【図６】
2009290710.tif 000008
【図７】
2009290710.tif 000009
【図８】
2009290710.tif 000010
【図９】
2009290710.tif 000011
【図１０】
2009290710.tif 000012
【図１１】
2009290710.tif 000013
【図１２】
2009290710.tif 000014
【図１３】
2009290710.tif 000015
【図１４】
2009290710.tif 000016
【図１５】
2009290710.tif 000017