(57)【要約】【課題】動画の画像データに基づいて、解像度が異なる静止画像の画像データを得る際に、画像の端部の品質が高い画像データを得る。【解決手段】（a）動画の画像データから、第１の静止画像を表す第１の画像データを取得する。（b）その動画の画像データから、第１の静止画像の前に表示される第２の静止画像を表す第２の画像データを取得する。（c）第１と第２の画像データに基づき、異なる解像度で第１の静止画像を表す第３の画像データを生成する。端部画素の画素値を計算する際には、（d）第１の静止画像に対する第２の静止画像の相対位置を決定する。（e）第１の画像データ中の第１種の画素の画素値と、第２の画像データ中の画素であって、第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、端部画素の画素値を計算する。【選択図】図４
2010128695.tif 000002
【特許請求の範囲】
【請求項１】
動画の画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理方法であって、
（a）動画の画像データから、第１の静止画像を表す第１の画像データを取得する工程と、
（b）前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得する工程と、
（c）前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する工程と、を備え、
前記工程（c）は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（d）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定する工程と、
（e）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算する工程と、を備える方法。
【請求項２】
請求項１記載の画像処理方法であって、
前記工程（b）は、前記動画の画像データから、複数の前記第２の画像データを取得する工程であって、前記第１の静止画像の前に表示されるべき静止画像を表す画像データと、前記第１の静止画像の後に表示されるべき静止画像を表す画像データと、を含む複数の画像データを、前記複数の第２の画像データとして取得する工程であり、
前記工程（e）は、前記複数の第２の画像データのいずれかの画素であって、かつ、複数の前記第２の静止画像を前記第１の静止画像に対してそれぞれ前記相対位置に配したときの１以上の前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある画素を、前記第２種の画素として、前記端部画素の画素値を計算する工程である、方法。
【請求項３】
請求項１または２に記載の画像処理方法であって、
前記工程（c）は、前記端部画素の画素値を計算する際に、さらに、
（f）前記端部画素の画素位置に最も近い位置にある、前記第１の画像データ中の第１の画素を決定する工程と、
（g）前記第２の画像データ中の画素であって、前記第２の静止画像中において前記第１の静止画像中の前記第１の画素に対応する第２の画素を暫定的に決定する工程と、
（h）前記第２の画素の前記第１の画素との対応に関する確信度が、所定の基準を下回る場合には、当該端部画素については、前記第２種の画素の画素値を使用せず、前記第１種の画素の画素値を使用して、画素値を計算する工程と、を備える、方法。
【請求項４】
画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理方法であって、
（a）原画像データを取得する工程と、
（b）前記原画像データが動画の画像データである場合に、
前記動画の画像データから、第１の静止画像を表す第１の画像データを取得し、
前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得し、
前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する工程と、
（c）前記原画像データが静止画像を表す画像データである場合に、生成すべき画像データであって前記第１の静止画像を表す画像データの画素である対象画素の画素値を計算する際に、前記原画像データ中の画素であって、前記対象画素の画素位置に対してあらかじめ定められた相対画素位置にある画素の画素値に基づいて、前記対象画素の画素値を計算する工程と、を備え、
前記工程（b）は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（b1）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定する工程と、
（b2）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算する工程と、を備える方法。
【請求項５】
動画の画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理装置であって、
（a）動画の画像データから、第１の静止画像を表す第１の画像データを取得する第１の画像データ取得部と、
（b）前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得する第２の画像データ取得部と、
（c）前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する画像データ生成部と、を備え、
前記画像データ生成部は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（d）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定し、
（e）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算することができる、装置。
【請求項６】
請求項５記載の画像処理装置であって、
前記第２の画像データ取得部は、
前記第１の静止画像の前に表示されるべき静止画像を表す画像データと、
前記第１の静止画像の後に表示されるべき静止画像を表す画像データと、
を含む複数の画像データを、複数の前記第２の画像データとして取得することができ、
前記画像データ生成部は、前記端部画素の画素値を計算する際に、前記複数の第２の画像データのいずれかの画素であって、かつ、複数の前記第２の静止画像を前記第１の静止画像に対してそれぞれ前記相対位置に配したときの１以上の前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある画素を、前記第２種の画素として、前記端部画素の画素値を計算することができる、装置。
【請求項７】
請求項５または６に記載の画像処理装置であって、
前記画像データ生成部は、前記端部画素の画素値を計算する際に、さらに、
（f）前記端部画素の画素位置に最も近い位置にある、前記第１の画像データ中の第１の画素を決定し、
（g）前記第２の画像データ中の画素であって、前記第２の静止画像中において前記第１の静止画像中の前記第１の画素に対応する第２の画素を暫定的に決定し、
（h）前記第２の画素の前記第１の画素との対応に関する確信度が、所定の基準を下回る場合には、当該端部画素については、前記第２種の画素の画素値を使用せず、前記第１種の画素の画素値を使用して、画素値を計算することができる、装置。
【請求項８】
画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理装置であって、
（a）原画像データを取得する原画像データ取得部と、
（b）前記原画像データが動画の画像データである場合に、
前記動画の画像データから、第１の静止画像を表す第１の画像データを取得し、
前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得し、
前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成することができる動画処理部と、
（c）前記原画像データが静止画像を表す画像データである場合には、生成すべき画像データであって前記第１の静止画像を表す画像データの画素である対象画素の画素値を計算する際に、前記原画像データ中の画素であって、前記対象画素の画素位置に対してあらかじめ定められた相対画素位置にある画素の画素値に基づいて、前記対象画素の画素値を計算する静止画処理部と、を備え、
前記動画処理部は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（b1）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定し、
（b2）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算することができる、装置。
【請求項９】
コンピュータにおいて実行され、動画の画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成することができるコンピュータプログラムであり、
（a）動画の画像データから、第１の静止画像を表す第１の画像データを取得する第１の機能と、
（b）前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得する第２の機能と、
（c）前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する第３の機能と、を前記コンピュータに実現させることができ、
前記第３の機能は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（d）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定する機能と、
（e）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算する機能と、を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データに基づいて解像度変換を行い、その動画よりも画素数が多い画像の画像データ、またはその画像データの画像よりも画素数が少ない画像の画像データを得る技術に関する。
【背景技術】
【０００２】
従来より、画素ごとの色を階調値で表す動画の画像データに基づいて、解像度変換を行い、静止画像の画像データを得る技術が存在する。たとえば、ある従来技術においては、まず、動画データからその動画データのフレーム画像と解像度が等しい静止画像の画像データを得て、その後、解像度変換を行う。その際、解像度変換後の画像を構成する画素の画素位置（以下、「新画素位置」という」）を算出した後に、画像中でその新画素位置に相当する位置の近傍にある原画像データの複数の画素の画素値を使用して、それらの重み付け和を計算し、その新画素位置の画素の画素値が決定される。
【０００３】
そのような態様においては、新画素位置が画像の端に位置する場合、本来、画素値を計算に使用されるべき原画像データの画素が、新画素位置の一方の側には存在しないことになる。このため、そのような場合には、たとえば、新画素位置の画素の画素値を計算に使用される画素値として、０が使用される。ＲＧＢ各色の画素値が０であるということは、黒色であることを表す。
【０００４】
しかし、そのような処理を行うことによって、解像度変換後の画像のうち、画像の端部の品質が低くなる。
【０００５】
【特許文献１】特開２００６−３４３９４９号公報
【特許文献２】特開２００２−５７８８８号公報
【特許文献３】特開２０００−３４９５３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、従来技術における上述の課題の少なくとも一部を取り扱うためのものであり、動画の画像データに基づいて、解像度が異なる静止画像の画像データを得る際に、画像の端部の品質が高い画像データを得ることを目的とする。
【課題を解決するための手段】
【０００７】
１．第１の態様：
上述の課題の少なくとも一部を解決するため、本発明では、一態様として、動画の画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理方法において、以下のような処理を行う。
【０００８】
（a）動画の画像データから、第１の静止画像を表す第１の画像データを取得する。
（b）前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得する。
（c）前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する。
前記工程（c）は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（d）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定する工程と、
（e）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算する工程と、を備える。
【０００９】
このような態様とすれば、第１の画像データのみに基づいて解像度の異なる第３の画像データを生成する態様に比べて、第１の画像の端近傍の部分の品質を高くすることができる。
【００１０】
なお、上記態様においては、すべての端部画素について、第１種の画素の画素値と第２種の画素の画素値とを使用して、画素値を計算する必要はない。すなわち、１以上の端部画素の画素値を計算する際に、第１種の画素と第２種の画素とを使用すればよい。
【００１１】
２．第２の態様：
第１の態様において、さらに、以下のような態様とすることが好ましい。
前記工程（b）は、前記動画の画像データから、複数の前記第２の画像データを取得する工程であって、前記第１の静止画像の前に表示されるべき静止画像を表す画像データと、前記第１の静止画像の後に表示されるべき静止画像を表す画像データと、を含む複数の画像データを、前記複数の第２の画像データとして取得する工程である。
前記工程（e）は、前記複数の第２の画像データのいずれかの画素であって、かつ、複数の前記第２の静止画像を前記第１の静止画像に対してそれぞれ前記相対位置に配したときの１以上の前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある画素を、前記第２種の画素として、前記端部画素の画素値を計算する工程である。
【００１２】
動画において第１の静止画像の前と後に表示される画像は、その相対位置が第１の静止画像に対して互いに逆の向きにずれている可能性が高い。このため、上記のような態様において、第１の静止画像を表す第１の画像データと、第１の静止画像の前と後に表示される画像をそれぞれ表す複数の第２の画像データと、に基づいて、第１の静止画像を表す第３の画像データを生成すれば、第１の静止画像の端に沿ったより広い範囲の端部画素について、画素値の質を高くできる可能性が高い。
【００１３】
３．第３の態様：
第１または第２の態様において、さらに、以下のような態様とすることが好ましい。
前記工程（c）は、前記端部画素の画素値を計算する際に、さらに、
（f）前記端部画素の画素位置に最も近い位置にある、前記第１の画像データ中の第１の画素を決定する工程と、
（g）前記第２の画像データ中の画素であって、前記第２の静止画像中において前記第１の静止画像中の前記第１の画素に対応する第２の画素を暫定的に決定する工程と、
（h）前記第２の画素の前記第１の画素との対応に関する確信度が、所定の基準を下回る場合には、当該端部画素については、前記第２種の画素の画素値を使用せず、前記第１種の画素の画素値を使用して、画素値を計算する工程と、を備える。
【００１４】
このような態様においては、第２の画像が第１の画像とはある程度以上異なった画像である場合には、第２の画像データを使用せずに、第１の画像データに基づいて第３の画像データが生成される。このため、端部画素の画素値の決定において、常に第２の画像データを使用する態様に比べて、第１の画像をより正確に表す第３の画像データを生成することができる。
【００１５】
４．第４の態様：
上述の課題の少なくとも一部を解決するため、本発明では、一態様として、画像データに基づいて前記画像データとは解像度が異なる静止画像の画像データを生成する画像処理方法において、以下のような処理を行うこともできる。
【００１６】
（a）原画像データを取得する。
（b）前記原画像データが動画の画像データである場合に、
前記動画の画像データから、第１の静止画像を表す第１の画像データを取得し、
前記動画の画像データから、前記第１の静止画像の前または後に表示されるべき第２の静止画像を表す第２の画像データを取得し、
前記第１と第２の画像データに基づいて、前記第１の画像データとは異なる解像度で前記第１の静止画像を表す第３の画像データを生成する。
（c）前記原画像データが静止画像を表す画像データである場合に、生成すべき画像データであって前記第１の静止画像を表す画像データの画素である対象画素の画素値を計算する際に、前記原画像データ中の画素であって、前記対象画素の画素位置に対してあらかじめ定められた相対画素位置にある画素の画素値に基づいて、前記対象画素の画素値を計算する。
【００１７】
前記工程（b）は、前記第３の画像データの生成において、前記第３の画像データにおいて前記第１の静止画像の端近傍の所定の範囲内に位置する端部画素の画素値を計算する際に、
（b1）前記第１の静止画像に対する前記第２の静止画像の相対位置を決定する工程と、
（b2）前記第１の画像データ中の画素であって、前記第１の静止画像中において、前記端部画素の画素位置に対してあらかじめ定められた２以上の相対画素位置のいずれかにある第１種の画素の画素値と、
前記第２の画像データ中の画素であって、前記第１の静止画像に対して前記相対位置に配したときの前記第２の静止画像中において、前記端部画素の画素位置に対して前記相対画素位置のいずれかにあり、前記第１の静止画像と重ならない位置にある第２種の画素の画素値と、に基づいて、前記端部画素の画素値を計算する工程と、を備える。
【００１８】
このような態様とすれば、静止画を表示する画像データに基づいて静止画を表示する画像データを生成する場合には、簡易な方法で画像データを生成することができる。また、動画を表示する画像データに基づいて静止画を表示する画像データを生成する場合には、第１の画像データのみに基づいて解像度の異なる第３の画像データを生成する態様に比べて、第１の画像の端近傍の部分の品質を高くすることができる。
【００１９】
なお、本発明は、以下に示すような種々の態様で実現することが可能である。
（１）画像生成方法、画像処理方法、画像データ生成方法。
（２）画像生成装置、画像処理装置、画像データ生成装置。
（３）上記の装置や方法を実現するためのコンピュータプログラム。
（４）上記の装置や方法を実現するためのコンピュータプログラムを記録した記録媒体。
（５）上記の装置や方法を実現するためのコンピュータプログラムを含み搬送波内に具現化されたデータ信号。
【発明を実施するための最良の形態】
【００２０】
Ａ．第１実施例：
Ａ１．装置構成：
図１は、第１実施例の画像処理装置の概略構成を示す説明図である。この画像処理装置は、画像データに対して所定の画像処理を行うパーソナルコンピュータ１００と、パーソナルコンピュータ１００に情報を入力する装置としてのキーボード１２０、マウス１３０および光学ディスクドライブ１４０と、情報を出力する装置としてのディスプレイ１１０およびプリンタ２２と、を備えている。コンピュータ１００は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４を備えている。ＲＡＭ１０４は、固定ディスクと半導体メモリとを含む。
【００２１】
コンピュータ１００では、所定のオペレーティングシステムの下で、アプリケーションプログラム９５が動作する。このアプリケーションプログラム９５が実行されることで、コンピュータ１００のＣＰＵ１０２は様々な機能を実現する。
【００２２】
アプリケーションプログラム９５が実行され、キーボード１２０やマウス１３０からユーザーの指示が入力されると、ＣＰＵ１０２は、光学ディスクドライブ１４０内のＤＶＤやＣＤ−Ｒ等の光学ディスクからメモリ内に静止画や動画の画像データを読み込む。ＣＰＵ１０２は、画像データに対して所定の画像処理を行って、ビデオドライバを介して画像をディスプレイ１１０に表示する。また、ＣＰＵ１０２は、画像処理を行った画像データを、プリンタドライバを介してプリンタ２２に印刷させることもできる。さらに、ＣＰＵ１０２は、キーボード１２０やマウス１３０を介したユーザの指示に従って、画像のレタッチや解像度変換などの処理を行うこともできる。
【００２３】
パーソナルコンピュータ１００は、アプリケーションプログラム９５のデータとして、ＲＡＭ１０４内に、フィルタ係数Ｃｆを保持している。「フィルタ係数」とは、画像データの垂直方向または水平方向の解像度変換に使用される係数であって、原画像データの垂直方向または水平方向の１画素区間内を等間隔にｄ個（ｄは２以上の整数）に区分する複数の位置にそれぞれ関連づけられた１以上の重み係数である。一組のフィルタ係数は、原画像データの垂直方向または水平方向（以下、「基準方向」という）に沿って並ぶ１以上の画素の画素値に掛けて、それらの重み付け和を計算することによって、新画像データの一つの画素の画素値を得るのに使用される。なお、画素の画素値は、画素の色の濃度や明るさの階調を表す値である。
【００２４】
Ａ２．フィルタ係数：
以下では、フィルタ係数の原理的な使用方法とともにフィルタ係数の構成を説明することによって、フィルタ係数がどのような使用方法を想定して最適化されたものであるかを説明する。
【００２５】
図２は、フィルタ係数の使用方法の例とともに、位置Ｐｐｃ８に対応づけられたフィルタ係数、および位置Ｐｐｃ１１に対応づけられたフィルタ係数を例として示す図である。図２の上段には、基準方向Ｄ１に沿って並ぶ原画像データとしての第１の画像データＰ１の画素位置Ｐｐ１を示す。第１の画像データＰ１は、外形が長方形の画像のデータである。基準方向Ｄ１は、ここでは、第１の画像データＰ１の画像の外形の長辺の方向とする。以下、第１の画像データＰ１の長方形の画像の長辺の方向を便宜的に「水平方向」と呼ぶ。これに対して、第１の画像データＰ１の長方形の画像の短辺の方向を便宜的に「垂直方向」と呼ぶ。図２の例において、第１の画像データＰ１は、水平方向の幅が７２０画素の画像データである。
【００２６】
第１の画像データＰ１の画素位置Ｐｐ１の下には、新画像データとしての第３の画像データＰ３の画素位置Ｐｐ３を示す。画素位置Ｐｐ３は、第３の画像データＰ３において、基準方向Ｄ１対応する方向Ｄ３に沿って並ぶ。第３の画像データＰ３は、第１の画像データＰ１を基準方向Ｄ１に沿って解像度変換して得られる画像データである。したがって、第３の画像データＰ３も、外形が長方形の画像のデータである。以下、第３の画像データＰ３の画像において第１の画像データＰ１の「水平方向」に対応する方向を、便宜的に第３の画像データＰ３の画像の「水平方向」と呼ぶ。図２の例において、第３の画像データＰ３は、水平方向Ｄ３の幅が１０２４画素の画像データである。すなわち、第３の画像データＰ３の画像は、基準方向としての水平方向について第１の画像データＰ１の画像を拡大して得られる画像である。
【００２７】
図２の上段において、それぞれ中に数字が付された丸が、画素の中心位置（本明細書において「画素位置」という」）を示す。図２の上段に示される０〜４の各画素位置に位置する第１の画像データＰ１の画素を画素Ｐｘ１０〜Ｐｘ１４と表記する。第１の画像データＰ１の画素位置Ｐｐ１の下に示される０〜５の各画素位置に位置する第３の画像データＰ３の画素を画素Ｐｘ３０〜Ｐｘ３５と表記する。
【００２８】
図２の例において、互いに対応する水平方向Ｄ１，Ｄ３の画素数は、第１の画像データＰ１に比べて第３の画像データＰ３の方が多い。このため、同じ画像を表す場合には、図２に示すように、第３の画像データＰ３の画素位置Ｐｐ３の間隔の方が、第１の画像データＰ１の画素位置Ｐｐ１の間隔よりも短くなる。たとえば、第１の画像データＰ１の画素位置の間隔を「１」とすると、第３の画像データＰ３の画素位置の間隔は、「７２０／１０２４＝０．７０３１２５」である。よって、第３の画像データＰ３の各画素Ｐｘ３０，Ｐｘ３１，Ｐｘ３２，Ｐｘ３３，．．．の画素位置は、順に、０，０．７０３１２５，１．４０６２５，２．１０９３７５．．．等となる（図２の上段参照）。
【００２９】
図２の中段には、フィルタ係数が保持される位置Ｐｐｃ１〜Ｐｐｃ１５が示されている。図２の例において、位置Ｐｐｃ０とＰｐｃ１６は、原画像データの隣接する二つの画素の画素位置に一致する。フィルタ係数が保持される位置Ｐｐｃ１〜Ｐｐｃ１５は、原画像データの隣接する二つの画素位置に挟まれた区間に相当する区間を１６等分する位置である。すなわち、本実施例においては、ｄ＝１６である。区間の左端の位置を「０」とし、右端の位置を「１」としたときの、位置Ｐｐｃ０〜Ｐｐｃ１６の位置を表す値０，０．０６２５，．．．〜０．９３７５，１を図２の中段に示している。
【００３０】
図２の例においては、位置Ｐｐｃ１〜Ｐｐｃ１５には、それぞれ８個づつのフィルタ係数が関連づけられている。位置Ｐｐｃｉ（ｉ＝１〜１５）に対応づけられた８個のフィルタ係数を［Ｃｉａ，Ｃｉｂ，Ｃｉｃ，Ｃｉｄ，Ｃｉｅ，Ｃｉｆ，Ｃｉｇ，Ｃｉｈ］と表記する（ｉ＝１〜１５）。たとえば、位置Ｐｐｃ８には、フィルタ係数［Ｃ８ａ，Ｃ８ｂ，Ｃ８ｃ，Ｃ８ｄ，Ｃ８ｅ，Ｃ８ｆ，Ｃ８ｇ，Ｃ８ｈ］が関連づけられている。
【００３１】
たとえば、第１の画像データＰ１を基準方向Ｄ１について解像度変換して第３の画像データＰ３を得る際、第３の画像データＰ３において、左端の画素Ｐｘ３０の画素値Ｖ３０は、第１の画像データＰ１の左端の画素Ｐｘ１０の画素値Ｖ１０と同じ値とすることができる。第３の画像データＰ３の画素位置であって、第１の画像データＰ１の画素位置で表したときにその値が整数となるような画素位置の画素についても、同様である。
【００３２】
また、たとえば、第３の画像データＰ３の画素Ｐｘ３５の画素値Ｖ３５を計算する際には、位置Ｐｐｃ０〜Ｐｐｃ１６のうち、画素Ｐｘ３５の画素位置（３．５１５６２５）の小数部分（０．５１５６２５）に最も近い位置が選択される（図２において二点鎖線で示す区間の対応関係参照）。図２の例ではＰｐｃ８（０．５）である。そして、画素Ｐｘ３５の左側で画素Ｐｘ３５の画素位置に最も近い４個の第１の画像データの画素Ｐｘ１０，Ｐｘ１１，Ｐｘ１２，Ｐｘ１３、および右側で最も近い４個の第１の画像データの画素Ｐｘ１４，Ｐｘ１５，Ｐｘ１６，Ｐｘ１７の画素値を使用して、画素Ｐｘ３５の画素値を計算することができる。図２の下段において、各フィルタ係数Ｃ８ａ，Ｃ８ｂ，Ｃ８ｃ，Ｃ８ｄ，Ｃ８ｅ，Ｃ８ｆ，Ｃ８ｇ，Ｃ８ｈが重みとして掛けられる画素値およびその画素を、各係数の下に示す。なお、技術の理解を容易にするため、図２の上段において、画素Ｐｘ１５，Ｐｘ１６，Ｐｘ１７は図示していない。
【００３３】
すなわち、第３の画像データＰ３の画素Ｐｘ３ｋ（ｋは、０以上Ｎｐ３以下の整数。Ｎｐ３は、第３の画像データの方向Ｄ３に沿った画素数）の画素値Ｖ３ｋ（ｋは、０以上Ｎｐ３以下の整数）を計算する際には、まず、位置Ｐｐｃ０〜Ｐｐｃ１６のうち、第１の画像データの画素位置で表現したときの画素Ｐｘ３ｋの画素位置の小数部分に最も近い位置のフィルタ係数が選択される。選択されたフィルタ係数を、［Ｃｓｋａ，Ｃｓｋｂ，Ｃｓｋｃ，Ｃｓｋｄ，Ｃｓｋｅ，Ｃｓｋｆ，Ｃｓｋｇ，Ｃｓｋｈ］と表記する（ｋは、０以上Ｎｐ３以下の整数）。このとき、画素Ｐｘ３ｋの画素値Ｖ３ｋは以下の式（１）にしたがって計算される。
【００３４】
Ｖ３ｋ＝（Ｃｓｋａ）×Ｖ１ａ＋（Ｃｓｋｂ）×Ｖ１ｂ＋（Ｃｓｋｃ）×Ｖ１ｃ＋（Ｃｓｋｄ）×Ｖ１ｄ＋（Ｃｓｋｅ）×Ｖ１ｅ＋（Ｃｓｋｆ）×Ｖ１ｆ＋（Ｃｓｋｇ）×Ｖ１ｇ＋（Ｃｓｋｈ）×Ｖ１ｈ  ・・・  （１）
Ｖ１ａ：画素Ｐｘ３ｋの左側で４番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘａの画素値。
Ｖ１ｂ：画素Ｐｘ３ｋの左側で３番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｂの画素値。
Ｖ１ｃ：画素Ｐｘ３ｋの左側で２番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｃの画素値。
Ｖ１ｄ：画素Ｐｘ３ｋの左側で最も画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｄの画素値。
Ｖ１ｅ：画素Ｐｘ３ｋの右側で最も画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｅの画素値。
Ｖ１ｆ：画素Ｐｘ３ｋの右側で２番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｆの画素値。
Ｖ１ｇ：画素Ｐｘ３ｋの右側で３番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｇの画素値。
Ｖ１ｈ：画素Ｐｘ３ｋの右側で４番目に画素Ｐｘ３ｋに近い位置にある第１の画像データの画素Ｐｘｈの画素値。
【００３５】
すなわち、画素Ｐｘ３ｋの画素値Ｖ３ｋは、第３の画像データＰ３の各画素位置と第１の画像データＰ１の各画素位置とを重ねたときに、画素Ｐｘ３ｋの画素位置に対してあらかじめ定められた相対画素位置（ここでは、基準方向Ｄ１の一方の側において１番目から４番目に近い画素位置と、基準方向Ｄ１の他方の側において１番目から４番目に近い画素位置）にある、第１の画像データＰ１の画素の画素値を使用して、計算される。より具体的には、フィルタ係数によって、それらの画素位置にある画素の画素値の重み付け和を計算することによって、画素Ｐｘ３ｋの画素値Ｖ３ｋが得られる。
【００３６】
なお、第３の画像データＰ３の画素Ｐｘ３ｋが画像の端の近傍にあり、画素Ｐｘａ〜Ｐｘｈのいずれか（Ｐｘ０とする）が第１の画像データ中に存在しない場合には、以下のような処理が行われる。すなわち、画素Ｐｘａ〜Ｐｘｈの画素で存在するもののうちでＰｘ０の位置に最も近い位置の画素の画素値が、画素Ｐｘ０の画素値として使用される。
【００３７】
たとえば、第３の画像データＰ３において、左端から２番目に位置する画素Ｐｘ３１の画素値Ｖ３１を計算する際には、位置Ｐｐｃ０〜Ｐｐｃ１６のうち、画素Ｐｘ３１の画素位置（０．７０３１２５）の小数部分（０．７０３１２５）に最も近い位置Ｐｐｃ１１（０．６８７５）が選択される（図２において一点鎖線で示す区間の対応関係参照）。そして、画素Ｐｘ３１の左側で最も近い第１の画像データの画素Ｐｘ１０、および右側で最も近い第１の画像データの４個の画素Ｐｘ１１，Ｐｘ１２，Ｐｘ１３，Ｐｘ１４の画素値を使用して、画素値が計算される。画素Ｐｘ３１の左側の画素が一つしか使用されないのは、画素Ｐｘ１０の左側には画素は画素Ｐｘ１０しか存在しないためである。存在しない画素の画素値については、この場合、Ｖ１０として処理が行われる。なお、画素値を０として処理が行われることもある。図２の下段において、各フィルタ係数Ｃ１１ａ，Ｃ１１ｂ，Ｃ１１ｃ，Ｃ１１ｄ，Ｃ１１ｅ，Ｃ１１ｆ，Ｃ１１ｇ，Ｃ１１ｈが重みとして掛けられる画素値およびその画素を、各係数の下に示す。
【００３８】
また、上述のように、新画像データとしての第３の画像データＰ３の画素位置であって、原画像データとしての第１の画像データＰ１の画素位置で表したときにその値が整数となるような画素位置の画素については、対応する画素位置にある原画像データの画素の画素値がそのまま使用される。新画像データの画素位置とちょうど一致する原画像データの画素が存在するためである。
【００３９】
なお、新画像データとしての第３の画像データＰ３の画素位置であって、原画像データとしての第１の画像データＰ１の画素位置で表したときにその値が整数となるような画素位置についても、フィルタ係数を保持し、そのフィルタ係数を使用して画素値を定める態様とすることもできる。そのような態様においては、そのフィルタ係数の組は、新画像データのその画素位置の画素値が、対応する画素位置にある原画像データの画素の画素値に近い値となるように定められることが好ましい。そして、フィルタ係数の組は、新画像データのその画素位置の画素値が、対応する画素位置にある原画像データの画素の画素値と等しくなるように定められることがより好ましい。
【００４０】
そして、新画像データとしての第３の画像データＰ３の画素位置であって、原画像データとしての第１の画像データＰ１の画素位置で表したときにその小数部分に最も近い位置が位置Ｐｐｃ０またはＰｐｃ１６（すなわち、１画素区間の両端）である画素位置の画素についても、その位置にある原画像データの画素の画素値がそのまま使用される。
【００４１】
なお、フィルタ係数は、基準方向に沿って画像を拡大または縮小するために使用される。このため、基準方向に垂直な方向については上記の処理後も画素数は維持される。よって、基準方向について上記の処理を行った後に、基準方向に垂直な方向についても同様な処理を行うことにより、縦横の比率を維持した状態で画像の拡大または縮小を行うことができる。
【００４２】
フィルタ係数は、一例として以上で説明したように使用される。このようなフィルタ係数を使用して、新たに生成する画像データの画素値を計算することによって、新たに生成する画像データの各画素位置に基づいて毎回、計算により補間を行う態様に比べて、解像度変換に要する負荷を低減することができる。
【００４３】
以上で説明した各位置Ｐｐｃ１〜Ｐｐｃ１５にそれぞれ対応づけられた［Ｃｉａ，Ｃｉｂ，Ｃｉｃ，Ｃｉｄ，Ｃｉｅ，Ｃｉｆ，Ｃｉｇ，Ｃｉｈ］（ｉ＝１〜１５）の集合を、本実施例において「フィルタ係数Ｃｆ」と呼ぶ。パーソナルコンピュータ１００は、アプリケーションプログラム９５のデータとして、ＲＡＭ１０４内に、フィルタ係数Ｃｆを保持している。
【００４４】
Ａ３．画像データを解像度変換するための全体の手順：
図３は、第１実施例において画像データを解像度変換する手順を示すフローチャートである。アプリケーションプログラム９５が実行され、キーボード１２０やマウス１３０からユーザーの指示が入力されると、ＣＰＵ１０２は、まず、ステップＳ１０で、光学ディスクドライブ１４０内のＤＶＤやＣＤ−Ｒ等の光学ディスクからメモリ内に動画データを読み込む。この動画データの１フレームの画像の基準方向Ｄ１（水平方向）の画素数Ｎｐ１は、ここでは７２０であるものとする。なお、Ｎｐ１は、任意の正の整数を取りうる。
【００４５】
ステップＳ２０では、ＣＰＵ１０２は、動画データの動画のシーンのうち、静止画像を生成すべきシーンの指示を、ユーザから受け取る。シーンの指示は、たとえば、ＣＰＵ１０２がディスプレイ１１０に動画を再生している間に、ユーザが好ましいシーンのタイミングで所定の操作を行うによって行われる。所定の操作は、たとえば、ディスプレイ１１０上に動画とともに表示されている所定のボタンを、マウス１３０を操作することによってユーザが押すことである。
【００４６】
ステップＳ３０では、ＣＰＵ１０２は、ユーザから指示されたシーンの静止画像を表す第１の画像データＰ１を生成する。第１の画像データＰ１は、動画データのフレーム画像のデータに基づいて生成される。第１の画像データＰ１が表す静止画像を「第１の静止画像Ｐｓ１」と呼ぶ。第１の画像データの基準方向Ｄ１（水平方向）の画素数は、動画データのフレーム画像の画素数と等しいＮｐ１（ここでは、７２０）である。なお、ステップＳ３０の機能を実現するＣＰＵ１０２の機能部を、「第１の画像データ取得部１０２ａ」として図１に示す。
【００４７】
ステップＳ４０では、ＣＰＵ１０２は、ユーザから指示されたシーンのフレームの直前のフレームのデータに基づいて、静止画像を表す第２の画像データＰ２を生成する。第２の画像データＰ２が表す静止画像を「第２の静止画像Ｐｓ２」と呼ぶ。第２の画像データＰ２の基準方向Ｄ２（水平方向）の画素数も、動画データのフレーム画像の画素数と等しいＮｐ１（ここでは、７２０）である。なお、ステップＳ４０の機能を実現するＣＰＵ１０２の機能部を、「第２の画像データ取得部１０２ｂ」として図１に示す。
【００４８】
ステップＳ５０で、ＣＰＵ１０２は、ユーザから、生成すべき画像データであって静止画像を表す第３の画像データＰ３の水平方向の画素数Ｎｐ３（Ｎｐ３は正の整数）に関する情報を受け取る。たとえば、ＣＰＵ１０２は、アプリケーションプログラム９５の解像度変換の操作画面を通じて、第１の画像データの基準方向Ｄ１に対応する方向に沿った第３の画像データの画素数Ｎｐ３を受け取ることができる。ここでは、Ｎｐ３＝１０２４であるものとする。なお、Ｎｐ３は、任意の正の整数を取りうる。
【００４９】
なお、ＣＰＵ１０２は、ユーザから第３の画像データの画素数Ｎｐ３を直接入力されることもでき、解像度変換の倍率Ｍ＝（Ｎｐ３／Ｎｐ１）の形で、第３の画像データの水平方向の画素数Ｎｐ３に関する情報をユーザから受け取ることもできる。その場合には、ＣＰＵ１０２は、Ｎｐ３＝Ｍ×Ｎｐ１から第２の画像データの水平方向の画素数Ｎｐ３を得ることができる。
【００５０】
ステップＳ６０では、ＣＰＵ１０２は、基準方向Ｄ１に沿った画素数がＮｐ１（ここでは７２０）である第１の画像データと第２の画像データと、に基づいて、基準方向Ｄ１に対応する方向Ｄ３に沿った画素数がＮｐ３（ここでは１０２４）である第３の画像データを生成する。なお、ステップＳ６０の機能を実現するＣＰＵ１０２の機能部を、「画像データ生成部１０２ｃ」として図１に示す。
【００５１】
図４は、図３のステップＳ６０において第３の画像データを生成する処理の内容を示すフローチャートである。なお、図４のフローチャートにおいて、各画素の画素値の決定以外の処理は、技術の理解を容易にするために省略している。
【００５２】
ステップＳ１１０では、ＣＰＵ１０２は、第１の画像データＰ１の第１の静止画像Ｐｓ１に対する第２の画像データＰ２の第２の静止画像Ｐｓ２の動きを検出する。すなわち、第１の静止画像Ｐｓ１に対する第２の静止画像Ｐｓ２の相対位置を決定する。たとえば、第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２とのパターンマッチングを行うことにより、第１の静止画像Ｐｓ１に対する第２の静止画像Ｐｓ２の相対位置は、特定することができる。
【００５３】
なお、第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２は、動画において表示されるべき画像であるため、両者は相対的に位置をずらして配したとしても、厳密に重なるわけではない。しかし、第２の静止画像Ｐｓ２は、第１の静止画像Ｐｓ１の直前に表示されるべき画像である。このため、第２の静止画像Ｐｓ２の内容が第１の静止画像Ｐｓ１の内容と大きく異なる可能性は低い。よって、パターンマッチングなどにより、第１の静止画像Ｐｓ１に対する第２の静止画像Ｐｓ２の相対位置を決定することができる。
【００５４】
図５は、第１の画像データＰ１の第１の静止画像Ｐｓ１に対する第２の画像データＰ２の第２の静止画像Ｐｓ２の動きを表すベクトルＶｍを示す図である。図５の上段に、第１の画像データＰ１の第１の静止画像Ｐｓ１を示し、図５の下段に、第２の画像データＰ２の第２の静止画像Ｐｓ２を示す。また、第１の静止画像Ｐｓ１と重ねて、第２の静止画像Ｐｓ２の相対位置を一点鎖線で示す。
【００５５】
第１の画像データＰ１の第１の静止画像Ｐｓ１と第２の画像データＰ２の第２の静止画像Ｐｓ２とは、いずれも画像の左側に「８」の字が描かれている画像である。そして、第２の静止画像Ｐｓ２は、第１の静止画像Ｐｓ１に対して図の左下方向にずれている画像である。第２の静止画像Ｐｓ２は、第１の静止画像Ｐｓ１の直前に表示される画像であるから、動画データにおいて、画面は右上方向に動いている。なお、技術の理解を容易にするために、図５において、「８」の字は、第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２の外輪郭の範囲を超えて描かれている。
【００５６】
第１の静止画像Ｐｓ１に対する第２の静止画像Ｐｓ２の動きを表すベクトルＶｍは、第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２をその相対位置にしたがって重ねて配したときの、たとえば、第１の静止画像Ｐｓ１の左上角から第２の静止画像Ｐｓ２の左上角に向かうベクトルとして表すことができる（図５の上段参照）。動きベクトルＶｍは、水平方向の動きの量ｄｘと、垂直方向の動きの量ｄｙと、の組み合わせで表すことができる。なお、ｄｘは、図５において右向きを正の向きとし、ｄｙは、図５において下向きを正の向きとする。
【００５７】
図４のステップＳ１２０では、第３の画像データの画素であって、画素値を計算する対象である画素（以下、「対象画素Ｐｘｔ」という）を決定する。第３の画像データの生成において画素の画素値を決定する順番は、たとえば、左上角の画素から開始し、１行内の画素については左端から右端に向かう順番で順に画素値を決定し、右端の画素の次には１行下の左端の画素の画素値を決定する、という順番とすることができる。
【００５８】
ステップＳ１３０では、ステップＳ１２０で決定された対象画素Ｐｘｔの画素値の計算に使用される第１の画像データの画素を決定する。ここでは、上記Ａ２で説明したように、対象画素Ｐｘｔの画素位置に対して基準方向Ｄ１（水平方向）に沿って最も近い両側４個ずつの画素が、第３の画像データＰ３の画素の画素値を計算する際に使用される画素である。ステップＳ１３０では、第１の画像データの画素であって、かつ、第３の画像データＰ３の各画素位置と第１の画像データＰ１の各画素位置とを重ねたときに、そのようなあらかじめ定められた相対画素位置にある画素が、選択される。
【００５９】
ステップＳ１３５では、第３の画像データＰ３の画素の画素値を計算する際に使用されるべき画素が、すべて第１の画像データの画素に含まれるか否かを判定する。本実施例では、対象画素Ｐｘｔの画素位置に最も近い左右４個ずつの画素が、すべて第１の画像データの画素の中に存在するか否かが判定される。第３の画像データＰ３の画素の画素値を計算する際に使用される画素がすべて第１の画像データの画素に含まれる場合には、処理は、ステップＳ１８０に進む。そうではない場合は、処理はステップＳ１４０に進む。
【００６０】
ステップＳ１８０では、ステップＳ１３０で選択した第１の画像データの画素の画素値に基づいて、フィルタ係数を使用して、対象画素の画素値を決定する。具体的には、たとえば、上記Ａ２で説明したように、式（１）に沿って第１の画像データの画素の画素値に対してフィルタ係数を適用して、第３の画像データの画素値を決定する。
【００６１】
ステップＳ１３５において、第３の画像データＰ３の画素の画素値を計算する際に使用される画素がすべて第１の画像データの画素に含まれるわけではないと判定された場合には（ステップＳ１３５：Ｎｏ）、処理はステップＳ１４０に進む。ステップＳ１３５の判定結果がＮｏとなる場合とは、対象画素が静止画像Ｐｓ１において、方向Ｄ３の端に位置し、方向Ｄ３に沿った一方の側に十分な数の第１の画像データの画素が存在しない場合である。本実施例では、対象画素Ｐｘｔの画素位置に隣接する４個ずつの原画像データの画素が、対象画素Ｐｘｔの画素値の計算に使用される（図２参照）。このため、静止画像Ｐｓ１において、原画像データの端から４画素目の画素位置（画素の中心位置）よりも外側に、対象画素Ｐｘｔの画素位置が位置する場合に、ステップＳ１３５の判定結果はＮｏとなる。
【００６２】
図６は、図５の上段の第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２とを重ねて示した図の一部を拡大した図である。図６においては、第１の静止画像Ｐｓ１を構成する画素の一部と、第２の静止画像Ｐｓ２を構成する画素の一部と、第１の静止画像Ｐｓ１および第２の静止画像Ｐｓ２において描かれる「８」の字のアーチの一部と、が拡大して示されている。ハッチを付して示す部分が、第１の静止画像Ｐｓ１において、「８」の字の一部として黒く表示される部分である。第１の静止画像Ｐｓ１および第２の静止画像Ｐｓ２において、「８」の文字以外の地の部分は白であるものとする。なお、図２では、各画素位置（画素の中心位置）を丸で示したのに対して、図６では、各画素自体を四角のマスで示している。
【００６３】
たとえば、図５および図６に示す第１の静止画像Ｐｓ１おいて、対象画素Ｐｘｔに対応する位置がＰｔである。対象画素Ｐｘｔは、第１の静止画像Ｐｓ１の左端に位置する。このため、対象画素Ｐｘｔの画素値を計算する際に使用される基準方向に隣接する両側４個ずつの画素Ｐｘａ〜Ｐｘｈのうち、位置Ｐｔの右側に中心位置がある画素Ｐｘｅ〜Ｐｘｈは存在するが、位置Ｐｔの左側に中心位置がある画素Ｐｘａ〜Ｐｘｄは存在しない。このような場合には、ステップＳ１３５において、判定結果はＮｏとされ、処理は、ステップＳ１４０にすすむ。
【００６４】
なお、図５および図６において、対象画素Ｐｘｔの画素値を計算する際にその画素値を使用すべき画素であって、第１の画像データＰ１に含まれる画素が存在する範囲をＡｒｐで示す。そして、対象画素Ｐｘｔの画素値を計算する際にその画素値を使用すべき画素であって、第１の画像データＰ１に含まれない画素が存在する範囲をＡｉｐで示す。また、範囲Ａｒｐ，Ａｉｐを含む、対象画素Ｐｘｔの画素値を計算する際にその画素値を使用すべき第１の画像データの画素の範囲をＡｐで示す。この範囲Ａｐが、第１の画素Ｐｘｒ１の近傍のあらかじめ定められた範囲であって、対象画素Ｐｘｔの画素値を計算する際にその画素値を使用すべき第１の画像データの画素の範囲である。そして、範囲Ａｐは、第２の画素Ｐｘｒ２の近傍のあらかじめ定められた範囲であって、対象画素Ｐｘｔの画素値を計算する際にその画素値を使用すべき第２の画像データの画素の範囲でもある。第１の画素Ｐｘｒ１、第２の画素Ｐｘｒ２については、後に説明する。
【００６５】
さらに、ステップＳ１３５において判定結果がＮｏとなる対象画素Ｐｘｔの画素位置の範囲を、Ａｅで示す。基準方向Ｄ１に沿って、対象画素Ｐｘｔの画素位置から、対象画素Ｐｘｔの画素値の計算に使用される最も遠い画素の画素位置までの距離をＬとすると（Ｌの単位は原画像データの画素の幅）、範囲Ａｅの幅Ｗａｅは、（Ｌ−０．５）である。第３の画像データＰ３のすべての画素が、順に、ステップＳ１２０で「対象画素」として選択される。しかし、ステップＳ１４０〜Ｓ１７０の処理が行われ得るのは、第３の画像データＰ３の画素のうち、範囲Ａｅに含まれる画素である。これらの画素を、本明細書において「端部画素」ということがある。
【００６６】
ステップＳ１４０では、ＣＰＵ１０２は、第１の画像データの画素のうち、対象画素Ｐｘｔに最も近い位置にある画素を第１の画素Ｐｘｒ１として決定する。すなわち、第１の画素Ｐｘｒ１は、「第１の静止画像Ｐｓの端の近傍の範囲Ａｅ内にある対象画素Ｐｘｔ」の画素位置に最も近い位置にある第１の画像データの画素である。なお、第１の画素Ｐｘｒ１は、ステップＳ１３０で選択される画素に含まれる。図６の例では、第１の画素Ｐｘｒ１は、対象画素Ｐｘｔの画素値の計算に使用される画素Ｐｘｅである。
【００６７】
ステップＳ１５０では、ＣＰＵ１０２は、第１の画像データＰ１の第１の画素Ｐｘｒ１に対応する、第２の画像データＰ２の第２の画素Ｐｘｒ２を暫定的に決定する。第２の画素Ｐｘｒ２として暫定的に決定される画素の第２の静止画像における番地は、画像上、第１の画素Ｐｘｒ１の番地を基準として、動きベクトルＶｍ（ｄｘ，ｄｙ）だけ移動した番地である。なお、画素の「番地」は、たとえば、左上角の画素を基準点（０，０）とし、ｘをその画素が位置する行、ｙをその画素が位置する列としたとき、（ｘ，ｙ）で特定することができる。第１の画素Ｐｘｒ１の番地を（ｘ０，ｙ０）とすると、暫定的に決定される画素の第２の静止画像における番地は、（ｘ０＋ｄｘ，ｙ０＋ｄｘ）である。
【００６８】
ステップＳ１５５では、ＣＰＵ１０２は、第２の画素Ｐｘｒ２として暫定的に決定される画素の、第１の画素Ｐｘｒ１との対応に関する「確信度」を計算する。そして、その確信度が所定の基準以上の信頼性を示しているか否かを判定する。信頼性が所定の基準以上である場合には、暫定的に選択された画素を正式に第２の画素Ｐｘｒ２とし、処理は、ステップＳ１６０に進む。信頼性が所定の基準を下回る場合には、処理は、ステップＳ１８０に進む。
【００６９】
たとえば、第１の画像データＰ１において第１の画素Ｐｘｒ１および第１の画素Ｐｘｒ１の上下左右に隣接する画素の輝度と、第２の画像データＰ２において暫定的に選択された第２の画素Ｐｘｒ２および第２の画素Ｐｘｒ２の上下左右に隣接する画素の輝度と、について、それぞれ対応する位置関係にある画素の輝度の差を計算する。そして、それらの差の絶対値の和を「確信度」とすることができる。そして、そのようにして得られた「確信度」が所定のしきい値よりも小さいときに、確信度が所定の基準以上の信頼性を示していると判断することができる。
【００７０】
このような処理を行うことにより、第２の静止画像の内容が第１の静止画像の内容と大きく異なる場合には、第２の画像データを考慮せずに、第３の画像データを生成することができる。このため、第２の静止画像の内容が第１の静止画像の内容と大きく異なる場合に、第２の画像データによって、第３の画像データの画像の品質が低下することがない。
【００７１】
なお、ステップＳ１５０において、第２の画素Ｐｘｒ２を暫定的に選択できなかった場合にも、処理は、ステップＳ１５５を経てステップＳ１８０に進む。
【００７２】
いったんステップＳ１３５で、Ｎｏと判定された後に、ステップＳ１８０の処理を行う場合には、第３の画像データＰ３の画素の画素値を計算する際に使用される画素が、すべて第１の画像データの画素に含まれるわけではない。そのような場合には、上記Ａ２で説明したように、画素Ｐｘａ〜Ｐｘｈの画素で存在するもののうちで存在しない画素Ｐｘ０の位置に最も近い位置の画素の画素値が、画素Ｐｘ０の画素値として式（１）において使用される。
【００７３】
図４のステップＳ１６０では、第２の画像データの画素のうち、対象画素Ｐｘｔの画素値の計算に使用される画素が決定される。ここでは、第２の画像データの画素であり、第２の画像データＰ２の各画素位置と第１の画像データＰ１の各画素位置とを重ねたときに、対象画素Ｐｘｔの画素位置に対してあらかじめ定められた相対画素位置（方向Ｄ２に沿って対象画素Ｐｘｔの両側に隣接する８個の画素位置）であって、さらに、第１の静止画像Ｐｓ１と重ならない位置にある画素が選択される。
【００７４】
図６において、第３の画像データＰ３の対象画素Ｐｘｔは、第１の画像データＰ１の画素であって対象画素Ｐｘｔに最も近い位置にある第１の画素Ｐｘｒ１内に含まれる位置にある。第２の画像データＰ２の第２の画素Ｐｘｒ２は、第１の画像データＰ１の第１の画素Ｐｘｒ１と重なる位置にある。
【００７５】
対象画素Ｐｘｔの画素値を計算するために使用される画素として、図４のステップＳ１３０で選択される第１の画像データＰ１の画素は、図６の例では、対象画素Ｐｘｔの右側に位置する画素Ｐｘｅ，Ｐｘｆ，Ｐｘｇ，Ｐｘｈである。これらの画素を、本明細書において「第１種の画素」と呼ぶことがある。これらの画素が存在する範囲をＡｒｐで示している。
【００７６】
一方、対象画素Ｐｘｔの画素を計算するために使用される画素として、図４のステップＳ１６０で選択される第２の画像データＰ２の画素は、図６の例では、対象画素Ｐｘｔの左側に位置する画素Ｐｘａ，Ｐｘｂ，Ｐｘｃ，Ｐｘｄである。これらの画素を、本明細書において「第２種の画素」と呼ぶことがある。これらの画素が存在する範囲をＡｉｐで示している。画素Ｐｘａ，Ｐｘｂ，Ｐｘｃ，Ｐｘｄは、第２の静止画像Ｐｓ２に含まれ、第１の静止画像Ｐｓ１に含まれない画素である。
【００７７】
なお、図６の例では、「第１種の画素」と「第２種の画素」は同数の４個ずつである。しかし、「第１種の画素」と「第２種の画素」の数は、対象画素の位置によって、様々な値を取りうる。すなわち、「第１種の画素」と「第２種の画素」は、フィルタ係数が適用されるあらかじめ定められた複数の相対位置のうちのいずれかに該当する画素を、それぞれ１以上含む。
【００７８】
図４のステップＳ１６５では、対象画素Ｐｘｔの画素値を計算するために使用されるべき画素が、ステップＳ１６０で選択されたか否かが判定される。対象画素Ｐｘｔの画素値を計算するために使用されるべき画素が、ステップＳ１６０で選択された場合には（ステップＳ１６５：Ｙｅｓ）、処理は、ステップＳ１７０に進む。そうではない場合には（ステップＳ１６５：Ｎｏ）、処理は、ステップＳ１８０に進む。
【００７９】
対象画素Ｐｘｔの画素値を計算するために使用されるべき画素が、ステップＳ１３０とステップＳ１６０において、選択されない場合（ステップＳ１６５：Ｎｏ）とは、たとえば、第２の静止画像Ｐｓ２が、第１の静止画像Ｐｓ１に対してまったく動いておらず、第１の画像データＰ１が保持していない新たな画素を第２の画像データＰ２が提供できない場合がある。また、動きベクトルＶｍの向きが、対象画素Ｐｘｔがその近傍に存在する、第１の静止画像Ｐｓ１の端Ｅｔをはみ出す向きではない場合（たとえば、図５、図６の例において、動きベクトルＶｍの向きが右向きである場合）も、ステップＳ１６５の判定結果はＮｏとなる。
【００８０】
ステップＳ１７０では、ＣＰＵ１０２は、ステップＳ１３０およびステップＳ１６０で選択された画素と、対象画素Ｐｘｔの画素位置Ｐｔに応じて定められるフィルタ係数と、を使用して、対象画素Ｐｘｔの画素値を計算する。なお、使用されるフィルタ係数は、より具体的には、位置Ｐｐｃｉ（ｉ＝１〜１５）のうちの、対象画素Ｐｘｔの画素位置Ｐｔを第１の画像データの画素位置で表したときの値の小数部分に最も近い位置に対応づけられたフィルタ係数である。
【００８１】
なお、第３の画像データＰ３の画素位置であって、第１の画像データＰ１の画素位置で表したときにその値が整数となるような画素位置の画素については、上記Ａ２の処理と同様の処理が行われる。そして、第３の画像データＰ３の画素位置であって、第１の画像データＰ１の画素位置で表したときにその小数部分に最も近い位置が位置Ｐｐｃ０またはＰｐｃ１６（すなわち、１画素区間の両端）である画素位置の画素についても、上記Ａ２の処理と同様の処理が行われる。
【００８２】
ステップＳ１８５では、第３の画像データＰ３のすべての画素について画素値の計算を終了したか否かを判定する。まだ、第３の画像データＰ３のすべての画素について画素値の計算を終了していない場合には、処理はステップＳ１２０に戻る。そして、ステップＳ１２０で新たな対象画素Ｐｘｔが選択され、新たな対象画素ＰｘｔについてステップＳ１３０以下の処理が行われる。一方、ステップＳ１８５において、第３の画像データＰ３のすべての画素について画素値の計算を終了したと判定された場合には、処理は終了する。
【００８３】
以上の処理により、基準方向としての水平方向について７２０画素の大きさの動画を表す画像データに基づいて、水平方向について１０２４画素の大きさの静止画像を表す画像データが生成される。その後、生成された画像について、垂直方向についても同様の処理を行うことによって、垂直方向と水平方向の比率が維持された拡大画像を生成することができる。垂直方向についての処理は、水平方向についての処理と略同様であるので、説明を省略する。
【００８４】
第１実施例においては、コンピュータ１００は、ユーザが指定したシーンに対応する静止画像Ｐｓ１を表し、画素数がＮｐ３である画像データＰ３を生成する際に、以下のような処理が行われる。すなわち、ユーザが指定したシーンのフレーム画像を表す第１の画像データＰ１に加えて、ユーザが指定したシーンのフレーム画像（第１の静止画像Ｐｓ１）の直前に表示されるフレーム画像（第２の静止画像Ｐｓ２）を表す第２の画像データＰ２をも使用して、第３の画像データＰ３が生成される。このため、ユーザが指定したシーンのフレーム画像の画像データ（第１の画像データＰ１）のみから画像データＰ３を生成する態様に比べて、第１の静止画像Ｐｓ１の端の近辺の画像の品質を高くすることができる。
【００８５】
Ａ４．第１実施例の変形例：
上記第１実施例では、図３のステップＳ４０において、ユーザから指示されたシーンのフレームの直前の１フレームのデータに基づいて、第２の静止画像を表す一つの第２の画像データが生成される。しかし、本変形例では、ステップＳ４０において、ユーザから指示されたシーンのフレームの直前および直後のフレームに基づいて、静止画像を表す２以上の第２の画像データを生成する。以下では、主に第１実施例との相違点について説明することによって、本変形例について説明する。なお、本変形例において使用されるハードウェアは、第１実施例において使用されるものと同じである。
【００８６】
本変形例においては、図４のステップＳ１１０では、それぞれの第２の画像データについて、第１の画像データからの動きベクトルが決定される。また、ステップＳ１５０では、それぞれの第２の画像データについて、第１の画像データＰ１の第１の画素Ｐｘｒ１に対応する第２の画素Ｐｘｒ２が暫定的に決定される。
【００８７】
ステップＳ１５５では、それぞれの第２の画像データの第２の画素Ｐｘｒ２について、「確信度」が計算される。そして、それらの確信度が所定の基準以上の信頼性を示しているか否かが判定される。１以上の第２の画素Ｐｘｒ２の信頼性が所定の基準以上である場合には、暫定的に選択された画素のうち信頼性が基準以上である画素を、正式に第２の画素Ｐｘｒ２とし、処理は、ステップＳ１６０に進む。すべての第２の画素Ｐｘｒ２の信頼性が所定の基準を下回る場合には、処理は、ステップＳ１８０に進む。
【００８８】
ステップＳ１６０では、正式に決定された１以上の第２の画素Ｐｘｒ２の近傍にそれぞれ位置する第２の画像データの画素を、対象画素Ｐｘｔの画素値の計算に使用される画素として決定する。より具体的には、第２の画素Ｐｘｒ２の画素位置に対して基準方向Ｄ１に対応する方向Ｄ２（水平方向）に沿って隣接する両側４個ずつの画素であって、対応する画素が第１の画像データＰ１中にない画素が選択される。
【００８９】
なお、第２の画素Ｐｘｒ２の画素位置に対して同じ相対位置に位置する画素を、複数の第２の画像データが、重複して保持している場合には、以下のようにして一つの画素が選択される。すなわち、第１の静止画像が表示される時刻により近い時刻に表示されるべき第２の静止画像を表す第２の画像データの画素が選択される。第１の静止画像が表示される時刻との差が等しい場合には、第１の静止画像よりも前に表示される静止画像を構成する画素が選択される。
【００９０】
本変形例の他の処理は、第１実施例と同じである。
【００９１】
一般に動画においては、連続する３以上のフレームの画像は順に同じ方向にずれている可能性が高い。このため、第１の静止画像Ｐｓ１の直前および直後に表示される静止画像は、第１の静止画像Ｐｓ１に対して逆の方向にずれている可能性が高い。たとえば、第１実施例の図５の例では、直前のフレームに基づいて生成される第２の静止画像Ｐｓ２は、第１の静止画像Ｐｓ１に対して左下方向にずれている画像である。これに対して、直後のフレームに基づいて生成される静止画像は、第１の静止画像Ｐｓ１に対して右上方向にずれている画像である可能性が高い。
【００９２】
よって、本変形例のように、第１の画像データＰ１に加えて、第１の画像データＰ１の第１の静止画像Ｐｓ１の直前および直後に表示される静止画像を表す第２の画像データＰ２を使用して、第３の画像データを生成することとすれば、第１の静止画像の上下左右のより多くの端部について、ステップＳ１７０の処理を行うことができる可能性が高い。このため、第１の静止画像の上下左右のより多くの端部について、画像の品質を高くすることができる可能性が高い。
【００９３】
Ｂ．第２実施例：
第１実施例では、図３のステップＳ１０において動画のデータが読み込まれる。しかし、第２実施例の態様は、読み込まれる画像データが動画のデータである場合にも、静止画のデータである場合にも、それらのデータに基づいて静止画像を表す解像度の異なる画像データを生成することができる。なお第２実施例において使用されるハードウェアは、第１実施例において使用されるものと同じである。
【００９４】
図７は、第２実施例において画像データを解像度変換する手順を示すフローチャートである。図７のフローチャートは、図３のステップＳ１０に代えてステップＳ１１を有している。図７のフローチャートは、さらに、ステップＳ１５，Ｓ７０，Ｓ８０を有している。図７のフローチャートの他の点は、図３のフローチャートと同じである。
【００９５】
ステップＳ１１では、光学ディスクドライブ１４０内のＤＶＤやＣＤ−Ｒ等の光学ディスクからメモリ内に画像データが読み込まれる。この画像データは、動画の画像データである場合もあり、静止画の画像データである場合もある。読み込まれる画像の基準方向Ｄ１（水平方向）の画素数をＮｐ１とする。なお、読み込まれる画像の基準方向Ｄ１の画素数とは、読み込まれた画像データが動画の画像データである場合には、動画データの１フレームの画像の基準方向Ｄ１の画素数であり、読み込まれた画像データが静止画の画像データである場合には、静止画の画像の基準方向Ｄ１の画素数である。なお、図７のステップＳ１１の機能を実現するＣＰＵ１０２の機能部を、「原画像データ取得部１０２ｅ」として図１に示す。
【００９６】
ステップＳ１５では、ステップＳ１１で読み込まれた画像データが動画の画像データであるか、静止画の画像データであるかが判定される。読み込まれた画像データが動画の画像データである場合には、処理はステップＳ２０に進む。ステップＳ２０〜Ｓ６０の処理は、第１実施例のステップＳ２０〜Ｓ６０の処理と同じである。なお、図７のステップＳ２０〜Ｓ６０の機能を実現するＣＰＵ１０２の機能部を、「動画処理部１０２ｅ」として図１に示す。
【００９７】
一方、読み込まれた画像データが静止画の画像データである場合には、処理はステップＳ１５からステップＳ７０に進む。ステップＳ７０では、ＣＰＵ１０２は、ユーザから、生成すべき画像データであって静止画像を表す第３の画像データＰ３の水平方向の画素数Ｎｐ３（Ｎｐ３は正の整数）に関する情報を受け取る。ステップＳ７０の処理は、第１実施例のステップＳ５０の処理と同じである。
【００９８】
ステップＳ８０では、読み込まれた静止画の画像データ（基準方向の画素数Ｎｐ１）に基づいて、第３の画像データ（基準方向の画素数Ｎｐ１≠Ｎｐ３）が生成される。より具体的には、生成すべき第３の画像データの全画素について、第１実施例の図４のステップＳ１８０と同じ処理が、実行される。なお、図７のステップＳ７０，Ｓ８０の機能を実現するＣＰＵ１０２の機能部を、「静止画処理部１０２ｆ」として図１に示す。
【００９９】
このような態様とすれば、静止画像の画像データに基づいて解像度が異なる画像データを生成する場合については、簡易な処理で画像データを生成することができる。一方、動画の画像データに基づいて解像度が異なる画像データを生成する場合については、複数のフレームの画像（第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２）に基づいて、画像の外周近傍の部分の品質が高い画像データを生成することができる。
【０１００】
Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１０１】
Ｃ１．変形例１：
上記実施例においては、新画像データの各画素の画素位置を原画像データの画素位置で表示したときの値の小数部分に最も近い位置のフィルタ係数が選択されるものとした。しかし、フィルタ係数は、他の方法で選択されることもできる。たとえば、原画像データの基準方向の画素数Ｎｐ１と、新画像データの基準方向の画素数Ｎｐ２との比（Ｎｐ１／Ｎｐ２）をカーネルＣｒとする。そして、左端からｎ番目（ｎは１〜Ｎｐ２の整数）の画素については、（Ｃｒ×ｎ）の位置にあるものとみなして、（Ｃｒ×ｎ）の小数部分に最も近い位置のフィルタ係数を選択するものとしてもよい。
【０１０２】
このような態様とすれば、システムにかかる負荷をより小さくすることができる。ただし、上記実施例のように、新画像データの各画素の画素位置を原画像データの画素位置で表示したときの値の小数部分に最も近い位置のフィルタ係数が選択される態様の方が、画像の品質は高くなる。
【０１０３】
Ｃ２．変形例２：
上記実施例においては、フィルタ係数は、１画素区間を１６等分する位置について設けられている（図２，図４参照）。しかし、フィルタ係数は、１画素区間をより細かく区分する位置について設けることもでき、１画素区間をより大きく区分する位置について設けることもできる。ただし、フィルタ係数は、１画素区間を１６よりも多くの区間に均等に区分する位置について設けることが好ましい。
【０１０４】
Ｃ３．変形例３：
上記第１実施例では、第２の画像データは、第１の画像データのフレーム画像の直前に表示されるフレーム画像を表すデータである。また、上記第１実施例の変形例では、第２の画像データは、第１の画像データのフレーム画像の直前と直後に表示されるフレーム画像を表すデータである。しかし、第２の画像データは、第１の画像データのフレーム画像の前に表示される複数のフレーム画像に基づいて生成される複数の画像データとすることができる。また、第２の画像データは、第１の画像データのフレーム画像の後に表示される複数のフレーム画像に基づいて生成される複数の画像データとすることができる。
【０１０５】
すなわち、第２の画像データは、第１の静止画像の前に表示されるべき第２の静止画像を表す画像データか、第１の静止画像の後に表示されるべき第２の静止画像を表す画像データか、のいずれかに属する画像データの集合とすることができる。
【０１０６】
Ｃ４．変形例４：
上記実施例においては、第３の画像データの画素のうち、範囲Ａｅ内にある端部画素について（図６参照）、第１の画像データの画素値と第２の画像データの画素値に基づいて、画素値が計算される。そして、範囲Ａｅの幅Ｗａｅ＝（Ｌ−０．５）である（Ｌは、対象画素Ｐｘｔの画素値の計算に使用される最も遠い画素の画素位置までの距離）。
【０１０７】
しかし、第１の画像データの画素値と第２の画像データの画素値に基づいて、画素値が計算される画素は、範囲Ａｅ内にある端部画素の一部の画素とすることもできる。たとえば、第３の画像データにおいて、第１の静止画像の端から所定の幅Ｗｅ１（Ｗｅ１＜Ｗａｅ）内にある画素についてのみ、第２の画像データの画素値を考慮して画素値を定めることもできる。また、第３の画像データにおいて、第１の静止画像の端から所定の幅Ｗｅ２（Ｗｅ２＞Ｗａｅ）内にある画素について、第２の画像データの画素値を考慮して画素値を定めることもできる。
【０１０８】
すなわち、第２の画像データの画素値を考慮して画素値を定める端部画素は、生成される第３の画像データにおいて、第１の静止画像の端から所定の幅Ｗの範囲内にある少なくとも一部の画素とすることができる。ただし、第２の画像データの画素値を考慮して画素値を定める端部画素が存在する幅Ｗは、対象画素Ｐｘｔの画素値の計算に使用される最も遠い画素の画素位置までの距離に基づいて定められることが好ましい。
【０１０９】
Ｃ５．変形例５：
上記実施例においては、第１の画素Ｐｘｒ１は、対象画素Ｐｘｔに最も近い位置の原画像データの画素である。そして、第２の画素Ｐｘｒ２は、第１の画素Ｐｘｒ１に対応する画素、すなわち、第１の静止画像Ｐｓ１中で第１の画素が表す箇所と同じ箇所を第２の静止画像中で表す画素である。そして、第１の画素Ｐｘｒ１、第２の画素Ｐｘｒ２、ならびにこれらに隣接する画素同士の差の絶対値の合計が、「確信度」とされる。しかし、図４のステップＳ１５５の処理において、第２の画像データを使用すべきか否かの判断の基準となる「確信度」は、他の方法で定めることもできる。
【０１１０】
たとえば、第１の画素Ｐｘｒ１および第１の画素Ｐｘｒ１に対して相対画素位置が定められている所定の画素、ならびに第２の画素Ｐｘｒ２および第２の画素Ｐｘｒ２に対して相対画素位置が定められている所定の画素の、輝度や色の階調値の差の絶対値の和を、「確信度」とすることができる。また、それらの階調値の差の平均値を、「確信度」とすることができる。さらに、第１の画素Ｐｘｒ１は、対象画素Ｐｘｔに最も近い位置の原画像データの画素に限らず、原画像データの画素位置と、新画像データの画素位置とを重ねたときに、対象画素Ｐｘｔに対して所定の相対画素位置にある画素とすることができる。
【０１１１】
さらに、「確信度」は、第１の静止画像と第２の静止画像のパターンマッチングを行った際に得られる、第１の静止画像と第２の静止画像の相違を表すパラメータとすることもできる。
【０１１２】
Ｃ６．変形例６：
上記実施例においては、画像の外形の長辺方向の処理を先に行い、その後、短辺方向の処理を行うものとした。しかし、画像の外形の短辺方向の処理を先に行い、その後、長辺方向の処理を行うこともできる。
【０１１３】
Ｃ７．変形例７：
上記実施例においては、画像処理装置は、コンピュータ１００である。しかし、図３や図７の処理を行う画像処理装置は、様々な態様で実現することができる。たとえば、画像データを受け取るための入力端子などの画像データ入力部と、光に画像を付与するための画像形成部（たとえば、液晶ライトバルブユニットやマイクロミラー型光変調装置）と、および投射光学系を含み画像データに基づいて画像を表示することができる画像出力部と、画像データ入力部を介して受け取った第１の画像データに基づいて第２の画像データを生成する画像処理部と、を備えるプロジェクタとすることができる。
【０１１４】
そのようなプロジェクタにおいては、ユーザから与えられる画素数ではなく、画像形成部が処理することができる画素数に合わせて画像データを解像度変換する際に、上記図３，図４，図７等の処理を行うこともできる。なお、プロジェクタにおいては、第１の画像データの画像の両端に黒色の画素が付加されても、ユーザは、投射される画像から奇異な印象を受ける可能性は低い。
【０１１５】
また、図３、図４、図７の処理を行う画像処理装置は、たとえば、光学ディスクや、半導体メモリ（フラッシュメモリ、ＳＤカードなど）を読み取ることができる記録媒体読み取り部や、媒体表面に形成された画像を読み取ることができるスキャナなどのデータ読み取り部、さらには画像データの入力端子といった画像データ入力部を備え、液晶ディスプレイなどの画像を表示することができる画像出力部を備えた、一体型プリンタとすることもできる。
【０１１６】
すなわち、画像処理装置としては、画像データを受け取ることができる画像データ入力部と、画像データに基づいて解像度の異なる画像データを生成することができる画像処理部と、生成した画像データに基づいて画像を出力することができる画像出力部と、を備える態様とすることが好ましい。
【０１１７】
Ｃ８．変形例８：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェア（コンピュータプログラム）に置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１に示した第１および第２の画像データ取得部、画像データ生成部による処理をハードウェア回路で行うこととしてもよい。
【０１１８】
上述の機能を実現するコンピュータプログラムは、フロッピディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。ホストコンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してプログラム供給装置からホストコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがホストコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをホストコンピュータが直接実行するようにしてもよい。
【０１１９】
この明細書において、ホストコンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。コンピュータプログラムは、このようなホストコンピュータに、上述の各部の機能を実現させる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。
【０１２０】
なお、この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ、ＤＶＤのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【０１２１】
【図１】第１実施例の画像処理装置の概略構成を示す説明図。
【図２】フィルタ係数の使用方法の例とともに、位置Ｐｐｃ８に対応づけられたフィルタ係数、および位置Ｐｐｃ１１に対応づけられたフィルタ係数を例として示す図。
【図３】第１実施例において画像データを解像度変換する手順を示すフローチャート。
【図４】図３のステップＳ６０において第３の画像データを生成する処理の内容を示すフローチャート。
【図５】第１の画像データＰ１の第１の静止画像Ｐｓ１に対する第２の画像データＰ２の第２の静止画像Ｐｓ２の動きを表すベクトルＶｍを示す図。
【図６】図５の上段の第１の静止画像Ｐｓ１と第２の静止画像Ｐｓ２とを重ねて示した図の一部を拡大した図。
【図７】第２実施例において画像データを解像度変換する手順を示すフローチャート。
【符号の説明】
【０１２２】
Ｐｐｃ０，Ｐｐｃ１６…原画像の画素位置に対応する位置
Ｐｐｃ１〜Ｐｐｃ１５…フィルタ係数が用意されている位置
Ｃ８ａ，．．．，Ｃ８ｈ…Ｐｐｃに対応づけられたフィルタ係数
２２…プリンタ
９５…アプリケーションプログラム
１００…パーソナルコンピュータ
１０２…ＣＰＵ
１０３…ＲＯＭ
１０４…ＲＡＭ
１１０…ディスプレイ
１２０…キーボード
１３０…マウス
１４０…光学ディスクドライブ
Ａｉｐ…対象画素Ｐｘｔの画素値を計算する際に使用すべき画素であって、第１の画像データＰ１に含まれない画素が存在する範囲
Ｃｆ…フィルタ係数
Ｄ１…第１の画像データの基準方向（水平方向）
Ｄ２…第２の画像データの基準方向（水平方向）
Ｄ３…第３の画像データの基準方向（水平方向）
Ｅｔ…対象画素Ｐｘｔがその近傍に存在する端
Ｐ１…第１の画像データ
Ｐ２…第２の画像データ
Ｐ３…第３の画像データ
Ｐｐ１…第１の画像データの画素位置
Ｐｐ３…第３の画像データの画素位置
Ｐｐｃｉ…位置
Ｐｓ１…第１の静止画像
Ｐｓ２…第２の静止画像
Ｐｔ…対象画素の画素位置
Ｐｘ１０〜Ｐｘ１５…第１の画像データの画素
Ｐｘ３０〜Ｐｘ３５…第３の画像データの画素
Ｐｘｔ…対象画素
Ｖｍ…動きベクトル
【図１】
2010128695.tif 000003
【図２】
2010128695.tif 000004
【図３】
2010128695.tif 000005
【図４】
2010128695.tif 000006
【図５】
2010128695.tif 000007
【図６】
2010128695.tif 000008
【図７】
2010128695.tif 000009