(57)【要約】 【課題】  画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、生成される画像の質が高くなるように画像の生成範囲を決定する。【解決手段】  まず、画像を構成する画素の密度が比較的低く、同一の対象が記録された部分を互いに含む複数のフレーム画像データを準備する（Ｓ２）。そして、同一の対象が記録された部分に基づいて、複数のフレーム画像データの画像同士の相対位置を計算する（Ｓ４）。その後、画像を構成する画素の密度が比較的高い画像を生成する領域であって、複数のフレーム画像データの画像が記録している領域内に含まれる画像生成領域を、複数のフレーム画像データの画像同士の相対位置に基づいて決定する（Ｓ６）。そして、複数のフレーム画像データの画像から、画像生成領域について画像を生成する（Ｓ８）。【選択図】  図２
2004336717.tif 000002
【特許請求の範囲】
【請求項１】
画像の生成方法であって、
（ａ）同一の対象が記録された部分を互いに含む複数の第１の画像を準備する工程と、
（ｂ）画像を構成する画素の密度が前記第１の画像よりも高い第２の画像を生成する領域である画像生成領域を、前記複数の第１の画像との重なりの状態に基づいて決定する工程と、
（ｃ）前記複数の第１の画像から、前記画像生成領域について前記第２の画像を生成する工程と、を含む画像の生成方法。
【請求項２】
請求項１記載の画像生成方法であって、
前記工程（ｂ）は、
前記画像生成領域と前記複数の第１の画像との重なりの程度を表す重なり指標値が、所定の条件下で、あらかじめ定められた目標値に最も近づくように、前記画像生成領域を決定する工程を含む、画像の生成方法。
【請求項３】
請求項１記載の画像生成方法であって、
前記工程（ｂ）は、
（ｂ１）前記各第１の画像が記録している領域の和の領域内に含まれる複数の候補領域を準備する工程と、
（ｂ２）前記候補領域と前記複数の第１の画像との重なりの状態に基づいて決定される前記各候補領域の評価値に基づいて、前記複数の候補領域の中から前記画像生成領域として一つの候補領域を選択する工程と、を含む画像の生成方法。
【請求項４】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
前記候補領域と前記各第１の画像との相対位置に基づいて、前記候補領域の前記評価値を決定する工程を含む、画像の生成方法。
【請求項５】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
前記候補領域と前記各第１の画像との重複部分に含まれる前記各第１の画像の画素の数に基づいて前記評価値を決定する工程を含む、画像の生成方法。
【請求項６】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
前記各候補領域について前記評価値を決定する工程を含み、
一つの候補領域の評価値を決定する工程は、
（ｂ３）前記評価値を決定する対象候補領域の外輪郭のうち、前記複数の第１の画像のうちの一つの領域内に含まれる部分である評価部分を決定する工程と、
（ｂ４）前記複数の第１の画像についての前記評価部分の長さに基づいて、前記対象候補領域の評価値を決定する工程と、を含む、画像の生成方法。
【請求項７】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
（ｂ３）前記各候補領域の外輪郭にサンプル点を設定する工程と、
（ｂ４）前記サンプル点に基づいて、前記各候補領域について前記評価値を決定する工程と、を含み、
一つの候補領域の評価値を決定する工程は、
（ｂ５）前記評価値を決定する対象候補領域の前記サンプル点のうち、前記複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定する工程と、
（ｂ６）前記複数の第１の画像についての前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する工程と、を含む、画像の生成方法。
【請求項８】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
（ｂ３）前記各第１の画像の外輪郭にサンプル点を設定する工程と、
（ｂ４）前記サンプル点に基づいて、前記各候補領域について前記評価値を決定する工程と、を含み、
一つの候補領域の評価値を決定する工程は、
（ｂ５）一つの前記第１の画像の前記サンプル点のうち、前記評価値を決定する対象候補領域内に含まれるサンプル点である評価サンプル点を決定する工程と、
（ｂ６）前記複数の第１の画像の前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する工程と、を含む、画像の生成方法。
【請求項９】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
（ｂ３）前記各候補領域の外輪郭の近傍に、一定の幅を有する評価領域を設定する工程と、
（ｂ４）前記評価領域に基づいて、前記各候補領域について前記評価値を決定する工程と、を含み、
一つの候補領域の評価値を決定する工程は、
（ｂ５）前記評価値を決定する対象候補領域の前記評価領域であって、前記複数の第１の画像のうちの一つの領域に含まれる領域である特定評価領域を決定する工程と、
（ｂ６）前記特定評価領域に含まれる前記各第１の画像の画素の数の、前記複数の第１の画像についての合計に基づいて、前記対象候補領域の評価値を決定する工程と、を含む、画像の生成方法。
【請求項１０】
請求項３記載の画像生成方法であって、
前記工程（ｂ２）は、
（ｂ３）前記各候補領域の外輪郭の近傍にサンプル点を設定する工程と、
（ｂ４）前記サンプル点に基づいて、前記各候補領域について前記評価値を決定する工程と、を含み、
一つの候補領域の評価値を決定する工程は、
（ｂ５）前記評価値を決定する対象候補領域の前記サンプル点のうち、前記複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定する工程と、
（ｂ６）前記複数の第１の画像についての前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する工程と、を含む、画像の生成方法。
【請求項１１】
請求項３ないし１０のいずれかに記載の画像生成方法であって、
前記工程（ｂ１）は、
（ｂ７）前記各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定する工程と、
（ｂ８）前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、第１の向きに所定の量だけずらすことで前記第１の候補領域と重ねることができる第２の候補領域と、
前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、前記第１の向きとは逆の向きに前記所定の量だけずらすことで前記第１の候補領域と重ねることができる第３の候補領域と、を準備する工程と、を含む画像の生成方法。
【請求項１２】
請求項３ないし１０のいずれかに記載の画像生成方法であって、
前記工程（ｂ１）は、
（ｂ７）前記各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定する工程と、
（ｂ８）前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、所定の点を基準にして縮小することで前記第１の候補領域と重ねることができる第２の候補領域と、
前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、前記所定の点を基準にして拡大することで前記第１の候補領域と重ねることができる第３の候補領域と、を準備する工程と、を含む画像の生成方法。
【請求項１３】
請求項１２記載の画像生成方法であって、さらに、
（ｄ）前記複数の第１の画像のうちの少なくとも一つを出力部を通じて出力する工程と、
（ｅ）前記第２の画像を、前記出力された第１の画像と同じ大きさで、前記出力部を通じて出力する工程と、を有する画像の生成方法。
【請求項１４】
請求項１ないし１２のいずれかに記載の画像生成方法であって、さらに、
（ｆ）前記同一の対象が記録された部分に基づいて、前記複数の第１の画像同士の相対位置を計算する工程を含み、
前記複数の第１の画像の画素は、それぞれ階調値を有しており、
前記工程（ｃ）は、
（ｃ１）前記第２の画像の画素の中から前記階調値を計算する対象画素を選択する工程と、
（ｃ２）前記複数の第１の画像の各画素を前記相対位置にしたがって配置し、さらに前記画像生成領域に前記第２の画像の画素を配置したとき、前記対象画素の近傍の所定の範囲内に位置する複数の特定画素を、前記複数の第１の画像の画素の中から選択する工程と、
（ｃ３）前記各特定画素の前記階調値を加重平均することで前記対象画素の階調値を計算する工程と、を含む画像の生成方法。
【請求項１５】
画像生成装置であって、
同一の対象が記録された部分を互いに含む複数の第１の画像を準備する画像取得部と、
画像を構成する画素の密度が前記第１の画像よりも高い第２の画像を生成する領域である画像生成領域を、前記複数の第１の画像との重なりの状態に基づいて決定する生成領域決定部と、
前記複数の第１の画像から、前記画像生成領域について前記第２の画像を生成する画像生成部と、を有する画像生成装置。
【請求項１６】
請求項１５記載の画像生成装置であって、
前記生成領域決定部は、
前記画像生成領域と前記複数の第１の画像との重なりの程度を表す重なり指標値が、所定の条件下で、あらかじめ定められた目標値に最も近づくように、前記画像生成領域を決定する、画像生成装置。
【請求項１７】
請求項１５記載の画像生成装置であって、
前記生成領域決定部は、
前記各第１の画像が記録している領域の和の領域内に含まれる複数の候補領域を準備する候補領域生成部と、
前記候補領域と前記複数の第１の画像との重なりの状態に基づいて決定される前記各候補領域の評価値に基づいて、前記複数の候補領域の中から前記画像生成領域として一つの候補領域を選択する候補領域選択部と、を備える画像生成装置。
【請求項１８】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記候補領域と前記各第１の画像との相対位置に基づいて、前記候補領域の前記評価値を決定する、画像生成装置。
【請求項１９】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記候補領域と前記各第１の画像との重複部分に含まれる前記各第１の画像の画素の数に基づいて前記評価値を決定する、画像生成装置。
【請求項２０】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記各候補領域について前記評価値を決定し、
一つの候補領域の評価値を決定する際には、
前記評価値を決定する対象候補領域の外輪郭のうち、前記複数の第１の画像のうちの一つの領域内に含まれる部分である評価部分を決定し、
前記複数の第１の画像についての前記評価部分の長さに基づいて、前記対象候補領域の評価値を決定する、画像生成装置。
【請求項２１】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記各候補領域の外輪郭に設定されたサンプル点に基づいて、前記各候補領域について前記評価値を決定し、
一つの候補領域の評価値を決定する際には、
前記評価値を決定する対象候補領域の前記サンプル点のうち、前記複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定し、
前記複数の第１の画像についての前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する、画像生成装置。
【請求項２２】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記各第１の画像の外輪郭に設定されたサンプル点に基づいて、前記各候補領域について前記評価値を決定し、
一つの候補領域の評価値を決定する際には、
一つの前記第１の画像の前記サンプル点のうち、前記評価値を決定する対象候補領域内に含まれるサンプル点である評価サンプル点を決定し、
前記複数の第１の画像の前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する、画像生成装置。
【請求項２３】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記各候補領域の外輪郭の近傍に一定の幅で設定された評価領域に基づいて、前記各候補領域について前記評価値を決定し、
一つの候補領域の評価値を決定する際には、
前記評価値を決定する対象候補領域の前記評価領域であって、前記複数の第１の画像のうちの一つの領域に含まれる領域である特定評価領域を決定し、
前記特定評価領域に含まれる前記各第１の画像の画素の数の、前記複数の第１の画像についての合計に基づいて、前記対象候補領域の評価値を決定する、画像生成装置。
【請求項２４】
請求項１７記載の画像生成装置であって、
前記候補領域選択部は、
前記各候補領域の外輪郭の近傍に設定されたサンプル点に基づいて、前記各候補領域について前記評価値を決定し、
一つの候補領域の評価値を決定する際には、
前記評価値を決定する対象候補領域の前記サンプル点のうち、前記複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定し、
前記複数の第１の画像についての前記評価サンプル点の数に基づいて、前記対象候補領域の評価値を決定する、画像生成装置。
【請求項２５】
請求項１７ないし２４のいずれかに記載の画像生成装置であって、
前記候補領域生成部は、
前記各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定し、
前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、第１の向きに所定の量だけずらすことで前記第１の候補領域と重ねることができる第２の候補領域と、前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、前記第１の向きとは逆の向きに前記所定の量だけずらすことで前記第１の候補領域と重ねることができる第３の候補領域と、を準備する、画像生成装置。
【請求項２６】
請求項１７ないし２４のいずれかに記載の画像生成装置であって、
前記候補領域生成部は、
前記各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定し、
前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、所定の点を基準にして縮小することで前記第１の候補領域と重ねることができる第２の候補領域と、前記各第１の画像が記録している領域の和の領域内に含まれる領域であって、前記所定の点を基準にして拡大することで前記第１の候補領域と重ねることができる第３の候補領域と、を準備する、画像生成装置。
【請求項２７】
請求項２６記載の画像生成装置であって、さらに、
前記複数の第１の画像のうちの少なくとも一つを出力部を通じて出力し、
前記第２の画像を、前記出力された第１の画像と同じ大きさで、前記出力部を通じて出力する生成画像出力部を有する画像生成装置。
【請求項２８】
請求項１５ないし２６のいずれかに記載の画像生成装置であって、さらに、
前記同一の対象が記録された部分に基づいて、前記複数の第１の画像同士の相対位置を計算する相対位置計算部を有し、
前記複数の第１の画像の画素は、それぞれ階調値を有しており、
前記画像生成部は、
前記第２の画像の画素の中から前記階調値を計算する対象画素を選択し、
前記複数の第１の画像の各画素を前記相対位置にしたがって配置し、さらに前記画像生成領域に前記第２の画像の画素を配置したとき、前記対象画素の近傍の所定の範囲内に位置する複数の特定画素を、前記複数の第１の画像の画素の中から選択し、
前記各特定画素の前記階調値を加重平均することで前記対象画素の階調値を計算する、画像生成装置。
【請求項２９】
画像を生成するためのプログラムであって、
同一の対象が記録された部分を互いに含む複数の第１の画像を準備する第１の部分と、
画像を構成する画素の密度が前記第１の画像よりも高い第２の画像を生成する領域である画像生成領域を、前記複数の第１の画像との重なりの状態に基づいて決定する第２の部分と、
前記複数の第１の画像から、前記画像生成領域について前記第２の画像を生成する第３の部分と、を含む画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画素の密度が低い複数の画像から画素の密度が高い画像を生成する技術に関し、特に、生成される画像の質が高くなるように画像の生成範囲を決定する技術に関する。
【背景技術】
【０００２】
従来より、画素の密度の低い動画の複数のフレームから画素の密度の高い静止画を合成する技術が存在した。たとえば、特許文献１においては、水平方向に走査が繰り返されることにより画像が表示されるＣＲＴ等の機器における複数のフレーム画像から、垂直方向についてフレーム画像の走査線の密度を超える密度を有する画像を生成する技術が開示されている。
【０００３】
【特許文献１】特開平１１−１６４２６４号公報
【０００４】
しかし、画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、生成される画像の質が高くなるように画像の生成範囲を決定する技術は存在しなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この発明は、従来技術における上述の課題を解決するためになされたものであり、画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、生成される画像の質が高くなるように画像の生成範囲を決定することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題の少なくとも一部を解決するため、本発明では、画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、以下の処理を行う。まず、同一の対象が記録された部分を互いに含む複数の第１の画像を準備する。そして、画像を構成する画素の密度が第１の画像よりも高い第２の画像を生成する領域である画像生成領域を、複数の第１の画像との重なりの状態に基づいて決定する。その後、複数の第１の画像から、画像生成領域について第２の画像を生成する。
【０００７】
このような態様とすれば、複数の第１の画像のうちの多数の第１の画像が重複して含んでいる画像の範囲を、画像生成範囲とすることができる。よって、画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【０００８】
また、画像生成領域を決定する際には、以下のようにすることが好ましい。すなわち、画像生成領域と複数の第１の画像との重なりの程度を表す重なり指標値が、所定の条件下で、あらかじめ定められた目標値に最も近づくように、画像生成領域を決定する。このような態様とすれば、目標値を調整することで、たとえば画像生成領域の広さなどの、複数の第１の画像との重なりの程度以外の評価が悪くならないように、画像生成領域を決定することができる。
【０００９】
画像生成領域を決定する際には、以下のようにすることが好ましい。すなわち、まず、各第１の画像が記録している領域の和の領域内に含まれる複数の候補領域を準備する。そして、候補領域と複数の第１の画像との重なりの状態に基づいて決定される各候補領域の評価値に基づいて、複数の候補領域の中から画像生成領域として一つの候補領域を選択する。このような態様においては、限られた候補の中から評価値に基づいて画像生成領域を選択すればよい。よって、簡単に画像生成領域を選択することができる。
【００１０】
なお、候補領域を選択する際には、候補領域と各第１の画像との相対位置に基づいて、候補領域の評価値を決定することが好ましい。
【００１１】
また、候補領域を選択する際には、各候補領域について評価値を決定することが好ましい。そして、一つの候補領域の評価値を決定する際には、以下のようにすることが好ましい。すなわち、評価値を決定する対象候補領域の外輪郭のうち、複数の第１の画像のうちの一つの領域内に含まれる部分である評価部分を決定する。そして、複数の第１の画像についての評価部分の長さを求めて、その評価部分の長さに基づいて対象候補領域の評価値を決定する。このような態様とすれば、簡単な計算に基づいて、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００１２】
なお、候補領域を選択する際には、以下のような態様とすることもできる。すなわち、各候補領域の外輪郭にサンプル点を設定する。そして、サンプル点に基づいて、各候補領域について評価値を決定する。一つの候補領域の評価値を決定する際には、以下のようにすることが好ましい。すなわち、評価値を決定する対象候補領域のサンプル点のうち、複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定する。そして、複数の第１の画像についての評価サンプル点を求め、その評価サンプル点の数に基づいて、対象候補領域の評価値を決定する。このような態様としても、簡単な計算に基づいて、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００１３】
候補領域を選択する際には、さらに、以下のような態様とすることもできる。すなわち、各第１の画像の外輪郭にサンプル点を設定する。そして、サンプル点に基づいて、各候補領域について評価値を決定する。一つの候補領域の評価値を決定する際には、以下のようにすることが好ましい。すなわち、一つの第１の画像のサンプル点のうち、評価値を決定する対象候補領域内に含まれるサンプル点である評価サンプル点を決定する。そして、複数の第１の画像の評価サンプル点を求め、その評価サンプル点の数に基づいて対象候補領域の評価値を決定する。このような態様としても、簡単な計算に基づいて、多くの第１の画像が重複して含んでいる画像の範囲を含む候補領域を、画像生成範囲として選択することができる。
【００１４】
また、候補領域を選択する際には、以下のような態様とすることもできる。すなわち、各候補領域の外輪郭の近傍に、一定の幅を有する評価領域を設定する。そして、評価領域に基づいて、各候補領域について評価値を決定する。一つの候補領域の評価値を決定する際には、以下のようにすることが好ましい。すなわち、評価値を決定する対象候補領域の評価領域であって、複数の第１の画像のうちの一つの領域に含まれる領域である特定評価領域を決定する。そして、特定評価領域に含まれる各第１の画像の画素の数の、複数の第１の画像についての合計を求める。その画素数の合計値に基づいて、対象候補領域の評価値を決定する。
【００１５】
なお、候補領域を選択する際には、以下のような態様とすることもできる。すなわち、各候補領域の外輪郭の近傍にサンプル点を設定する。そして、サンプル点に基づいて、各候補領域について評価値を決定する。一つの候補領域の評価値を決定する際には、以下のようにすることが好ましい。すなわち、評価値を決定する対象候補領域のサンプル点のうち、複数の第１の画像のうちの一つの領域内に含まれる評価サンプル点を決定する。そして、複数の第１の画像についての評価サンプル点を求め、その評価サンプル点の数に基づいて、対象候補領域の評価値を決定する。
【００１６】
また、以下のような態様とすることも好ましい。すなわち、複数の第１の画像のうちの少なくとも一つを出力部を通じて出力する。そして、第２の画像を、出力された第１の画像と同じ大きさで、出力部を通じて出力する。このような態様とすれば、ユーザは、第１の画像の領域と、第２の画像の領域とを容易に比較することができる。
【００１７】
また、上述の課題の少なくとも一部を解決するため、画素の密度が低い複数の画像から画素の密度が高い画像を生成する際に、以下のような処理を行うこともできる。まず、画像を構成する画素の密度が比較的低く、同一の対象が記録された部分を互いに含む複数の第１の画像を準備する。そして、同一の対象が記録された部分に基づいて、複数の第１の画像同士の相対位置を計算する。その後、画像を構成する画素の密度が比較的高い第２の画像を生成する領域であって、各第１の画像が記録している領域の和の領域内に含まれる画像生成領域を、複数の第１の画像同士の相対位置に基づいて決定する。そして、複数の第１の画像から、画像生成領域について第２の画像を生成する。このような態様とすれば、複数の第１の画像のうちの多数の第１の画像が重複して含んでいる画像の範囲を、画像生成範囲とすることができる。よって、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００１８】
なお、第１の画像同士の相対位置に基づいて決定する際には、まず、各第１の画像が記録している領域の和の領域内に含まれる複数の候補領域を準備する。そして、候補領域と各第１の画像との相対位置に基づいて決定される各候補領域の評価値に基づいて、複数の候補領域の中から画像生成領域として一つの候補領域を選択する。このような態様とすることで、準備された複数の第１の画像との相対位置に基づいて、簡単に画像生成領域を決定することができる。
【００１９】
また、候補領域を選択する際には、候補領域と各第１の画像との重複部分に含まれる各第１の画像の画素の数に基づいて評価値を決定することが好ましい。このような態様とすれば、多くの第１の画像が重複して含んでいる画像の範囲を含む候補領域を、画像生成範囲として選択することができる。よって、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００２０】
なお、候補領域を選択する際には、候補領域の外輪郭のうち各第１の画像の領域に含まれる部分の長さに基づいて評価値を決定してもよい。このような態様とすれば、より簡単な計算に基づいて、多くの第１の画像が重複して含んでいる画像の範囲を含む候補領域を、画像生成範囲として選択することができる。すなわち、より簡単な計算に基づいて、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００２１】
さらに、候補領域を選択する際には、候補領域の外輪郭上に設けられたサンプル点のうち各第１の画像の領域に含まれるサンプル点の数に基づいて評価値を決定することが好ましい。このような態様とすれば、さらに簡単な計算に基づいて、多くの第１の画像が重複して含んでいる画像の範囲を含む候補領域を、画像生成範囲として選択することができる。すなわち、さらに簡単な計算に基づいて、生成される画像の質が高くなるように画像生成範囲を決定することができる。
【００２２】
なお、候補領域を選択する際には、各第１の画像の外輪郭上に設けられたサンプル点のうち候補領域に含まれるサンプル点の数に基づいて評価値を決定してもよい。このような態様としても、簡単な計算に基づいて、多くの第１の画像が重複して含んでいる画像の範囲を含む候補領域を、画像生成範囲として選択することができる。
【００２３】
また、候補領域を選択する際には、候補領域の外輪郭の近傍に設けられた評価領域のうち各第１の画像の領域内にある部分に含まれる各第１の画像の画素の数に基づいて評価値を決定してもよい。
【００２４】
そして、候補領域を選択する際には、候補領域の外輪郭の近傍に設けられたサンプル点のうち各第１の画像の領域に含まれるサンプル点の数に基づいて評価値を決定する態様としてもよい。
【００２５】
なお、複数の候補領域を準備する際には、以下のような手順を実行することが好ましい。すなわち、まず、各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定する。そして、各第１の画像が記録している領域の和の領域内に含まれる領域であって、第１の向きに所定の量だけずらすことで第１の候補領域と重ねることができる第２の候補領域と、各第１の画像が記録している領域の和の領域内に含まれる領域であって、第１の向きとは逆の向きに所定の量だけずらすことで第１の候補領域と重ねることができる第３の候補領域と、を準備する。このような態様とすれば、第１の候補領域を中心とした所定の範囲内に複数の候補領域を設け、その中から画像生成領域を選択することができる。
【００２６】
また、複数の候補領域を準備する際には、以下のような手順を実行することも好ましい。まず、各第１の画像が記録している領域の和の領域内に含まれる第１の候補領域を設定する。そして、各第１の画像が記録している領域の和の領域内に含まれる領域であって、所定の点を基準にして縮小することで第１の候補領域と重ねることができる第２の候補領域と、各第１の画像が記録している領域の和の領域内に含まれる領域であって、所定の点を基準にして拡大することで第１の候補領域と重ねることができる第３の候補領域と、を準備する。このような態様とすれば、第１の候補領域よりも大きいまたは小さい候補領域を準備して、その中から画像生成領域を選択することができる。なお、第１の候補領域は、ユーザが指定することが好ましい。
【００２７】
さらに、複数の第１の画像の画素がそれぞれ階調値を有している場合には、第２の画像を生成する際には、以下のような手順で第２の画像の各画素の階調値を計算することが好ましい。すなわち、まず、第２の画像の画素の中から階調値を計算する対象画素を選択する。そして、複数の第１の画像の各画素を相対位置にしたがって配置し、さらに画像生成領域に第２の画像の画素を配置したとき、対象画素の近傍の所定の範囲内に位置する複数の特定画素を、複数の第１の画像の画素の中から選択する。その後、各特定画素の階調値を加重平均することで対象画素の階調値を計算する。このような態様とすれば、画素の密度の低い画像の画素の階調値から、画素の密度が高い画像の画素の階調値を計算することができる。
【００２８】
なお、特定画素は、複数の第１の画像の各画素を相対位置にしたがって配置し、さらに画像生成領域に第２の画像の画素を配置したとき、複数の第１の画像の画素の中でもっとも対象画素に近い位置にある画素を含むことが好ましい。そして、特定画素は、複数の第１の画像の各画素を相対位置にしたがって配置し、さらに画像生成領域に第２の画像の画素を配置したとき、対象画素を中心とし、第１の画像の画素ピッチの２倍の長さの半径を有する円の範囲内に含まれる画素であることが好ましい。
【００２９】
なお、本発明は、以下に示すような種々の態様で実現することが可能である。
（１）画像生成方法、画像処理方法、画像データ生成方法。
（２）画像生成装置、画像処理装置、画像データ生成装置。
（３）上記の装置や方法を実現するためのコンピュータプログラム。
（４）上記の装置や方法を実現するためのコンピュータプログラムを記録した記録媒体。
（５）上記の装置や方法を実現するためのコンピュータプログラムを含み搬送波内に具現化されたデータ信号。
【発明を実施するための最良の形態】
【００３０】
以下で、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．装置構成：
Ａ−２．静止画データを生成するための全体の手順：
Ａ−３．画像生成領域の決定：
Ａ−４．静止画データの生成：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
Ｅ．第５実施例：
Ｆ．変形例：
【００３１】
Ａ．第１実施例：
Ａ−１．装置構成：
図１は、本発明の実施例である画像処理装置の概略構成を示す説明図である。この画像処理装置は、画像データに対して所定の画像処理を行うパーソナルコンピュータ１００と、パーソナルコンピュータ１００に情報を入力する装置としてのキーボード１２０、マウス１３０およびＣＤ−Ｒ／ＲＷドライブ１４０と、情報を出力する装置としてのディスプレイ１１０およびプリンタ２２と、を備えている。コンピュータ１００では、所定のオペレーティングシステムの下で、アプリケーションプログラム９５が動作している。このアプリケーションプログラム９５が実行されることで、コンピュータ１００のＣＰＵ１０２は様々な機能を実現する。
【００３２】
画像のレタッチなどを行うアプリケーションプログラム９５が実行され、キーボード１２０やマウス１３０からユーザーの指示が入力されると、ＣＰＵ１０２は、ＣＤ−Ｒ／ＲＷドライブ１４０内のＣＤ−ＲＷからメモリ内に画像データを読み込む。ＣＰＵ１０２は、画像データに対して所定の画像処理を行って、ビデオドライバを介して画像をディスプレイ１１０に表示する。また、ＣＰＵ１０２は、画像処理を行った画像データを、プリンタドライバを介してプリンタ２２に印刷させることもできる。
【００３３】
なお、動画を含む画像データは、それぞれが静止画を表す複数のフレーム画像データを含む。複数のフレーム画像データはそれぞれ順番が付されており、その順番に沿って各フレーム画像データの静止画がディスプレイ１１０に表示されることで、ディスプレイ１１０上で動画が再生される。
【００３４】
Ａ−２．静止画データを生成するための全体の手順：
図２は、動画データの複数のフレーム画像から静止画を表す静止画データを生成する手順を示すフローチャートである。アプリケーションプログラム９５が実行され、キーボード１２０やマウス１３０からユーザーの指示が入力されると、ＣＰＵ１０２は、まず、ステップＳ２で、メモリ内に格納されている動画を表す画像データから連続する５組のフレーム画像データを取得する。
【００３５】
図３は、ユーザが動画再生中に高精度の静止画を生成したい瞬間を指定するためのユーザインターフェイス画面を示す説明図である。たとえば、ＣＰＵ１０２は、キーボード１２０やマウス１３０を介してコンピュータ１００に入力されたユーザーの指示に基づいて、ＣＤ−ＲＷから特定の動画データ（図３の例においては映像ファイルMovie.avi）を読み込み、メモリ内に格納する。そして、その動画データの動画Ｆｍを、図３に示すように、ディスプレイ１１０上で再生する。ステップＳ２においては、ディスプレイ１１０上で動画を再生させているときに、ユーザーがマウス１３０を通じてカーソルＣｓを操作して、ユーザインターフェイス画面内の「シーン取得」ボタンを押し、コンピュータ１００に、動画再生期間中の特定の瞬間を指定する。なお、動画再生期間中の特定の瞬間の指定は、キーボード１２０を操作して行うこともできる。
【００３６】
ユーザによって、動画再生期間中の特定の瞬間が指定されると、ＣＰＵ１０２は、その瞬間にディスプレイ１１０上に表示されているフレーム画像データＦ３と、その直前の二つのフレーム画像データＦ１，Ｆ２、およびその直後の二つのフレーム画像データＦ４，Ｆ５を取得する。このように、ユーザーの指示を受け取って複数のフレーム画像データを取得する機能は、ＣＰＵ１０２の機能部であるフレームデータ取得部１０２ａ（図１参照）によって実行される。
【００３７】
ここで、ＣＤ−ＲＷから読み込まれメモリ内に格納されている動画データは、縦と横の寸法比が３：４の矩形の画像領域を有する動画のデータであるものとする。この動画データは、静止している対象、例えば風景や静物などを撮影した動画のデータであり、撮影者の手ブレによって微妙に画像が揺れているものとする。その結果、ステップＳ２で選択された５組のフレーム画像データは、それぞれが表す静止画中に同一の対象を含むが、画面中で撮影対象の位置が微妙にずれている。
【００３８】
図４は、フレーム画像データの相対位置を特定する方法を示す説明図である。図２のステップＳ４では、ステップＳ２で読み込んだ５組のフレーム画像データの画像の相対位置ずれを計算する。各フレーム画像データの画像の相対位置ずれの特定は、以下のようにして行われる。
【００３９】
まず、各画像が含む同一の対象が記録された部分に、特徴点を決定する。図４において、特徴点を各フレーム画像データＦ１，Ｆ３中の黒い丸Ｓｐ１〜Ｓｐ３で示す。図４においては、各フレーム画像データＦ１，Ｆ３には、ともに同一の対象としての二つの山と空が写っている。特徴点は、一般の画像中において頻繁に現れることのないような特徴的な画像部分に配することができ、たとえば図４に示すように、山の頂上（Ｓｐ１，Ｓｐ３）や山と山の輪郭が交わっている点（Ｓｐ２）とすることができる。
【００４０】
そして、図４の下段に示すように、それぞれのフレーム画像データＦ１，Ｆ３中の特徴点Ｓｐ１〜Ｓｐ３が重なるように、フレーム画像データＦ１，Ｆ３の画像の相対位置を決定することによって、各フレーム画像データの画像の相対位置ずれが特定され、計算される。
【００４１】
図５は、５組のフレーム画像データＦ１〜Ｆ５の相対位置を示す説明図である。ステップＳ４で５組のフレーム画像データＦ１〜Ｆ５の相対位置ずれが計算されると、各フレーム画像データＦ１〜Ｆ５の相対位置は、図５に示すように特定される。なお、図５に示した画像において、５組のフレーム画像データＦ１〜Ｆ５のすべてが重複して同一の対象を記録している部分をｐ５で示している。そして、２個〜４個のフレーム画像データが重複して記録している部分をそれぞれｐ２〜ｐ４で示している。さらに、１個のフレーム画像データのみが記録している部分をｐ１で示している。
【００４２】
特徴点に基づいて複数のフレーム画像データの画像の相対位置を特定する機能は、ＣＰＵ１０２の機能部であるフレーム合成部１０２ｂ（図１参照）によって実行される。なお、図５において示す各フレーム画像データＦ１〜Ｆ５の相対位置は、説明を分かりやすくするために、互いに大きくずらされている。すなわち、図５は、実際の動画のフレーム画像のズレの大きさを反映したものではない。
【００４３】
図２のステップＳ６では、フレーム画像データＦ１〜Ｆ５が表す画像中のどの部分について静止画データを生成するかが決定される。生成する静止画データが表す画像は、動画データの動画と同様に縦と横の寸法比が３：４の矩形の形状を有している。そして、生成する静止画データの画像は、フレーム画像データＦ１〜Ｆ５の画素の縦横それぞれ４倍の密度の画素で構成される。以下、静止画データを生成する画像の領域を「画像生成領域」と呼ぶ。静止画データを生成する画像生成領域を決定する機能は、ＣＰＵ１０２の機能部である生成領域決定部１０２ｃ（図１参照）によって実行される。
【００４４】
その後、ステップＳ８において、ステップＳ６で決定された領域について静止画データが生成される。静止画データを生成する機能は、ＣＰＵ１０２の機能部である静止画生成部１０２ｄ（図１参照）によって実行される。以下で、ステップＳ６における画像生成領域の決定と、ステップＳ８における静止画データの生成の手順について説明する。
【００４５】
Ａ−３．画像生成領域の決定：
図６は、図２のステップＳ６において静止画データを生成する領域を決定する手順を示すフローチャートである。ステップＳ２２では、まず、目標評価値Ｓｔを設定する。Ｓｔは１から５までのいずれかの数である。この目標評価値Ｓｔは、「１」から「ステップＳ２で取得したフレーム画像データの数」までの任意の値を取ることができる。目標評価値Ｓｔを大きくするほどより精度の高い静止画を生成することができる可能性が高くなるが、同時に画像生成領域が小さくなる可能性も高くなる。目標評価値Ｓｔについては、後述する。
【００４６】
この目標評価値Ｓｔは、あらかじめ「４」や「３」などの値に定められていてもよいし、ユーザーがマウス１３０、キーボード１２０を通じてコンピュータ１００に入力してもよい。ユーザが目標評価値Ｓｔを設定する態様とすれば、目標評価値Ｓｔを調整することで、生成する静止画の精度の高さと画像生成領域の大きさのバランスについて、ユーザが制御することができる。
【００４７】
ステップＳ２４では、画像生成領域の候補である候補領域Ａｃ０〜Ａｃ１２が設定される。この候補領域を生成する機能は、ＣＰＵ１０２の機能部である候補領域生成部１０２ｅ（図１参照）によって実行される。候補領域生成部１０２ｅは、ＣＰＵ１０２の機能部である生成領域決定部１０２ｃの一部を構成する機能部である。
【００４８】
ステップＳ２４では、まず候補領域Ａｃ０が設定される。候補領域Ａｃ０は、フレーム画像データＦ３の画像の範囲に等しい（図５参照）。よって、候補領域Ａｃ０の縦と横の寸法比は３：４である。
【００４９】
図７は、候補領域Ａｃ１〜Ａｃ１２を示す説明図である。各候補領域Ａｃ１〜Ａｃ１２に対する候補領域Ａｃ０の相対位置を図中、破線で示す。候補領域Ａｃ１は、フレーム画像データＦ３の範囲に等しい候補領域Ａｃ０に対して１画素分、上方にずれている範囲である。
【００５０】
なお、ここでいう「１画素」とは、フレーム画像データの画素密度における１画素であり、生成する静止画データの画素密度（フレーム画像データの画素密度の４倍）における１画素ではない。よって、静止画データの画素密度の画素の単位で言い換えれば、候補領域Ａｃ１は、候補領域Ａｃ０に対して４画素分、上方にずれている範囲である。また、各候補領域Ａｃ１〜Ａｃ１２と候補領域Ａｃ０の相対位置を分かりやすく示すために、図７では、実際の寸法の割合とは異なる割合で各候補領域のずらし量を示している。
【００５１】
候補領域Ａｃ２は、候補領域Ａｃ０に対して１画素分、下方にずれている範囲である。そして、候補領域Ａｃ３は、候補領域Ａｃ０に対して１画素分、左方にずれている範囲であり、候補領域Ａｃ４は、候補領域Ａｃ０に対して１画素分、右方にずれている範囲である。すなわち、候補領域Ａｃ３は、候補領域Ａｃ０に対して右方に１画素分だけずらすことで候補領域Ａｃ０と重ねることができる。そして、候補領域Ａｃ２は、候補領域Ａｃ０に対して左方に１画素分だけずらすことで候補領域Ａｃ０と重ねることができる。なお、図中において、各候補領域Ａｃ１〜４が候補領域Ａｃ０に対してずれている方向を、白い矢印で示す。
【００５２】
また、候補領域Ａｃ５は、候補領域Ａｃ０に対して左端部分が１画素分、欠落しており、下端部分が３／４画素分、欠落している範囲である。よって、候補領域Ａｃ５の縦と横の寸法比も候補領域Ａｃ０と同様に３：４である。すなわち、候補領域Ａｃ５は、右上の頂点を基準点として候補領域Ａｃ０を縮小した領域である。
【００５３】
なお、ここでいう「１画素」も、フレーム画像データの画素密度における１画素であり、生成する静止画データの画素密度における１画素ではない。よって、静止画データの画素密度の画素の単位で言い換えれば、候補領域Ａｃ５は、候補領域Ａｃ０に対して左端部分が４画素分、欠落しており、下端部分が３画素分、欠落している範囲である。
【００５４】
候補領域Ａｃ６は、候補領域Ａｃ０に対して右端部分が１画素分、欠落しており、下端部分が３／４画素分、欠落している範囲である。候補領域Ａｃ７は、候補領域Ａｃ０に対して右端部分が１画素分、欠落しており、上端部分が３／４画素分、欠落している範囲である。候補領域Ａｃ８は、候補領域Ａｃ０に対して左端部分が１画素分、欠落しており、上端部分が３／４画素分、欠落している範囲である。これら候補領域Ａｃ６〜８の縦と横の寸法比も候補領域Ａｃ０と同様に３：４である。なお、図中において、各候補領域Ａｃ５〜８が候補領域Ａｃ０に対して減縮されている方向を、各候補領域Ａｃ５〜８内の矢印で示す。
【００５５】
候補領域Ａｃ９は、候補領域Ａｃ０に対して１画素分、右端部分が拡張されており、３／４画素分、上端部分が拡張されている範囲である。候補領域Ａｃ１０は、候補領域Ａｃ０に対して１画素分、左端部分が拡張されており、３／４画素分、上端部分が拡張されている範囲である。候補領域Ａｃ１１は、候補領域Ａｃ０に対して１画素分、左端部分が拡張されており、３／４画素分、下端部分が拡張されている範囲である。候補領域Ａｃ１２は、候補領域Ａｃ０に対して１画素分、右端部分が拡張されており、３／４画素分、下端部分が拡張されている範囲である。
【００５６】
これら候補領域Ａｃ９〜１２の縦と横の寸法比も候補領域Ａｃ０と同様に３：４である。なお、図中において、各候補領域Ａｃ９〜１２が候補領域Ａｃ０に対して拡張されている方向を、各候補領域Ａｃ９〜１２の外周近辺に付した矢印で示す。これらの矢印が付されている角と対角線上の位置にある角が、それぞれの候補領域の候補領域Ａｃ０からの拡張または減縮の基準となる点である。
【００５７】
以上に説明したように、候補領域Ａｃ０を拡大または減縮した各候補領域Ａｃ５〜Ａｃ１２は、いずれも縦と横の寸法比が３：４の矩形の形状を有している。このため、いずれの候補領域が画像生成領域として選択されても、動画の画像と同じ縦横比の画像を生成することができる。なお、図２のステップＳ８で生成する静止画データは、フレーム画像データＦ１〜Ｆ５の４倍の密度の画素で構成される。よって、各候補領域Ａｃ５〜Ａｃ１２のように、縦方向の寸法をフレーム画像データの画素の１／４の単位で拡張または減縮しても、生成する画像は静止画データの画素の集合で表現できる。
【００５８】
図８は、フレーム画像データＦ１〜Ｆ５が記録している画像の領域の和の領域である領域Ｆａと、候補領域Ａｃ０〜Ａｃ１２との相対位置を示す説明図である。図８に示す領域Ｆａは、フレーム画像データＦ１〜Ｆ５の画像の領域のいずれかに含まれる領域の集合である。図８においては、候補領域Ａｃ０を実線で示しているのに対して、候補領域Ａｃ１〜Ａｃ１２は破線で示している。また、候補領域Ａｃ１〜Ａｃ１２の候補領域Ａｃ０に対する移動、拡大または縮小の方向を白い矢印で示している。第１実施例では、図２のステップＳ２でユーザーが選択した画像の範囲である候補領域Ａｃ０を中心として、図８に示すように領域を上下左右にずらした候補領域Ａｃ１〜Ａｃ４、領域を拡張または減縮した候補領域Ａｃ５〜Ａｃ１２を、複数の候補領域として設定している。そして、これら候補領域Ａｃ１〜Ａｃ１２の中から一つの候補領域が画像生成領域Ａｄとして選択される。このため、ユーザーが希望した画像に近い画像を静止画として生成することができる。
【００５９】
たとえば、候補領域Ａｃ１は候補領域Ａｃ０に対して１画素分、上方にずれている範囲であり、候補領域Ａｃ２は候補領域Ａｃ０に対して１画素分、下方にずれている範囲である。すなわち、候補領域Ａｃ１は、候補領域Ａｃ０に対して下方に１画素分だけずらすことで候補領域Ａｃ０と重ねることができ、候補領域Ａｃ２は、候補領域Ａｃ０に対して上方に１画素分だけずらすことで候補領域Ａｃ０と重ねることができる。このように、ユーザが指定した画像の範囲である候補領域Ａｃ０を互いに逆の方向にずらした候補範囲を準備することで、ユーザが指定した画像の範囲を尊重しつつ、好ましい画像生成領域を選択することができる。
【００６０】
また、たとえば、候補領域Ａｃ５は、右上の頂点を基準点として候補領域Ａｃ０を縮小した領域である。これに対して、候補領域Ａｃ１１は、右上の頂点を基準点として候補領域Ａｃ０を拡大した領域である。言い換えれば、候補領域Ａｃ５は、右上の頂点を基準として拡大することで候補領域Ａｃ０と重ねることができる。そして、候補領域Ａｃ１１は、右上の頂点を基準として縮小することで候補領域Ａｃ０と重ねることができる。このように、同一の点を基準として、ユーザが指定した画像の範囲である候補領域Ａｃ０を拡大または縮小した候補範囲を準備することで、ユーザが指定した画像の範囲を尊重しつつ、好ましい画像生成領域を選択することができる。
【００６１】
また、第１実施例では、候補領域Ａｃ０を中心として逆の向きにずらした候補領域を、それぞれ同じ数（第１実施例においては１個ずつ）だけ候補領域としている。よって、ユーザーが希望した画像の範囲に近い範囲であって、画素値の精度の高い画像を生成しやすい領域について、静止画を生成することができる。同様に、候補領域Ａｃ０に対してそれぞれ同じ点を基準として領域を拡張または減縮した候補領域を、それぞれ同じ数（第１実施例においては１個ずつ）だけ、候補領域として設定している。よって、ユーザーが希望した画像の範囲に近い範囲であって、画素値の精度の高い画像を生成しやすい領域について、静止画を生成することができる。
【００６２】
図６のステップＳ２６においては、候補領域Ａｃ０〜Ａｃ１２の中から、評価値Ｅｉを計算する候補領域を一つ選択する。最初は、フレーム画像データＦ３の画像の領域と等しい候補領域Ａｃ０が選択される。フレーム画像データＦ３は、図２のステップＳ２において、ユーザが、動画再生中にキーボード１２０またはマウス１３０で特定した瞬間のフレーム画像データである。
【００６３】
図９は、候補領域Ａｃ０のサンプル点Ｐｅとフレーム画像データＦ１〜Ｆ５の関係を示す説明図である。各候補領域Ａｃ０〜Ａｃ１２には、各辺上に５個のサンプル点Ｐｅが設定されている。各サンプル点は、各辺内において互いに均等の間隔で設けられており、各辺内の両端のサンプル点から各辺の端までの距離は、各サンプル点同士の間隔の１／２である。
【００６４】
図６のステップＳ２８では、ステップＳ２６で選択された候補領域のある辺の上にあるサンプル点のうち、各フレーム画像データ内にあるものの数Ｎijkを求める。ここで、ｉは、候補領域Ａｃ０〜Ａｃ１２にそれぞれ対応する０から１２までの整数である。ｊは、矩形形状を有する各候補領域の４辺を表す１から４までの整数である。ｊ＝１は候補領域の左辺を表し、ｊ＝２は右辺を表し、ｊ＝３は上辺を表し、ｊ＝４は下辺を表すものとする。ｋは、フレーム画像データＦ１〜Ｆ５にそれぞれ対応する１から５までの整数である。なお、本明細書において、候補領域に関連して設けられたサンプル点のうち、各フレーム画像データの領域内にあるものを「評価サンプル点」と呼ぶことがある。処理が最初にステップＳ２８に達したときには、まず、候補領域の左辺上にあるサンプル点のうち、各フレーム画像データ内にある物の数Ｎi1kを求める。
【００６５】
図１０は、候補領域Ａｃ０についてのフレーム画像データ内にあるサンプル点の数Ｎ0jk、候補領域Ａｃ０の各辺の評価値Ｓ0j、候補領域Ａｃ０の評価値Ｅ0を表す表である。たとえば、図９において、候補領域Ａｃ０の左辺上にある５個のサンプル点Ｐｅのうち、比較的粗い破線で示したフレーム画像データＦ１の画像の範囲内にあるものは４個である。したがって、図１０において、「左辺」の行で「Ｆ１」の列には「４」が表示されている。同様に、候補領域Ａｃ０の左辺上にあるサンプル点Ｐｅのうち、比較的細かい破線で示したフレーム画像データＦ２内にあるものは５個である。したがって、図１０において、「左辺」の行で「Ｆ２」の列には「５」が表示されている。
【００６６】
一方、候補領域Ａｃ０はフレーム画像データＦ３と一致しているので、候補領域Ａｃ０の各辺上にあるサンプル点Ｐｅは、フレーム画像データＦ３の各辺上にある。候補領域のサンプル点がフレーム画像データの各辺上にある場合には、そのサンプル点は、そのフレーム画像データ内には「ない」ものとする。このため、図１０において、「左辺」の行で「Ｆ３」の列には「０」が表示されている。なお、候補領域Ａｃ０の各辺のサンプル点はいずれもフレーム画像データＦ３内にはないとされるため、図１０の「Ｆ３」の列においては、「左辺」の行だけでなく、「右辺」、「上辺」、「下辺」のいずれの行においても、サンプル点の数Ｎ013、Ｎ023、Ｎ033、Ｎ043の値は０である。
【００６７】
前述したように、図６のステップＳ２８では、ステップＳ２６で選択された候補領域のある辺の上にあるサンプル点のうち、フレーム画像データ内にある物の数Ｎijkを求められる。すなわち、ステップＳ２６で候補領域Ａｃ０が選択されたときには、候補領域Ａｃ０について、図１０の表における「左辺」、「右辺」、「上辺」、「下辺」のいずれかの行の「Ｆ１」〜「Ｆ５」の各列の値が求められる。最初は、図１０の表における「左辺」の行の「Ｆ１」〜「Ｆ５」の各列の値が求められるものとする。
【００６８】
図６のステップＳ３０では、候補領域の辺の評価値Ｓijが求められる。各辺の評価値Ｓijは以下の数式（１）で計算される。なお、ＮijAは、候補領域の各辺に設けられたサンプル点の総数である。第１実施例では、ＮijAはいずれの辺についても５である。
【００６９】
【数１】
2004336717.tif 000003
【００７０】
たとえば、候補領域Ａｃ０の左辺については、図１０に示すように、フレーム画像データＦ１内にあるサンプル点が４個、フレーム画像データＦ２内にあるサンプル点が５個、フレーム画像データＦ３〜Ｆ５内にあるサンプル点が０であるので、Ｓ01は１．８となる。その他、候補領域Ａｃ０の各辺の評価値Ｓ01〜Ｓ04を図１０の表に示す。
【００７１】
図６のステップＳ３２では、ステップＳ２６で選択された候補領域のすべての辺について、評価値Ｓijが計算されたか否かが判定される。まだ候補領域のすべての辺について、評価値Ｓijが計算されておらず、判定結果がＮｏであるときには、ステップＳ２８に戻る。そして、まだ評価値Ｓijを計算していない辺について、各フレーム画像データ内にある物の数Ｎijkを求める。そして、ステップＳ２６で選択された候補領域のすべての辺について評価値Ｓijが計算されるまで、ステップＳ２８〜Ｓ３２が繰り返される。ステップＳ３２の判定結果がＹｅｓとなったときには、処理はステップＳ３４に移行する。
【００７２】
ステップＳ３４では、ステップＳ２６で選択された候補領域Ａｃｉ（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）についての評価値Ｅｉが求められる。評価値Ｅｉは以下の式（２）で計算される。なお、Ｓｔは、ステップＳ２２で設定された目標評価値である。
【００７３】
【数２】
2004336717.tif 000004
【００７４】
たとえば、図９および図１０の例では、Ｅ0は１７．６８である。数式（２）の形から分かるように、各辺の評価値ＳijがステップＳ２２で設定された目標評価値Ｓｔに近いほど、候補領域Ａｃｉの評価値Ｅｉは小さくなる。数式（１）および数式（２）から分かるように、評価値Ｅｉは、サンプル点のうち各フレーム画像データ内にあるもの（評価サンプル点）の数Ｎijkと、目標評価値Ｓｔと、に基づいて決定される。ここで、評価サンプル点の数は、候補領域と各第１の画像との重なりの状態によって決まる。よって、評価値Ｅｉは、候補領域と各第１の画像との重なりの状態と、目標評価値Ｓｔと、に基づいて決定される。
【００７５】
ステップＳ３６では、すべての候補領域Ａｃ０〜Ａｃ１２について評価値Ｅｉを計算したか否かが判定される。まだ評価値Ｅｉが計算されていない候補領域があり、判定結果がＮｏである場合には、ステップＳ２６に戻り、まだ評価値Ｅｉを計算していない候補領域の中から次の候補領域が設定される。すべての候補領域Ａｃ０〜Ａｃ１２について評価値Ｅｉが計算されると、処理はステップＳ３８に移行する。
【００７６】
ステップＳ３８では、評価値Ｅｉが最も小さい候補領域が、画像生成領域として選択される。すなわち、各辺の評価値Ｓijが最も目標評価値Ｓｔに近い候補領域が画像生成領域として選択される。そして画像生成領域を決定する処理（図２のステップＳ６）は終了する。
【００７７】
この候補領域の評価値を計算し、その評価値に基づいて複数の候補領域の中から一つの候補領域を選択する機能は、ＣＰＵ１０２の機能部である候補領域選択部１０２ｆ（図１参照）によって実行される。候補領域選択部１０２ｆは、ＣＰＵ１０２の機能部である生成領域決定部１０２ｃの一部を構成する機能部である。
【００７８】
図１１は、フレーム画像データＦ１〜Ｆ５が重複して記録している部分と、画像生成領域Ａｄの関係を示す説明図である。図１１において、フレーム画像データＦ１〜Ｆ５が重複して記録している部分ｐ５を細かい縦横のクロスハッチ示し、４個のフレーム画像データが重複して記録している部分ｐ４を細かい斜めのクロスハッチで示している。そして、３個のフレーム画像データが重複して記録している部分ｐ３を斜線のハッチで示し、２個のフレーム画像データが重複して記録している部分ｐ２を粗いクロスハッチで示している。
【００７９】
以上に説明したようにして候補領域の中から画像生成領域を選択することで、各フレーム画像データＦ１〜Ｆ５内に多くのサンプル点が含まれる候補領域が画像生成領域Ａｄとして選択される。
【００８０】
各フレーム画像データＦ１〜Ｆ５内に多くのサンプル点が含まれる候補領域は、その領域中により多くのフレーム画像データの画像の領域を含む。よって、そのような候補領域を画像生成領域とすれば、以下で説明する静止画像の生成の際に、より多くのフレーム画像データの画素の画素値に基づいて、正確に静止画像の各画素の階調値を特定することができる。
【００８１】
たとえば、図１１の例においては、候補領域Ａｃ０（フレーム画像データＦ３の領域に等しい）に対して下端部分と左端部分を減縮した候補領域Ａｃ５が、画像生成領域Ａｄとして選択されている。図１１において、領域ｐ５およびｐ４の領域は、すべて画像生成領域Ａｄに含まれる。そして、領域ｐ１は、図１１の左下の一部の領域は画像生成領域Ａｄに含まれるものの、残りの領域は画像生成領域Ａｄに含まれない。また、領域ｐ２は、図１１の左下および右上の一部の領域は画像生成領域Ａｄに含まれるものの、残りの領域は画像生成領域Ａｄに含まれない。
【００８２】
なお、候補領域Ａｃ５が画像生成領域Ａｄとして選択されたものと仮定したのは、説明の便宜のためである。よって、この仮定は、図５や図９に示されたフレーム画像データＦ１〜Ｆ５と各サンプル点Ｐｅとの関係から、各フローチャートに示した手続きに従って候補領域Ａｃ５が選択されることを意味するものではない。
【００８３】
また、第１実施例では、有限個の候補領域について評価値Ｅｉを計算し、その値に基づいて候補領域の中から画像生成領域を選択している。このため、正確に静止画像の各画素の階調値を特定することができる画像生成領域を短時間で決定することができる。
【００８４】
そして、第１実施例では、図２のステップＳ２でユーザーが選択した画像の範囲である候補領域Ａｃ０を中心として、領域を上下左右にずらした候補領域、領域を拡張または減縮した候補領域を、候補領域として設定している。このため、ユーザーが希望した画像に近い画像を静止画として生成することができる。
【００８５】
Ａ−４．静止画データの生成：
図２のステップＳ８では、ステップＳ６で決定された領域について、フレーム画像データＦ１〜Ｆ５をもとに静止画データが生成される。各フレーム画像データは、画素の集合で画像を表すデータである。そして、各画素は、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の階調値を有している。すなわち、各画素は、それぞれのフレーム画像データの画像内における自己の位置の情報と、ＲＧＢの各階調値の情報とを有している。
【００８６】
図１２は、画素の密度の低い複数の画像から画素の密度の高い画像を合成する方法を示す説明図である。図中、丸の中に「１」が書かれている各符号は、フレーム画像データＦ１の画素の中心位置を示している。そして、丸の中に「２」が書かれている各符号は、フレーム画像データＦ２の画素の中心位置を示している。そして、図中の「＋」は、生成する静止画データの画素の中心位置を示している。説明を簡単にするため、ここでは、フレーム画像データをＦ１とＦ２に限定して説明する。なお、図１２において、フレーム画像データＦ１、Ｆ２および静止画像データの各画素は、一部のみを示している。また、それぞれの画素の中心位置は、図５に示したフレーム画像データＦ１とＦ２の画像の範囲やステップＳ６で決定された画像生成範囲の相対位置を正確に反映するものではない。
【００８７】
前述のように、静止画データの画素の密度は各フレーム画像データの画素の密度の４倍である。このため、図１２中の「＋」同士の間隔は、「マル１」同士の間隔および「マル２」同士の間隔の１／４である。
【００８８】
図１３は、フレーム画像データの各画素のＲＧＢの階調値から、静止画データの画素についてのＲＧＢの各階調値を求める手順を示すフローチャートである。フレーム画像データから静止画データを生成するには、図１２において「＋」で示す各位置について、ＲＧＢそれぞれの階調値を求める必要がある。それは、以下のような手順で求められる。
【００８９】
まず、ステップＳ５２において、階調値を計算する対象画素を特定する。ここでは、階調値を計算する対象画素を図１２中のＰｓ１とする。ステップＳ５４においては、フレーム画像データＦ１とＦ２の各画素のうち、中心位置が最も対象画素Ｐｓ１に近いものを見つける。この画素を「最近傍画素」と呼ぶ。図１２において、最近傍画素は、フレーム画像データＦ２の画素のうち符号２を二重の丸で囲んだ画素Ｐｎ１１である。
【００９０】
最近傍画素Ｐｎ１１を特定した後、図１３のステップＳ５６で、最近傍画素Ｐｎ１１が含まれるフレーム画像データの画素であって、最近傍画素Ｐｎ１１ととなり合う３個の画素であり、対象画素Ｐｓ１を最近傍画素Ｐｎ１１とともに囲む３個の画素を特定する。本実施例では、これらの画素を最近傍画素も含めて「特定画素」と呼ぶ。図１２の例では、フレーム画像データＦ２の画素のうち左上の４つの画素Ｐｎ１１，Ｐｎ１２，Ｐｎ１３，Ｐｎ１４が、特定画素である。
【００９１】
その後、ステップＳ５８において、階調値を計算する対象画素Ｐｓ１の階調値を、重み付け平均によって計算する。具体的には、対象画素Ｐｓ１の階調値Ｖｔは、以下の数式（３）で求めることができる。ここで、Ｖ１〜Ｖ４は、それぞれ特定画素Ｐｎ１１〜Ｐｎ１４が有するレッド、グリーンまたはブルーの階調値である。そして、ｒ１〜ｒ４は、定数である。たとえば、対象画素Ｐｓ１のレッドの階調値をＶｔとすると、Ｖｔは、各特定画素のレッドの階調値Ｖ１，Ｖ２，Ｖ３，Ｖ４から数式（３）で求めることができる。対象画素の階調値の計算は、レッド、グリーン、ブルーそれぞれについて行われる。
【００９２】
Ｖｔ＝（ｒ１×Ｖ１）＋（ｒ２×Ｖ２）＋（ｒ３×Ｖ３）＋（ｒ４×Ｖ４）  ・・・  （３）
【００９３】
ここで、ｒ１〜ｒ４は以下の式（４）〜（７）で求めることができる。Ａａは、４個の特定画素Ｐｎ１１〜Ｐｎ１４で囲まれる長方形の面積である。Ａ１は、特定画素Ｐｎ１１以外の３個の特定画素Ｐｎ１２〜Ｐｎ１４と、対象画素Ｐｓ１と、で構成される四辺形の面積である。同様に、Ａ２は、特定画素Ｐｎ１２以外の３個の特定画素と対象画素Ｐｓ１とで構成される四辺形の面積である。Ａ３は、特定画素Ｐｎ１３以外の３個の特定画素と対象画素Ｐｓ１とで構成される四辺形の面積である。Ａ４は、特定画素Ｐｎ１４以外の３個の特定画素と対象画素Ｐｓ１とで構成される四辺形の面積である。
【００９４】
ｒ１＝Ａ１／Ａａ  ・・・  （４）
【００９５】
ｒ２＝Ａ２／Ａａ  ・・・  （５）
【００９６】
ｒ３＝Ａ３／Ａａ  ・・・  （６）
【００９７】
ｒ４＝Ａ４／Ａａ  ・・・  （７）
【００９８】
図１３のステップＳ６０では、静止画データのすべての画素について階調値を計算したか否かを判定する。まだ、階調値を計算していない画素が存在し、判定結果がＮｏである場合には、ステップＳ５２に戻る。
【００９９】
たとえば、図１２に示した画素Ｐｓ２について階調値を計算する場合は、最近傍画素は符号１を二重丸で囲んで示した画素Ｐｎ２１となる。そして、特定画素は、フレーム画像データＦ１の画素Ｐｎ２１〜Ｐｎ２４である。画素Ｐｓ２の階調値は、画素Ｐｓ１と同様に、式（３）に基づいて、特定画素Ｐｎ２１〜Ｐｎ２４の階調値から計算することができる。
【０１００】
図１３のステップＳ６０において、すべての画素について階調値を計算し終えたと判定され、判定結果がＹｅｓとなったときには、処理を終了する。
【０１０１】
以上に説明したような手順を行うことで、画素の密度が比較的低い複数のフレーム画像データから、画素の密度が比較的高い静止画データを生成することができる。そして、階調値を計算する対象画素に最も近い最近傍画素の階調値を最も反映し、最近傍画素に近い他の画素の画素値を使用して補間を行うため、実物の色彩に近い値に階調値を定めることができる。
【０１０２】
Ｂ．第２実施例：
第１実施例では、図９に示すように、候補領域の辺の上にサンプル点Ｐｅを設け、そのサンプル点Ｐｅのうち各フレーム画像データＦ１〜Ｆ５に含まれるものの数に基づいて候補領域の評価値Ｅｉを定めていた。そして、その評価値Ｅｉに基づいて複数の候補領域の中から画像生成領域を決定していた。第２実施例では、複数の候補領域から画像生成領域として一つの候補領域を選択する方法が第１実施例とは異なる。他の点は第１実施例と同じである。
【０１０３】
図１４は、候補領域Ａｃ０の内側であって外周の辺の近傍に所定の幅で設定された評価領域Ａｅ０を示す説明図である。第２実施例では、候補領域Ａｃｉの内側であって外周の辺の近傍に所定の幅で評価領域Ａｅｉ（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）を設定する。ここでは、評価領域Ａｅｉの幅は候補領域の長辺の１／２０とする。図１４において、評価領域Ａｅ０をハッチおよびクロスハッチを付した領域として示す。
【０１０４】
候補領域Ａｃｉ（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）の評価値Ｄｉを決定する際には、まず、評価領域Ａｅｉのうちフレーム画像データＦ１内に含まれる領域（図１４において、クロスハッチで示す）内の画素の数Ｔi1（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）を計算する。なお、ここで評価領域Ａｅｉについてカウントされる画素は、フレーム画像データＦ１の画素である。
【０１０５】
同様に、評価領域Ａｅｉのうちフレーム画像データＦ２〜Ｆ５内に含まれる部分にあるフレーム画像データＦ２〜Ｆ５の画素数Ｔi2〜Ｔi5を計算する。そして、以下の式（８）で候補領域の評価値Ｄｉを定める。ここで、Ｔａは、フレーム画像データの領域と候補領域が一致している場合に、評価領域内に含まれるフレーム画像データの画素数である。ｉ，ｋの定義は、第１実施例と同じである。なお、本明細書において、評価領域Ａｅｉのうちフレーム画像データの領域内に含まれる部分を「特定評価領域」と呼ぶことがある。
【０１０６】
【数３】
2004336717.tif 000005
【０１０７】
そして、Ｄｉが最大の候補領域を画像生成領域として選択する。このような態様としても、各フレーム画像データが多数重なっている領域を多く含む候補領域を、画像生成領域として選択することができる。すなわち、このような態様としても、高精度の静止画を生成することができる領域を画像生成領域とすることができる。
【０１０８】
Ｃ．第３実施例：
第２実施例では、評価領域Ａｅｉのうちフレーム画像データＦ１内に含まれる領域の画素数に基づいて、各候補領域Ａｃｉの評価値Ｄｉが定められた。そして、評価値Ｄｉに基づいて各候補領域Ａｃｉの中から画像生成領域が決定された。第３実施例では、候補領域Ａｃｉの各辺のうちフレーム画像データ内に含まれる部分の長さＬｃikに基づいて、各候補領域Ａｃｉの中から画像生成領域を決定する。他の点は、第２実施例と同様である。なお、本明細書において、候補領域Ａｃｉの各辺のうちフレーム画像データの領域内に含まれる部分を「評価部分」と呼ぶことがある。
【０１０９】
図１５は、候補領域Ａｃ０の４辺のうち、フレーム画像データＦ１の範囲内に含まれる部分の長さＬｃ01を示す説明図である。第３実施例においては、以下の式（９）で各候補領域Ａｃｉの評価値Ｇｉ（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）を定める。ここで、Ｌｃikは、候補領域Ａｃｉの外周の４辺のうち、フレーム画像データの範囲内に含まれる部分の長さである。ｉ，ｋの定義は、第１実施例と同じである。このＬｃikが、「課題を解決するための手段」における、「評価距離」に相当する。Ｌ１は各候補領域の短辺の長さであり、Ｌ２は候補領域の長辺の長さである。
【０１１０】
【数４】
2004336717.tif 000006
【０１１１】
そして、Ｇｉが最大の候補領域を画像生成領域として選択する。このような態様としても、各フレーム画像データが多数重なっている領域を多く含む候補領域を、画像生成領域として選択することができる。すなわち、このような態様としても、高精度の静止画を生成することができる領域を画像生成領域とすることができる。
【０１１２】
Ｄ．第４実施例：
第４実施例も、複数の候補領域から画像生成領域として一つの候補領域を選択する方法が第１実施例とは異なる。他の点は第１実施例と同じである。
【０１１３】
図１６は、各フレーム画像データＦ１〜Ｆ５の画像の領域の辺上に設けられたサンプル点Ｐｅ１〜Ｐｅ５を示す説明図である。各サンプル点は、各フレーム画像データＦ１〜Ｆ５の領域の外周の各辺上に均等の間隔で設けられている。そして、一つの辺内の両端のサンプル点から各辺の端までの距離は、各サンプル点同士の間隔の１／２である。
【０１１４】
第４実施例では、候補領域Ａｃｉの評価値Ｈｉ（ｉは各候補領域に付された整数の番号。ｉ＝０〜１２）は、各候補領域が含むサンプル点Ｐｅ１〜Ｐｅ５の数である。図１６において、候補領域Ａｃ０内に含まれるサンプル点Ｐｅ１〜Ｐｅ５は、黒い丸の周りにリングを付して示す。本明細書において、フレーム画像データの辺上にあるサンプル点のうち、候補領域内に含まれるものを「評価サンプル点」と呼ぶことがある。図１６の例では、候補領域Ａｃ０の評価値、すなわち候補領域Ａｃ０内に含まれるサンプル点Ｐｅ１〜Ｐｅ５の数は、５７である。なお、第４実施例では、候補領域の辺上にあるサンプル点Ｐｅ１〜Ｐｅ５は、その候補領域内にあるものとして計算される。
【０１１５】
第４実施例では、評価値Ｈｉの数が最も多い候補評価値を画像生成領域とする。このような態様としても、各フレーム画像データが多数重なっている領域を多く含む候補領域を、画像生成領域として選択することができる。すなわち、このような態様としても、高精度の静止画を生成することができる領域を画像生成領域とすることができる。
【０１１６】
Ｅ．第５実施例：
図１７は、第５実施例の画像処理装置の概略構成を示す説明図である。図１８は、第５実施例において、動画データの複数のフレーム画像から静止画を表す静止画データを生成する手順を示すフローチャートである。第５実施例においては、図２のステップＳ８において静止画データを生成した後、ステップＳ１０において、その生成画像でよいかどうかをユーザに確認する。アプリケーションプログラム９５が実行されることによってそのような機能を果たすＣＰＵ１０２の機能部を、生成画像確認部１０２ｇとして図１７に示す。第５実施例の印刷システムは、ステップＳ１０の処理以外の点は、ハードウェアの構成も含めて第１実施例と同じである。
【０１１７】
図１９は、図１８のステップＳ８において静止画データを生成した後、ステップＳ１０において、ディスプレイ１１０に表示されるユーザインターフェイス画面を示す説明図である。生成画像確認部１０２ｇは、図１８のステップＳ２（図３参照）において取得したフレーム画像データＦ３と、ステップＳ８で生成した静止画データＦｆとを並べて表示する。
【０１１８】
図１９に示すように、ステップＳ８で生成された静止画データＦｆは、ユーザインターフェイス画面において、フレーム画像データＦ３と同じ大きさに表示される。第５実施例では、画像生成領域として、候補領域Ａｃ７が選択されたものとする（図７参照）。候補領域Ａｃ７は、フレーム画像データＦ３よりも小さい領域である。このため、候補領域Ａｃ７について生成された静止画データＦｆは、フレーム画像データＦ３と同じ縮尺でディスプレイ１１０に表示されると、フレーム画像データＦ３よりも小さく表示されることになる。図１９において、フレーム画像データＦ３の領域に対する静止画データＦｆの領域を、領域Ｆｆｏとして破線で示す。
【０１１９】
静止画データＦｆは、図１９のユーザインターフェイス画面において、フレーム画像データＦ３と同じ縮尺で表示された場合の大きさよりも拡大されて、フレーム画像データＦ３と同じ大きさに表示される。なお、図１９において、静止画データＦｆがフレーム画像データＦ３と同じ縮尺でディスプレイ１１０に表示された場合の領域を、静止画データＦｆ上に領域Ｆｆｏ２として一点鎖線で示す。
【０１２０】
ここでは、フレーム画像データＦ３よりも小さい領域について静止画データＦｆが生成された場合を例に説明した。しかし、フレーム画像データＦ３よりも大きい領域（たとえば、候補領域Ａｃ９〜Ａｃ１２）について静止画データＦｆが生成された場合には、静止画データＦｆは、フレーム画像データＦ３と同じ縮尺で表示された場合の大きさよりも縮小されて、フレーム画像データＦ３と同じ大きさに表示される。
【０１２１】
なお、フレーム画像データＦ３と同じ大きさの領域（たとえば、候補領域Ａｃ０〜Ａｃ４）について静止画データＦｆが生成された場合は、静止画データＦｆは、フレーム画像データＦ３と同じ縮尺で表示される。その結果、静止画データＦｆは、フレーム画像データＦ３と同じ大きさに表示される。
【０１２２】
このような態様とすることで、ユーザは、自己がステップＳ２で選択したフレーム画像データＦ３が含む画像の領域と、生成された静止画データＦｆが含む画像の領域と、を容易に比較することができる。
【０１２３】
比較の結果、表示されている静止画データＦｆで良いと判断した場合は、ユーザは、マウス１３０を操作して、図１９の下段に示すようにカーソルＣｓを画面上の「ＯＫ」のボタンに合わせて、クリックする。すると、動画データのフレーム画像から静止画データを生成する処理は終了する。一方、比較の結果、表示されている静止画データＦｆの内容に不満である場合には、図１９の下段左側に示す「戻る」ボタンをクリックする。その場合には、静止画データを生成する処理は、図１８のステップＳ２から再び実行される。
【０１２４】
このような態様とすることで、ユーザは、生成された静止画データＦｆの内容を見た上で、好ましい領域を有する静止画データを生成することができる。
【０１２５】
Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１２６】
（１）第１実施例では、生成する静止画データの画像は、フレーム画像データの画素の４倍の密度の画素で構成されていた。しかし、静止画データの画素の密度はこれに限られるものではなく、他の画素密度でもよい。すなわち、生成する静止画の画像は、画像を構成する画素の密度がもとの画像の密度よりも高い画像であればよい。ここで、「画素の密度が高い」は、以下のような意味である。すなわち、第１の画像と第２の画像とがともに画像中に含んでいる同一の対象物がある場合に、第２の画像がその対象物を表すのに要している画素の数が、第１の画像がその対象物を表すのに要している画素の数よりも多いとき、第２の画像は第１の画像よりも「画素の密度が高い」ものとする。
【０１２７】
（２）第１実施例では、ユーザが指定した範囲と等しい範囲である候補領域Ａｃ０を中心として、互いに逆の向きにずれている候補領域を、それぞれ１個ずつ準備した。しかし、これらの候補領域の数は１こずつに限られるものではなく、１個以上の任意の数とすることができる。ただし、互いに逆の向きにずれている候補領域は同数だけ準備することが好ましい。
【０１２８】
また、第１実施例では、候補領域Ａｃ０に対してそれぞれ同じ点を基準として領域を拡大または縮小した候補領域を、それぞれ１個ずつ、候補領域として準備した。しかし、これらの候補領域の数は１こずつに限られるものではなく、１個以上の任意の数とすることができる。ただし、同じ点を基準として領域を拡張または減縮した候補領域は、拡大されたものと縮小されたものとを同数だけ準備することが好ましい。
【０１２９】
（３）上記第１実施例では、サンプル点は候補領域の各辺について５個づつ設けられていた。また、第４実施例においては、サンプル点はフレーム画像データの画像の領域の辺上に５個づつ設けられていた。しかし、これらのサンプル点の数は５個に限られるものではなく、任意の数とすることができる。ただし、５個から２１個の間の数であることが好ましく、９個から１７個の間の数とすることがより好ましい。サンプル点が多いほど、各候補領域の評価を詳細に行うことができる。ただし、サンプル点が多いほど、各候補領域を評価する際の計算量は多くなる。
【０１３０】
また、第２実施例においては、評価領域Ａｅｉの幅は矩形形状を有する候補領域の長辺の１／２０であった。しかし、評価領域Ａｅｉの幅は他の値とすることもできる。ただし、評価領域Ａｅｉのうち候補領域の短辺近傍の部分の幅Ｗ１は、候補領域の長辺の長さＬ２の１／５以下の所定の寸法とすることが好ましく、評価領域Ａｅのうち候補領域の長辺近傍の部分の幅Ｗ２は、候補領域の短辺の長さＬ１の１／５以下の所定の寸法とすることが好ましい。さらに、短辺近傍の評価領域Ａｅの幅Ｗ１は、Ｌ２の１／１０以下の所定の寸法とすることがより好ましい。そして、長辺近傍の評価領域Ａｅの幅Ｗ２は、候補領域の短辺の長さＬ１の１／１０以下の所定の寸法とすることがより好ましい。
【０１３１】
上記第２実施例では、候補領域Ａｃ０の内側であって外周の辺近傍に所定の幅で設定された評価領域Ａｅ０と、フレーム画像データの範囲と、の重複部分の大きさに基づいて候補領域の中から画像生成領域を選択していた。しかし、評価領域は、候補領域の外側であって外周の辺近傍に所定の幅で設定された領域であってもよい。すなわち、評価領域とフレーム画像データの範囲との重複部分の大きさ（その領域の面積やその領域に含まれる画素の数）に基づいて画像生成領域を選択する際には、評価領域は、候補領域の外輪郭の近傍の領域とすることができる。
【０１３２】
なお、「候補領域の外輪郭の近傍」は、以下のように特定される。すなわち、候補領域内に含まれることができる線分であって長さが最大である線分の長さを「第１の長さ」と呼ぶこととする。このとき、ある地点が、候補領域の外輪郭から第１の長さの２０％以下の範囲にある場合には、その地点は、「候補領域の外輪郭の近傍」にあるものとする。
【０１３３】
また、上記第１実施例では、サンプル点は候補領域の各辺上に設けられていた。しかし、候補領域の外輪郭の近傍に複数のサンプル点を設け、それらのサンプル点のうち、各フレーム画像データの範囲に含まれるものの数に基づいて候補領域の中から画像生成領域を選択してもよい。
【０１３４】
さらに、フレーム画像データの画像の範囲と候補領域との重複部分の大きさに基づいて、画像生成領域を選択する態様とすることもできる。そのような態様においては、重複部分の大きさを重複部分の面積で評価する態様とすることができる。また、フレーム画像データの画像の画素のうち、上記重複範囲に含まれるものの数に基づいて重複部分の大きさを評価し、画像生成領域を選択する態様とすることができる。
【０１３５】
（４）第２実施例においては、評価領域Ａｅｉのうちフレーム画像データ内に含まれる領域内の画素数に基づいて、候補領域の評価値を決定していた。そして、その画素数はフレーム画像データの画素に基づいてカウントされていた。しかし、画素数は生成する画像の画素に基づいてカウントしてもよい。そして、そのようにして計数した画素数に基づいて、候補領域の評価値を決定してもよい。また、評価領域Ａｅｉのうちフレーム画像データ内に含まれる領域の面積に基づいて候補領域の評価値を決定してもよい。
【０１３６】
（５）上記第２〜第４実施例では、候補領域から画像生成領域を選択する際の目標となる数値を、ユーザーが入力していなかった。すなわち、第１実施例における目標評価値Ｓｔに相当する数値をユーザーが入力していなかった。しかし、第２〜第４実施例において、ユーザーがそのような数値を入力することとしてもよい。第２実施例において、ユーザがキーボード１２０やマウス１３０を通じてＤｉの目標値であるＤｔの値を入力し、Ｄｔとの差が最も小さい評価値Ｄｉを有する候補領域を、画像生成領域として選択する態様としてもよい。同様に、第３または４実施例において、ユーザがＧｉの目標値であるＧｔ、Ｈｉの目標値であるＨｔの値を入力する態様とし、それらとの差が最も小さい評価値Ｇｉ、Ｈｉを有する候補領域を、画像生成領域として選択する態様としてもよい。このような態様とすれば、画像生成領域の大きさと生成する画像の精度とをユーザーが制御することができる。
【０１３７】
たとえば、第２実施例において、候補領域Ａｃ０を大幅に減縮した候補領域を設けた場合、その候補領域は各フレーム画像データＦ１〜Ｆ５の領域に比べて小さいため、評価領域Ａｅｉのうちのより多くの割合の部分が各フレーム画像データＦ１〜Ｆ５の領域に含まれやすい。よって、そのような候補領域は、Ｄｉの値が大きくなり、画像生成領域として選択されやすくなる。しかし、ユーザーがＤｉの目標値であるＤｔの値を入力し、Ｄｔとの差が最も小さいＤｉを有する候補領域を画像生成領域として選択する態様とすれば、面積の小さい候補領域が常に画像生成領域として選択されてしまうのを防止することができる。第３実施例についても同様である。
【０１３８】
また、第４実施例において、候補領域Ａｃ０を大幅に拡張した候補領域を設けた場合、その候補領域は各フレーム画像データＦ１〜Ｆ５の領域に比べて大きいため、そのような候補領域は、より多くのサンプル点Ｐｅ１〜Ｐｅ５を含みやすい。よって、そのような候補領域は、Ｈｉの値が大きくなり、画像生成領域として選択されやすくなる。しかし、ユーザーがＨｉの目標値であるＨｔの値を入力し、Ｈｔとの差が最も小さいＨｉを有する候補領域を画像生成領域として選択する態様とすれば、面積の大きい候補領域が常に画像生成領域として選択されてしまうのを防止することができる。
【０１３９】
また、第１実施例においては、候補領域の辺上に設けられたサンプル点は、短辺、長辺とも５個であった。このため、目標評価値Ｓｔは、１〜５の間で一つだけ設定された。しかし、候補領域の辺上に設けられたサンプル点は任意の数とすることができる。そして、候補領域の辺上に設けられたサンプル点の数が、短辺と長辺とで異なる場合は、短辺と長辺それぞれについて目標評価値Ｓｔ１，Ｓｔ２を設定し、目標評価値Ｓｔ１，Ｓｔ２と各辺の評価値Ｓijのズレに基づいて候補領域の評価値を計算する態様とすることもできる。
【０１４０】
（６）上記第１実施例では、特定画素は同一のフレーム画像データに含まれる画素であった。しかし、特定画素は同一のフレーム画像データに含まれる画素には限られない。すなわち、特定画素は、対象画素の近傍にある任意の画素とすることができる。ここで、「対象画素の近傍」とは、対象画素を中心とし、フレーム画像データの画素の幅２個分の長さの半径を有する円の中に含まれる範囲をいう。ただし、特定画素は、対象画素の最も近くにある３個または４個の画素とすることが好ましい。
【０１４１】
（７）上記各実施例では、生成する静止画データの画像の領域の形状とフレーム画像データの画像の領域の形状とは、相似であった。しかし、生成する静止画データの画像の領域は任意の形状とすることができる。たとえば、その形状は、ユーザがキーボード１２０やマウス１３０を通じて指定し、または選択することとしてもよい。そして、候補領域は、そのようにして指定された形状の領域を上下左右に動かした領域や、拡大または縮小した領域とすることができる。
【０１４２】
（８）上記実施例では、フレーム画像データの各画素はレッド、グリーン、ブルーの階調値を有していた。しかし、フレーム画像データの各画素はシアン、マゼンタ、イエロなどの、他の組み合わせの色の階調値を有する態様とすることもできる。
【０１４３】
（９）第５実施例においては、動画から取得したフレーム画像データＦ３と、生成した静止画データＦｆとは、ディスプレイ１１０上に表示された（図１９参照）。しかし、動画から取得したフレーム画像データＦ３と、生成した静止画データＦｆとを、プリンタ２２で印刷する態様とすることもできる。そのような態様としても、ユーザは、フレーム画像データＦ３の画像領域と、生成した静止画データＦｆの画像領域とを比較することができる。
【０１４４】
すなわち、高解像度画像データを生成する印刷システムは、高解像度画像データを生成する材料である低解像度画像データと、その低解像度データから生成される高解像度画像データとを、何らかの形で画像データを出力することができる出力部を介して、出力する態様とすることができる。その際、低解像度データと高解像度画像データとは、同じ大きさで出力されることが好ましい。
【０１４５】
（１０）上記各実施例では、候補領域の評価値は、サンプル点の数や、候補領域Ａｃｉの各辺のうちフレーム画像データ内に含まれる部分の長さに基づいて決定されていた。しかし、候補領域の評価値は他の方法で決定することもできる。ただし、候補領域の評価値は、（ｉ）候補領域と複数の第１の画像との重なりの程度と、（ｉｉ）画像生成領域と複数の第１の画像との重なりの程度を表す目標値と、に基づいて決定することが好ましい。その際、候補領域と複数のフレーム画像との重なりの程度を表す指標値（たとえば、第１実施例において候補領域の辺の評価値Ｓij）と、目標値（たとえば、第１実施例における目標評価値Ｓｔ）とのずれに基づいて、評価値が決定されることが好ましい。
【０１４６】
（１１）上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェア（コンピュータプログラム）に置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、図１に示したようなフレームデータ取得部、静止画生成部による処理をハードウェア回路で行うこととしてもよい。
【０１４７】
（１２）上述の機能を実現するコンピュータプログラムは、フロッピディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。ホストコンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してプログラム供給装置からホストコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがホストコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをホストコンピュータが直接実行するようにしてもよい。
【０１４８】
（１３）この明細書において、ホストコンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。コンピュータプログラムは、このようなホストコンピュータに、上述の各部の機能を実現させる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていても良い。
【０１４９】
（１４）なお、この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【０１５０】
【図１】本発明の実施例である画像処理装置の概略構成を示す説明図。
【図２】動画データの複数のフレーム画像から静止画を表す静止画データを生成する手順を示すフローチャート。
【図３】ユーザが動画再生中に高精度の静止画を生成したい瞬間を指定するためのユーザインターフェイス画面を示す説明図。
【図４】フレーム画像データの相対位置を特定する方法を示す説明図。
【図５】５組のフレーム画像データＦ１〜Ｆ５の相対位置を示す説明図。
【図６】図２のステップＳ６において静止画データを生成する領域を決定する手順を示すフローチャート。
【図７】候補領域Ａｃ１〜Ａｃ１２を示す説明図。
【図８】フレーム画像データＦ１〜Ｆ５が記録している画像の和の領域である領域Ｆａと、候補領域Ａｃ０〜Ａｃ１２との相対位置を示す説明図。
【図９】候補領域Ａｃ０のサンプル点Ｐｅとフレーム画像データＦ１〜Ｆ５の関係を示す説明図。
【図１０】候補領域Ａｃ０についてのフレーム画像データ内にあるサンプル点の数Ｎijk、候補領域Ａｃ０の各辺の評価値Ｓ0j、候補領域Ａｃ０の評価値Ｅ0を表す表。
【図１１】フレーム画像データＦ１〜Ｆ５が重複して記録している部分と、画像生成領域Ａｄの関係を示す説明図。
【図１２】画素の密度の低い複数の画像から画素の密度の高い画像を合成する方法を示す説明図。
【図１３】フレーム画像データの各画素のＲＧＢの階調値から、静止画データの画素についてのＲＧＢの各階調値を求める手順を示すフローチャート。
【図１４】候補領域Ａｃ０の内側であって外周の辺の近傍に所定の幅で設定された評価領域Ａｅ０を示す説明図。
【図１５】候補領域Ａｃ０の４辺のうち、フレーム画像データＦ１の範囲内に含まれる部分の長さＬｃ01を示す説明図。
【図１６】各フレーム画像データＦ１〜Ｆ５の画像の領域の辺上に設けられたサンプル点Ｐｅ１〜Ｐｅ５を示す説明図。
【図１７】第５実施例の画像処理装置の概略構成を示す説明図。
【図１８】第５実施例において、動画データの複数のフレーム画像から静止画を表す静止画データを生成する手順を示すフローチャート。
【図１９】図１８のステップＳ１０において、ディスプレイ１１０に表示されるユーザインターフェイス画面を示す説明図。
【符号の説明】
【０１５１】
２２…プリンタ
９５…アプリケーションプログラム
１００…パーソナルコンピュータ
１０２…ＣＰＵ
１０２ａ…フレームデータ取得部
１０２ｂ…フレーム合成部
１０２ｃ…生成領域決定部
１０２ｄ…静止画生成部
１０２ｅ…候補領域生成部
１０２ｆ…候補領域選択部
１０２ｇ…生成画像確認部
１１０…ディスプレイ
１２０…キーボード
１３０…マウス
１４０…Ｒ／ＲＷドライブ
Ａｃ０〜Ａｃ１２…候補領域
Ａｄ…画像生成領域
Ａｅ０…評価領域
Ｃｓ…カーソル
Ｆ１〜Ｆ５…フレーム画像データ
Ｆａ…フレーム画像データＦ１〜Ｆ５が記録している画像の領域
Ｆｆ…静止画データ
Ｆｆｏ…フレーム画像データＦ３の領域に対する静止画データＦｆの領域
Ｆｆｏ２…静止画データＦｆがフレーム画像データＦ３と同じ縮尺で表示された場合の領域
Ｎijk…候補領域のある辺の上にあるサンプル点のうち、各フレーム画像データ内にあるものの数
Ｐｅ…サンプル点
Ｐｅ１〜Ｐｅ５…サンプル点
Ｐｎ１１…対象画素Ｐｓ１の最近傍画素
Ｐｎ１１〜Ｐｎ１３…対象画素Ｐｓ１の特定画素
Ｐｎ２１…対象画素Ｐｓ２の最近傍画素
Ｐｎ２１〜Ｐｎ２４…対象画素Ｐｓ２の特定画素
Ｐｓ１，Ｐｓ２…対象画素
Ｓｐ１〜Ｓｐ３…特徴点
Ｔ01…評価領域Ａｅ０の画素のうちで、フレーム画像データＦ１内に含まれる領域内の画素の数
ｐ１…フレーム画像データＦ１〜Ｆ５が記録している画像のうち、１個のフレーム画像データのみが記録している部分
ｐ２…フレーム画像データＦ１〜Ｆ５が記録している画像のうち、２個のフレーム画像データが重複して記録している部分
ｐ３…フレーム画像データＦ１〜Ｆ５が記録している画像のうち、３個のフレーム画像データが重複して記録している部分
ｐ４…フレーム画像データＦ１〜Ｆ５が記録している画像のうち、４個のフレーム画像データが重複して記録している部分
ｐ５…フレーム画像データＦ１〜Ｆ５が記録している画像のうち、全フレーム画像データＦ１〜Ｆ５が重複して記録している部分
【図１】
2004336717.tif 000007
【図２】
2004336717.tif 000008
【図３】
2004336717.tif 000009
【図４】
2004336717.tif 000010
【図５】
2004336717.tif 000011
【図６】
2004336717.tif 000012
【図７】
2004336717.tif 000013
【図８】
2004336717.tif 000014
【図９】
2004336717.tif 000015
【図１０】
2004336717.tif 000016
【図１１】
2004336717.tif 000017
【図１２】
2004336717.tif 000018
【図１３】
2004336717.tif 000019
【図１４】
2004336717.tif 000020
【図１５】
2004336717.tif 000021
【図１６】
2004336717.tif 000022
【図１７】
2004336717.tif 000023
【図１８】
2004336717.tif 000024
【図１９】
2004336717.tif 000025