(57)【要約】【課題】  複数の画像データを合成して生成した高精細な画像を表す高精細画像データに対する画質調整を行う際に、画質の低下を抑制することを可能とする。【解決手段】  画像生成装置は、複数の画像データから時系列に並んだ複数の画像データを合成元画像データとして取得し、取得した合成元画像データを合成して、複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像合成部を備える。また、画像生成装置は、生成する高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成する画像特性情報生成部を備える。さらに、画像生成装置は、生成された画像特性情報と、高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部を備える。【選択図】        図２
2005252426.tif 000002
【特許請求の範囲】
【請求項１】
画像ファイルを生成する画像生成装置であって、
複数の画像データから時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像合成部と、
前記生成する高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成する画像特性情報生成部と、
前記生成された画像特性情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、を備える、画像生成装置。
【請求項２】
請求項１記載の画像生成装置であって、
前記特定の画質調整は、前記画像合成部において前記高精細画像データに対して実行されていない画質調整である、画像生成装置。
【請求項３】
請求項１または請求項２に記載の画像生成装置であって、
前記特定の画質調整は、シャープネスの調整である、画像生成装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像生成装置であって、
前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データである、画像生成装置。
【請求項５】
画像データの画質調整を行う画像処理装置であって、
複数の画像データから取得した時系列に並んだ複数の画像データを合成することによって生成した前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データと、前記生成した高精細画像データに対する特定の画質調整を制限するための画像特性情報と、を含む高精細画像ファイルを取得する画像ファイル取得部と、
前記取得した高精細画像ファイルに含まれる前記画像特性情報を解析する画像特性情報解析部と、
前記画像特性情報の解析結果に従って、前記高精細画像データに対する特定の画質調整の実行を制限する画質調整部と、を備える、画像処理装置。
【請求項６】
画像ファイルを生成する画像生成方法であって、
（ａ）複数の画像データから時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する工程と、
（ｂ）前記生成する高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成する工程と、
（ｃ）前記生成された画像特性情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する工程と、を備える、画像生成方法。
【請求項７】
画像ファイルを生成するための画像生成プログラムであって、
複数の画像データから時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像合成機能と、
前記生成する高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成する画像特性情報生成機能と、
前記生成された画像特性情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成機能と、をコンピュータに実現させることを特徴とする、画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対する画質調整を制限するための情報を含む画像ファイルを生成する技術、および生成された画像ファイルに対する画像処理を行う技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の動画像生成装置によって生成された動画像は、複数の比較的低精細な画像（例えば、フレーム画像）によって構成されている。この動画像を構成する低精細な画像を表す画像データから、その画像よりも高精細な画像を表す高精細画像データを生成する技術が知られている（例えば特許文献１）。このような技術によって生成した高精細な画像をプリンタで印刷するとき、ユーザーの指示によって、または自動的に、高精細画像データに対して種々の画質調整が行われることがある。なお、本明細書では、「高精細」とは、画素ピッチが小さいことを意味し、「低精細」とは、画素ピッチが大きいこと意味している。
【０００３】
【特許文献１】特開２０００−２４４８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記技術を用いて生成した高精細画像データに対して画質調整を行うと、画質調整の内容によっては、かえって高精細画像の画質が低下してしまう恐れがあるという問題があった。
【０００５】
なお、このような問題は、プリンタでの印刷時における画質調整に限らず、高精細画像データに対して画質調整を行う場合に共通する問題であった。また、このような問題は、動画像を構成する画像データに限らず、複数の画像データから生成した高精細画像データに共通する問題であった。
【０００６】
本発明は、上述した従来の課題を解決するためになされたものであり、複数の画像データを合成して生成した高精細な画像を表す高精細画像データに対する画質調整を行う際に、画質の低下を抑制することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一部を解決するために、本発明の画像生成装置は、画像ファイルを生成する画像生成装置であって、
複数の画像データから時系列に並んだ複数の画像データを合成元画像データとして取得し、前記取得した合成元画像データを合成して、前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データを生成する画像合成部と、
前記生成する高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成する画像特性情報生成部と、
前記生成された画像特性情報と、前記高精細画像データと、を含む高精細画像ファイルを生成する画像ファイル生成部と、を備える。
【０００８】
この画像生成装置は、合成元画像データを合成して高精細画像データを生成すると共に、高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成し、高精細画像データと画像特性情報とを含む高精細画像ファイルを生成することができる。そのため、このように生成された高精細画像ファイルに対して画質調整を行う際に、高精細画像データに対して行うと画質の低下の恐れがある特定の画質調整を制限することができる。従って、複数の画像データを合成して生成した高精細な画像を表す高精細画像データに対する画質調整を行う際に、画質の低下を抑制することができる。
【０００９】
上記画像生成装置において、前記特定の画質調整は、前記画像合成部において前記高精細画像データに対して実行されていない画質調整であるとしてもよい。
【００１０】
このようにすれば、高精細画像データの特性から高精細画像データに対して実行すると画質の低下の恐れがある画質調整の実行を制限することができる。
【００１１】
上記画像生成装置において、前記特定の画質調整は、シャープネスの調整であるとしてもよい。
【００１２】
このようにすれば、高精細画像データに対して実行すると画質の低下の恐れが特に大きいシャープネスの調整の実行を制限することができる。
【００１３】
また、上記画像生成装置において、前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データであるとしてもよい。
【００１４】
このようにすれば、動画像を構成する時系列的に連続したフレーム画像データから生成した高精細画像データに対して画質調整を行う際に、画質の低下を抑制することができる。
【００１５】
また、上記課題の少なくとも一部を解決するために、本発明の画像処理装置は、画像データの画質調整を行う画像処理装置であって、
複数の画像データから取得した時系列に並んだ複数の画像データを合成することによって生成した前記複数の画像データの表す画像より高精細な高精細画像を表す高精細画像データと、前記生成した高精細画像データに対する特定の画質調整を制限するための画像特性情報と、を含む高精細画像ファイルを取得する画像ファイル取得部と、
前記取得した高精細画像ファイルに含まれる前記画像特性情報を解析する画像特性情報解析部と、
前記画像特性情報の解析結果に従って、前記高精細画像データに対する特定の画質調整の実行を制限する画質調整部と、を備える。
【００１６】
この画像処理装置は、高精細画像ファイルに含まれる画像特性情報を解析し、その解析結果に従って、高精細画像データに対する特定の画質調整の実行を制限することができる。従って、複数の画像データを合成して生成した高精細な画像を表す高精細画像データに対する画質調整を行う際に、画質の低下を抑制することができる。
【００１７】
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像処理方法および装置、画像変換方法および装置、画像出力方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．画像生成・処理装置の構成：
Ａ−２．処理の概要：
Ａ−３．高精細画像ファイルの生成：
Ａ−４．高精細画像の画質調整：
Ａ−５．画像合成：
Ｂ．変形例：
【００１９】
Ａ．第１実施例：
Ａ−１．画像生成・処理装置の構成：
図１は、本発明の第１実施例としての画像生成・処理装置の構成を概略的に示した説明図である。この画像生成・処理装置１００は、コンピュータ１０と、コンピュータ１０に情報を入力する装置としてのキーボード３０およびマウス４０と、情報を出力する装置としてのディスプレイ２０およびプリンタ７０と、コンピュータ１０に動画像データを入力するデジタルビデオカメラ６０およびＣＤ−Ｒ／ＲＷドライブ５０とを備えている。なお、動画像データを入力する装置としては、ＤＶＤドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
【００２０】
コンピュータ１０は、所定のオペレーティングシステムの下で、高精細画像ファイルを生成するためのアプリケーションプログラムを実行することにより、高精細画像ファイルの生成を行う。高精細画像ファイルは、高精細画像データと画像特性情報とを含んでいる。高精細画像データは、動画像データを構成する複数のフレーム画像データを合成することによって生成される、フレーム画像データの表すフレーム画像よりも高精細な静止画像である。画像特性情報は、高精細画像データに対する画質調整を制限するための情報を含んでいる。このアプリケーションプログラムは、画像合成部１１と、画像特性情報生成部１２と、画像ファイル生成部１３との機能を有している。
【００２１】
また、コンピュータ１０は、所定のオペレーティングシステムの下で、高精細画像の画質調整を行うためのアプリケーションプログラムを実行することにより、高精細画像の画質調整を行う。高精細画像の画質調整は、高精細画像ファイルに含まれる高精細画像データの表す高精細画像の画質を調整するために、高精細画像データの画像変換を行う処理である。このアプリケーションプログラムは、画像ファイル取得部１４と、画像特性情報解析部１５と、画質調整部１６との機能を有している。
【００２２】
さらに、コンピュータ１０は、画像の出力装置への出力を制御する画像出力制御部１７を備えている。
【００２３】
Ａ−２．処理の概要：
図２は、画像生成・処理装置による処理の概要を示した説明図である。図２には、画像生成・処理装置１００（図１）が、高精細画像データを生成し、高精細画像ファイルＧＦを生成し、高精細画像Ｇｐの画質調整を行って、高精細画像Ｇｐをプリンタ７０にて印刷するまでの処理の流れを示している。
【００２４】
図２の上段には、高精細画像データの生成に用いる動画像（以下「元動画像」と呼ぶ）を構成する複数のフレーム画像Ｇｆを、図の左側から右側へと時系列順に並べて示している。なお、本明細書において、元動画像を表す動画像データを「元動画像データ」と呼ぶ。
【００２５】
フレーム画像Ｆ０は、高精細画像データの生成において画像合成の基準となる画像（以下「基準フレーム画像」と呼ぶ）であり、その直後の２つのフレーム画像Ｆ１、Ｆ２は、画像合成の対象となる画像（以下「対象フレーム画像」と呼ぶ）である。なお、以下の説明では、画像とその画像を表す画像データとに同じ符号を用いるものとする。
【００２６】
画像生成・処理装置１００（図１）は、基準フレーム画像Ｆ０を表す基準フレーム画像データＦ０と、対象フレーム画像Ｆ１、Ｆ２を表す対象フレーム画像データＦ１、Ｆ２とを用いて高精細画像データの生成を行う。なお、本明細書において、基準フレーム画像データＦ０と対象フレーム画像データＦ１、Ｆ２とを合わせて「合成元フレーム画像データ」と呼ぶ。
【００２７】
図２には、合成元フレーム画像データＦ０、Ｆ１、Ｆ２を合成することによって生成された高精細画像Ｇｐを示している。高精細画像Ｇｐは、元動画像を構成するフレーム画像Ｇｆよりも高精細な画像として生成される。
【００２８】
次に、画像生成・処理装置１００は、高精細画像データに対する特定の画質調整を制限するための画像特性情報を生成し、高精細画像データと画像特性情報とを含む高精細画像ファイルＧＦを生成する。図２には、生成された高精細画像ファイルＧＦを示している。
【００２９】
また、画像生成・処理装置１００は、ユーザーの指示により、または自動的に、高精細画像ファイルＧＦに含まれる高精細画像データに対して画質調整を行う。このとき、画像生成・処理装置１００は、高精細画像ファイルＧＦに含まれる画像特性情報を解析して、その解析結果に従って、高精細画像データに対する特定の画質調整の実行を制限する。図２には、画像特性情報に従って画質調整が制限されている様子を示しており、また、画質調整された高精細画像Ｇｐを示している。
【００３０】
そして、画像生成・処理装置１００は、画質調整された高精細画像Ｇｐをプリンタ７０によって出力する。
【００３１】
以下、画像生成・処理装置１００による高精細画像ファイルの生成および高精細画像の画質調整の内容を詳細に説明する。
【００３２】
Ａ−３．高精細画像ファイルの生成：
図３は、画像生成・処理装置による高精細画像ファイルの生成の流れを示すフローチャートである。ステップＳ１００では、画像生成・処理装置１００の画像合成部１１（図１）が、画像合成を行う。上述したように、画像合成部１１による画像合成は、合成元フレーム画像データＦ０、Ｆ１、Ｆ２を用いて行う。基準フレーム画像Ｆ０としては、例えば、デジタルビデオカメラ６０に記録された動画像を再生してディスプレイ２０に表示中に、ユーザーからの高精細画像生成の指示が入力されたときに、ディスプレイ２０に表示されているフレーム画像が選択される。また、対象フレーム画像Ｆ１、Ｆ２としては、基準フレーム画像Ｆ０の直後の２つのフレーム画像が選択される。
【００３３】
画像合成部１１は、デジタルビデオカメラ６０に記録された元動画像から絶対フレーム番号を参照して合成元フレーム画像データＦ０、Ｆ１、Ｆ２を取得し、合成元フレーム画像データＦ０、Ｆ１、Ｆ２を合成して、高精細画像データを生成する。なお、本明細書において、「絶対フレーム番号」とは、動画像データ中の、最初のフレーム画像データから数えた通し番号を意味している。画像合成部１１による画像合成の詳細については後述する。
【００３４】
ステップＳ２００では、画像特性情報生成部１２（図１）が、画像特性情報を生成する。画像特性情報は、上述したように、高精細画像データに対する特定の画質調整を制限するための情報を含んでいる。ここで、特定の画質調整を制限する目的は、高精細画像データに対して既に行った画質調整を再度実行することによる画質の低下や処理時間の増加を防止するために限らず、高精細画像データの特性から、高精細画像データに対して行うと画質の低下を招く恐れのある画質調整の実行を制限するためでもある。
【００３５】
本実施例では、特定の画質調整はシャープネスの調整であり、画像特性情報は、シャープネスの調整を禁止する情報として生成される。これは、後述する高精細画像データの特性から、高精細画像データに対してシャープネスの調整を実行すると、画質が低下する恐れが特に大きいためである。具体的には、画像特性情報生成部１２は、高精細画像データに対するシャープネスの調整の禁止を意味するフラグを生成する。
【００３６】
ステップＳ３００では、画像ファイル生成部１３（図１）が、高精細画像ファイルを生成する。高精細画像ファイルＧＦは、上述したように、高精細画像データと画像特性情報とを含む画像ファイルである。
【００３７】
図４は、高精細画像ファイルの内部構成の一例を概略的に示す説明図である。高精細画像ファイルＧＦは、高精細画像データを格納する画像データ格納領域９０と、画像データ情報を格納する画像データ情報格納領域８０とを備えている。ここで、画像データ情報は、高精細画像データに関する種々の情報を意味しており、その中には、画像特性情報を含んでいる。高精細画像データは、例えば、ＪＰＥＧ形式で格納されており、画像データ情報は、例えば、ＴＩＦＦ形式で格納されている。なお、本実施例におけるファイルの構造、データの構造、といった用語は、ファイルまたはデータ等が記憶装置に格納された状態におけるファイルまたはデータの構造を意味するものである。
【００３８】
高精細画像ファイルＧＦは、基本的に上記の画像データ格納領域９０と、画像データ情報格納領域８０とを備えていれば良く、既に規格化されているファイル形式に従ったファイル構造をとることができる。以下、本実施例に係る高精細画像ファイルＧＦを規格化されているファイル形式に適合させた場合について具体的に説明する。
【００３９】
高精細画像ファイルＧＦは、例えば、デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）に従ったファイル構造を有することができる。Ｅｘｉｆファイルの仕様は、電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。また、Ｅｘｉｆファイル形式は、図４に示した概念図と同様に、ＪＰＥＧ形式の画像データを格納するＪＰＥＧ画像データ格納領域と、格納されているＪＰＥＧ画像データに関する各種情報を格納する付属情報格納領域とを備えている。ＪＰＥＧ画像データ格納領域は図４における画像データ格納領域９０に相当し、付属情報格納領域は図４における画像データ情報格納領域８０に相当する。なお、当業者にとって周知であるように、Ｅｘｉｆファイル形式のファイルでは、各データを特定するためにタグが用いられており、各データはタグ名によって呼ばれることがある。
【００４０】
付属情報格納領域には、図４に示した画像特性情報が、規定のアドレスまたはオフセット値に従って格納されている。画像特性情報は、例えば、付属情報格納領域内の未定義領域内であって、ユーザーに解放されているユーザー定義領域内に格納することができる。
【００４１】
以上説明したように、本実施例の画像生成・処理装置１００は、高精細画像データと、画像特性情報とを含む高精細画像ファイルＧＦを生成することができる。
【００４２】
Ａ−４．高精細画像の画質調整：
図５は、画像生成・処理装置による高精細画像の画質調整の流れを示すフローチャートである。また、図６は、高精細画像の画質調整を行うときの画像生成・処理装置のユーザインターフェイスの一例を示す説明図である。ステップＳ５００（図５）では、ユーザーが、画質調整の対象となる高精細画像ファイルＧＦの選択を行う。
【００４３】
図６には、ディスプレイ２０（図１）に表示されたユーザインターフェイス画面２００を示している。そして、図６（ａ）は、ユーザインターフェイス画面２００の初期画面を示している。ユーザインターフェイス画面２００には、ディレクトリ指定ボタン２１０と、サムネイル画像表示画面２２０と、画像情報画面２３０と、画質調整ボタン２３２と、印刷ボタン２４０とが表示されている。
【００４４】
ユーザーは、ディレクトリ指定ボタン２１０を操作して、サムネイル画像表示画面２２０にサムネイル画像を表示させたい画像ファイルが格納されているディレクトリを指定することができる。サムネイル画像表示画面２２０には、指定されたディレクトリに格納されているすべての画像ファイルのサムネイル画像が表示される。
【００４５】
ユーザーは、サムネイル画像表示画面２２０に表示されたサムネイル画像を参照して、画質調整の対象となる画像ファイルを選択する。図６（ａ）には、選択された画像ファイルのサムネイル画像を太枠で囲んで示している。図６の例では、選択された画像ファイルは、高精細画像ファイルＧＦであるとする。
【００４６】
なお、ユーザーが画像ファイルを選択すると、画像情報画面２３０には、選択された画像ファイルの画像情報が表示される。また、ユーザーは、画像情報画面２３０を操作して印刷枚数を指定することができ、印刷ボタン２４０を操作して選択した画像ファイルに含まれる画像の印刷指示を行うことができる。
【００４７】
ステップＳ６００（図５）では、画像ファイル取得部１４（図１）が、ステップＳ５００で選択された高精細画像ファイルを取得する。ステップＳ７００では、画像特性情報解析部１５（図１）が、取得した高精細画像ファイルに含まれる画像特性情報を解析する。
【００４８】
ステップＳ８００では、ユーザーが、画質調整の設定を行う。ユーザーは、画質調整ボタン２３２（図６）を操作することによって、選択した高精細画像ファイルＧＦに含まれる高精細画像データに対する画質調整の設定を行うことができる。ユーザーが、画質調整ボタン２３２を操作すると、ユーザインターフェイス画面２００には、図６（ｂ）に示した画質調整実行画面が表示される。このとき、ユーザインターフェイス画面２００には、画像表示画面２５０と、画質調整画面２６０と、図６（ａ）に示す初期画面に戻るための「戻る」ボタン２７０とが表示されている。
【００４９】
画像表示画面２５０には、選択された高精細画像ファイルＧＦに含まれる高精細画像データの表す高精細画像が表示される。画質調整画面２６０には、画質調整を行うことができる項目が表示されると共に、ユーザーが各項目についての画質調整量を指定するためのスライドバー２６２、２６４が表示される。ユーザーは、画質調整画面２６０に表示された画質調整項目を指定したり、スライドバー２６２、２６４を移動させたりして、画質調整の設定を行う。
【００５０】
このとき、画質調整部１６（図１）は、ステップＳ７００における画像特性情報の解析結果に従って、高精細画像データに対する画質調整の実行を制限する。本実施例では、高精細画像ファイルＧＦに含まれる画像特性情報は、シャープネスの調整を禁止する情報として生成されている。そのため、画質調整部１６は、画像特性情報の解析結果に従って、高精細画像データに対するシャープネスの調整の実行を制限する。
【００５１】
すなわち、図６に示すように、画質調整画面２６０に表示された各画質調整項目の内、シャープネスの調整に使用するシャープネス調整用スライドバー２６４が、例えば点線表示となって、ユーザーによる操作が不可能となる。従って、ユーザーは、シャープネスの調整の指示が行えなくなる。このようにして、高精細画像データに対するシャープネスの調整が禁止される。
【００５２】
ステップＳ９００（図５）では、画質調整部１６（図１）が、ユーザーの設定に従って、高精細画像ファイルＧＦに含まれる高精細画像データに対する画質調整を行う。
【００５３】
このように、本実施例の画像生成・処理装置１００は、高精細画像ファイルＧＦに含まれる高精細画像データに対する画質調整を実行する際に、画像特性情報を解析することによって、画質の低下の恐れが特に大きいシャープネスの調整を禁止することができる。従って、複数のフレーム画像データを合成して生成した高精細な画像を表す高精細画像データに対する画質調整を行う際に、画質の低下を抑制することができる。
【００５４】
Ａ−５．画像合成
以下、上述した高精細画像ファイルの生成における画像合成（図３のステップＳ１００）について、詳細に説明する。図７は、画像合成部による画像合成の流れを示すフローチャートである。ステップＳ１１０では、画像合成部１１（図１）が、合成元フレーム画像データを取得する。上述したように、合成元フレーム画像データとは、元動画像データ中のフレーム画像データの内、画像の合成に用いるフレーム画像データであり、本実施例では、基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１およびＦ２との、計３つのフレーム画像Ｇｆを表すフレーム画像データである。画像合成部１１によって取得された合成元フレーム画像データは、メモリやハードディスクなどの記憶装置（図示せず）に一時的に記憶される。
【００５５】
ステップＳ１２０では、画像合成部１１が、取得した合成元フレーム画像データの各フレーム画像相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。この補正量の推定では、対象フレーム画像Ｆ１およびＦ２について、基準フレーム画像Ｆ０に対する位置ずれを補正するための補正量がそれぞれ推定される。
【００５６】
図８は、基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図であり、図９は、基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図である。
【００５７】
以下の説明では、取得した３つのフレーム画像データの表すフレーム画像に連続番号ｎ（ｎ＝０，１，２）を付し、フレーム画像をその連続番号ｎを用いて呼ぶものとする。すなわち、連続番号ｎのフレーム画像をフレーム画像Ｆｎと呼ぶ。例えば、連続番号ｎの値が０のフレーム画像をフレーム画像Ｆ０と呼ぶ。ここで、Ｆ０は、基準フレーム画像Ｆ０を表し、Ｆ１およびＦ２は、対象フレーム画像Ｆ１およびＦ２を表すものとする。
【００５８】
画像の位置ずれは、並進（横方向または縦方向）のずれと、回転のずれとの組み合わせで表される。図８では、基準フレーム画像Ｆ０の縁と、対象フレーム画像Ｆ２の縁とを重ねた状態を示している。また、基準フレーム画像Ｆ０上の中心位置に仮想の十字画像Ｘ０を追記し、この十字画像Ｘ０が、対象フレーム画像Ｆ２と同様にずれたとして、対象フレーム画像Ｆ２上に、ずれた結果の画像である十字画像Ｘ２を示している。また、基準フレーム画像Ｆ０および十字画像Ｘ０を太い実線で示すとともに、対象フレーム画像Ｆ２および十字画像Ｘ２を細い破線で示している。
【００５９】
本実施例では、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」、回転ずれ量を「δｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」、「δｍｎ」と表す。例えば、図８に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して、並進ずれ、および回転ずれが生じており、そのずれ量は、ｕｍ２、ｖｍ２、δｍ２と表される。
【００６０】
ここで、対象フレーム画像Ｆ１、Ｆ２を基準フレーム画像Ｆ０と合成するためには、対象フレーム画像Ｆ１、Ｆ２と基準フレーム画像Ｆ０とのずれをなくすように、対象フレーム画像Ｆ１、Ｆ２の各画素の位置ずれを補正することとなる。この補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」、回転補正量を「δ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１，２）についてのこれらの補正量を「ｕｎ」、「ｖｎ」、「δｎ」と表す。例えば、対象フレーム画像Ｆ２についての補正量は、ｕ２、ｖ２、δ２と表される。
【００６１】
ここで、補正とは、対象フレーム画像Ｆｎ（ｎ＝１，２）の各画素の位置を、横方向にｕｎの移動、縦方向にｖｎの移動、およびδｎの回転を施した位置に移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎ、δｎ＝−δｍｎの関係で表される。例えば、対象フレーム画像Ｆ２についての補正量ｕ２、ｖ２、δ２は、ｕ２＝−ｕｍ２、ｖ２＝−ｖｍ２、δ２＝−δｍ２で表される。
【００６２】
以上のことから、例えば、図９に示すように、補正量ｕ２、ｖ２、δ２を用いて、対象フレーム画像Ｆ２の各画素の位置を補正することにより、対象フレーム画像Ｆ２と基準フレーム画像Ｆ０とのずれをなくすことができる。このとき、補正後の対象フレーム画像Ｆ２と、基準フレーム画像Ｆ０と、をディスプレイ２０（図１）で表示させると、図９に示すように、対象フレーム画像Ｆ２は、基準フレーム画像Ｆ０に対して部分的に一致する状態で表示される。なお、この補正の結果を分かり易く示すため、図９においても、図８と同じ仮想の十字画像Ｘ０および十字画像Ｘ２を表記しており、図９に示すように、補正の結果として、十字画像Ｘ２と十字画像Ｘ０との間のずれがなくなり一致することとなる。
【００６３】
同様に、対象フレーム画像Ｆ１についても、補正量ｕ１、ｖ１、δ１の各値を用いて補正が施され、対象フレーム画像Ｆ１の各画素の位置を置き換えることができる。
【００６４】
ところで、各対象フレーム画像Ｆｎ（ｎ＝１，２）についての補正量ｕｎ、ｖｎ、δｎは、画像合成部１１（図１）において、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１〜Ｆ２の画像データとに基づき、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出される。そして、算出された補正量ｕｎ、ｖｎ、δｎは、並進補正量データｕｎ、ｖｎおよび回転補正量データδｎとして、メモリ内（図示せず）の所定の領域に記憶される。
【００６５】
本実施例では、画像合成部１１は、推定した補正量ｕｎ、ｖｎ、δｎを用いて、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１〜Ｆ２との位置ずれを補正する。
【００６６】
ステップＳ１３０（図７）では、画像合成部１１（図１）は、基準フレーム画像データと補正した対象フレーム画像データとを合成して高精細画像Ｇｐを表す高精細画像データを生成する。このとき、画像合成部１１は、生成する高精細画像Ｇｐを構成する各画素（以下「生成画素」とも呼ぶ）のうち、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１、Ｆ２のいずれにも存在しない画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行うことにより、合成を行いつつ高精細化を行う。
【００６７】
図１０は、基準フレーム画像と対象フレーム画像とを、ずれを補正して配置した様子を拡大して示す説明図である。図１０では、高精細画像Ｇｐの各画素の中心位置が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素の中心位置が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ２の各画素の中心位置が、ハッチングを施した四辺形で示されている。なお、以下において高精細画像Ｇｐの画素の数は、基準フレーム画像Ｆ０の画素の数に対して、縦横それぞれ１．５倍になっているものとする。また、高精細画像Ｇｐの各画素の中心は、２画素おきに基準フレーム画像Ｆ０の各画素の中心に重なるような位置にあるものとする。ただし、高精細画像Ｇｐの画素の中心が、必ずしも基準フレーム画像Ｆ０の各画素の中心に重なるように位置している必要はない。例えば、高精細画像Ｇｐの各画素の中心のすべてが、基準フレーム画像Ｆ０の各画素の中心の中間に位置するものでもよく、種々の位置とすることが可能である。また、高精細画像Ｇｐと基準フレーム画像Ｆ０との画像サイズの比も、縦横それぞれ１．５倍に限定されるものではなく、種々の値に設定することができる。
【００６８】
以下では、高精細画像Ｇｐ内のある画素Ｇ（ｊ）（以下「注目画素Ｇ（ｊ）」と呼ぶ）に注目して説明する。ここで、変数ｊは、高精細画像Ｇｐを構成する全画素に付された識別番号である。高精細画像Ｇｐの画素に対する識別番号の付し方は、例えば、画像の左上端の画素をｊ＝１として、その右隣の画素をｊ＝２というように、右横方向に順番に番号を付していき、画像の右端の画素まで番号を付したら１段下の左端の画素に移って、同様に右横方向に番号を付し、最後に右下端の画素に番号を付すようにする。
【００６９】
画像合成部１１（図１）は、基準フレーム画像Ｆ０および対象フレーム画像Ｆ１、Ｆ２の画素の内、その画素中心と注目画素Ｇ（ｊ）の中心との距離が、所定の閾値Ｒより小さい画素を探索し、検出された画素を「近傍画素」として設定する。
【００７０】
図１０に示す例では、閾値Ｒの値がＲ１のときは、対象フレーム画像Ｆ２の画素Ｆ（２，ｐ）の中心と注目画素Ｇ（ｊ）の中心との距離Ｌ２が、Ｒ１より小さいため、画素Ｆ（２，ｐ）が近傍画素として設定される。一方、基準フレーム画像Ｆ０の画素Ｆ（０，ｚ）や対象フレーム画像Ｆ１の画素Ｆ（１，ｃ）は、それぞれの画素中心と注目画素Ｇ（ｊ）中心との距離（Ｌ０、Ｌ１）がＲ１より大きいため、近傍画素としては設定されない。なお、本明細書において、フレーム画像Ｆｎのｉ番目の画素を、Ｆ（ｎ，ｉ）と表記するものとし、変数ｉは、フレーム画像Ｆｎを構成する全画素に付された識別番号であるとする。フレーム画像Ｆｎの画素に対する識別番号の付し方は、上述した高精細画像Ｇｐの画素に対する識別番号の付し方と同様である。また、ｃ、ｐ、ｚは、それぞれ定数を表すものとする。
【００７１】
また、閾値Ｒの値がＲ２のときは、基準フレーム画像Ｆ０の画素Ｆ（０，ｚ）、対象フレーム画像Ｆ１の画素Ｆ（１，ｃ）、対象フレーム画像Ｆ２の画素Ｆ（２，ｐ）のすべてが近傍画素として設定される。
【００７２】
次に、画像合成部１１は、注目画素Ｇ（ｊ）の画素データを、設定された近傍画素と、その近傍画素を含むフレーム画像中において注目画素Ｇ（ｊ）を囲む他の画素との画素データを用いて、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理によって生成する。図１０の例において、閾値Ｒの値がＲ１のときは、対象フレーム画像Ｆ２の画素Ｆ（２，ｐ）が近傍画素として設定されているため、注目画素Ｇ（ｊ）の画素データの生成は、対象フレーム画像Ｆ２において注目画素Ｇ（ｊ）を囲む４つの画素の画素データを用いて行う。また、閾値Ｒの値がＲ２のときは、さらに、基準フレーム画像Ｆ０の画素Ｆ（０，ｚ）と対象フレーム画像Ｆ１の画素Ｆ（１，ｃ）とが近傍画素として設定されているため、注目画素Ｇ（ｊ）の画素データの生成は、基準フレーム画像Ｆ０と対象フレーム画像Ｆ１およびＦ２とにおいて注目画素Ｇ（ｊ）を囲む計１２個の画素の画素データを用いて行う。以下に、閾値Ｒの値がＲ１のときのバイ・リニア法による補間処理の一例について説明する。
【００７３】
図１１は、バイ・リニア法による補間処理について示す説明図である。図１１は、閾値Ｒの値がＲ１のときの例を示している。注目画素Ｇ（ｊ）は、基準フレーム画像Ｆ０および位置ずれ補正後の対象フレーム画像Ｆ１〜Ｆ２のいずれにも存在しない画素であるので、画素データが存在していない。また、上述のとおり、対象フレーム画像Ｆ２の画素Ｆ（２，ｐ）が、近傍画素として設定されている。このとき、画像合成部１１（図１）は、対象フレーム画像Ｆ２において注目画素Ｇ（ｊ）を囲む、４つの画素（Ｆ（２，ｐ）、Ｆ（２，ｐ＋１）、Ｆ（２，ｑ）、Ｆ（２，ｑ＋１））を用いて補間処理を行う。なお、本明細書において、注目画素Ｇ（ｊ）の補間処理に用いるフレーム画像の、注目画素Ｇ（ｊ）を囲む画素を周囲画素と呼び、周囲画素の中心を周囲画素中心と呼ぶ。
【００７４】
画像合成部１１は、まず、４つの周囲画素中心に囲まれた四角形を、各周囲画素中心と注目画素Ｇ（ｊ）の中心とを結ぶ４つの線分によって４つの三角形に分割する。そして、４つの周囲画素中心に囲まれた四角形の面積と、その四角形内の４つの三角形の面積とを用いて、各周囲画素の重み係数を算出する。すなわち、各周囲画素について、４つの周囲画素中心に囲まれた四角形の面積に対する、４つの三角形の内その周囲画素中心に接しない２つの三角形の面積の合計の比を算出して、算出された値をその周囲画素の重み係数とする。このように、重み係数を算出すると、注目画素Ｇ（ｊ）からの距離が近い周囲画素ほど重み係数が大きな値となる。
【００７５】
注目画素Ｇ（ｊ）の画素データは、周囲画素のそれぞれについて、その周囲画素の画素データと、その周囲画素の重み係数との積を合計することにより算出される。
【００７６】
なお、図１０において閾値Ｒの値がＲ２のときのように、注目画素Ｇ（ｊ）の画素データの生成に複数のフレーム画像を用いるときも、上述したのと同様に重み係数を算出し、周囲画素の画素データとその周囲画素の重み係数との積を合計することにより画素データの生成を行う。
【００７７】
以上説明したように、画像合成部１１による画像合成は、閾値Ｒの値によって、処理の内容が変化する。すなわち、閾値Ｒの値が小さいほど、高精細画像Ｇｐの各画素の画素データの生成に用いるフレーム画像数が少なくなる。一方、閾値Ｒの値が大きいほど、高精細画像Ｇｐの各画素の画素データの生成に用いるフレーム画像数が多くなる。そして、高精細画像Ｇｐの生成においては、高精細画像Ｇｐの各画素の画素データの生成に用いるフレーム画像数の多少によって、生成される高精細画像Ｇｐの画質は変化する。
【００７８】
図１２は、閾値Ｒの大きさと高精細画像Ｇｐの画質との関係を概念的に示す説明図である。画像合成部１１による補正量の推定（図７のステップＳ１２０）においては、動画像生成時のレンズの歪みやノイズ、局所的な動き等の影響によって、推定する補正量について誤差が発生する場合がある。図１２は、補正量の推定において誤差が発生したときの例を示している。図１２（ａ）には、画像合成に用いるずれ補正後の２つのフレーム画像の中の、対応する画像を表す一部分を拡大して示している。図１２（ａ）に示すように、補正量の推定における誤差の影響によって、両画像のエッジ部分には、ずれが生じている。
【００７９】
図１２（ｂ）〜（ｄ）には、画像合成部１１が、図１２（ａ）に示した２つの画像を用いて、画像合成を行った結果を示している。図１２（ｂ）は閾値Ｒの値が小さいときの、図１２（ｃ）は閾値Ｒの値が適当なときの、図１２（ｄ）は閾値Ｒの値が大きいときの、画像合成結果をそれぞれ示している。
【００８０】
図１２（ｂ）に示したように、閾値Ｒの値が小さいと、高精細画像Ｇｐの各画素の画素データの生成に用いるフレーム画像数が少ないため、シャープネスの高い画像となりやすい。しかし、補正量の推定における誤差の影響によって、画像のエッジ部分が二重像のようになりやすい。また、ノイズの低減効果も少ない。
【００８１】
一方、図１２（ｄ）に示したように、閾値Ｒの値が大きいと、高精細画像Ｇｐの各画素の画素データの生成に用いるフレーム画像数が多いため、補正量の推定における誤差の影響が平均化され、画像のエッジ部分のずれが目立ちにくくなる。また、ノイズも平均化されることによって低減されやすい。しかし、画素データもより平均化されてしまい、シャープネスの低い画像となりやすい。
【００８２】
このように、高精細画像Ｇｐの生成において、シャープネスの向上と、補正量の推定誤差の影響抑制およびノイズの低減とは、相反する。そこで、閾値Ｒの値を適当な値に設定すると、図１２（ｃ）に示すように、高精細画像Ｇｐを両者のバランスの取れた画像とすることができる。このように、画像合成部１１による画像合成における閾値Ｒは、生成する高精細画像Ｇｐの、シャープネスの向上と、補正量の推定誤差の影響抑制およびノイズの低減とのバランスが取れるように、あらかじめ実験的に調整される。
【００８３】
そのため、生成した高精細画像Ｇｐを表す高精細画像データに対してシャープネスの調整を行うと、図１２（ｂ）や図１２（ｄ）に示すような画像になってしまう恐れがある。従って、高精細画像データに対してシャープネスの調整を実行すると、画質の低下の恐れが特に大きいこととなる。
【００８４】
Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００８５】
Ｂ１．変形例１：
上記実施例では、画像特性情報は、シャープネスの調整を禁止する情報として生成されるとしているが、画像特性情報は、シャープネスの調整範囲を制限する情報として生成されるとすることも可能である。すなわち、シャープネス調整の制限とは、シャープネス調整の禁止と、シャープネス調整の調整範囲の制限とを含むものである。
【００８６】
高精細画像データに対してシャープネスの調整の調整範囲を制限すると、例えば、図６（ｂ）に示したユーザインターフェイス画面２００の画質調整画面２６０におけるシャープネス調整用スライドバー２６４は、スライド範囲が狭く表示され、ユーザーがシャープネスの調整を指定できる範囲が制限される。このようにしても、高精細画像データに対して画質調整を行う際に、画質の低下を抑制することができる。
【００８７】
Ｂ２．変形例２：
上記実施例では、画像特性情報として、高精細画像データに対するシャープネスの調整の禁止を意味するフラグが生成されるが、画像特性情報として、画像ファイルに含まれる画像データが高精細画像データであることを意味するフラグが生成されるとしてもよい。このような画像特性情報を含む画像ファイルに対して画質調整を行うとき、画質調整部１６（図１）は、画像ファイルに含まれる画像データが高精細画像データであることを認識して、画像データに対するシャープネスの調整を制限する。このようにしても、高精細画像データに対して画質調整を行う際に、画質の低下を抑制することができる。
【００８８】
Ｂ３．変形例３：
上記実施例では、特定の画質調整は、シャープネスの調整であるとしているが、特定の画質調整は、画像合成部１１（図１）において高精細画像データに対して実行されていない他の画質調整であるとすることも可能である。このようにしても、高精細画像データの特性から、高精細画像データに対して行うと画質の低下を招く恐れのある画質調整の実行を制限し、画質調整に伴う画質の低下を抑制することができる。また、特定の画質調整は、高精細画像データに対して既に行った画質調整であるとすることも可能である。このようにしても、高精細画像データに対して既に行った画質調整を再度実行することによる画質の低下や処理時間の増加を防止することができる。
【００８９】
Ｂ４．変形例４：
上記実施例では、ユーザーの指示により高精細画像データに対して行われる画質調整において、特定の画質調整が制限される例を用いて説明したが、自動的に高精細画像データに対して行われる画質調整において、特定の画質調整が制限されるとすることも、もちろん可能である。
【００９０】
Ｂ５．変形例５：
上記実施例では、対象フレーム画像を基準フレーム画像の直後の２つのフレーム画像であるとしているが、対象フレーム画像の選定方法や選定数は任意に設定可能である。例えば、基準フレーム画像の直前の２つのフレーム画像を対象フレーム画像として設定することも可能である。また、基準フレーム画像から所定のフレーム数離れたフレーム画像を対象フレーム画像として設定することも可能である。さらに、対象フレーム画像を３つ設定することも可能である。なお、対象フレーム画像の選定方法や選定数をユーザーが設定できるようにすることも可能である。
【００９１】
Ｂ６．変形例６：
上記実施例では、高精細画像データと画像特性情報とを含む高精細処理画像ファイルを生成しているが、高精細画像データと画像特性情報とが同一ファイルに存在する必要はなく、関連づけられた別々のファイルとすることも可能である。
【００９２】
Ｂ７．変形例７：
上記実施例では、サムネイル画像表示画面２２０にサムネイル画像を表示させるものとしているが、サムネイル画像表示画面２２０に画像ファイルに含まれる画像データの表す画像そのものを表示させることも可能である。
【００９３】
Ｂ８．変形例８：
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、高精細画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて高精細画像データを生成することも可能である。例えば、複数の静止画像データを用いて高精細画像データを生成することもできる。
【００９４】
Ｂ９．変形例９：
上記実施例において、画像全体のずれ補正量を推定する際に、並進ずれ（横方向ｕ、縦方向ｖ）および回転ずれ（δ）の３つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１実施例としての画像生成・処理装置の構成を概略的に示した説明図。
【図２】画像生成・処理装置による高精細画像ファイルの生成および高精細画像の画質調整の概要を示した説明図。
【図３】画像生成・処理装置による高精細画像ファイルの生成の流れを示すフローチャート。
【図４】高精細画像ファイルの内部構成の一例を概略的に示す説明図。
【図５】画像生成・処理装置による高精細画像の画質調整の流れを示すフローチャート。
【図６】高精細画像の画質調整を行うときの画像生成・処理装置のユーザインターフェイスの一例を示す説明図。
【図７】画像合成部による画像合成の流れを示すフローチャート。
【図８】基準フレーム画像と対象フレーム画像との位置ずれについて示す説明図。
【図９】基準フレーム画像と対象フレーム画像との位置ずれの補正について示す説明図。
【図１０】基準フレーム画像と対象フレーム画像とをずれを補正して配置した様子を拡大して示す説明図。
【図１１】バイ・リニア法による補間処理について示す説明図。
【図１２】閾値Ｒの大きさと高精細画像Ｇｐの画質との関係を概念的に示す説明図。
【符号の説明】
【００９６】
１０...コンピュータ
１１...画像合成部
１２...画像特性情報生成部
１３...画像ファイル生成部
１４...画像ファイル取得部
１５...画像特性情報解析部
１６...画質調整部
１７...画像出力制御部
２０...ディスプレイ
３０...キーボード
４０...マウス
５０...ＣＤ−Ｒ／ＲＷドライブ
６０...デジタルビデオカメラ
７０...プリンタ
８０...画像データ情報格納領域
９０...画像データ格納領域
１００...画像生成・処理装置
２００...ユーザインターフェイス画面
２１０...ディレクトリ指定ボタン
２２０...サムネイル画像表示画面
２３０...画像情報画面
２３２...画質調整ボタン
２４０...印刷ボタン
２５０...画像表示画面
２６０...画質調整画面
２６２、２６４...スライドバー
２７０...「戻る」ボタン
【図１】
2005252426.tif 000003
【図２】
2005252426.tif 000004
【図３】
2005252426.tif 000005
【図４】
2005252426.tif 000006
【図５】
2005252426.tif 000007
【図６】
2005252426.tif 000008
【図７】
2005252426.tif 000009
【図８】
2005252426.tif 000010
【図９】
2005252426.tif 000011
【図１０】
2005252426.tif 000012
【図１１】
2005252426.tif 000013
【図１２】
2005252426.tif 000014