(57)【要約】【課題】複数記憶されているデジタル画像を適切に再生表示する。【解決手段】デジタルデータとして記憶されているデジタル画像を読み出すと、画像を解析することによって、デジタル画像の合焦度（撮影時の焦点の合い具合を表す指標）を検出した後、検出した合焦度に応じた態様で、デジタル画像の再生表示を行う。デジタル画像を再生表示する態様を決定する際には、焦点が合っているか否かが大きな影響を与えるので、デジタル画像の合焦度を検出して、検出した合焦度に応じた態様で再生表示してやれば、記憶されているデジタル画像を適切に再生表示することが可能となる。【選択図】図２
2009010564.tif 000002
【特許請求の範囲】
【請求項１】
デジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う画像再生装置であって、
前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出手段と、
前記検出した合焦度に応じた態様で、前記デジタル画像の再生表示を行う再生表示手段と
を備える画像再生装置。
【請求項２】
請求項１に記載の画像再生装置において、
前記合焦度検出手段は、
画像に出現するエッジの類型を規定したエッジパターンを、前記合焦度と対応付けて複数種類記憶しているエッジパターン記憶手段と、
前記デジタル画像を、第１の方向の画素数および前記第１の方向と直交する第２の方向の画素数が前記所定個数の大きさを有する単位領域に分割する領域分割手段と、
前記単位領域の前記第１の方向の階調値の変化を表す指標および前記第２の方向の階調値の変化を表す指標と、複数種類の前記エッジパターンとを比較することにより、前記単位領域の前記合焦度である領域合焦度を算出する領域合焦度算出手段と、
前記単位領域毎に得られた前記領域合焦度に基づいて前記デジタル画像の前記合焦度を算出する合焦度算出手段と
を備えている画像再生装置。
【請求項３】
請求項２に記載の画像再生装置において、
前記エッジパターン記憶手段は、前記エッジパターンを、周波数成分の大きさに対応する数値の並びによって表現した態様で記憶し、
前記第１の方向の階調値の変化を表す指標は、前記デジタル画像を離散コサイン変換して得られる前記第１の方向の離散コサイン係数の交流成分であり、
前記第２の方向の階調値の変化を表す指標は、前記デジタル画像を離散コサイン変換して得られる前記第２の方向の離散コサイン係数の交流成分である画像再生装置。
【請求項４】
前記再生表示手段は、前記検出した合焦度に応じた長さの時間で、前記撮影画像の再生表示を行うことを特徴とする請求項１に記載の画像再生装置。
【請求項５】
請求項１に記載の画像再生装置において、
前記デジタル画像を分割して複数の部分画像を生成する部分画像生成手段を備え、
前記合焦度検出手段は、前記生成された複数の部分画像について前記合焦度を検出し、
前記再生表示手段は、前記部分画像の前記合焦度に応じた態様で、それぞれの前記部分画像の再生表示を行うことを特徴とする画像再生装置。
【請求項６】
演算手段と表示手段とを有する画像再生装置を用いてデジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う画像再生方法であって、
前記演算手段が、前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出工程と、
前記演算手段が、前記検出した合焦度に応じた態様で、前記表示手段に対して前記デジタル画像の再生表示を行わせる再生表示工程と
を備える画像再生方法。
【請求項７】
デジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う方法を、コンピュータを用いて実現するためのプログラムであって、
前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出機能と、
前記検出した合焦度に応じた態様で、前記表示手段に対して前記デジタル画像の再生表示を行わせる再生表示機能と
をコンピュータにより実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルデータとして記憶されている撮影画像を読み出して、画面に再生表示させる技術に関する。
【背景技術】
【０００２】
コンピュータを初めとする電子関連技術の進歩により、今日では、画像をデジタルデータとして取り扱うことが多くなってきた。例えば、撮像素子を組み込んだデジタルカメラ（電子スチルカメラ）などの撮影機器を用いれば、撮影した画像をデジタルデータとして記憶しておくことができるし、また、デジタルデータとして記憶されている画像を何時でも読み出して、モニタ画面上に再生表示することが可能である。更には、メモリなどの記憶素子やハードディスクなどの記憶装置の記憶容量も年々増加しており、このため、どんどん画像が撮り貯められる傾向にあり、その結果、ユーザの手元には多量の画像がデジタルデータとして記憶されているのが通常である。
【０００３】
そこで、多量に記憶されている画像を次々と読み出してモニタ画面上に再生表示するスライドショー再生と呼ばれる技術が開発され、そして、適切なスライドショー再生を可能とするべく、例えば、再生表示する画像（または再生表示しない画像）を予め選択可能とする技術が提案されている（特許文献１）。あるいは、画像の周波数成分やコントラストなどに基づいて単調な画像か否かを判断し、単調な画像であった場合には、再生表示の時間を短めに設定する技術も提案されている（特許文献２）。
【０００４】
【特許文献１】特開２００３−２０９８０９号公報
【特許文献２】特開２００４−３２０３７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、提案されている技術では、依然として適切に画像を再生表示することは難しいという問題があった。何故なら、記憶されている画像が多くなってくると、個々の画像について再生表示するか否かを一つ一つ設定したのでは煩雑であり、また、画像が単調か否かを判断しても、単調でない画像が、必ずしもゆっくり再生表示すべき画像とは限らないためである。
【０００６】
この発明は、従来の技術が有する上述した課題を解決するためになされたものであり、複数の画像を適切に再生表示することが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述した課題の少なくとも一部を解決するために、本発明の画像再生装置は次の構成を採用した。すなわち、
デジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う画像再生装置であって、
前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出手段と、
前記検出した合焦度に応じた態様で、前記デジタル画像の再生表示を行う再生表示手段と
を備えることを要旨とする。
【０００８】
また、上記の画像再生装置に対応する本発明の画像再生方法は、
演算手段と表示手段とを有する画像再生装置を用いてデジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う画像再生方法であって、
前記演算手段が、前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出工程と、
前記演算手段が、前記検出した合焦度に応じた態様で、前記表示手段に対して前記デジタル画像の再生表示を行わせる再生表示工程と
を備えることを要旨とする。
【０００９】
かかる本発明の画像再生装置および画像再生方法においては、デジタルデータとして記憶されているデジタル画像を読み出すと、画像を解析することによって、デジタル画像の合焦度（撮影時に焦点の合い具合を表す指標）を検出した後、検出した合焦度に応じた態様で、撮影画像の再生表示を行う。
【００１０】
一般に、デジタル画像を再生表示する態様を決定する際に、そのデジタル画像の焦点が合っているか否かは、大きな判断材料となり得る。このため、デジタル画像の合焦度を検出して、検出した合焦度に応じた態様で再生表示してやれば、記憶されているデジタル画像を適切に再生表示することが可能となる。
【００１１】
かかる本発明の画像再生装置においては、次のようにしてデジタル画像の合焦度を検出することとしても良い。先ず、画像に出現するエッジの類型を規定した複数種類のエッジパターンを、合焦度と対応付けて記憶しておく。次いで、デジタル画像を単位領域に分割する。ここで、単位領域とは、第１の方向の画素数および第１の方向と交差する第２の方向の画素数が、エッジパターンの数値の個数と同じ個数に設定された領域である。そして、各単位領域の撮影画像に含まれる縦方向の変化および横方向の変化のそれぞれと、複数種類のエッジパターンとを比較することにより、各単位領域についての合焦度（領域合焦度）を算出する。すなわち、単位領域のデジタル画像に、最も似通ったエッジパターンを見つけ出してやる。似通ったエッジパターンは、単位領域の第１の方向および第２の方向のそれぞれについて見つけ出すことができる。そして、それぞれのエッジパターンに対応付けられた合焦度から、その単位領域の合焦度を算出することができる。こうしてデジタル画像の単位領域毎に得られた合焦度（領域合焦度）に基づいて、その撮影画像についての合焦度を算出することとしてもよい。
【００１２】
このように、エッジパターンに合焦度を対応付けておけば、エッジパターンとの比較によって単位領域毎の合焦度を適切に決定することができ、延いては、デジタル画像全体の合焦度も適切に決定することが可能となる。
【００１３】
また、エッジパターンとの比較によって合焦度を決定するに際しては、次のようにしても良い。先ず、エッジパターンを、複数の周波数成分によって規定しておく。すなわち、エッジパターンを、周波数成分の大きさに対応する数値の並びによって規定する。そして、第１の方向の階調値の変化を表す指標は、デジタル画像を離散コサイン変換して得られる第１の方向の離散コサイン係数の交流成分であり、第２の方向の階調値の変化を表す指標は、デジタル画像を離散コサイン変換して得られる第２の方向の離散コサイン係数の交流成分であるとする。そして、これら周波数成分が最も近いエッジパターンを見つけ出し、そのエッジパターンの合焦度を用いて、単位領域毎の合焦度を決定するようにしても良い。
【００１４】
このように、エッジパターンと、単位領域のデジタル画像とを、周波数成分毎に比較してやれば、最も似通ったエッジパターンを容易に見つけ出すことが可能となる。
【００１５】
また、上記の本発明の画像再生装置においては、デジタル画像の合焦度に応じて、画像を再生表示する時間の長さを変更するようにしても良い。
【００１６】
画像の再生表示態様では、再生表示する時間は重要な要素である。従って、デジタル画像の合焦度に応じて、画像を再生表示する時間の長さを変更してやれば、デジタル画像を適切に再生表示することが可能となる。
【００１７】
また、上記の本発明の画像再生装置においては、次のようにしても良い。先ず、デジタル画像を分割して複数の部分画像を生成する。次いで、生成されたそれぞれの部分画像について合焦度を検出する。そして、部分画像毎の合焦度に応じた態様で、各々の部分画像の再生表示を行うこととしてもよい。
【００１８】
デジタル画像を複数の部分画像に分割して、部分画像毎に再生表示する場合、それぞれの部分画像を同じような態様で再生表示することが適切であるとは限らない。そこで、部分画像毎に合焦度を検出して、合焦度に応じた態様で再生表示してやれば、それぞれの部分画像を適切に再生表示することが可能となり、延いては元のデジタル画像を適切に再生表示することが可能となる。
【００１９】
更に本発明は、上述した画像再生方法を実現するためのプログラムをコンピュータに読み込ませ、所定の機能を実行させることにより、コンピュータを用いて実現することも可能である。従って、本発明は次のようなプログラムとしての態様も含んでいる。すなわち、上述した画像再生方法に対応する本発明のプログラムは、
デジタルデータとして記憶されているデジタル画像を読み出して、前記デジタル画像の再生表示を連続的に行う方法を、コンピュータを用いて実現するためのプログラムであって、
前記読み出したデジタル画像を解析して、前記デジタル画像を撮影した際の焦点の合い具合を表す指標である合焦度を検出する合焦度検出機能と、
前記検出した合焦度に応じた態様で、前記表示手段に対して前記デジタル画像の再生表示を行わせる再生表示機能と
をコンピュータにより実現させるプログラムであることを要旨とする。
【００２０】
かかるプログラムをコンピュータに読み込んで、上記の各機能を実現させれば、記憶されているデジタル画像を適切に再生表示することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施例を説明する。
Ａ．画像再生装置の構成：
Ｂ．本実施例の画像再生方法：
Ｂ−１．画像再生方法の概要：
Ｂ−２．画像の合焦度の算出方法：
Ｂ−３．画像再生態様の決定方法：
Ｃ．変形例：
Ｃ−１．第１の変形例：
Ｃ−２．第２の変形例：
Ｃ−３．第３の変形例：
【００２２】
Ａ．画像再生装置の構成  ：
図１は、本実施例の画像再生装置１００の大まかな構成を示した説明図である。図示されているように、画像再生装置１００は、画像を再生表示するためのモニタ画面１０２と、画像の再生表示を制御するための制御部１０４などから構成されている。尚、図１では、いわゆるコンピュータを用いて画像再生装置１００を構成している場合について示しているが、本実施例の画像再生装置１００は、画像を再生表示するためのモニタ画面と、画像の再生表示を制御する制御部とを備えていれば、コンピュータに限らず、例えばデジタルカメラ（電子スチルカメラ）や、フォトビューア、液晶などを利用した各種のプロジェクタなど、種々の機器を用いて実現することが可能である。
【００２３】
制御部１０４の内部には、算術論理演算を実行するＣＰＵや、データおよびプログラムなどが記憶されているＲＯＭ、ＣＰＵが一時的にデータを記憶するＲＡＭ、モニタ画面１０２に画像を表示させる機能を司るモニタドライバ（ＭＴＤ）、多量のデータを記憶可能なハードディスクドライブ（ＨＤＤ）などがバスで相互にデータをやり取り可能に接続された状態で搭載されている。ＨＤＤの中には多量の画像が収納された画像ファイルが設けられており、制御部１０４のＣＰＵは、画像ファイルの中から次々と画像を読み出すと、ＭＴＤを駆動することによって、画像ファイル内の画像を次々とモニタ画面１０２に再生表示させることが可能となっている。もちろん、ＨＤＤ内の画像ファイルに限らず、ＤＶＤやＣＤなどの外部記憶媒体に記憶されている画像を順次読み出して、モニタ画面１０２に再生表示させることも可能である。
【００２４】
Ｂ．本実施例の画像再生方法  ：
Ｂ−１．画像再生方法の概要  ：
図２は、本実施例の画像再生装置１００が撮影画像を再生表示するために行う画像再生処理の流れを示すフローチャートである。かかる処理は、モニタ画面１０２から所定のアイコンを選択したり、あるいはコマンドを入力するなどの方法により、ＣＰＵに対して画像再生処理の実行開始を指示することによって開始される処理である。
【００２５】
画像再生処理では、先ず初めに、再生表示する画像ファイルおよび再生表示モードを指定する（ステップＳ１００）。ハードディスクドライブ（あるいはＤＶＤなどの外部記憶媒体）には多量の撮影画像が格納されていることから、それら撮影画像を予め幾つかの画像ファイルに分けて保存しておくことで、指定された画像ファイル内の撮影画像のみを再生表示させることが可能である。尚、画像ファイルを指定するに際しては、複数の画像ファイルを指定することも可能である。また、画像ファイルが階層構造を構成している場合、すなわち画像ファイルの中にも画像ファイルが設けられている場合には、１つの画像ファイルを指定することで、その中の画像ファイルも同時に指定することも可能である。もちろん、ハードディスクドライブ（あるいはＤＶＤなどの外部記憶媒体）全体を、再生表示する画像ファイルとして指定してもよい。
【００２６】
また、撮影画像を再生表示するに際しては、後述する幾つかの表示態様（再生表示モード）が用意されており、それらを選択することが可能となっている。ステップＳ１００では、再生表示する画像ファイルとともに、再生表示モードも指定しておく。尚、画像ファイルおよび再生表示モードの指定は、モニタ画面１０２上の表示を見ながら選択することで、容易に指定することが可能となっている。
【００２７】
次いで、指定された画像ファイルの中から画像データを１つ読み出した後（ステップＳ１０２）、読み出した画像データを解析することによって、撮影画像の合焦度を算出する（ステップＳ２００）。ここで「合焦度」とは、撮影画像のピントの合い具合を表す指標であり、ピントが合っているほど撮影画像の合焦度は小さな値となり、ピントがずれるほど合焦度は大きな値となる。ピントがずれるほど（すなわち合焦度が大きくなるほど）画像のぼやけ方は大きくなることから、合焦度は「画像のぼやけ程度に対応した指標」と考えることも可能である。このような合焦度および合焦度を算出する処理の詳細については後述するが、画像に写っているエッジを検出してエッジがどの程度ぼやけているかによって、ピントの合い具合を検出することができる。また、算出した合焦度は、撮影画像との対応関係が分かるような状態で記憶しておく。
【００２８】
画像ファイルの中から読み出した１つの撮影画像について合焦度を算出したら、指定された画像ファイル内の全ての画像について合焦度を算出したか否かを判断する（ステップＳ１０４）。そして、未だ合焦度を算出していない撮影画像が残っている場合は（ステップＳ１０４：ｎｏ）、画像ファイルの中から新たな撮影画像を１つ読み出して（ステップＳ１０２）、その撮影画像の合焦度を算出する（ステップＳ１０４）。
【００２９】
このような操作を繰り返して、画像ファイル内の全ての撮影画像についての合焦度を算出したら（ステップＳ１０４：ｙｅｓ）、今度は、合焦度に応じて、撮影画像毎に再生表示態様を設定する（ステップＳ１０６）。すなわち、モニタ画面１０２の画面上に撮影画像を再生表示する前に、画像ファイル内の全ての撮影画像について、予め再生表示態様を設定しておくのである。具体的な再生表示態様は、再生表示モードによって異なるが、例えば、合焦度が大きな値の（ぼやけ程度の大きい）撮影画像は、モニタ画面１０２上に再生表示する時間を短く設定し、逆に、合焦度が小さい（ぼやけ程度の小さい）撮影画像は、長い時間再生表示されるように設定することができる。このようにステップＳ１０６では、先に指定された再生表示モードに従って、合焦度に応じた再生表示態様を設定する処理を行う。合焦度に応じて設定される再生表示態様については、後ほど詳しく説明する。
【００３０】
以上のようにして、画像ファイル内の全撮影画像について合焦度を算出し（ステップＳ２００）、得られた合焦度に応じて撮影画像毎に再生表示態様を決定したら（ステップＳ１０６）、画像ファイル内の撮影画像を読み出して、設定された再生表示態様に従ってモニタ画面１０２に表示させる（ステップＳ１０８）。
【００３１】
次いで、制御部１０４のＣＰＵに対して、撮影画像の再生表示を終了する旨の指示がなされたか否かを確認する（ステップＳ１１０）。本実施例の画像再生装置１００では、モニタ画面１０２上で再生表示している画面を閉じることにより、あるいはコマンドを入力することによって、再生表示の終了を指示することができる。そして、再生表示を終了する旨の指示がなされていなければ（ステップＳ１１０：ｎｏ）、画像ファイル内から次の撮影画像を読み出してモニタ画面１０２に再生表示させた後（ステップＳ１０８）、再び終了の指示がなされたか否かを確認する（ステップＳ１１０）。このようにして本実施例の画像再生装置１００では、再生表示を終了させる旨が指示されるまでは、画像ファイル内の撮影画像を何度でも読み出して、合焦度に応じて設定された態様でモニタ画面１０２上に再生表示させる動作を繰り返す。そして、再生表示を終了させる旨の指示を受け取ったら（ステップＳ１１０：ｙｅｓ）、直ちに図２の画像再生処理を終了する。
【００３２】
尚、ここでは、再生表示を終了させる旨の指示があるまでは、何度でも画像ファイル内の撮影画像を読み出してモニタ画面１０２上に再生表示させるものとして説明したが、もちろん、画像ファイル内の全撮影画像の再生表示が終了したら、画像再生処理を終了するようにしても良い。あるいは、予め再生表示回数を指定しておき、指定された回数だけ画像ファイル内の撮影画像を再生表示したら、画像再生処理を終了することとしても良い。
【００３３】
このように本実施例の画像再生処理では、画像ファイル内に記憶されている撮影画像の合焦度を算出して、合焦度を考慮した態様で撮影画像を再生表示することによって、適切に再生表示することを可能としている。以下では、かかる画像再生処理において、撮影画像の合焦度を算出する方法について説明する。
【００３４】
Ｂ−２．画像の合焦度の算出方法  ：
図３は、撮影画像の合焦度を算出する処理の流れを示したフローチャートである。かかる処理は、制御部１０４に搭載されたＣＰＵが、図２の画像再生処理を行う中で、画像ファイルの中から読み出された撮影画像に対して実行される処理である。
【００３５】
合焦度算出処理では、先ず初めに、処理対象とする撮影画像を単位領域の画像に分割する（ステップＳ２０２）。ここで単位領域とは、縦方向（画像の上下方向）および横方向（画像の左右方向）にそれぞれ所定画素数ずつの大きさを有する領域である。図４には、処理対象とする撮影画像を、単位領域の大きさを有する複数の画像に分割した様子が概念的に示されている。本実施例では、縦横何れの方向にも８画素分の大きさを有する正方形の領域を単位領域としており、図４では、撮影画像を、縦横８画素ずつの正方形の単位領域に分割している。尚、図４では、図示の関係上から、単位領域の大きさを実際よりも大きく表示しており、撮影画像は実際には図４に示すよりも細かく分割される。
【００３６】
また本実施例では、単位領域は縦横の画素数が同数の正方形の領域であるものとして説明するが、単位領域の縦方向の画素数と横方向の画素数とは必ずしも同数である必要は無く、長方形の領域を単位領域として用いることも可能である。もっとも、縦横の画素数を同じとしておけば、後述するように縦方向の処理と横方向の処理とを全く同様に行うことができるという利点がある。
【００３７】
次いで、分割して得られたそれぞれの単位領域の画像について、ＤＣＴ係数の交流成分を取得する処理を行う（ステップＳ２０４）。ＤＣＴ係数の交流成分の意味するところについては後述するが、ＤＣＴ係数の交流成分は、縦方向および横方向のぞれぞれに求めることができるので、ステップＳ２０４では、それぞれの方向について取得する。
【００３８】
ＤＣＴ係数の交流成分について説明する前に、ＤＣＴについて説明する。ＤＣＴとは、離散コサイン変換（Discrete Cosine Transfer）のことであり、大まかに言えば、一次元のフーリエ変換を二次元に拡張したものと考えることができる。すなわち、フーリエ変換の教えるところによれば、任意の波形は、波形の平均値に相当する定数と、波長の長さに対応する周期Ｔの三角関数と、Ｔの整数分の１の周期を有する複数の三角関数との重ね合わせによって表現することが可能である。すなわち、一次元の波形は、同じく一次元の周期関数である三角関数の重ね合わせによって表現することができる。これを二次元（すなわち画像）に拡張すると、予め周期的に変化する適切な画像を用意しておけば、任意の画像は、周期の異なる複数の画像の重ね合わせによって表現することが可能である。尚、このように、重ね合わせることによって任意の画像を表現可能な複数の周期的に変化する画像は、基底画像と呼ばれることがある。
【００３９】
図５は、基底画像を例示した説明図である。図示した例では、縦横それぞれに８個ずつ、全体では６４個の基底画像が示されている。このうちの最上段に表示された８個の基底画像について着目すると、これら基底画像は左から右に行くに従って、横方向の変化の周期が短くなっている。また、これら基底画像は何れも、縦方向には全く変化していない。すなわち、これら８つの基底画像は、横方向にのみ変化する本質的には一次元の画像であり、それぞれの画像は、任意の波形をフーリエ変換したときに現れる各次数のコサイン波形に対応する画像となっている。図５では、参考までに、それぞれの基底画像の上には、対応する次数のコサイン波形を表している。
【００４０】
また、図５に縦横８個ずつ並べて表示された６４個の基底画像の中で、左端に表示された８個の基底画像について着目すると、これらの基底画像は上から下に行くに従って、縦方向の変化の周期が短くなっている。一方、これらの基底画像は横方向には全く変化していない。従って、これら８つの基底画像も本質的には一次元の画像であり、フーリエ変換によって得られる各次数のコサイン波形に対応する画像となっている。図５では、各基底画像の左側に、対応する次数のコサイン波形を表している。
【００４１】
以上では、横方向あるいは縦方向にのみ変化する本質的には一次元の基底画像について説明したが、実際には画像は二次元であり、横方向の変化と縦方向の変化とが同時に現れる。このことに対応して基底画像も、横方向の変化と縦方向の変化とが重畳して現れるような基底画像を考えることができる。例えば、図５に示した６４個の基底画像の中で上から２段目の基底画像について着目すると、これら８つの画像には縦方向の変化と、横方向の変化とが同時に含まれている。このうち縦方向の変化は何れも最も長い周期の（すなわち１次の）変化であるが、横方向の変化は左から右に行くに従って周期の短い（すなわち次数の高い）変化となっている。
【００４２】
このようにして、一次元のフーリエ変換を二次元に拡張すると、図５に示すような縦方向および横方向に周期的に変化する基底画像を考えることができ、全ての画像は、これら基底画像の重ね合わせによって表現することが可能となる。これが、画像のＤＣＴ（離散コサイン変換）の基本的な考え方である。そして、ＤＣＴ係数とは、ある画像を離散コサイン変換することによって得られた各基底画像の係数のことを言う。
【００４３】
図６（ａ）は、画像を離散コサイン変換することによってＤＣＴ係数が得られた様子を例示した説明図である。尚、ＤＣＴ係数は、実際には正負いずれかの値を取るが、合焦度の算出にあたってはＤＣＴ係数の絶対値が分かれば十分であり、以下の説明においても特に明示しない限り、ＤＣＴ係数とはＤＣＴ係数の絶対値を意味している。このことと対応して、図６（ａ）では、ＤＣＴ係数の絶対値が表示されている。また、これら６４個のＤＣＴ係数を区別するために、横方向成分の次数ｉと、縦方向成分の次数ｊとを組み合わせた番号を付すことによって、それぞれのＤＣＴ係数を表している。図６（ｂ）には、各ＤＣＴ係数を表す符号が一覧的に示されている。図示されているように、本明細書においては、ＤＣＴ係数Ｆｊｉとは、横方向の次数がｉ次で、縦方向の次数がｊ次であるＤＣＴ係数を表している。従って、ＤＣＴ係数Ｆ０ｉは、縦方向の次数が０次であるから、横方向のみに変化するＤＣＴ係数（以下では、このようなＤＣＴ係数を「横方向のＤＣＴ係数」と呼ぶ）を表しており、また、ＤＣＴ係数Ｆｊ０は、横方向の次数が０次であるから、縦方向のみに変化するＤＣＴ係数（以下では、このようなＤＣＴ係数を「縦方向のＤＣＴ係数」と呼ぶ）を表している。更に、横方向のＤＣＴ係数からＦ００を除いた７つのＤＣＴ係数を、「横方向のＤＣＴ係数の交流成分」と呼び、同様に、縦方向のＤＣＴ係数からＦ００を除いた７つのＤＣＴ係数を、「縦方向のＤＣＴ係数の交流成分」と呼ぶことにする。
【００４４】
尚、上述した説明においてＤＣＴ係数が、縦横それぞれの方向に０次から７次までの８個ずつとなっているのは、本実施例の単位領域が縦横それぞれの方向に８画素ずつの大きさに設定されていることに対応したものである。従って、単位領域が、縦横それぞれに６画素ずつの大きさに設定されているのであれば、ＤＣＴ係数は縦横それぞれの方向に０次から５次までの６個ずつとすればよい。また、縦方向には４画素で横方向には８画素の矩形の単位領域を用いる場合は、ＤＣＴ係数は縦方向には０次から３次まで、横方向には０次から７次までの合計で３２個のＤＣＴ係数となる。
【００４５】
また、撮影画像を記憶するデータ形式として広く用いられているＪＰＥＧと呼ばれるデータ形式は、撮影画像を縦横８画素ずつの小さな画像単位に細分し、それぞれの画像単位についてＤＣＴ係数が記憶されるようになっている。
【００４６】
図３に示した合焦度算出処理では、対象画像を分割して得られたそれぞれの単位領域の画像について、離散コサイン変換を行ってＤＣＴ係数を取得した後（ステップＳ２０２）、各単位領域について、「横方向のＤＣＴ係数の交流成分」および「縦方向のＤＣＴ係数の交流成分」を取得する処理を行う（ステップＳ２０４）。尚、撮影画像がＪＰＥＧ形式で記憶されている場合は、画像はＤＣＴ係数の状態で記憶されているので、記憶されている画像データの中から単に「横方向のＤＣＴ係数の交流成分」および「縦方向のＤＣＴ係数の交流成分」を読み出すだけでよい。
【００４７】
以上のようにして、単位領域毎に「横方向のＤＣＴ係数の交流成分」および「縦方向のＤＣＴ係数の交流成分」を取得したら、今度は、これらの交流成分の正規化を行う（ステップＳ２０６）。ここで「正規化」とは、簡単に言えば、交流成分の絶対値の比率を算出する処理である。例えば、横方向のＤＣＴ係数の交流成分であれば、Ｆ０１〜Ｆ０７（正確には絶対値）の合計値を「１」としたときに、Ｆ０１ないしＦ０７のそれぞれのＤＣＴ係数（正確には絶対値）の比率を求めることに対応する。このように正規化しておけば、画像のコントラストの違いによる影響を受けることなく、ピントの合い具合を検出することが可能となる。尚、ＤＣＴ係数の交流成分が小さい場合には、正規化は交流成分を拡大する方向に作用する。従って、ＤＣＴ係数の交流成分がほとんど存在しないのに正規化を行ったのでは、ほとんど存在しない成分を無理に拡大することになって、適切な判断を行うことはできない。そこで、本実施例の合焦度算出処理のステップＳ２０６では、正規化を行うに先立って、ＤＣＴ係数（正確には絶対値）の交流成分の総和を算出し、総和が所定値に満たない場合は、正規化は行わないようになっている。
【００４８】
次いで、正規化したＤＣＴ係数の交流成分が最も近いエッジパターンを検出することにより、縦方向の合焦度および横方向の合焦度をそれぞれ決定する（ステップＳ２０８）。ここで、エッジパターンとは次のようなものである。先ず、前述したように単位領域は縦横８画素ずつの小さな領域であるから、単位領域にエッジが写っているとしても、ほとんどの場合がエッジの数は１本であり、複数本のエッジが写っていることは稀である。そこで、単位領域に１本のエッジが写っている状態のみを考えると、各単位領域でのエッジの写り方には、「エッジの方向」と、「エッジの位置」と、「エッジのシャープさ」の３つの要素の組合せによって、種々の写り方を想定することができる。このうち、エッジの方向については、単位領域内を縦方向に走るエッジ、横方向に走るエッジ、斜め方向に走るエッジが存在するが、図６を用いて前述したように、縦方向と横方向とは単に向きを変えるだけでＤＣＴ係数としては全く同じように取り扱うことが可能であり、また、斜め方向についても、縦方向の成分と横方向の成分とに分けて考えることができる。結局、エッジの方向については、単位領域内を縦方向に走るエッジのみを想定しておけば足りる。すると、単位領域でのエッジの写り方は、エッジの位置、およびエッジのシャープさの組合せによって幾つかの類型に分類することが可能となる。エッジパターンとは、単位領域でのエッジの写り方を、エッジの位置およびエッジのシャープさによって、幾つかの類型に分類したものである。
【００４９】
図７は、本実施例で用いられる複数のエッジパターンを表した説明図である。図７では、最上段に示したグループから最下段までの大きく７つのグループに分類されているが、これらはエッジのシャープさに対応するものである。すなわち、エッジの画像は、本来であれば、明るさや色などの階調値が、隣接する画素間で急に変化した画像となる筈であるが、ピントが合っていないと輪郭がぼやけるため、階調値が複数画素に亘って変化するようになる。そこで、明るさや色などの階調値が何画素分で変化しているかによって、エッジの写り方を分類するのである。図７で最上段に示したグループは、隣接する画素間で階調値が変化するパターンである。これらは、ある画素から隣の画素に移る間に（すなわち、画素１つ分の幅で）階調値が完全に変化するパターンであり、完全にピントが合っている状態に対応する。また、図７で上から二段目に示したグループは、画素２つ分の幅で階調値が変化するパターンである。これらのパターンは、ピントが少しだけずれている状態に対応する。更に、図７の上から三段目に示したグループは、画素３つ分の幅で階調値が変化するパターンであり、ピントが更にずれた状態に対応する。このように、エッジのシャープさ（すなわち、何画素分の幅で階調値が変化しているか）によって、エッジパターンを７つのグループに分類することが可能であり、階調変化に要する画素幅が小さいほど、ピントが合っていることになる。そこで、このような画素幅を「合焦度」と呼ぶことにする。また、以上の説明から明らかなように、「合焦度」はエッジの「ぼやけ量」を表しているとみることも可能である。
【００５０】
また、各グループには、エッジ位置の違いに応じて、幾つかのエッジパターンが存在している。例えば図７の最上段に示した合焦度１のグループについて説明すると、単位領域の左端にある場合（すなわち左端の画素と左から２番目の画素との間にエッジが存在している場合）と、左端から２番目の画素と３番目の画素との間にエッジが存在する場合、左端から３番目の画素と４番目の画素との間に存在する場合、左端から４番目の画素と５番目の画素との間に存在する場合が存在している。尚、左端から５番目の画素からエッジが始まる場合、６番目の画素からエッジが始まる場合、７番目の画素からエッジが始まる場合については、考える必要はない。これは、前述したように本実施例ではＤＣＴ係数の絶対値を取り扱っている関係上、左右方向または上下方向に反転して得られるエッジパターンは、同じエッジパターンとして取り扱うことができるためである。
【００５１】
合焦度２ないし合焦度７のそれぞれについても、同様にして幾つかのエッジパターンを想定することができる。本実施例でいう「エッジパターン」とは、以上のようにして、単位領域でのエッジの写り方を分類して得られた図７に示す１６個のパターンをいう。尚、本実施例では、これらエッジパターンを区別するために、次のように符番している。すなわち、エッジパターンＰｍｎは、単位領域の左端からｍ番目の画素から始まり、合焦度ｎのエッジに対応するエッジパターンであることを表している。
【００５２】
図３に示した本実施例の合焦度算出処理では、図７に示した各エッジパターンについて、ＤＣＴ係数（正確にはその絶対値）の交流成分が、正規化した状態で予め記憶されている。図８は、エッジパターンＰ１１について、ＤＣＴ係数の交流成分が正規化された状態で記憶される様子を概念的に示した説明図である。図７に示したエッジパターンＰ１１について、横方向のＤＣＴ係数（すなわち、図６（ｂ）に示したＦ００、Ｆ０１、Ｆ０２・・・、Ｆ０７）を求めると、図８の中段に示すような数値列を得ることができる。これらＤＣＴ係数の交流成分を正規化すると、図８の下段に示す数値列が得られるので、この数値列をエッジパターンＰ１１に対応する数値列として記憶しておくのである。他の１５種類のエッジパターンについても同様にして、対応する数値列を記憶しておく。
【００５３】
そして、撮影画像を細分した各単位領域について、正規化済みのＤＣＴ係数の交流成分が得られたら（図３のステップＳ２０６）、各エッジパターンについて記憶されている数値列（図８に示した正規化済みＤＣＴ係数の交流成分）と比較して、最も近いエッジパターンを検出する。すなわち、ある単位領域について得られた正規化済みのＤＣＴ係数の交流成分と、エッジパターンについての正規化済みのＤＣＴ係数の交流成分とを次数毎に比較して、各次数での偏差の絶対値を求め、それらの総和を算出する。仮に、各次数の交流成分が完全に一致していれば、偏差の絶対値の総和は「０」となる筈である。このことから、各次数で求めた偏差の絶対値の総和が最も小さくなるエッジパターンを検出することによって、単位領域に最も近いエッジパターンを検出することができる。また、得られた最も小さな総和値でも、一定以上の大きな値となった場合には、近いエッジパターンが検出されなかったものとして取り扱うようにすればよい。
【００５４】
こうした操作を、縦方向および横方向について行うことにより、縦方向および横方向のそれぞれについて、最も近いエッジパターンを検出する。そして、それぞれのエッジパターンに対応する合焦度を、縦方向および横方向のそれぞれについての合焦度として決定する。例えば、ある単位領域について、縦方向についてはエッジパターンＰ１２に最も近く、横方向にはエッジパターンＰ４１に最も近いのであれば、その単位領域の縦方向の合焦度は「２」であり、横方向の合焦度は「１」と決定するのである。図３のステップＳ２０８では、こうした操作を行うことにより、各単位領域について、縦方向の合焦度および横方向の合焦度を決定する。
【００５５】
次いで、縦方向の合焦度と横方向の合焦度とを比較して、大きな値の合焦度を、その単位領域の合焦度として決定する（ステップＳ２１０）。上述したように、合焦度が大きな値を取るということは、画像がぼやけているということである。そして、一方の方向には合焦度が小さくても（ピントが合っていても）、もう一方の方向の合焦度が大きい（ぼやけている）のであれば、その画像はぼやけているのであるから、縦方向および横方向の合焦度を比較して大きな方の合焦度を、単位領域の合焦度として採用するのである。図３のステップＳ２１０では、このようにして、各単位領域での合焦度（領域合焦度）を決定する処理を行う。
【００５６】
撮影画像を分割して得られた全ての単位領域について領域合焦度が得られたら、今度は、撮影画像全体としての合焦度を算出する（ステップＳ２１２）。撮影画像全体の合焦度は、種々の方法を用いて算出することができる。例えば、最も単純には、単位領域毎に得られた領域合焦度の算術平均をとることによって、撮影画像全体の合焦度を算出することができる。あるいは、領域合焦度が所定値以下の領域をピントが合っている領域として検出し、撮影画像全体で、ピントが合っている単位領域がどれだけの比率で存在するかを算出して、撮影画像の合焦度を求めるようにしても良い。
【００５７】
以上のようにして撮影画像についての合焦度を算出したら、得られた合焦度を、撮影画像に対応付けた状態で記憶しておく（ステップＳ２１４）。撮影画像の合焦度を記憶する形態は、種々の形態を採用することができる。例えば、撮影画像の合焦度を、画像データのヘッダ部に書き込んで記憶しても良いし、あるいは、撮影画像と合焦度とをテーブルの形式で対応付けた状態で記憶しておいても良い。こうして得られた撮影画像の合焦度を記憶したら、図３に示した合焦度算出処理を終了して、図２の画像再生処理に復帰する。そして、前述したように画像再生処理では、それぞれの撮影画像について得られた合焦度に応じて、画像の再生表示態様を決定した後（図２のステップＳ１０６）、撮影画像を順次読み出して、決定された態様で再生表示を行う（ステップＳ１０８）。以下では、合焦度に応じて撮影画像の再生表示態様を決定する方法について説明する。
【００５８】
Ｂ−３．画像再生態様の決定方法  ：
図９は、撮影画像の合焦度に応じて再生表示態様を決定する方法を例示した説明図である。最も単純には、予め合焦度の閾値を決めておき、撮影画像の合焦度と閾値との大小関係に基づいて、再生表示時間を設定することができる。図９に示した例では、撮影画像の合焦度Ｆｒが、比較的小さな閾値ｔｈ１よりも小さい場合には、その撮影画像はピントが正確に合っている画像であるものと判断して、再生表示時間を長めに（図示した例では２０秒間）設定する。また、撮影画像の合焦度Ｆｒが閾値ｔｈ１よりは大きいが、閾値ｔｈ２よりは小さい画像については、だいたいピントが合っているものと判断して、少し長めの再生表示時間（図示した例では１５秒間）に設定する。撮影画像の合焦度Ｆｒが閾値ｔｈ２よりも大きいが閾値ｔｈ３よりも小さい画像については、ピントが少しずれていると判断して、短めの再生表示時間（図示した例では１０秒間）を設定し、閾値ｔｈ３よりも合焦度Ｆｒが大きな撮影画像についてはピントが完全にずれていると判断して、かなり短い再生表示時間（図示した例では５秒間）を設定する。
【００５９】
このようにすれば、ピントが合っている撮影画像ほど長い時間、再生表示され、ピントのずれている画像については、ごく短い時間しか再生表示されないので、適切に画像を再生表示することが可能となる。尚、図９に示した例では、ピントがずれている撮影画像についても、短時間だけ再生表示するものとして説明したが、このような画像については再生表示時間を０秒に設定して、再生表示を行わないようにすることも可能である。このような設定は、図２に示した画像再生処理を開始した直後に、対応する再生表示モードを選択することによって指定することが可能である。
【００６０】
また、図９に示した例では、撮影画像の合焦度Ｆｒを、３つの閾値と比較することによって、ピントの合い具合に応じて４つに分類したが、閾値の数は３つに限らず、１つでも良いし、あるいはより多くの閾値を設定しておいても良い。
【００６１】
Ｃ．変形例  ：
上述した画像の再生表示方法には種々の変形例が存在している。以下では、これら変形例について簡単に説明する。
【００６２】
Ｃ−１．第１の変形例  ：
上述した実施例では、撮影画像の合焦度Ｆｒが決まると、直ちに、その画像の再生表示時間が決定されるものとして説明した。これでは、画像ファイル内に記憶されている撮影画像が多くなるほど、全画像を再生表示するために要する時間が長くなってしまう。また、全ての画像を再生表示するために要する時間も分からない。そこで、予め再生表示モードを指定する際に、予め撮影画像を再生表示するための全体時間を設定しておき、画像ファイルに記憶されている全ての撮影画像を、設定された全体時間内で再生表示することができるように、それぞれの撮影画像の再生表示時間を設定してもよい。
【００６３】
図１０は、このような第１の変形例において撮影画像の合焦度Ｆｒに応じて再生表示時間を設定する方法を示した説明図である。第１の変形例においては、図１０（ａ）に示されているように、撮影画像の合焦度Ｆｒに応じて各画像に重み付けポイントを設定する。次いで、画像ファイル内に記憶されている全ての撮影画像についての重み付けポイントを合計する。そして、図１０（ｂ）に示すように、各撮影画像の重み付けポイントが、重み付けポイントの合計値に占める割合に応じて全体時間が配分されるように、各撮影画像の再生表示時間を決定しても良い。
【００６４】
こうすれば、ピントが合っている画像ほど長めに再生表示しながらも、予め再生表示モードで指定された時間内で、全ての撮影画像を再生表示させることが可能となる。尚、上述した第１の変形例においても、ピントがずれている撮影画像については重み付けポイントを「０」にして、このような画像は再生表示されないようにしても良い。また、撮影画像を分類するための閾値は、３つに限られるものではない。
【００６５】
Ｃ−２．第２の変形例  ：
また、画像ファイルの中には、類似した多数の撮影画像が記憶されている場合も多いことから、類似した撮影画像の中からモニタ画面１０２上に再生表示する画像を、合焦度に基づいて選択するようにしても良い。
【００６６】
図１１は、第２の変形例において、類似した撮影画像の再生表示態様を合焦度に基づいて決定している様子を示した説明図である。図１１では、７つの撮影画像が例示されているが、これら撮影画像の中には互いに類似した画像も含まれており、類似した画像同士を纏めると、図中に破線で示すように、３つのグループに分けられる。そして、グループ内で最もピントの合っている撮影画像のみを選択して、モニタ画面１０２上に再生表示させることとしても良い。この場合、グループ内にピントが正確に合っている撮影画像が存在しない場合には、比較的ピントが合っている画像が選択されることになるが、このとき、あまりにピントがずれた画像しか記憶されていない場合は、そのグループについては撮影画像を選択しないようにすることも可能である。また、ピントが合っていて合焦度が同じ値の撮影画像が同じグループ内に複数存在していた場合には、それら画像の中から任意の画像を選択して再生表示することとしても良いし、あるいはそれら画像を全て再生表示するようにしても良い。
【００６７】
こうした第２の変形例では、類似した画像が複数存在する撮影画像については、その中から最もピントが合った画像が再生表示され、類似した画像が存在しない撮影画像については、ピントが多少ずれていても再生表示される。このため、画像ファイル内の全ての画像を、効率よく確認することが可能となる。
【００６８】
尚、上述した説明では、グループ内で選択されなかった撮影画像は再生表示されないものとして説明したが、選択されなかった撮影画像については、モニタ画面１０２を分割して複数の撮影画像を同時に再生表示するようにしても良い。
【００６９】
Ｃ−３．第３の変形例  ：
上述した実施例および各種の変形例では、いずれも、画像ファイルに記憶されている複数の撮影画像を順次読み出して再生表示するものとして説明した。しかし、１つの撮影画像の各部分を拡大して再生表示する場合にも、同様に適用することができる。
【００７０】
図１２は、撮影画像の各部分を拡大して再生表示する第３の変形例について示した説明図である。第３の変形例においては、１つの撮影画像を幾つかの部分画像に分割して、それぞれの部分画像を拡大して、モニタ画面１０２上に順次表示する。図１２には、撮影画像を、画像ａないし画像ｘの２４個の部分画像に分割した様子が示されている。そして、これらの部分画像について、画像の合焦度を検出し、合焦度に応じて部分画像の再生表示態様を決定する。
【００７１】
通常、画像の撮影時には、最も注目すべきところにピントを合わせるものである。従って、撮影画像を部分画像に分割したときに、ピントが合っている部分画像には、その撮影画像のいわゆる見所が写っていると考えられる。このことから、ピントが合っている部分画像は再生表示時間を長めに設定し、ピントが合っていない部分画像は再生表示時間を短めに設定しておくことで、撮影画像の部分画像を拡大表示しながら適切に再生表示することが可能となる。
【００７２】
以上、本実施例の画像再生装置１００について説明したが、本発明は上記すべての実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
【００７３】
例えば、上述した各種の実施例では、図７に示したように、三角関数を二次元に拡張した基底画像を用いて、任意の画像を表現するものとした。しかし、これに替えて、ウェーブレット関数を二次元に拡張した基底画像を用いて、任意の画像を表現し、各基底画像の重み係数の絶対値を使用して、撮影画像の合焦度を算出するようにしても良い。
【図面の簡単な説明】
【００７４】
【図１】本実施例の画像再生装置の大まかな構成を示した説明図である。
【図２】本実施例の画像再生装置が撮影画像を再生表示するために行う画像再生処理の流れを示すフローチャートである。
【図３】撮影画像の合焦度を算出する処理の流れを示したフローチャートである。
【図４】処理対象とする撮影画像を単位領域の大きさに分割した様子を概念的に示した説明図である。
【図５】重ね合わせることによって任意の画像を表現可能な複数の基底画像を例示した説明図である。
【図６】画像を離散コサイン変換することによって得られるＤＣＴ係数を示した説明図である。
【図７】本実施例で用いられる複数のエッジパターンを表した説明図である。
【図８】エッジパターンのＤＣＴ係数の交流成分が、正規化された状態で記憶される様子を概念的に示した説明図である。
【図９】撮影画像の合焦度に応じて再生表示態様を決定する方法を例示した説明図である。
【図１０】撮影画像の合焦度に応じて再生表示時間を設定する第１の変形例を示した説明図である。
【図１１】類似した撮影画像の再生表示態様を合焦度に基づいて決定する第２の変形例を示した説明図である。
【図１２】撮影画像の各部分を拡大して再生表示する第３の変形例を示した説明図である。
【符号の説明】
【００７５】
１００…画像再生装置、    １０２…モニタ画面、    １０４…制御部
【図１】
2009010564.tif 000003
【図２】
2009010564.tif 000004
【図３】
2009010564.tif 000005
【図４】
2009010564.tif 000006
【図５】
2009010564.tif 000007
【図６】
2009010564.tif 000008
【図７】
2009010564.tif 000009
【図８】
2009010564.tif 000010
【図９】
2009010564.tif 000011
【図１０】
2009010564.tif 000012
【図１１】
2009010564.tif 000013
【図１２】
2009010564.tif 000014