(57)【要約】【課題】効率よく簡易閲覧用の画像を生成する。【解決手段】ダミー領域付加部３４は、符号化の対象となる縮小画像Ｉ２のサイズを調整するために、必要に応じて縮小画像Ｉ２にダミー領域Ｒｄｍｙを付加する。符号化器３６は、ダミー領域Ｒｄｍｙが付加された状態の暫定画像Ｉ３を符号化するとともに、そのダミー領域Ｒｄｍｙの位置情報Ｄｄｍｙを記録する。復号器４０は、符号化データＤｅｎｃを復号する。ダミー領域情報取得部４２は、記録されたダミー領域Ｒｄｍｙの位置情報Ｄｄｍｙをもとに、復号された暫定画像Ｉ３からダミー領域Ｒｄｍｙを削除した後、サムネイル画像Ｉｔ２を表示過程へと出力する。【選択図】図２
2008053884.tif 000002
【特許請求の範囲】
【請求項１】
符号化の対象となる画像のサイズを調整するために、画像にダミー領域を付加してそのダミー領域の位置情報を記録するとともに、前記ダミー領域が付加された状態の画像を符号化する第１ステップと、
符号化された画像を復号し、記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する第２ステップと、
を備えることを特徴とする画像処理方法。
【請求項２】
請求項１に記載の方法において、前記第１ステップは、画像サイズが異なる複数の画像を処理する際、前記ダミー領域が付加された状態において、それらの画像のサイズが基準画像サイズに合致するよう、それぞれの画像に対してダミー領域を付加することを特徴とする画像処理方法。
【請求項３】
請求項２に記載の方法において、前記第１ステップは、
符号化の対象となる画像を、前記基準画像サイズに収まるようにリサイズするステップを含み、
リサイズされた画像と、前記基準画像サイズとの差分領域に、前記ダミー領域を付加し、ダミー領域が付加された画像を符号化することを特徴とする画像処理方法。
【請求項４】
請求項３に記載の方法において、前記第１ステップは、
前記符号化の対象となる画像に安全フレームが設定される場合、安全フレームの外側の領域を除去した画像を、前記基準画像サイズに収まるようにリサイズすることを特徴とする画像処理方法。
【請求項５】
請求項１に記載の方法において、前記第２ステップは、
前記復号された画像からダミー領域を除いた領域を表示する際に、その基準位置を、所定の表示枠の基準位置に一致させることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の方法において、前記第２ステップは、複数の前記表示枠を表示スクリーンにおいて直線上ないしマトリクス状に整列して配置することを特徴とする画像処理方法。
【請求項７】
請求項５に記載の方法において、前記画像は動画データであって、前記第２ステップは、前記ダミー領域を除いた領域を、前記所定の表示枠内で再生することを特徴とする画像処理方法。
【請求項８】
請求項１に記載の方法であって、前記第２ステップは、
前記復号された画像からダミー領域を除いた領域に比例したサイズのポリゴンを生成するステップと、
前記ポリゴンに、前記復号された画像からダミー領域を除いた領域をテクスチャとしてマッピングするステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
請求項１に記載の方法であって、前記第２ステップは、
所定のサイズのポリゴンを生成するステップと、
前記復号された画像のうち、ダミー領域内の画素のα値を透明の値に設定するステップと、
α値が設定された前記復号された画像全体を、前記ポリゴンにテクスチャとしてマッピングするステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
符号化された画像を復号するステップと、
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を表示するステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
符号化の対象となる画像のサイズを取得するステップと、
取得した前記画像のサイズと、基準画像サイズとの差分を算出するステップと、
前記符号化の対象となる画像に、差分に相当するダミー領域を付加するステップと、
前記ダミー領域を付加した画像を符号化するとともに、前記ダミー領域の位置情報を別途記録するステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
原画像を縮小して得られた縮小画像にダミー領域を付加して符号化のための暫定画像を生成するとともに、ダミー領域の位置情報を記録するステップと、
暫定画像を符号化するステップと、
符号化された暫定画像が復号されたとき、記録されたダミー領域の位置情報にもとづき、復号された暫定画像からダミー領域を除いた領域を表示するステップと、
を含む画像処理方法。
【請求項１３】
符号化の対象となる画像のサイズを調整するために、画像にダミー領域を付加してそのダミー領域の位置情報を記録するダミー領域付加部と、
前記ダミー領域が付加された状態の画像を符号化する符号化器と、
符号化された画像を復号する復号器と、
前記ダミー領域付加部によって記録された前記ダミー領域の位置情報にもとづき、前記復号器によって復号された画像からダミー領域を除いた領域を、表示装置に出力する表示処理部と、
を備えることを特徴とする画像処理装置。
【請求項１４】
符号化された画像を復号する復号器と、
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得する位置情報取得部と、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を、表示装置に出力する表示処理部と、
を備えることを特徴とする画像処理装置。
【請求項１５】
記録装置に記録された画像について、表示用の画像を生成し、再生する画像処理用のプログラムであって、コンピュータに、
符号化の対象となる画像のサイズを調整するために、画像にダミー領域を付加してそのダミー領域の位置情報を記録するステップと、
前記ダミー領域が付加された状態の画像を符号化するステップと、
符号化された画像を復号するステップと、
記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示するステップと、
を実行させるプログラム。
【請求項１６】
画像を表示する画像処理用のプログラムであって、コンピュータに、
符号化された画像を復号するステップと、
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を表示するステップと、
を実行させるプログラム。
【請求項１７】
複数の画像が記録される記録装置と、
前記複数の画像の簡易閲覧用の画像を生成し、前記記録装置に記録する画像生成部と、
前記記録装置に記録された簡易閲覧用の画像を再生する再生部と、
を備え、
前記画像生成部は、
前記画像のサイズを調整するために、画像にダミー領域を付加し、そのダミー領域の位置情報を記録するダミー領域付加部と、
前記ダミー領域が付加された状態の画像を符号化する符号化器と、を含み、
前記再生部は、
符号化された画像を復号する復号器と、
前記記録装置に記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を、表示装置へ出力する表示処理部と、
を含むことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、さまざまなサイズ、フォーマットの画像から、表示を目的とする画像、特に、簡易閲覧用の画像を生成する技術に関する。
【背景技術】
【０００２】
近年のパーソナルコンピュータや、ハードディスクビデオレコーダ、ＤＶＤ（Digital Versatile Disc）レコーダ、あるいはゲーム機器などに代表される電子機器は、ハードディスク装置やＤＶＤ装置などの記録装置を備え、これらの記録装置には、ユーザによって作成され、あるいは録画されたさまざまな静止画、動画（本明細書において、静止画、動画を含めて単に画像ともいう）データが記録される。
【０００３】
記録装置に記録された画像の数が増加すると、ユーザは、ファイル名からそのファイルの内容を想起できなくなり、所望の画像にアクセスするのが困難になる。そこで、記録された画像ごとに、サムネイルと呼ばれる、元の画像を縮小したデータを用意する手法が知られている。各電子機器のユーザインタフェースは、各画像のアイコンを表示する代わりに、サムネイルを表示することにより、ユーザは、その画像の内容を視覚的に把握することができ、所望のファイルに、より簡易にアクセスすることが可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、近年のマルチメディア化に伴い、記録装置に記録される画像のサイズや種類は多様化の一途にある。たとえば、テレビ放送を録画したデータであっても、ＨＤ（High Definition）画質と従来のＳＤ（Standard Definition）画質では、画像のサイズが異なり、またユーザが作成した動画であれば、その画像のサイズは、自由に設定される。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的のひとつは、異なるサイズの画像から効率よく、表示、特に画像の内容を容易かつ迅速に把握するために、高速に表示可能な簡易表示のための画像を生成する技術の提供にある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像処理方法によれば、符号化の対象となる画像を符号化し、表示過程に送出する技術が提供される。この画像処理方法では、第１のステップとして、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加し、ダミー領域が付加された状態の画像を符号化する。この際に、付加したダミー領域の位置情報を記録する。第２のステップとして、符号化された画像を復号し、記録されたダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する。
【０００７】
「ダミー領域の位置情報」とは、元の画像と、付加したダミー領域を区別しうる情報を意味する。すなわち、ダミー領域の位置情報は、たとえば、元の画像の頂点の座標、あるいは縦横の幅、あるいはこれらの組み合わせであってもよいし、ダミー領域の各頂点の座標、縦横の幅、あるいはこれらの組み合わせであってもよい。「画像」とは、静止画、動画の双方を含む。また、「領域を表示する」とは、最終的にディスプレイ上に、その領域が表示されるように信号処理を行うことを意味し、実際にディスプレイ上に映像として表示することまで必要とするものではない。
【発明の効果】
【０００８】
本発明によれば、異なるサイズの画像について、効率よく表示用の画像を生成することができる。
【発明を実施するための最良の形態】
【０００９】
はじめに、本発明の実施の形態に係る画像処理方法の概要について説明する。本実施の形態に係る画像処理方法は、動画再生機能を備えるパーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダ、ゲーム機器などの映像データを出力する電子機器に搭載されるものである。前提として、これらの電子機器には、複数の画像がさまざまなサイズ、フォーマットにて記録されている。
【００１０】
電子機器は、ＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を介して、ユーザに対して、内部に記録された動画ファイルを表示する。この際に、ユーザがその動画ファイルの内容を一見して把握することができるように、表示を目的とした簡易閲覧用の動画（以下、サムネイル動画ともいう）を生成する。サムネイル動画のサイズは、容量を抑えるために、元の動画を縮小したものであることが好ましく、また、その動画の内容の一部を抽出したものであることが好ましい。電子機器は、ＧＵＩ上にサムネイル動画を配置し、再生する。
以下のさまざまな態様の技術は、このような簡易閲覧用の動画の生成、あるいはその再生・表示の際に好適に利用される。動画ではなく、静止画であっても、同様である。
【００１１】
本発明のある態様の画像処理方法は、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加してそのダミー領域の位置情報を記録するとともに、ダミー領域が付加された状態の画像を符号化する第１ステップと、符号化された画像を復号し、記録されたダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する第２ステップと、を備える。
【００１２】
この態様によると、符号化処理の対象となる画像のサイズが統一され、符号化に際して、画素数や画角、アスペクト比のチェック処理が不要となり、毎回、同じ処理を行えば足りるため、符号化処理を簡素化、効率化することができる。さらに、ダミー領域に関する情報を記録することにより、画像をＧＵＩ上に表示する際に、ダミー領域を削除することができ、画像の隅に、ダミー領域に対応する帯状の領域が発生するのを抑制し、見栄えを改善することができる。
【００１３】
ある態様において、第１ステップは、画像サイズが異なる複数の画像を処理する際、ダミー領域が付加された状態において、それらの画像のサイズが基準画像サイズに合致するよう、それぞれの画像に対してダミー領域を付加してもよい。
この態様によると、符号化の対象となる画像のサイズが基準画像サイズとなるため、符号化に必要な処理、プログラムコード、装置を簡易化することができる。
【００１４】
ある態様において、第１ステップは、符号化の対象となる画像を、基準画像サイズに収まるようにリサイズするステップを含む。第１ステップは、リサイズされた画像と、基準画像サイズとの差分領域に、ダミー領域を付加し、ダミー領域が付加された画像を符号化してもよい。
この場合、サイズが全く異なる画像が入力された場合であっても、符号化の対象となる画像のサイズを統一することができる。
【００１５】
ある態様において、第２ステップは、復号された画像からダミー領域を除いた領域を表示する際に、その基準位置を、所定の表示枠の基準位置に一致させてもよい。「基準位置」とは、たとえば、画像の中心（重心）であってもよいし、ダミー領域を含む画像、あるいはダミー領域を除いた画像のいずれかの頂点であってもよい。
この場合、表示スクリーン上に表示される画像の位置を統一することができるため、見栄えを改善することができる。
この場合において、第２ステップは、複数の表示枠を表示スクリーンにおいて直線上ないしマトリクス状に整列して配置してもよい。
【００１６】
また、画像は動画データであって、第２ステップは、ダミー領域が削除された動画を、所定の表示枠内で再生してもよい。
【００１７】
ある態様において、第２ステップは、復号された画像からダミー領域を除いた領域に比例したサイズのポリゴンを生成するステップと、生成したポリゴンに、復号された画像からダミー領域を除いた領域をテクスチャとしてマッピングするステップと、を含んでもよい。
この場合、ダミー領域が除去された画像を、ポリゴンに対応する表示枠内に表示することができる。さらにポリゴンに対して、移動、変形処理を施すことにより、ダミー領域が削除された画像を、移動、変形することが可能となる。
【００１８】
ある態様において、第２ステップは、所定のサイズのポリゴンを生成するステップと、復号された画像のうち、ダミー領域内の画素のα値を透明の値（＝０）に設定するステップと、α値が設定された復号された画像全体を、ポリゴンにテクスチャとしてマッピングするステップと、を含む。
この場合、ダミー領域の部分は、背景が透けて表示されるため、実質的に、ダミー領域を除いた領域のみを、ディスプレイ上に表示することができる。
【００１９】
また、第２ステップは、ダミー領域が削除されたデータの外周をトリミングして表示し、そのトリミング率は、符号化した元の画像を表示する際のトリミング率に対応するものであってもよい。
ブラウン管テレビなどに画像を表示する際に、その画像の外縁の数％は表示されない場合があるため、確実に表示される領域を安全フレーム（Ｓａｆｅｔｙ  Ｆｒａｍｅ）として用意し、画像を安全フレームの内側となるようにトリミングして表示する場合がある。この場合に、第２ステップにおいても、同じトリミング率で画像を表示することにより、実際に再生される画像と同じ画角の画像を、サムネイルとして表示することができる。
【００２０】
本発明のさらに別の態様において、第２ステップは、表示スクリーンの所定の領域全体に、所定の地画像を描画するとともに、ダミー領域が削除された画像を所定の地画像に上書きしてもよい。
この態様によると、画像の周囲に、削除されたダミー領域に対応する不要な帯が現れることなく、所定の地画像が背景として表示されることになるため、見栄えをよくすることができる。
【００２１】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、符号化された画像を復号するステップと、復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、取得したダミー領域の位置情報をもとに、復号した画像からダミー領域を除いた領域を表示するステップと、を備える。
この態様によると、表示ディスプレイ上に、ダミー領域が可視的に表示されるのを防止することができる。
【００２２】
本発明のさらに別の態様もまた、画像処理方法である。この方法は、符号化の対象となる画像のサイズを取得するステップと、取得した画像のサイズと、基準画像サイズとの差分を算出するステップと、符号化の対象となる画像に、差分に相当するダミー領域を付加するステップと、ダミー領域を付加した画像を符号化するとともに、ダミー領域の位置情報を別途記録するステップと、を備える。
この態様によると、符号化に際して、画像のサイズを調節するために付加したダミー領域に関する情報を保持することにより、符号化した画像を復号して表示する際に、ダミー領域を除去した領域のみを表示することができる。また、符号化処理、さらにはその後の復号処理の対象となる画像のサイズが定まるため、画素数や画角のチェックといった処理を省略することができ、処理を簡素化、効率化することができる。
【００２３】
本発明の別の態様も、画像処理方法に関する。この方法は、原画像を縮小して得られた縮小画像にダミー領域を付加して符号化のための暫定画像を生成するとともに、ダミー領域の位置情報を記録するステップと、暫定画像を符号化するステップと、符号化された暫定画像が復号されたとき、記録されたダミー領域の位置情報をもとに、復号された暫定画像からダミー領域を削除して表示処理ブロックへ出力するステップと、を含む。この場合、符号化の対象となる暫定画像のサイズが統一されるため、符号化処理を効率化することができ、また、ダミー領域が表示されるのを防止することができる。
【００２４】
さらに別の態様の画像処理方法によれば、符号化の対象となる画像を符号化し、表示過程に送出する技術が提供される。この画像処理方法では、第１のステップとして、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加し、ダミー領域が付加された状態の画像を符号化する。この際に、付加したダミー領域の位置情報を記録する。第２のステップとして、符号化された画像を復号し、記録されたダミー領域の位置情報をもとに、復号された画像からダミー領域を削除した後、画像を表示過程へ出力する。
【００２５】
なお、以上の処理、手順、構成要素の任意の組合せ、あるいは、処理、手順、構成要素を、方法、プログラム、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【００２６】
以下、本発明の実施の形態に係る画像処理方法および画像処理装置について、図面を参照しつつ説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
【００２７】
図１は、実施の形態に係る動画再生機能を備える電子機器１の構成を示すブロック図である。電子機器１は、たとえば、パーソナルコンピュータやＤＶＤプレイヤ、ゲーム機器などであって、映像データの再生機能を有するデバイスである。本実施の形態において、電子機器１はゲーム機器である。このゲーム機器は、本来のゲーム機器としての機能に加えて、動画を再生する機能を有する。
【００２８】
電子機器１は、ＣＰＵ（Central Processing Unit）１０、ＤＶＤ装置１２、ハードディスク１４、Ｉ／Ｏインターフェース１６、メインメモリ１８、グラフィックプロセッサ２０、グラフィックメモリ２２、バス２４を備える。図１の各ブロックは、バス２４を介して接続されており、互いにデータを送受信可能に構成される。この電子機器１は、外部に接続される表示装置であるディスプレイ機器（不図示）に対して、映像データを出力する。ディスプレイ機器は、液晶パネルとして電子機器１に内蔵されていてもよい。
【００２９】
ＣＰＵ１０は、電子機器１全体を統合的に制御する演算処理装置である。このＣＰＵ１０は、ハードディスク１４あるいは図示しないＲＯＭ（Ｒｏａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）のプログラムをメインメモリ１８にロードし、ロードしたＯＳにもとづいて、電子機器１の各ブロックを管理し、必要な演算処理を行う。また、ＣＰＵ１０は、その他のブロックにより要求された演算処理を実行する。
【００３０】
ＤＶＤ装置１２は、挿入されたディスクから、電子機器１において実行すべきゲームプログラムを読み出し、あるいは映画や音楽が記録されたディスクから映像データを再生するために使用される。ＤＶＤ装置１２に挿入されたＤＶＤメディアに、ゲームプログラムが記録されている場合、ＣＰＵ１０は、ゲームプログラムをロードし、実行する。また、ＣＰＵ１０は、映画やコンサートなどの映像コンテンツ（以下、単に画像ともいう）が記録されている場合、必要なアプリケーションを起動し、これを再生する。
【００３１】
ハードディスク１４には、電子機器１の動作に必要なアプリケーションプログラム、アプリケーションが利用するデータ等が記録される。さらに、ハードディスク１４には、さまざまな画像Ｉが記録される。本明細書において、「画像」という場合には静止画や動画のデータを意味する。画像Ｉは、ユーザがテレビ放送を録画したものであったり、ユーザがデジタルビデオカメラやデジタルスチルカメラによって撮影したものであったり、パーソナルコンピュータから取り込んだものである。これらの画像は、様々なサイズ、符号化フォーマットで記録される。デジタルビデオカメラや、パーソナルコンピュータなどの外部デバイスは、Ｉ／Ｏインターフェース１６を介して電子機器１と接続され、画像が、ハードディスク１４へと転送される。
【００３２】
メインメモリ１８は、電子機器１の各ブロックによって使用される作業用領域を含む。メインメモリ１８には、アプリケーションプログラムがロードされ、ＣＰＵ１０などによる演算処理の結果が記憶され、あるいは、各ブロック間のデータの送受信に利用される。
【００３３】
グラフィックメモリ２２は、ディスプレイ機器に出力すべき最終的な映像データが記憶されるフレームバッファ（図示せず）を含む。グラフィックプロセッサ２０は、画像に関する演算処理を行うブロックである。このグラフィックプロセッサ２０は、ゲームプログラムを実行した結果、生成された映像データや、ＤＶＤ装置１２やハードディスク１４から読み出した映像データに対して、所定の処理を行い、最終的な映像データを、グラフィックメモリ２２のフレームバッファへと書き込む。フレームバッファ上のデータは、図示しないディスプレイドライバによって、ディスプレイ機器に出力される。
【００３４】
上述のように、本実施の形態に係る電子機器１では、ハードディスク１４に、多くの映像が記録される。電子機器１は、ハードディスク１４に記録された画像（映像）を再生する機能を有する。電子機器１による映像の再生機能は、専用のアプリケーションプログラムによって実行される。したがって、本明細書において、「電子機器１」というとき、それは、ＣＰＵ１０ならびにその他のブロックと、必要なプログラムの協働によって実現される機能を意味する。
【００３５】
電子機器１のユーザが、ハードディスク１４に記録された複数の画像を再生する場合、まず、再生したい画像を選択する必要がある。電子機器１は、ユーザが、映像データの内容を直感的に把握できるように、ハードディスク１４に記録された画像ごとに、簡易閲覧用の画像（以下、サムネイル画像ともいう）を生成し、これをディスプレイ機器に表示する。
【００３６】
サムネイル画像Ｉｔの生成手法は既知であるため、簡単に説明する。電子機器１は、サムネイル画像Ｉｔを、元の画像（以下、単に原画像ともいう）Ｉ１と１対１に対応付け、所定のタイミングで生成する。所定のタイミングとは、新たな画像Ｉ１がハードディスク１４に格納されたタイミング、ユーザからサムネイル画像の作成の指示があったタイミング、電子機器１において予め定められた時刻などである。なお、一旦生成されたサムネイル画像Ｉｔは、原画像Ｉ１がハードディスク１４上から削除されると、それとともに削除される。
【００３７】
ハードディスク１４に記録された画像Ｉ１のサイズはさまざまである。本実施の形態に係る電子機器１は、原画像Ｉ１のサイズにかかわらず、統一されたサイズを有するサムネイル画像Ｉｔを生成する。以下、本実施の形態におけるサムネイル画像Ｉｔの生成方法およびその再生方法について説明する。
【００３８】
図２は、電子機器１に実装される画像処理装置１００の構成を示すブロック図である。また、図３は、実施の形態に係る画像処理のフローチャートである。図２において、各処理ブロックは、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。すなわち、図２に示される各処理ブロックは、ソフトウェア的には、電子機器１において実行されるプログラムのコードモジュールに対応し、ハードウェア的にＣＰＵやＤＳＰ（Digital Signal Processor）として構成された処理ユニットに対応し、これらの協働によって実現される。
【００３９】
画像処理装置１００は、ハードディスク１４、サムネイル画像生成部１０２、サムネイル画像再生部１０４を含む。サムネイル画像生成部１０２は、ハードディスク１４に記録された画像Ｉ１を読み出し、サムネイル画像Ｉｔを生成する。サムネイル画像再生部１０４は、生成されたサムネイル画像Ｉｔを再生し、ディスプレイ機器に出力する。
【００４０】
まず、サムネイル画像生成部１０２の構成について説明する。サムネイル画像生成部１０２は、画像取得部３０、リサイズ処理部３２、ダミー領域付加部３４、符号化器３６、出力処理部３８を含む。
【００４１】
画像取得部３０は、ハードディスク１４に記録された画像の中から、サムネイル画像Ｉｔの作成の対象となる画像を選択して読み出す（Ｓ９０）。画像取得部３０によって読み出された画像Ｉ１は、リサイズ処理部３２へと出力される。この処理は、具体的には、画像取得部３０が、画像Ｉ１をメインメモリ１８にロードし、リサイズ処理部３２がメインメモリ１８にアクセスすることにより実現される。あるいは、画像取得部３０が、画像Ｉ１のハードディスク１４におけるアドレスをリサイズ処理部３２に通知し、リサイズ処理部３２がこのアドレスにアクセスしてもよい。
【００４２】
リサイズ処理部３２は、リサイズ処理Ｓ１００を行う。リサイズ処理Ｓ１００は、画像Ｉ１のサイズを、所定の統一された基準サイズに収まるように調節する処理である。たとえば、基準サイズは、横、縦の画素数が４３２×２４０であり、以下では、この４３２×２４０の画素数を基準サイズとして説明する。なお、４３２×２４０の画素数は、アスペクト比が、略１６：８．８９であることから、１６：９のワイドＨＤの画像との整合性が高いことから好ましく、また、縦横のピクセル数が１６の倍数であるため、ＭＰＥＧ（Moving Picture Expert Group）などの符号化、復号処理との整合性が高いという利点を有する。なお、４３２×２４０の画素数に、所定の係数を乗じた画素数（たとえば２１６×１２０など）を、基準サイズとしてもよい。基準サイズの選択は、電子機器１に接続されるディスプレイ機器の画面サイズに応じて設定してもよい。また、基準サイズは複数用意されてもよい。
【００４３】
リサイズ処理自体は、一般的な画像の縮小、拡大技術を利用すればよい。ここでの縮小、拡大処理は、単純拡大、単純縮小である。リサイズ処理Ｓ１００は、原画像Ｉ１をアスペクト比を固定したまま縮小、拡大し、縦横ともに基準サイズｘ０×ｙ０に収まる最大のサイズｘ１×ｙ１とすることが望ましい。すなわち、ｘ１≦ｘ０、ｙ１≦ｙ０が成り立つ範囲において、原画像Ｉ１を縮小してもよい。なお、基準サイズを有する仮想的な画像を「基準画像Ｉｓｔｄ」とよぶ。
【００４４】
たとえば、原画像Ｉ１の画素数が、ｘ１×ｙ１＝６４０×４８０ピクセルの場合、縦横を１／２倍し、３２０×２４０ピクセルの縮小画像Ｉ２を生成する。リサイズされた縮小画像Ｉ２は、ダミー領域付加部３４に出力される。サムネイル画像のサイズは、原画像のサイズより小さい場合がほとんどであるので、ここでは、縮小画像とよぶが、解像度の低い原画像に対しては、拡大によるリサイズが行われる。
【００４５】
つぎに、ダミー領域付加部３４は、ダミー領域付加処理Ｓ１１０を行い、縮小画像Ｉ２にダミー領域Ｒｄｍｙを付加して暫定画像Ｉ３を生成する。その際、暫定画像Ｉ３のサイズが一定になるよう、ダミー領域の形状とサイズが決定される。縮小画像Ｉ２は、ダミー領域が与えられた状態で、符号化のための暫定画像Ｉ３となる。「符号化のための」とは、符号化の効率化のために暫定画像Ｉ３のサイズを一定にするためである。詳しくは後述するが、最終的にユーザに表示するときは、暫定画像Ｉ３からダミー領域が削除されるので、暫定画像は、符号化から保存を経て復号されるまでの間だけ存在し、暫定画像自体はユーザの目に触れない。「ダミー領域が与えられた状態」とは、ダミー領域付加部３４により、縮小画像Ｉ２の画像サイズが変更された状態をいう。画像サイズの変更は、
１）画像のヘッダ領域におけるサイズ特定情報を書き換え、かつ、
２）画像データ領域を拡張し、その拡張した画像データ領域に、ダミー領域に含まれる画素の画素値を書き込む、
ことによりなされる。ダミー領域Ｒｄｍｙの画素の画素値（以下「ダミー値」という）は任意でよいが、符号化手法とのかねあいで、符号化がより高速になるような値が望ましい。一例として、ダミー値を固定値にすることが考えられる。これは暫定画像Ｉ３において、ダミー領域が一色で塗りつぶされた状態に対応する。
【００４６】
すなわち、ダミー領域付加処理Ｓ１１０は、リサイズされた縮小画像Ｉ２と基準画像Ｉｓｔｄとの差分領域ΔＲ（＝Ｉｓｔｄ−Ｉ２）に、ダミー領域Ｒｄｍｙを付加し、基準サイズＩｓｔｄと一致させる処理である。
【００４７】
リサイズされた縮小画像Ｉ２は３２０×２４０ピクセルで構成されるため、基準サイズ４３２×２４０と一致させるために、横方向に１０２ピクセル分のダミー領域Ｒｄｍｙを付加する。ダミー領域は、縮小画像Ｉ２の両端に均等に配置してもよいし、あるいは左右いずれかの辺にまとめて配置してもよい。たとえば、左右に均等に配置する場合、縮小画像Ｉ２の左右に、５１（＝１０２／２）ピクセル分のダミー領域が付加される。
【００４８】
また、リサイズされた縮小画像Ｉ２のサイズによっては、上下方向、あるいは上下方向と左右方向の両方にダミー領域Ｒｄｍｙが付加される場合もある。
【００４９】
符号化器３６には、ダミー領域付加部３４から出力される基準サイズを有する暫定画像Ｉ３が入力される。符号化器３６は、暫定画像Ｉ３を符号化処理Ｓ１２０する。符号化処理Ｓ１２０では、ダミー領域Ｒｄｍｙが付加されてサイズが統一された暫定画像Ｉ３を、所定のフォーマット、すなわち符号化方式で符号化する。フォーマットは、ハードディスク１４に記録された原画像Ｉ１と同一のフォーマットでもよいし、電子機器１において予め定められたフォーマットであってもよい。本実施の形態では、生成したサムネイル画像を表示する際のデータ処理（復号）を簡素化するために、予め定められた方式、たとえばＭＰＥＧ２やＭＰＥＧ４で圧縮符号化する。表示すべきサムネイル画像Ｉｔの符号化方式が統一されていれば、後述の復号処理Ｓ１４０において、復号方式を固定できるため、プログラムを簡素化でき、あるいは専用のＤＳＰを設ける場合に、その構成を簡素化できる。一例として、符号化器３６は、暫定画像Ｉ３を、ＭＰＥＧ４で圧縮符号化し、ＭＰ４フォーマットで保存してもよい。もっとも、圧縮符号化に利用する方式はこれに限定されるものではなく、現在または将来において利用可能なさまざまな方式を利用することができる。また、静止画であれば、ＪＰＥＧ（Joint Photographic Experts Group）などが利用できる。
【００５０】
サムネイル画像Ｉｔを生成する際に、動画である原画像Ｉ１と同じフル再生時間について符号化を行うと、サムネイル画像Ｉｔのデータサイズが大きくなってしまう。そこで、符号化器３６は、サムネイル画像Ｉｔのデータサイズが大きくなるのを防止するため、所定の期間、たとえば数秒から数十秒にわたるフレームを符号化する。符号化は、先頭フレームから所定の期間にわたって行ってもよいし、ユーザがどの範囲を符号化するかを選択可能としてもよい。また、原画像Ｉ１を解析し、ハイライトシーンや盛り上がり部分を抽出し、抽出した期間を符号化してダイジェストとしてサムネイル画像Ｉｔを生成してもよい。たとえば、動画の音声データを解析し、音量が大きい期間を抽出することにより、あるいは画像データを解析し、動きの激しい期間を抽出することにより、ハイライトシーンや盛り上がり部分を抽出することができる。
【００５１】
さらに、符号化器３６では、所定のフレーム、たとえば、先頭フレームの画像を、静止画のサムネイル画像として符号化し、動画のサムネイル画像と別個に記録する。後に、ディスプレイにサムネイル画像を表示する際に、電子機器１のＣＰＵ１０が別の重たい処理を行っていると、動画の復号処理に要する演算処理が行えない場合も想定される。かかる場合に、復号処理に要する演算量が、動画に比べて少なくて済む静止画のサムネイル画像を生成しておくことには意味がある。符号化器３６は、符号化された画像（以下、符号化データともいう）Ｄｅｎｃを出力処理部３８へと出力する。符号化データＤｅｎｃは、動画および静止画の画像それぞれを符号化したデータを含んでいる。
【００５２】
出力処理部３８は、符号化器３６における符号化処理Ｓ１２０の結果得られた符号化データＤｅｎｃとともに、ダミー領域付加部３４において付加したダミー領域Ｒｄｍｙの位置情報を示す、ダミー領域に関するデータ（以下、単にダミー領域データＤｄｍｙという）Ｄｄｍｙを出力する（Ｓ１３０）。ダミー領域データＤｄｍｙは、原画像Ｉ１と、付加したダミー領域Ｒｄｍｙを区別しうる情報を含む。
【００５３】
たとえば、ダミー領域データＤｄｍｙは、暫定画像Ｉ３から、ダミー領域Ｒｄｍｙを除去した縮小画像Ｉ２の４つの頂点（ｐ１、ｐ２、ｐ３、ｐ４）の座標である。あるいは、対角に存在する２つの頂点（ｐ１、ｐ４）であってもよいし、いずれか一つの頂点（ｐ１）の座標と縮小画像Ｉ２の縦横の幅Δｘ、Δｙであってもよい。もしくは、ダミー領域データＤｄｍｙは、ダミー領域Ｒｄｍｙの各頂点の座標、あるいは縦横の幅、あるいはこれらの組み合わせであってもよい。ダミー領域データＤｄｍｙは、符号化データＤｅｎｃとともに、図１のハードディスク１４内に書き込まれる。ダミー領域データＤｄｍｙの記録は、ハードディスク１４に保持されるテーブル（図示せず）へのエントリであってもよい。一例として、このテーブルは、
（１）原画像Ｉ１自体に関する情報、すなわちその名称やサイズ、作成時刻、画像の格納位置を示すアドレス
（２）原画像Ｉ１に対応するサムネイル画像Ｉｔの符号化データＤｅｎｃの格納位置を示すアドレス
（３）ダミー領域データＤｄｍｙ
を含む。符号化データＤｅｎｃおよびダミー領域データＤｄｍｙが、サムネイル画像を構成するデータとなる。
【００５４】
以上がサムネイル画像生成部１０２の構成である。次に、ユーザがサムネイル画像Ｉｔ２をもとに、再生すべき画像Ｉ１を選択する際に使用されるサムネイル画像再生部１０４の構成について説明する。サムネイル画像再生部１０４は、ハードディスク１４に記録された符号化データＤｅｎｃおよびダミー領域データＤｄｍｙにもとづいて、サムネイル画像Ｉｔ２をディスプレイに出力する。
【００５５】
復号器４０は、符号化データＤｅｎｃをハードディスク１４から読み出し、復号処理Ｓ１４０を行う。ここでの復号処理は、符号化器３６による符号処理と対応したものである。符号化データＤｅｎｃは、上記テーブルを参照することにより取得可能である。符号化処理Ｓ１２０において符号化のフォーマットを統一しているため、復号処理Ｓ１４０においては、都度フォーマットを確認する必要がなくなり、ここでの処理は実質的な復号処理のみで済む。復号処理Ｓ１４０による復号の結果、ダミー領域Ｒｄｍｙを含むサムネイル画像Ｉｔ１が生成される。サムネイル画像Ｉｔ１の内容は、ダミー領域付加部３４から出力される暫定画像Ｉ３の内容に対応している。
【００５６】
ダミー領域情報取得部４２は、上述のテーブルを参照して、入力されたサムネイル画像Ｉｔ１に対応するダミー領域データＤｄｍｙを取得する（Ｓ１５０）。ダミー領域情報取得部４２は、取得したダミー領域情報Ｄｄｍｙおよびサムネイル画像Ｉｔ１を、表示処理部４４へと出力する。
【００５７】
表示処理部４４は、ダミー領域情報Ｄｄｍｙをもとに、復号されたサムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域を、図示しないディスプレイ機器に表示する（Ｓ１６０）。復号されたサムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域は、再生すべきサムネイル画像Ｉｔ２に相当する。以下、表示処理部４４における、サムネイル画像Ｉｔ２の表示処理について説明する。
【００５８】
（第１の表示方法）
表示処理部４４は、ダミー領域情報Ｄｄｍｙにもとづき、復号されたサムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域のサイズ（以下、サムネイルサイズという）を取得し、このサムネイルサイズに比例したサイズのポリゴンを作成する。なお、ポリゴンは、３次元空間中に配置されるものであり、ポリゴン自身の位置や、視点の位置などの表示状態によって、実際にディスプレイ上に表示されるときの、ピクセル数で表現したサイズは変化する。したがって、ここでいう「ポリゴンのサイズ」は、ある基準となる表示状態おけるサイズを意味し、「サムネイルサイズのポリゴンを生成する」とは、その基準となる表示状態において、サムネイルサイズに比例したピクセル数で表示される大きさのポリゴンを生成することを意味する。以下の説明では、ポリゴンのサイズは、基準となる表示状態において、サムネイルサイズに一致するものとして説明する。
【００５９】
続いて、このポリゴンに、復号されたサムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域Ｉｔ２をテクスチャとしてマッピングする。サムネイル画像Ｉｔ２がテクスチャとしてマッピングされたポリゴンを、レンダリングすることにより、ディスプレイ機器には、サムネイル画像Ｉｔ２のみを可視的に表示することができる。
【００６０】
たとえば、上述した具体例では、基準サイズが４３２×２４０ピクセルであり、ダミー領域を除いた領域のサイズ、すなわちサムネイルサイズが３２０×２４０ピクセルであり、ダミー領域Ｒｄｍｙが、その左右の両端に、５１ピクセル分、配置される場合を考える。この場合、基準となる表示状態、すなわち、ポリゴンが所定位置に配置され、視点が所定位置に固定された状態で、３２０×２４０ピクセルで表示されるように、長方形のポリゴンを生成する。
つついて、このポリゴンに、サムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域Ｉｔ２をマッピングする。テクスチャマッピングの処理は、図２のグラフィックプロセッサ２０にＵＶ座標を指定することにより実行され、４３２×２４０のサムネイル画像Ｉｔ１のうち、ｘ＝５２、ｙ＝０を頂点として、幅Δｘ＝３２０、高さΔｙ＝２４０の領域を、ポリゴンにテクスチャマッピングする。図２のグラフィックプロセッサ２０がポリゴンをレンダリングしてグラフィックメモリ２２のフレームバッファに書き込むことにより、サムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除いた領域Ｉｔ２のみが可視的にディスプレイ機器に表示される。
【００６１】
（第２の表示方法）
表示処理部４４は、所定のサイズのポリゴンを生成する。ポリゴンのサイズは、サムネイルサイズよりも大きければよく、たとえば、基準サイズに設定される。続いて、表示処理部４４は、復号されたサムネイル画像Ｉｔ１のうち、ダミー領域Ｒｄｍｙ内の画素の透明度を示すα値を透明の値（＝０）に設定する。また、サムネイル画像Ｉｔ１のうち、ダミー領域Ｒｄｍｙの除く領域については、α値を非透明に対応した値（たとえば最大値）に設定する。表示処理部４４は、サムネイル画像Ｉｔ２全体を、生成したポリゴンにテクスチャとしてマッピングする。
【００６２】
その結果、サムネイル画像Ｉｔ２がマッピングされたポリゴンをレンダリングすることにより、ダミー領域Ｒｄｍｙの部分は、背景が透けて見えるため、実質的に、ダミー領域を除いたサムネイル画像Ｉｔ２のみをディスプレイ機器に表示することができる。
【００６３】
（第３の表示方法）
表示処理部４４は、ダミー領域情報Ｄｄｍｙをもとに、復号されたサムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを削除したサムネイル画像Ｉｔ２を生成する。ここで「削除」とは、単に画素値をゼロクリアするなどの画像内の処理ではなく、画像サイズ自体を変えるような、画像再構成処理をいう。画像サイズを変更するために、表示処理部４４は画像のヘッダ領域にある画像サイズ特定情報を書き換える。続いて、表示処理部４４は、ダミー領域Ｒｄｍｙが削除されたサムネイル画像Ｉｔ２の描画処理を実行する。第３の表示方法は、３次元グラフィックスに関する機能が実装されていない画像処理装置１００において有効な手法である。
【００６４】
以上のように構成された画像処理装置１００の動作について説明する。図４（ａ）〜（ｃ）は、図２の画像処理装置１００の処理過程において生成される各画像を示す図である。すなわち、図４（ａ）は、ハードディスク１４に記録されている原画像Ｉ１を、同図（ｂ）は、リサイズ処理部３２によってリサイズされた縮小画像Ｉ２あるいは最終的にディスプレイ機器に表示されるサムネイル画像Ｉｔ２を、同図（ｃ）は、ダミー領域Ｒｄｍｙが付加されてサイズが統一された暫定画像Ｉ３あるいは復号器４０により復号されたサムネイル画像Ｉｔ１を示す。
【００６５】
ユーザがサムネイル画像の生成を指示すると、画像処理装置１００のサムネイル画像生成部１０２がサムネイル画像の生成処理を開始する。まず、画像取得部３０は、図４（ａ）に示すサムネイル画像作成の原画像Ｉ１を選択する。
続いて、図２のリサイズ処理部３２におけるリサイズ処理Ｓ１００によって、図４（ａ）の原画像Ｉ１が、基準サイズに収まるように、縮小、拡大される。その結果得られる画像が、図４（ｂ）に示す縮小画像Ｉ２である。図４（ｂ）の縮小画像Ｉ２は、同図（ａ）の画像を単純拡大、単純縮小したものであり、同一のアスペクト比を有している。
【００６６】
続いて、ダミー領域付加部３４は、縮小画像Ｉ２に、ダミー領域Ｒｄｍｙを付加して、基準サイズに統一された暫定画像Ｉ３を生成する（図４（ｃ））。符号化器３６は、暫定画像Ｉ３を符号化し、符号化データＤｅｎｃを生成する。この符号化データＤｅｎｃは、ダミー領域データＤｄｍｙとともに、出力処理部３８によってハードディスク１４に記録される。
【００６７】
その後、ユーザが、ハードディスク１４に記録された複数の画像の中から、視聴すべき画像を選択する際に、画像処理装置１００のサムネイル画像再生部１０４が動作する。
【００６８】
サムネイル画像再生部１０４の復号器４０は、符号化データＤｅｎｃを読み出し、復号する。復号の結果得られた画像Ｉｔ１は、暫定画像Ｉ３に対応する（図４（ｃ））。ダミー領域情報取得部４２は、ハードディスク１４から、暫定画像Ｉ３に対応したダミー領域データＤｄｍｙを取得する。表示処理部４４は、図４（ｃ）の画像から、ダミー領域Ｒｄｍｙを削除した領域、すなわちサムネイル画像Ｉｔ２をディスプレイ機器に表示する（図４（ｂ））。
【００６９】
以上の画像処理技術によれば、サムネイル画像を生成する場合の符号化に際して、必要に応じてダミー領域を付加することにより、符号化の対象となる画像のサイズを統一することができるため、符号化処理において、画像のサイズが統一される。その結果、画素数や画角、アスペクト比等のチェック処理が不要となり、毎回、同じ処理を行えば足りるため、符号化処理を効率化、高速化することができる。さらに、符号化処理を、統一された画像サイズに対して最も高速に処理できるように、アルゴリズムやハードウェアを最適化することができる。
【００７０】
さらに、ダミー領域Ｒｄｍｙに関する情報が、メタデータとして符号化データＤｅｎｃと併せて記録されているため、サムネイル画像Ｉｔを表示する際に、ダミー領域Ｒｄｍｙを除去することができる。これにより、サムネイル画像Ｉｔの隅に、ダミー領域Ｒｄｍｙに対応する帯状の領域（ダミー領域が白であれば白い帯）が発生するのを抑制し、見栄えを改善することができる。
【００７１】
次に、復号したサムネイル画像を、ディスプレイに表示する際のデータ処理について説明する。
図５は、サムネイル画像が表示されたディスプレイ５０の表示領域を示す図である。ディスプレイ５０には、所定の背景画像５２が表示される。背景画像５２は、単一色あるいは所定の地画像で塗りつぶされていてもよいし、あるいは壁紙などの画像が表示されていてもよい。第１、第２の表示方法を利用する場合、視点から十分遠い位置にポリゴンを配置し、それを着色してもよいし、あるいはそのポリゴンに壁紙をマッピングしてもよい。
【００７２】
ディスプレイ５０上には、複数の所定の表示枠ＦＲＭ１〜ＦＲＭ４が、中心が揃うようにして直線上に配置される。表示枠ＦＲＭのサイズは、上述の基準サイズと一致するものであることが好ましい。なお、表示枠ＦＲＭ１〜４は、ディスプレイ５０上に、線画として描画されるものではなく、仮想的に配置されるものである。また、縦方向ではなく横方向に配置されてもよいし、マトリクス状に配置されてもよい。さらに、表示枠ＦＲＭのサイズは、基準サイズを所定倍したサイズであってもよい。
【００７３】
電子機器１は、上述の画像処理技術により得られたサムネイル画像を、複数の表示枠ＦＲＭ１〜ＦＲＭ４内のそれぞれに表示する。また、各表示枠ＦＲＭの周辺、たとえば、右隣に、その表示枠に表示しているサムネイル画像に対応する画像のファイル名、再生時間、その他の情報を併せて表示してもよい。
【００７４】
複数の表示枠は、第１、第２の表示方法で説明したポリゴンに対応しており、このポリゴンは、背景を表示するためのポリゴンよりも視点に近い位置に配置される。表示処理部４４は、これらの表示枠に相当するポリゴンに、サムネイル画像をマッピングする。
【００７５】
静止画の復号に要する時間は、動画のそれに比べて短いため、図２のサムネイル画像再生部１０４は、まず、静止画のサムネイル画像を生成した後に、動画のサムネイル画像を生成してもよい。この処理を行うことにより、レスポンスよくサムネイル画像をディスプレイに表示することができ、ユーザの体感処理速度を向上することができる。
【００７６】
また、ディスプレイ５０には、カーソル５４を表示してもよい。カーソル５４の位置は、ユーザの操作に応じて上下に移動し、カーソル５４で選択される画像を、ハイライトさせてもよい。この場合、ユーザは、カーソル５４によって、再生すべき画像を選択することができる。
【００７７】
より直感的なユーザインターフェースを提供するために、カーソル５４で選択されている画像のサイズを、他の表示枠に表示される画像のサイズと相対的に異ならしめてもよい。たとえば、カーソル５４で選択されている画像を、拡大表示してもよい。表示処理部４４において、第１、第２の表示方法を採用している場合、ポリゴンのサイズを拡大することにより、テクスチャとしてマッピングされたサムネイル画像Ｉｔ２のサイズも拡大することができる。あるいは、拡大したい画像がマッピングされたポリゴンを、視点に近い位置に移動させることにより、見かけ上、大きく表示することが可能である。
第３の表示方法を採用する場合、サムネイル画像Ｉｔ２を適宜拡大、縮小して、フレームバッファ上に直接描画する。
【００７８】
また、カーソル５４の代わりに、所定の位置に固定された選択枠５６を設けてもよい。この場合、ユーザの選択動作に応じて、各サムネイル画像の表示位置を、移動させてもよい。たとえば、図５の表示状態からユーザが上方向を選択すると、サムネイル画像ＩｔＡ〜ＩｔＤを、一つ上段の表示枠にシフトさせる。その結果、選択枠５６内には、サムネイル画像Ｉｔ４が表示された状態となる。ユーザは、所望のサムネイルを選択枠５６内に移動させ、再生すべき画像を選択してもよい。
当然ながら、複数のサムネイル画像から、一の画像を選択する方法は、その他のＧＵＩを利用して行っても構わない。
【００７９】
第１の表示枠ＦＲＭ１〜第４の表示枠ＦＲＭ４には、第１から第４の原画像にもとづいて生成されたサムネイル画像ＩｔＡ〜ＩｔＤがそれぞれ表示される。表示されるサムネイル画像ＩｔＡ〜ＩｔＤは、図２の表示処理部４４によってダミー領域Ｒｄｍｙが除去されたサムネイル画像となっている。
ユーザは、各表示枠ＦＲＭ１〜ＦＲＭ４に表示されたサムネイル画像ＩｔＡ〜ＩｔＤを視ることにより、それぞれに対応する原画像Ｉの内容を直感的に把握することができる。
【００８０】
以上の表示処理を行うことにより、ディスプレイ５０上には、サムネイル画像を生成する際に付加されたダミー領域Ｒｄｍｙは表示されず、ダミー領域Ｒｄｍｙが存在する領域には、背景画像５２が表示される。その結果、ディスプレイ上にダミー領域Ｒｄｍｙに対応する黒や白い帯が表示されるのを防止し、見栄えが悪化するのを抑制できる。
【００８１】
なお、以上の表示処理は、ハードウェア、あるいはソフトウェアレベルでは、以下のように実現することができる。まず、プログラムは、ディスプレイ５０の表示内容が描画される図１のグラフィックメモリ２２上のフレームバッファの全体に、背景画像５２を描画する。続いて、サムネイル画像Ｉｔを、ディスプレイ５０上に表示するために、表示枠ＦＲＭに対応するフレームバッファ上の領域に、図２のダミー領域情報取得部４２により得られたサムネイル画像Ｉｔを上書きによって描画する。これらの描画処理は、ＣＰＵ１０、グラフィックプロセッサ２０等によって実行される。
【００８２】
図５のように、複数のサムネイル画像ＩｔＡ〜ＩｔＤを表示する場合には、図２で説明した復号器４０およびダミー領域情報取得部４２が、複数のサムネイル画像について並列処理を行う。並列処理は、単一のプロセッサによる時分割処理によって実現してもよいし、複数のプロセッサによる完全な並列処理によって実現されてもよいし、これらの組み合わせであってもよい。
【００８３】
表示枠ＦＲＭにサムネイル画像Ｉｔを表示する際に、ダミー領域Ｒｄｍｙが削除された画像Ｉｔの基準位置が、表示枠ＦＲＭの基準位置に一致するようデータ処理をすることが好ましい。図５の例では、基準位置として、画像の中心座標（すなわち重心）が選択されている。基準位置を一致させることにより、サムネイル画像を整列することができ、見栄えをよくすることができる。基準位置の取り方は、ユーザに自由に設定させてもよい。
【００８４】
サムネイル画像を表示する処理のバックグラウンドにおいて、演算量の大きな処理を実行している場合には、すべてのサムネイル画像の復号器４０、ダミー領域情報取得部４２、表示処理部４４に対して、ＣＰＵ１０やグラフィックプロセッサ２０のハードウェアリソースを割り当てることができない場合も想定される。そのために、サムネイル画像再生部１０４は、サムネイル画像再生部１０４の処理に必要なハードウェアリソースが十分かを判定するための演算モニタ部（図示せず）を備えてもよい。たとえば、演算モニタ部は、復号器４０の演算量を取得し、取得した演算量を、所定のしきい値と比較する。復号器４０がＣＰＵ１０とプログラムの組み合わせにより構成される場合には、ＣＰＵ１０の演算量がモニタされる。モニタの結果、演算量がしきい値を越えていた場合には、復号器４０のリソース不足と判定する。リソース不足と判定された復号器４０は、一部の画像については、動画のサムネイル画像の復号処理ではなく、静止画のサムネイル画像の復号処理を行う。なお、演算モニタ部は、演算量に換えて、あるいはこれに加えて、メモリの空き領域などの別のパラメータを、しきい値と比較することにより、リソース不足を判定してもよい。
【００８５】
リソース不足が発生した場合には、あるサムネイル画像、たとえばユーザに選択された状態にあるサムネイル画像ＩｔＣについてのみ、動画の復号処理を行って、表示枠ＦＲＭ３内に動画のサムネイル画像を表示するとともに、その他の表示枠ＦＲＭ１、２、４内には、別途用意した静止画のサムネイル画像を表示してもよい。この処理を行えば、サムネイル画像の表示に要する演算処理量を減らすことができるため、処理が破綻するのを防止することができる。
【００８６】
サムネイル画像の生成、表示に際しては、いわゆる安全フレームを考慮した処理を行うことが好ましい。一般に、ブラウン管テレビなどは、その外周部の情報を表示することができない。そこで、電子機器１にいかなる種類のディスプレイが接続されても、必要なデータを確実に表示するために、実際のフレームのサイズの外周を、数％〜２０％程度のトリミング率でトリミングした安全フレーム（Ｓａｆｅｔｙ  Ｆｒａｍｅ）を用意し、安全フレーム内のデータを、ディスプレイ５０に出力する処理を行う場合がある。
以下、安全フレームを考慮した処理について説明する。
【００８７】
本実施の形態では、サムネイル画像の生成するときに、安全フレームを考慮する。この方法において、リサイズ処理部３２は、安全フレームの外側の領域を削除するために、画像Ｉ１の実際のフレームのサイズの外周を数％、トリミングする。トリミング率については、安全フレームのサイズに応じて適宜設定すればよい。続いて、トリミングの結果残る安全フレームと同サイズのサムネイル画像が、上述した基準サイズに収まるように、拡大、縮小してリサイズ処理を行い、縮小画像Ｉ２を得る。その後、ダミー領域付加部３４は、縮小画像Ｉ２に対して、ダミー領域Ｒｄｍｙを付加し、暫定画像Ｉ３を生成する。
このように、サムネイル画像の生成に際して、安全フレームを考慮することにより、最終的に得られるサムネイル画像は、安全フレームの外側のデータを含まないため、そのまま再生することにより、元の画像を再生したときと同じ画角の映像を得ることができる。
【００８８】
また、変形例として、サムネイル画像の表示するときに、安全フレームを考慮してもよい。この変形例では、サムネイル画像を、表示枠ＦＲＭ内に表示する際に、ダミー領域Ｒｄｍｙが削除されたサムネイル画像Ｉｔの外周をトリミングして表示してもよい。サムネイル画像Ｉｔを表示する際に、同程度のトリミング率でサムネイル画像をトリミングして、表示枠ＦＲＭ内に表示することが望ましい。この場合、ディスプレイ５０には、安全フレームの外側の領域がトリミングされ、安全フレームの内側の画像が表示される。この処理により、サムネイル画像の画角を、ディスプレイ５０上でフルサイズで再生される際の原画像の画角と揃えることができる。なお、トリミング処理は、サムネイル画像のうち、安全フレーム内の画素についてのみ、ポリゴンにテクスチャとしてマッピングし、あるいは、フレームバッファに直接書き込むことで実現できる。
【００８９】
なお、元の画像に安全フレームが設定されない場合、すなわち全ピクセルが表示される場合については、この処理をスキップすることができる。
【００９０】
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００９１】
実施の形態では、暫定画像Ｉ３を生成するために、原画像Ｉ１をリサイズして基準サイズに近づけた後に、不足した領域にダミー領域を付加したが、これには限定されない。たとえば、基準画像を拡大して原画像Ｉ１を包含し、かつ原画像Ｉ１のサイズに近い仮想画像を生成する。原画像Ｉ１と仮想画像との差分領域を算出し、これをダミー領域として原画像Ｉ１に付加してもよい。ダミー領域を付加した後に、縮小することにより、暫定画像Ｉ３を得ることができる。
【００９２】
また、実施の形態では、サムネイル画像Ｉｔ１からダミー領域Ｒｄｍｙを除去した領域を表示する処理を、最終的なディスプレイに対する表示処理を行う段階で実行する場合を中心に説明したが、本発明はこれに限定されるものではない。すなわち、サムネイル画像Ｉｔ１を復号した後、ダミー領域Ｒｄｍｙを削除した画像を生成し、これを最終的な表示プロセスへと投入してもよい。
【図面の簡単な説明】
【００９３】
【図１】実施の形態に係る動画再生機能を備える電子機器の構成を示すブロック図である。
【図２】電子機器に実装される画像処理装置の構成を示すブロック図である。
【図３】実施の形態に係る画像処理のフローチャートである。
【図４】図４（ａ）〜（ｃ）は、図２の画像処理装置の処理過程において生成される各画像を示す図である。
【図５】サムネイル画像が表示されたディスプレイを示す図である。
【符号の説明】
【００９４】
１・・・電子機器、１０・・・ＣＰＵ、１２・・・ＤＶＤ装置、１４・・・ハードディスク、１６・・・Ｉ／Ｏインターフェース、１８・・・メインメモリ、２０・・・グラフィックプロセッサ、２２・・・グラフィックメモリ、２４・・・バス、３０・・・画像取得部、３２・・・リサイズ処理部、３４・・・ダミー領域付加部、３６・・・符号化器、３８・・・出力処理部、４０・・・復号器、４２・・・ダミー領域情報取得部、４４・・・表示処理部、５０・・・ディスプレイ、１００・・・画像処理装置、１０２・・・サムネイル画像生成部、１０４・・・サムネイル画像再生部。
【図１】
2008053884.tif 000003
【図２】
2008053884.tif 000004
【図３】
2008053884.tif 000005
【図４】
2008053884.tif 000006
【図５】
2008053884.tif 000007