(57)【要約】【課題】重要度の高い画像が失われることなくアスペクト比の調整を容易に行うことができるようにする。【解決手段】不要領域決定部１３１は、第１の画像の辺から順次重要度の低い領域を判別して、第１の画像の辺から連続する重要度の低い領域を不要領域とする。重要度は、第１の画像の輝度や第１の画像における輝度の空間周波数成分から算出する。例えば暗くつぶれているような画像領域や画像ぼけ等を生じて空間周波数が低いものとされた画像領域等を重要度の低い領域とする。画像切出部１３２は、不要領域決定部１３１で決定された不要領域を第１の画像から切り捨てることで、第１のアスペクト比である第１の画像から、第１のアスペクト比と異なる第２のアスペクト比である第２の画像を生成する。【選択図】        図１
2009268018.tif 000002
【特許請求の範囲】
【請求項１】
第１のアスペクト比である第１の画像もしくは前記第１の画像のサムネイル画像から不要領域を決定する不要領域決定部と、
前記第１の画像から前記不要領域を除いて画像の切り出しを行い、前記第１のアスペクト比と異なる第２のアスペクト比の第２の画像を生成する画像切出部を備え、
前記不要領域決定部は、前記第１のアスペクト比が前記第２のアスペクト比よりも縦長か横長か判別して、縦長であるときは垂直方向および横長であるときは水平方向に前記第１の画像もしくは前記第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を前記不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、前記第１の画像の辺から連続させて前記不要領域を決定する
ことを特徴とする画像処理装置。
【請求項２】
前記不要領域決定部は、前記第１の画像から選択した所定サイズ領域の輝度もしくは色から前記重要度を算出する
請求項１記載の画像処理装置。
【請求項３】
前記不要領域決定部は、前記第１の画像の符号化データを復号化したときに得られる空間周波数成分を示すデータを用いて前記重要度の算出を行い、空間周波数が高い画像の重要度は高く、空間周波数が低い画像の重要度は低くする
請求項２記載の画像処理装置。
【請求項４】
前記不要領域決定部は、前記空間周波数成分を示すデータとしてＤＣＴデータを用いる
請求項３記載の画像処理装置。
【請求項５】
前記不要領域決定部は、最小符号化単位を前記所定サイズ領域とする
請求項４記載の画像処理装置。
【請求項６】
第１のアスペクト比である第１の画像もしくは前記第１の画像のサムネイル画像と、前記第１のアスペクト比と異なる第２のアスペクト比の表示領域とについてアスペクト比の比較を行い、前記第１のアスペクト比が前記第２のアスペクト比よりも縦長であるか横長であるかの判別を行う判別工程と、
前記第１のアスペクト比が前記第２のアスペクト比よりも縦長であるときは垂直方向に、および前記第１のアスペクト比が前記第２のアスペクト比よりも横長であるときは水平方向に、前記第１の画像もしくは前記第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、前記第１の画像の辺から連続させて前記不要領域を決定する不要領域決定工程と、
前記第１の画像から前記不要領域を切り取ることで前記第２のアスペクト比の画像を生成する画像切出工程と
を備える画像処理方法。
【請求項７】
第１のアスペクト比である第１の画像もしくは前記第１の画像のサムネイル画像と、前記第１のアスペクト比と異なる第２のアスペクト比の表示領域とについてアスペクト比の比較を行い、前記第１のアスペクト比が前記第２のアスペクト比よりも縦長であるか横長であるかの判別を行う判別ステップと、
前記第１のアスペクト比が前記第２のアスペクト比よりも縦長であるときは垂直方向に、および前記第１のアスペクト比が前記第２のアスペクト比よりも横長であるときは水平方向に、前記第１の画像もしくは前記第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、前記第１の画像の辺から連続させて前記不要領域を決定する不要領域決定ステップと、
前記第１の画像から前記不要領域を切り取ることで前記第２のアスペクト比の画像を生成する画像切出ステップと
を備えるコンピュータ・プログラム。
【請求項８】
第１のアスペクト比である第１の画像もしくは前記第１の画像のサムネイル画像から不要領域を決定する不要領域決定部と、
前記第１のアスペクト比と異なる第２のアスペクト比で画像表示を行う表示部と、
前記第１の画像から前記不要領域を除いて画像の切り出しを行い、前記第２のアスペクト比の第２の画像を生成する画像切出部と、
前記第２の画像の画像サイズを前記表示部の表示サイズに調整して前記表示部に供給する画像サイズ調整部を備え、
前記不要領域決定部は、前記第１のアスペクト比が前記第２のアスペクト比よりも縦長か横長か判別して、縦長であるときは垂直方向および横長であるときは水平方向に前記第１の画像もしくは前記第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を前記不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、前記第１の画像の辺から連続させて前記不要領域を決定する
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法とコンピュータ・プログラムおよび画像表示装置に関する。詳しくは、第１のアスペクト比である第１の画像もしくは第１の画像のサムネイル画像から、画像の一部を切り捨てることで第２のアスペクト比である第２の画像を生成する際に、重要度の高い画像が失われることなくアスペクト比の調整を容易に行うことができるようにするものである。
【背景技術】
【０００２】
近年、テレビジョン装置では大画面化や高精細化が進み、放送番組を視聴するためだけでなく、デジタルスチルカメラ（以下「撮像装置」という）で生成した撮像画像もテレビジョン装置に表示できるようにしたいといった要望がある。また、撮像装置において高精細化がはかられており、テレビジョン装置のピクセル数、例えば水平１９２０画素×垂直１０８０画素を大きく超える画像の生成や記録が可能となっている。しかしながら、テレビジョン装置の画面のアスペクト比は例えば「１６：９」であり、撮像装置で生成される撮像画像は、「４：３」または「３：２」といったアスペクト比が多い。
【０００３】
このため、撮像画像をアスペクト比が異なるテレビジョン装置で表示する場合、例えば図１２の（Ａ）に示すように、アスペクト比が「３：２」の横向きの撮像画像をアスペクト比が「１６：９」であるテレビジョン装置に表示する場合、図１２の（Ｂ）に示すように両端に黒帯を付け、撮像画像全体を表示する方法が用いられている。また、図１２の（Ｂ）に示すように両端に黒帯を付けものとすると、テレビジョン装置の表示領域を有効に活用して撮像画像を表示することができない。このため、図１２の（Ｃ）に示すように、撮像画像の上下端を切り捨てることで、テレビジョン装置の画面全体に撮像画像を表示する方法も用いられる。
【０００４】
ここで、撮像画像の上下端を切り捨ててテレビジョン装置に表示する場合、例えば図１３の（Ａ）に示す撮像画像の上下端を均等に切り捨てると、図１３の（Ｂ）に示すように、本来表示したい画像部分が切り捨てられてしまう場合がある。このため、撮像画像において、重要度の高い領域を検出する様々な方法が検討されている。
【０００５】
例えば、特許文献１の発明では、入力画像を領域毎に分割して、重要度の高い領域を決定することが行われており、顔認識された領域や注目すべきオブジェクトに関する情報とのマッチング度の高い領域を、重要度の高い領域として決定することが行われている。
【０００６】
また、特許文献２は、カメラ撮影時の構図を自動的に決定することを目的とするものであり、現画像から注目領域の抽出を行い、その形状や位置などの情報から適切な構図であるか判定する、あるいは適切な構図を自動的に決定する機能を具備している。したがって、この方法を応用すれば正確なトリミング領域の決定が可能となる。
【０００７】
さらに、特許文献３では、特徴領域検出を行い画像中から特定のパターン例えば人物の顔を検出することが開示されている。特許文献４では、被写体のデジタル画像から各被写体の要素例えば人物の顔の領域を検出し、該領域の拡大／縮小倍率を決定し、自然な画像を作成することが開示されている。
【０００８】
【特許文献１】特開２００７−１５７０６３号公報
【特許文献２】特許第３４８２９２３号公報
【特許文献３】特開２００５−１８２１９６号公報
【特許文献４】特開２００６−３１８１５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、上述の特許文献では、重要度の高い領域を人物の顔の領域としており、撮像画像全体から、重要度の高い領域を見つけるためには、画像処理演算は膨大なものとなり、高速に処理するためには強力な演算能力を持つＣＰＵを備えたり、または専用ハードウェアが必要となってしまい、その結果、システム全体のコストアップとなる。
【００１０】
また、重要度の高い領域を人物の顔の領域とすると、例えば撮像画像が花や車を撮像した画像であるとき、重要度の高い領域を検出することが困難となる。また、花や車の領域を重要度の高い領域として検出するために、それぞれの被写体に応じた特徴データを保持する必要があり、メモリの増大や演算処理の増大につながってしまう。
【００１１】
さらに、画像の一部の領域を切り捨てることでアスペクト比の調整を行うものとした場合、重要度の高い領域例えば人物の顔などの判別結果に基づき、重要度の高い人物の顔などが切り捨てる領域に含まれないように領域の設定を行う処理が必要となる。
【００１２】
そこで、この発明では、重要度の高い画像が失われることなくアスペクト比の調整を容易に行うことができる画像処理装置と画像処理方法とコンピュータ・プログラムおよび画像表示装置を提供するものである。
【課題を解決するための手段】
【００１３】
この発明の概念は、第１のアスペクト比である第１の画像に対してアスペクト比調整を行い、第１のアスペクト比と異なる第２のアスペクト比である第２の画像を生成する際に、第１の画像の辺から順次重要度の低い領域を判別して、第１の画像の辺から連続する重要度の低い領域を不要領域とし、この不要領域を第１の画像から切り捨てることで第２のアスペクト比の画像を生成することにある。ここで、重要度は、第１の画像の輝度や第１の画像における輝度の空間周波数成分等から算出したものであり、例えば暗くつぶれているような画像領域や画像ぼけ等を生じて空間周波数が低いものとされた画像領域等は、重要度の低い領域とする。
【００１４】
この発明に係る画像処理装置は、第１のアスペクト比である第１の画像もしくは第１の画像のサムネイル画像から不要領域を決定する不要領域決定部と、第１の画像から不要領域を除いて画像の切り出しを行い、第１のアスペクト比と異なる第２のアスペクト比の第２の画像を生成する画像切出部を備え、不要領域決定部は、第１のアスペクト比が第２のアスペクト比よりも縦長か横長か判別して、縦長であるときは垂直方向および横長であるときは水平方向に第１の画像もしくは第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、第１の画像の辺から連続させて不要領域を決定するものである。また、画像処理方法とコンピュータ・プログラムは、画像処理装置と同様な処理を行うものである。
【００１５】
この発明に係る画像表示装置は、第１のアスペクト比である第１の画像もしくは第１の画像のサムネイル画像から不要領域を決定する不要領域決定部と、第１のアスペクト比と異なる第２のアスペクト比で画像表示を行う表示部と、第１の画像から不要領域を除いて画像の切り出しを行い、第２のアスペクト比の第２の画像を生成する画像切出部と、第２の画像の画像サイズを表示部の表示サイズに調整して表示部に供給する画像サイズ調整部を備え、不要領域決定部は、第１のアスペクト比が第２のアスペクト比よりも縦長か横長か判別して、縦長であるときは垂直方向および横長であるときは水平方向に第１の画像もしくは第１の画像のサムネイル画像の対向する辺から所定サイズ領域をそれぞれ選択して重要度の比較を行い、重要度の低い領域を不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、第１の画像の辺から連続させて不要領域を決定するものである。
【００１６】
この発明においては、第１のアスペクト比である第１の画像と第１のアスペクト比とは異なる第２のアスペクト比である表示領域についてアスペクト比の比較が行われて、表示領域に対して第１の画像が縦長であるか横長であるかが判別される。ここで、第１の画像が例えば縦長であると判別されたときは垂直方向に第１の画像の対向する辺から所定サイズ領域がそれぞれ選択される。すなわち、第１の画像の上辺から下辺方向および下辺から上辺方向にそれぞれ所定サイズ領域が選択されて判別領域とされる。また、第１の画像が例えば横長であると判別されたときは水平方向に第１の画像の対向する辺から所定サイズ領域がそれぞれ選択される。すなわち、第１の画像の左辺から右辺方向および右辺から左辺方向にそれぞれ所定サイズ領域が選択されて判別領域とされる。この判別領域の重要度の比較が行われて、重要度の低い領域は不要領域されたのち該領域と連続する所定サイズ領域が新たに判別領域とされて、重要度の比較が繰り返し行われる。重要度は、例えば判別領域の輝度や第１の画像の符号化データを復号化したときに得られる判別領域の空間周波数成分を示すＤＣＴデータを用いて算出されて、輝度が低い画像や空間周波数が低い画像の領域等が重要度の低い領域とされる。
【００１７】
このように、重要度の低い判別領域を順次検出して不要領域とすることで、第１の画像の上辺や下辺から連続する不要領域が決定されて、この不要領域を第１のアスペクト比である第１の画像から切り捨てることで、第１の画像は第２のアスペクト比に調整される。
【発明の効果】
【００１８】
この発明によれば、第１の画像の辺から連続する重要度の低い領域が不要領域とされて、この不要領域を第１の画像から切り捨てることで第２のアスペクト比の画像が生成される。このため、人物の顔など重要度の高い領域を判別するための膨大な画像処理演算を行う必要がなく、また、重要度の高い領域の判別結果に基づいて、第１の画像から切り捨てる領域に人物の顔などが含まれないように領域設定を行う必要もなく、容易に第１のアスペクト比の画像を第２のアスペクト比に調整できる。
【発明を実施するための最良の形態】
【００１９】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明の画像処理装置を用いた画像表示装置の構成を示している。
【００２０】
画像表示装置１０は、撮像画像等が保存された画像保存部１１、画像保存部１１から読み出した画像（以下「再生画像」という）が圧縮処理されているとき、この圧縮処理されている再生画像の伸張処理を行うデコーダ部１２、再生画像のアスペクト比を所望のアスペクト比例えば後述する表示部１５における表示画面のアスペクト比に調整するアスペクト比調整部１３、アスペクト比調整部１３で所望のアスペクト比とされた画像を、所望の画像サイズすなわち表示部１５の解像度に対応したピクセル数に拡大または縮小する画像サイズ調整部１４、画像サイズ調整部１４で画像サイズが調整された画像を表示する表示部１５から構成されている。なお、画像保存部１１は、画像表示装置１０の外部に設けるようにしてもよい。また、圧縮処理されていない画像データを用いて画像表示を行う場合、デコーダ部１２を設けていなくともよい。
【００２１】
画像保存部１１は、撮像装置で生成された画像や、画像作成ツールなどで生成あるいは加工された画像を保持する。また、画像保存部１１には、画像データを周波数成分に分解して符号化処理することで得られた符号化データ、例えばＪＰＥＧ(Joint Photographic Experts Group）方式で符号化処理を行うことにより得られた符号化データを記憶する。画像保存部１１は、例えばハードディスクドライブや半導体メモリ，光ディスク等の記録媒体を用いて構成する。
【００２２】
デコーダ部１２は、画像保存部１１から符号化データを読み出して復号化処理を行い、得られた画像データをアスペクト比調整部１３に供給する。また、デコーダ部１２は、復号化処理中に得られる画像データの周波数成分を示すデータをアスペクト比調整部１３に供給する。なお、デコーダ部１２から読み出す画像は、ユーザが任意に指定してもよいし、名前順、日付順、ランダムなど、アプリケーションの用途に応じて任意に決定するものとしてもよい。
【００２３】
図２は、デコーダ部１２の構成を示している。デコーダ部１２は、ＪＰＥＧ方式の符号化データの解析を行うストリーム解析部１２１、エントロピー符号化されているデータの復号化処理を行うエントロピー復号部１２２、エントロピー復号部１２２で復号されたデータの逆量子化を行う逆量子化部１２３、逆量子化されたデータの逆ＤＣＴ(Discrete Cosine Transform)変換を行う逆ＤＣＴ部１２４で構成されている。
【００２４】
なお、以下の説明ではデコーダ部１２の概要のみを説明し、詳細な説明は割愛する。なお、ＪＰＥＧ方式の符号化データを復号することについては、例えば、文献：「ＪＰＥＧ概念からＣ＋＋での実装まで」（アズウィ、橋本晋之介著、ＩＳＢＮ４−７９７３−３０４５−７）などに詳しく説明されている。
【００２５】
ストリーム解析部１２１は、ＪＰＥＧ方式の符号化データに設けられているマーカー・コードに基づいてデータの識別を行い、識別結果に基づき復号処理の準備やエントロピー符号化部分のデータ抽出を行う。また、ストリーム解析部１２１は、ＪＰＥＧ方式の符号化データに設けられているヘッダ情報、例えば画像のライン数や１ラインあたりの画素数等のヘッダ情報を抽出して、アスペクト比調整部１３に供給する。
【００２６】
エントロピー復号部１２２は、エントロピー符号化部分のデータの復号を行う。このエントロピー復号部１２２で得られた復号結果は、画像圧縮率に応じて量子化されている。したがって、逆量子化部１２３は復号結果の逆量子化を行い、ＤＣＴ変換データを生成して、逆ＤＣＴ部１２４とアスペクト比調整部１３に供給する。逆ＤＣＴ部１２４は、ＤＣＴ変換データの逆ＤＣＴ変換処理を行い、非圧縮の画像データを生成してアスペクト比調整部１３に供給する。
【００２７】
ここで、ＤＣＴ変換について説明する。ＤＣＴ変換では、非圧縮画像をＭＣＵ(Minimum Coded Unit)と呼ばれるブロック単位例えば８画素×８画素のブロック単位に分割されて、ブロック単位毎にＤＣＴ演算が行われる。式（１）は、ＤＣＴ変換の表現式、式（２）は逆ＤＣＴ変換の表現式を示している。また、式（１）（２）において、ｓ(x,y)は画素値、Ｓ(u,v)は変換係数をそれぞれ示している。
【００２８】
【数１】
2009268018.tif 000003
【００２９】
式（１）のＤＣＴ変換を行うものとすると、図３に示すように変換係数が得られる。この変換係数は、横方向（ｕ）の空間周波数成分と縦方向（ｖ）の空間周波数成分を示すものであり、ＭＣＵ単位でＤＣＴ変換を行うことで空間周波数成分の解析がＭＣＵ単位で可能となる。すなわち、ＤＣＴ変換を行うことより得られる変換係数では、横方向空間周波数が高いほど右側の升目の値が大きくなる。同様に、縦方向空間周波数が高いほど、下側の升目の値が大きくなる。すなわち、６４分割されている変換係数において、右下に行くほど周波素成分が高く、その升内の値が大きいほど、その空間周波数成分が多く存在することになる。
【００３０】
このような空間周波数成分の解析は画像記録側で行われる。例えば撮像装置や画像記録装置の内部にハードウェアとして装備された演算器や、高性能なＣＰＵを使用して行われるものである。したがって、画像表示装置では、式（２）に示す逆ＤＣＴ変換の演算処理を行う。
【００３１】
アスペクト比調整部１３は、図１に示すように、不要領域決定部１３１と画像切出部１３２を有している。不要領域決定部１３１は、再生画像に対して重要度の低い領域である不要領域を決定するものである。画像切出部１３２は、再生画像から不要領域決定部１３１で決定された不要領域を取り除くことで所望のアスペクト比の画像を得るものである。
【００３２】
不要領域決定部１３１は、再生画像の辺から内部方向に重要度の判定を順次行い、再生画像の辺から連続する重要度の低い領域を不要領域として決定する。また、不要領域決定部１３１は、再生画像の輝度に基づいて重要度の判定を行う。
【００３３】
以下、再生画像の輝度に基づいて不要領域を決定する動作について説明する。不要領域決定部１３１は、デコーダ部１２からのＤＣＴ変換データに基づいて不要領域を決定する。このＤＣＴ変換データは、再生画像の輝度データをＤＣＴ変換して生成したものである。
【００３４】
図４は、不要領域決定部１３１の動作を示すフローチャートである。ステップＳＴ１で不要領域決定部１３１は、ピクセル数判別を行う。すなわち、不要領域決定部１３１は、デコーダ部１２のストリーム解析部１２１からヘッダ情報を取得して、画像のライン数や１ラインあたりの画素数を判別してステップＳＴ２に進む。
【００３５】
ステップＳＴ２で不要領域決定部１３１は縦横判定を行う。不要領域決定部１３１は、式（３）から縦横比Ｒａｔｉｏを算出して、縦横比Ｒａｔｉｏが１．０以上であるときは縦長、それ以外は横長と判定してステップＳＴ３に進む。式（３）において、縦方向（垂直方向）のサイズＹｉｎは再生画像のライン数すなわち縦方向のピクセル数を示しており、横ピクセル数Ｘｉｎは１ラインあたりの画素数すなわち横方向（水平方向）のピクセル数を示している。
Ｒａｔｉｏ＝Ｙｉｎ／Ｘｉｎ    ・・・（３）
【００３６】
また縦横判定は、表示部１５のアスペクト比を基準として判定してもよい。例えば表示部１５が縦ピクセル数Ｙｏｕｔ，横ピクセル数Ｘｏｕｔであるとき、縦横比は（Ｙｏｕｔ／Ｘｏｕｔ）となる。このときの縦横比を判定基準値Ｒｒｅｆとして、縦横比Ｒａｔｉｏが判定基準値Ｒｒｅｆよりも大きいときは縦長、縦横比Ｒａｔｉｏが判定基準値Ｒｒｅｆよりも小さいときは横長と判定する。
【００３７】
ステップＳＴ３で不要領域決定部１３１は画像倍率算出処理を行う。不要領域決定部１３１は、表示部１５で再生画像の多くの領域を表示できるように画像倍率を算出する。不要領域決定部１３１は、ステップＳＴ２で縦長と判別したとき式（４）を用いて画像倍率ＺＭを算出し、横長と判別したとき式（５）を用いて画像倍率ＺＭを算出してステップＳＴ４に進む。
ＺＭ＝Ｘｏｕｔ／Ｘｉｎ        ・・・（４）
ＺＭ＝Ｙｏｕｔ／Ｙｉｎ        ・・・（５）
【００３８】
ステップＳＴ４で不要領域決定部１３１は、不要領域の候補となる候補領域を決定する。再生画像を表示部１５に表示するときに再生画像と表示画面のアスペクト比が異なる場合、再生画像の上端側および／または下端側、あるいは、右端側および／または左端側のいずれかを切り捨てない限り、再生画像全体を画面全体に表示することができない。このため、不要領域決定部１３１は、ステップＳＴ３で求めた画像倍率を使用して、再生画像に対する表示領域サイズを算出して、この表示領域サイズに基づいて不要領域の候補となる候補領域を決定してステップＳＴ５に進む。
【００３９】
不要領域決定部１３１は、ステップＳＴ３で算出した画像倍率ＺＭを用いて式（６）（７）の演算を行い、表示領域の横幅ＲｅｃｔＷと縦幅ＲｅｃｔＨを算出する。
ＲｅｃｔＷ＝Ｘｏｕｔ／ＺＭ    ・・・（６）
ＲｅｃｔＨ＝Ｙｏｕｔ／ＺＭ    ・・・（７）
【００４０】
ここで、ステップＳＴ２で縦長と判別された場合、「ＲｅｃｔＷ＝Ｘｉｎ」となり、縦幅ＲｅｃｔＨは、再生画像の横幅が表示画面の横幅となるように画像サイズ変換を行うものとしたときに、表示画面の縦幅に対応する画像の縦幅を示すものとなる。また、ステップＳＴ２で横長と判別された場合、「ＲｅｃｔＨ＝Ｙｉｎ」となり、横幅ＲｅｃｔＷは、再生画像の縦幅が表示画面の縦幅となるように画像サイズ変換を行うものとしたときに、表示画面の横幅に対応する画像の横幅を示すものとなる。
【００４１】
次に、不要領域決定部１３１は、横幅ＲｅｃｔＷと縦幅ＲｅｃｔＨを用いて、候補領域を決定する。候補領域は、再生画像の上下左右の端部側に設定可能として、式（８）〜（１１）の演算結果から候補領域を決定する。なお、式（８）において、位置「Ｔｔ」は再生画像の上端部側に設けられる候補領域を示すものである。また、式（９）において、位置「Ｔｂ」は再生画像の下端部側に設けられる候補領域、式（１０）において、位置「Ｔｌ」は、再生画像の左端部側に設けられる候補領域、式（１１）において位置「Ｔｒ」は、再生画像の右端部側に設けられる候補領域をそれぞれ示すものである。
Ｔｔ＝Ｙｉｎ−ＲｅｃｔＨ      ・・・（８）
Ｔｂ＝ＲｅｃｔＨ＋１          ・・・（９）
Ｔｌ＝Ｘｉｎ−ＲｅｃｔＷ      ・・・（１０）
Ｔｒ＝ＲｅｃｔＷ＋１          ・・・（１１）
【００４２】
図５は、再生画像が縦長であるときの候補領域の決定動作を示している。図５の（Ａ）は再生画像の画像サイズ、図５の（Ｂ）は表示画面の表示サイズを示している。ここで、再生画像が縦長であることから、画像倍率ＺＭは「ＺＭ＝Ｘｏｕｔ／Ｘｉｎ」となる。したがって、図５の（Ｃ）に示す表示領域の領域サイズは「ＲｅｃｔＷ＝Ｘｉｎ」「ＲｅｃｔＨ＝Ｙｏｕｔ×Ｘｉｎ／Ｘｏｕｔ」となる。さらに、図５の（Ｄ）に示すように、再生画像の下端に表示領域を設定すると、不要領域は再生画像の上端から位置Ｔｔ（＝Ｙｉｎ−ＲｅｃｔＨ）までの領域となる。また、図５の（Ｅ）に示すように、再生画像の上端に表示領域を設定すると、再生画像の位置Ｔｂ（＝ＲｅｃｔＨ＋１）から下端までの領域が不要領域となる。すなわち、再生画像に対して表示領域を設定したとき、不要領域は再生画像の上端から位置Ｔｔまでの領域および再生画像の位置Ｔｂから下端までの領域のいずれかに含まれるものとなる。したがって、不要領域決定部１３１は、式（８）と式（９）の演算結果から候補領域を決定できる。すなわち、不要領域決定部１３１は、再生画像の上端から位置Ｔｔまでの領域を上端候補領域、再生画像の位置Ｔｂから下端までの領域を下端候補領域とする。また、不要領域決定部１３１は、再生画像が横長であると判別されたとき、式（１０）と式（１１）の演算結果から候補領域を決定できる。すなわち、不要領域決定部１３１は、再生画像の左端から位置Ｔｌまでの領域を左端候補領域、再生画像の位置Ｔｒから右端までの領域を右端候補領域とする。
【００４３】
このように、不要領域決定部１３１は、ステップＳＴ１乃至ステップＳＴ４の処理を行うことで、再生画像に対して再生画像内で最大となるように表示領域を設けたとき表示領域に含まれない候補領域がいずれの方向に位置するか判別できる。また、この判別結果に基づき、不要領域決定部１３１は、再生画像の上端側および／または下端側、あるいは、右端側および／または左端側のいずれの領域を切り捨てなければならないか判別できる。
【００４４】
ステップＳＴ５で不要領域決定部１３１は、ＭＣＵ単位の周波数成分解析を行う。不要領域決定部１３１は、判定領域について、ＤＣＴ変換データを参照して周波数成分解析を行う。ＤＣＴ変換データは、ＭＣＵ単位のデータであり、例えば８画素×８画素の領域についての空間周波数成分を示している。不要領域決定部１３１は、ＭＣＵ単位のデータであるＤＣＴ変換データの重み付けを行い、重み付け後のＤＣＴ変換データの総和を周波数特徴量ＦｆｅａｔとしてステップＳＴ６に進む。
【００４５】
図６は、ＤＣＴ変換データの重み付けに用いる重み付けテーブルを示している。重き付けテーブルでは、空間周波数の違いによって重み付けが異なるように重み付け係数が設定されている。例えば、横方向と縦方向の空間周波数が高くなるに伴い重み付けが大きくなるように重み付け係数が設定されている。なお、重み付け係数は、重み付けテーブルを空間周波数に応じて複数領域に区分して、各領域で重み係数を等しくするものとしてもよい。
【００４６】
不要領域決定部１３１は、式（１２）の演算を行い周波数特徴量Ｆｆｅａｔを算出する。なお、式（１２）においてＤＣＴｐはＤＣＴ変換データの値、ＷＴｐは重み係数を示している。
【００４７】
【数２】
2009268018.tif 000004
【００４８】
ステップＳＴ６で不要領域決定部１３１は、候補領域の周波数成分解析は完了したか否か判別する。不要領域決定部１３１は、判定領域の全領域について周波数特徴量Ｆｆｅａｔの算出が完了したときにはステップＳＴ７に進む。また、不要領域決定部１３１は、判定領域の全領域について周波数特徴量Ｆｆｅａｔの算出が完了していないときステップＳＴ５に戻り、周波数特徴量Ｆｆｅａｔの算出が完了していない領域について、周波数特徴量Ｆｆｅａｔの算出を行う。
【００４９】
ステップＳＴ７で不要領域決定部１３１は、不要領域決定処理を行う。不要領域決定部１３１は、垂直方向または水平方向に第１の画像の対向する辺から所定サイズ領域をそれぞれ選択して判定領域とする。さらに、選択した判定領域について重要度の比較を行い、重要度の低い領域を前記不要領域としたのち該領域と連続する所定サイズ領域を新たに選択して重要度の比較を繰り返すことで、第１の画像の辺から連続させて不要領域を決定する。
【００５０】
ここで、再生画像が縦長であると判定されている場合、再生画像の上端および／または下端から連続する所望の領域を切り捨てることで再生画像のアスペクト比を表示画面のアスペクト比と等しくすることができる。したがって、不要領域決定部１３１は、再生画像が縦長であると判定されている場合、再生画像の上辺から下辺方向および下辺から上辺方向に所定サイズ領域すなわち１ＭＣＵ単位の領域を選択して判定領域として、再生画像の上端側の判定領域と下端側の判定領域の重要度を比較する。さらに、不要領域決定部１３１は、重要度の低い画像の領域を不要領域として、判定領域が不要領域とされたときには、この不要領域と連続する所定サイズ領域を新たに選択して判定領域として重要度の比較を行う。このようにして、不要領域決定部１３１は不要領域を決定する。
【００５１】
図７は、不要領域決定処理を示すフローチャートである。ステップＳＴ１１で不要領域決定部１３１は、パラメータの初期化を行う。不要領域決定部１３１は、不要領域として決定した領域のサイズを表すパラメータＴｒｉｍＷＨを「０」、再生画像における上端側の候補領域から不要領域とするか否かの判定に用いる判定領域の位置を示すパラメータＴｒｉｍＴを「０」、再生画像における下端側の候補領域から不要領域とするか否かの判定に用いる判定領域の位置を示すパラメータＴｒｉｍＢを「Ｙｉｎ−７」に設定する。
【００５２】
ステップＳＴ１２で不要領域決定部１３１は、パラメータＴｒｉｍＴが示す判定領域の解析結果から重要度Ｆｔを算出する。不要領域決定部１３１は、判定領域においてＭＣＵ単位で算出した解析結果である周波数特徴量Ｆｆｅａｔを平均して平均値Ｆａｖｅを重要度Ｆｔとする。ここで、再生画像が縦長であると判定されている場合、再生画像の上辺および／または下辺から連続する所望の領域すなわち１あるいは複数ラインの領域を切り捨てて表示画面のアスペクト比と等しくすることから、水平方向にＭＣＵ単位で算出した周波数特徴量Ｆｆｅａｔの平均値Ｆａｖｅを算出する。すなわち、不要領域決定部１３１は、８ライン単位で重要度Ｆｔを算出してステップＳＴ１３に進む。
【００５３】
ステップＳＴ１３で不要領域決定部１３１は、パラメータＴｒｉｍＢが示す判定領域の重要度Ｆｂを算出する。すなわち、不要領域決定部１３１は、ステップＳＴ１２と同様に、再生画像の下辺から８ライン分の周波数特徴量Ｆｆｅａｔの平均値Ｆａｖｅを重要度ＦｂとしてステップＳＴ１４に進む。
【００５４】
ステップＳＴ１４で不要領域決定部１３１は、重要度Ｆｔが重要度Ｆｂよりも高いか否かを判別する。ここで、不要領域決定部１３１は、再生画像の上端側の画像が下端側の画像よりも空間周波数が高く重要度Ｆｔが重要度Ｆｂよりも高いときステップＳＴ１５に進み、再生画像の上端側の画像が下端側の画像よりも空間周波数が高くないときにはステップＳＴ１６に進む。
【００５５】
ステップＳＴ１５で不要領域決定部１３１は、パラメータＴｒｉｍＢが示す判定領域を不要領域と判定して、パラメータＴｒｉｍＢから８ラインの減算を行った値を新たにパラメータＴｒｉｍＢの値としてステップＳＴ１７に進む。不要領域決定部１３１は、このようにパラメータＴｒｉｍＢを更新して、下端候補領域から新たな判定領域を選択する。
【００５６】
ステップＳＴ１６で不要領域決定部１３１は、パラメータＴｒｉｍＴが示す判定領域を不要領域として、パラメータＴｒｉｍＴに８ラインの加算を行った値を新たにパラメータＴｒｉｍＴの値としてステップＳＴ１７に進む。不要領域決定部１３１は、このようにパラメータＴｒｉｍＴを更新して、上端候補領域から新たな判定領域を選択する。
【００５７】
ステップＳＴ１７で不要領域決定部１３１は、パラメータＴｒｉｍＷＨに８ラインの加算を行った値を新たにパラメータＴｒｉｍＷＨの値と設定してステップＳＴ１８に進む。すなわち、ステップＳＴ１５またはステップＳＴ１６の処理で、ＭＣＵ単位である８ライン分の不要領域が決定されたことになるので、不要領域決定部１３１は不要領域の領域サイズを表すパラメータＴｒｉｍＷＨを更新する。
【００５８】
ステップＳＴ１８で不要領域決定部１３１は、不要領域の領域サイズが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値よりも小さいか否かを判別する。ここで、不要領域の領域サイズを示すパラメータＴｒｉｍＷＨが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値よりも小さいときには、決定された不要領域の画像を再生画像から除いても、表示画面のアスペクト比にならないことからステップＳＴ１９に進む。
【００５９】
ステップＳＴ１９で不要領域決定部１３１は、更新されたのはパラメータＴｒｉｍＴであるか否かを判別する。不要領域決定部１３１は、パラメータＴｒｉｍＴが更新されているときステップＳＴ２０に進む。また、パラメータＴｒｉｍＢが更新されているときステップＳＴ２１に進む。
【００６０】
ステップＳＴ２０で不要領域決定部１３１は、更新後のパラメータＴｒｉｍＴが示す判定領域の解析結果から重要度Ｆｔを算出してステップＳＴ１４に戻る。また、ステップＳＴ２１で不要領域決定部１３１は、更新後のパラメータＴｒｉｍＢが示す判定領域の解析結果から重要度Ｆｂを算出してステップＳＴ１４に戻る。
【００６１】
このように、ステップＳＴ１９からステップＳＴ２１の処理を行うものとすれば、パラメータＴｒｉｍＴまたはパラメータＴｒｉｍＢが更新された場合にのみ重要度が再度算出されることになる。
【００６２】
その後、不要領域が順次決定されて、不要領域決定部１３１は、ステップＳＴ１８で、不要領域の領域サイズを示すパラメータＴｒｉｍＷＨが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値以上となったことを判別したとき、不要領域決定処理を終了する。
【００６３】
このようにして、再生画像から不要画像を除いた画像のアスペクト比が表示画面のアスペクト比になるまで、再生画像の上辺および／または下辺から空間周波数の低い画像が順次不要画像として決定される。
【００６４】
なお、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値が８の倍数以外であった場合、８ライン毎に不要領域を設定すると端数が生じる。したがって、不要領域決定部１３１は、端数が発生した場合、例えば次の８ライン分の重要度を算出して、重要度が低いと判定された領域から端数分の領域を不要画像とすることで、再生画像から不要画像を除いた画像のアスペクト比と表示画面のアスペクト比が等しくなるように不要領域を設定できる。
【００６５】
また、一般的なＪＰＥＧ方式の符号化データは、輝度成分と色成分（色差成分）のデータが含まれている。したがって、不要領域決定部１３１は、輝度データの空間周波数成分を示す周波数特徴量だけでなく色差データの空間周波数成分を示す周波数特徴量を用いて重要度を算出するものとしてもよい。この場合、平均値Ｆａｖｅの演算では、輝度データの周波数特徴量と色差データの周波数特徴量との平均値を用いるものとしてもよいし、輝度データの周波数特徴量の平均値と色差データの周波数特徴量の平均値のいずれかを選択するなど、予備実験を行い、任意好適な組合せ、選択方法を採用すればよい。また、色差データの空間周波数成分を示す周波数特徴量に基づいて重要度を算出することも可能である。
【００６６】
なお、図７に示すフローチャートは再生画像が縦長である場合を例示しているが、再生画像が横長である場合も、再生画像の左辺および／または右辺から上述のように不要領域を順次決定すればよい。
【００６７】
アスペクト比調整部１３の画像切出部１３２は、デコーダ部１２より供給された再生画像の画像データから、不要領域決定部１３１で決定された不要領域を除く画像データを抽出して、この抽出した画像データすなわち表示領域の画像データを画像サイズ調整部１４に供給する。ここで、パラメータＴｒｉｍＴ，ＴｒｉｍＢが更新されると、更新後のパラメータＴｒｉｍＴ，ＴｒｉｍＢは不要領域に対応した値を示すものとなる。したがって、画像切出部１３２は、パラメータＴｒｉｍＴの更新が行われていないとき再生画像の上辺を表示画像の上辺として、パラメータＴｒｉｍＴが更新されているときパラメータＴｒｉｍＴにＭＣＵ単位のライン数を加算した位置を表示画像の上辺とする。また、画像切出部１３２は、パラメータＴｒｉｍＢの更新が行われていないとき再生画像の下辺を表示画像の下辺として、パラメータＴｒｉｍＢが更新されているときパラメータＴｒｉｍＢから１ライン減算した位置を表示画像の下辺とする。なお、上述のように、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値が８の倍数以外であった場合、重要度が低いと判定された領域から端数分の領域が不要領域とされるので、この端数分を考慮して画像データの抽出を行う。
【００６８】
画像サイズ調整部１４は、アスペクト比調整部１３から供給された表示画像を表示部１５の表示解像度に応じて拡大または縮小する。表示画像の拡大倍率または縮小倍率は、上述の式（４）または式（５）で算出した画像倍率ＺＭを用いる。画像の拡大・縮小方法は、公知の画素補間法、例えば補間するピクセルに最も隣接したピクセルの画素値を補間するピクセルの画素値とするニアレストネイバー法(nearest neighbor)を用いる。また、補間するピクセルの周辺に位置する４個のピクセルの画素値を用いた線形近似によって補間するピクセルの画素値を求めるバイリニア法（bi-linear interpolation）、補間するピクセルの周辺に位置する１６個のピクセルの画素値から３次補間関数を用いて算出した値を補間するピクセルの画素値とするバイキュービック法（bi-cubic convolution）等を選択して用いるものとしてもよい。
【００６９】
表示部１５は、画像サイズ調整部１４で画像サイズの調整が行われた画像データに基づき画像表示を行う。ここで、画像サイズ調整部１４から供給される画像データは、表示部１５の表示解像度に応じて表示画像を拡大または縮小した画像の画像データとされている。したがって、表示部１５は、表示画面全体を用いて表示画像を表示できる。
【００７０】
以上のように、上述の実施の形態によれば、再生画像と表示画面のアスペクト比が異なる場合でも、再生画像から重要度の低い領域が不要領域に設定されて、この不要領域の画像データを再生画像の画像データから除くことで、表示画面のアスペクト比と等しい表示画像の画像データを生成できる。また、不要領域は再生画像の端部側から重要度の低い領域が順次選択されており、重要度は例えば圧縮されている画像データを伸張するときに得られる空間周波数成分を示すデータを用いて容易に算出できる。したがって、従来のように顔検出等の複雑な演算をすることなく、容易に再生画像を表示画面のアスペクト比に調整することができる。また、空間周波数の低い領域が重要度の低い領域とされる。このため、例えば、所望の被写体を撮像したときに被写界深度が浅く背景画像がぼけを生ずる場合、所望の被写体は空間周波数が高くぼけを生じた背景画像は空間周波数が低いので、背景部分を優先して切り捨てることで再生画像を所望のアスペクト比に調整できる。
【００７１】
ところで、デジタルスチルカメラで撮像された画像を記録するときのファイルフォーマットでは、主に社団法人日本電子工業振興協会の「デジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）」が用いられている。このファイルフォーマットでは、撮像画像の画像データだけでなくサムネイル画像の画像データを画像ファイルに含めることができるようになされている。また、サムネイル画像の画像データは、撮像画像の画像データと同様にＪＰＥＧ方式で圧縮されている場合が多い。したがって、ＪＰＥＧ方式で圧縮されているサムネイル画像の画像データを用いて不要領域の決定を行うものとすれば、撮像画像の画像データを用いる場合よりも少ない演算量で、再生画像を表示画面のアスペクト比に調整できる。
【００７２】
図８は、不要領域決定部１３１において、サムネイル画像を用いたときの動作を示すフローチャートである。ステップＳＴ３１で不要領域決定部１３１は、サムネイル画像のピクセル数判別を行う。デコーダ部１２は、サムネイル画像の符号化データの伸張処理を行い、不要領域決定部１３１は、デコーダ部１２のストリーム解析部１２１からヘッダ情報を取得して、サムネイル画像のライン数や１ラインあたりの画素数を判別してステップＳＴ３２に進む。
【００７３】
ステップＳＴ３２で不要領域決定部１３１は縦横判定を行う。不要領域決定部１３１は、式（１３）から縦横比Ｒａｔｉｏを算出して、縦横比Ｒａｔｉｏが１．０以上であるときは縦長、それ以外は横長と判定してステップＳＴ３３に進む。式（１３）において、縦ピクセル数Ｙｔｈはサムネイル画像のライン数すなわち縦方向（垂直方向）のピクセル数を示しており、横ピクセル数Ｘｔｈはサムネイル画像における１ラインあたりの画素数すなわち横方向（水平方向）のピクセル数を示している。
Ｒａｔｉｏ＝Ｙｔｈ／Ｘｔｈ    ・・・（１３）
【００７４】
なお、サムネイル画像を用いる場合でも、上述のように表示部１５のアスペクト比を基準として縦横判定を行うものとしてもよい。
【００７５】
ステップＳＴ３３で不要領域決定部１３１は、画像倍率算出処理を行う。不要領域決定部１３１は、表示部１５でサムネイル画像の多くの領域を表示できるように画像倍率を算出する。不要領域決定部１３１は、ステップＳＴ３２で縦長と判別したとき式（１４）を用いて画像倍率ＺＭを算出し、横長と判別したとき式（１５）を用いて画像倍率ＺＭを算出してステップＳＴ３４に進む。
ＺＭ＝Ｘｏｕｔ／Ｘｔｈ        ・・・（１４）
ＺＭ＝Ｙｏｕｔ／Ｙｔｈ        ・・・（１５）
【００７６】
ステップＳＴ３４で不要領域決定部１３１は、不要領域の候補となる候補領域を決定してステップＳＴ３５に進む。
【００７７】
不要領域決定部１３１は、ステップＳＴ３２で算出した画像倍率ＺＭを用いて式（１６）（１７）の演算を行い、表示領域の横幅ＲｅｃｔＷと縦幅ＲｅｃｔＨを算出する。
ＲｅｃｔＷ＝Ｘｏｕｔ／ＺＭ    ・・・（１６）
ＲｅｃｔＨ＝Ｙｏｕｔ／ＺＭ    ・・・（１７）
【００７８】
次に、不要領域決定部１３１は、横幅ＲｅｃｔＷと縦幅ＲｅｃｔＨを用いて、候補領域を決定する。候補領域は、再生画像の上下左右の端部側に設定可能として、上述の式（８）〜（１１）と同様にして領域サイズを決定する。この場合、式（８）におけるＹｉｎはＹｔｈ、式（１０）におけるＸｉｎはＸｔｈとする。
【００７９】
図９は、サムネイル画像を用いたときの候補領域の決定動作を示している。なお、図９では、サムネイル画像が縦長とされているものとする。
【００８０】
図９の（Ａ）は再生画像の画像サイズ、図９の（Ｂ）はサムネイル画像の画像サイズ、図９の（Ｃ）は表示画面の表示サイズを示している。ここで、サムネイル画像が縦長であることから、画像倍率ＺＭは「ＺＭ＝Ｘｏｕｔ／Ｘｔｈ」となる。したがって、図９の（Ｄ）に示す表示領域の領域サイズは「ＲｅｃｔＷ＝Ｘｔｈ」「ＲｅｃｔＨ＝Ｙｏｕｔ×Ｘｔｈ／Ｘｏｕｔ」となる。さらに、図９の（Ｅ）に示すように、サムネイル画像の下端に表示領域を設定すると、再生画像の上端側の領域が上端不要領域となり、上端不要領域を示す位置Ｔｔは「Ｔｔ＝Ｙｔｈ−ＲｅｃｔＨ」となる。また、図９の（Ｆ）に示すように、サムネイル画像の上端に表示領域を設定すると、サムネイル画像の下端側の領域が下端不要領域となり、下端不要領域を示す位置Ｔｂは「Ｔｂ＝ＲｅｃｔＨ＋１」となる。すなわち、サムネイル画像に対して表示領域を設定したとき、不要領域は再生画像の上辺から位置Ｔｔまでの領域および再生画像の位置Ｔｂから下辺までの領域のいずれかに含まれるものとなる。したがって、不要領域決定部１３１は、式（８）と式（９）の演算結果から候補領域を決定できる。また、不要領域決定部１３１は、サムネイル画像が横長であると判別されたとき、同様に演算処理を行うことで、サムネイル画像の左辺から位置Ｔｌまでの領域およびサムネイル画像の位置Ｔｒから右辺までの領域を候補領域として決定できる。
【００８１】
ステップＳＴ３５で不要領域決定部１３１は、ＭＣＵ単位の周波数成分解析を行う。不要領域決定部１３１は、ステップＳＴ３４で決定した候補領域に基づいて、再生画像のＤＣＴ変換データを用いることで周波数成分解析を行う。ＤＣＴ変換データは、ＭＣＵ単位のデータであり、例えば８画素×８画素の領域についての空間周波数成分を示している。不要領域決定部１３１は、ＭＣＵ単位のデータであるＤＣＴ変換データの重み付けを行い、重み付け後のＤＣＴ変換データの総和を周波数特徴量ＦｆｅａｔとしてステップＳＴ３６に進む。
【００８２】
ここで、ステップＳＴ３４で決定した候補領域は、サムネイル画像上の領域を示すものである。このため、再生画像のＤＣＴ変換データを用いて周波数成分解析を行うためには、ステップＳＴ３４で決定したサムネイル画像上の候補領域を再生画像上の領域に変換しなければならない。ところで、サムネイル画像は、再生画像のアスペクト比を維持した状態で縮小したものである。すなわち、サムネイル画像の縮小率に対応して式（１８）〜式（２１）のようにサムネイル画像上の候補領域を拡大すれば、サムネイル画像上の候補領域を再生画像上の領域に変換できる。なお、位置Ｔｔｍはサムネイル画像上の位置Ｔｔに対応する再生画像上の位置を示している。また、位置Ｔｂｍ，Ｔｌｍ，Ｔｒｍは、サムネイル画像上の位置Ｔｂ，Ｔｌ，Ｔｒに対応する再生画像上の位置をそれぞれ示している。
Ｔｔｍ＝Ｔｔ×（Ｙｉｎ／Ｙｔｈ）    ・・・（１８）
Ｔｂｍ＝Ｔｂ×（Ｙｉｎ／Ｙｔｈ）    ・・・（１９）
Ｔｌｍ＝Ｔｌ×（Ｘｉｎ／Ｘｔｈ）    ・・・（２０）
Ｔｒｍ＝Ｔｒ×（Ｘｉｎ／Ｘｔｈ）    ・・・（２１）
【００８３】
図９の（Ｅ）に示すサムネイル画像上の位置Ｔｔは、式（１８）に基づき、図９の（Ｇ）に示す再生画像上の位置Ｔｔｍに変換できる。また、図９の（Ｆ）に示すサムネイル画像上の位置Ｔｂは、式（１９）に基づき、図９の（Ｈ）に示す再生画像上の位置Ｔｂｍに変換できる。
【００８４】
不要領域決定部１３１は、例えばサムネイル画像が縦長であると判別して、サムネイル画像上の候補領域に基づき、再生画像上における位置Ｔｔｍ，Ｔｂｍを決定して、ステップＳＴ５と同様にＭＣＵ単位の周波数成分解析を行ってステップＳＴ３６に進む。
【００８５】
ステップＳＴ３６で不要領域決定部１３１は、候補領域の周波数成分解析は完了したか否か判別する。不要領域決定部１３１は、候補領域の全領域について周波数特徴量Ｆｆｅａｔの算出が完了したときにはステップＳＴ３７に進む。また、不要領域決定部１３１は、候補領域の全領域について周波数特徴量Ｆｆｅａｔの算出が完了していないときステップＳＴ３６に戻り、周波数特徴量Ｆｆｅａｔの算出が完了していない領域について、周波数特徴量Ｆｆｅａｔの算出を行う。ステップＳＴ３７で不要領域決定部１３１は、ステップＳＴ７と同様にして領域決定処理を行う。
【００８６】
なお、式（１８）〜式（２１）の演算結果に基づいて不要領域の決定を行うと、演算誤差などの関係で、不要領域が実際よりも大きく、または小さくなってしまうおそれがある。したがって、この場合、不要領域決定部１３１は、切り捨てる面積が小さいほうを拡大する、または切り捨てる面積が大きいほうを縮小するといった処理を行い、アスペクト比の調整が正しく行われるように不要領域のサイズを調整する。また、不要領域決定部１３１は、空間周波数が低いと判断した画像を多く切り捨てたり、空間周波数が高いと判断した画像を残すように不要領域のサイズを調整すれば、重要度に応じた不要領域の決定を精度よく行うことができる。
【００８７】
このように、再生画像よりも画像サイズの小さいサムネイル画像を用いて不要領域の決定を行うものとすれば、再生画像を用いて不要領域を決定する場合に比べて演算量を削減でき、より高速に不要領域を決定することができる。
【００８８】
ところで、上述の実施の形態では、符号化データの復号化処理を行うときに得られる再生画像の空間周波数成分を示すデータをＭＣＵ単位で利用することで重要度の算出を行うものとしたが、画像表示装置で用いる画像データは再生画像やサムネイル画像の符号化データに限られるものではなく、非圧縮の画像データを用いるものとしてもよい。この場合、不要領域決定部１３１は、再生画像の輝度データから重要度の算出を行う。
【００８９】
例えば、再生画像が縦長と判別されたとき、再生画像の上辺と下辺から１ラインまたは複数ライン毎に重要度の算出を行い、算出した重要度の比較結果に基づき再生画像の上端側および／または下端側に不要領域を順次設ける。
【００９０】
図１０は、非圧縮の画像データを用いたときの不要領域決定処理を示すフローチャートである。なお、図１０では、１ライン毎に重要度を算出している。
【００９１】
ステップＳＴ４１で不要領域決定部１３１は、パラメータの初期化を行う。不要領域決定部１３１は、不要領域として決定した領域のサイズを表すパラメータＴｒｉｍＷＨを「０」、再生画像における上端側の候補領域から不要領域とするか否かの判定に用いる判定領域の位置を示すパラメータＴｒｉｍＴを「０」、再生画像における下端側の候補領域から不要領域とするか否かの判定に用いる判定領域の位置を示すパラメータＴｒｉｍＢを「Ｙｉｎ」に設定する。
【００９２】
ステップＳＴ４２で不要領域決定部１３１は、パラメータＴｒｉｍＴが示す判定領域の重要度Ｆｔを算出する。不要領域決定部１３１は、判定領域の画像の輝度から重要度Ｆｔを算出する。不要領域決定部１３１は、例えば判定領域における輝度平均値を重要度Ｆｔとする。ここで、再生画像の端部に暗い領域例えば地面が暗く写っている領域があるとき、輝度平均値を重要度Ｆｔとすることで、地面が暗く写っている領域を不要領域とすることができる。また、不要領域決定部１３１は、例えば判定領域内における隣接画素間の輝度差の累積値を重要度Ｆｔとしてもよい。ここで、再生画像の端部にコントラストの差が少ない領域例えば快晴の空が写っている領域があるとき、隣接画素間の輝度差の累積値を重要度Ｆｔとすることで、快晴の空が写っている領域を不要領域とすることができる。また、不要領域決定部１３１は、例えば判定領域の輝度の平均値とこの判定領域に連続する新たな判定領域の輝度の平均値との差、判定領域とこの判定領域に連続する新たな判定領域との画素間の輝度差の累積値等を重要度Ｆｔとするものとしてもよい。なお、判定領域の輝度からどのようにして算出した値を重要度として用いるかは、上述のように予備実験を行い、最適な結果が得られるように選択を行うものとすればよい。
【００９３】
不要領域決定部１３１は、パラメータＴｒｉｍＴが「０」とされているので、再生画像における上端側の１ライン分の輝度データを用いて重要度Ｆｔの算出を行いステップＳＴ４３に進む。
【００９４】
ステップＳＴ４３で不要領域決定部１３１は、パラメータＴｒｉｍＢが示す判定領域の重要度Ｆｂを算出する。すなわち、不要領域決定部１３１は、再生画像における下端側の１ライン分の輝度データからステップＳＴ４２と同様にして重要度Ｆｂの算出を行いステップＳＴ４４に進む。
【００９５】
ステップＳＴ４４で不要領域決定部１３１は、重要度Ｆｔが重要度Ｆｂよりも高いか否かを判別する。ここで、不要領域決定部１３１は、重要度Ｆｔが重要度Ｆｂよりも高いときステップＳＴ４５に進み、重要度Ｆｔが重要度Ｆｂよりも高くないときはステップＳＴ４６に進む。
【００９６】
ステップＳＴ４５で不要領域決定部１３１は、パラメータＴｒｉｍＢが示す判定領域を不要領域と判定して、パラメータＴｒｉｍＢから「１」が減算された値を新たにパラメータＴｒｉｍＢの値としてステップＳＴ４７に進む。不要領域決定部１３１は、このようにパラメータＴｒｉｍＢを更新して、下端候補領域から新たな判定領域を選択する。
【００９７】
ステップＳＴ４６で不要領域決定部１３１は、パラメータＴｒｉｍＴが示す判定領域を不要領域として、パラメータＴｒｉｍＴに「１」が加算された値を新たにパラメータＴｒｉｍＴの値としてステップＳＴ４７に進む。不要領域決定部１３１は、このようにパラメータＴｒｉｍＴを更新して、上端候補領域から新たな判定領域を選択する。
【００９８】
ステップＳＴ４７で不要領域決定部１３１は、パラメータＴｒｉｍＷＨに１ラインの加算を行った値を新たにパラメータＴｒｉｍＷＨの値と設定してステップＳＴ４８に進む。すなわち、ステップＳＴ４５またはステップＳＴ４６の処理で、１ライン分の不要領域が決定されたことになるので、不要領域決定部１３１は不要領域の領域サイズを表すパラメータＴｒｉｍＷＨを更新する。
【００９９】
ステップＳＴ４８で不要領域決定部１３１は、不要領域として決定された領域のサイズが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値よりも小さいか否かを判別する。ここで、不要領域として決定された領域のサイズを示すパラメータＴｒｉｍＷＨが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値よりも小さいときには、決定された不要領域の画像を再生画像から除いても、表示画面のアスペクト比にならないことからステップＳＴ４９に進む。
【０１００】
ステップＳＴ４９で不要領域決定部１３１は、更新されたのはパラメータＴｒｉｍＴであるか否かを判別する。不要領域決定部１３１は、パラメータＴｒｉｍＴが更新されているときステップＳＴ５０に進む。また、パラメータＴｒｉｍＢが更新されているときステップＳＴ５１に進む。
【０１０１】
ステップＳＴ５０で不要領域決定部１３１は、更新後のパラメータＴｒｉｍＴが示す判定領域の重要度Ｆｔを算出してステップＳＴ４４に戻る。また、ステップＳＴ５１で不要領域決定部１３１は、更新後のパラメータＴｒｉｍＢが示す判定領域の重要度Ｆｂを算出してステップＳＴ４４に戻る。
【０１０２】
このように、ステップＳＴ４９からステップＳＴ５１の処理を行うものとすれば、パラメータＴｒｉｍＴまたはパラメータＴｒｉｍＢが更新された場合にのみ重要度が再度算出されることになる。
【０１０３】
その後、不要領域が順次決定されて、不要領域決定部１３１は、ステップＳＴ４８で、不要領域として決定された領域のサイズを示すパラメータＴｒｉｍＷＨが、再生画像の垂直方向のサイズＹｉｎから表示領域の縦幅ＲｅｃｔＨを減算した値以上となったことを判別したとき、不要領域決定処理を終了する。
【０１０４】
このようにして、再生画像から不要画像を除いた画像のアスペクト比が表示画面のアスペクト比になるまで、再生画像の上辺および／または下辺から重要度の低い画像が順次不要画像として決定される。したがって、不要領域決定部１３１は、非圧縮の画像データを用いる場合でも、再生画像の辺から連続した不要領域を容易に決定できる。
【０１０５】
なお、上述の実施の形態では、輝度から重要度の算出を行うものとしたが輝度だけでなく輝度と色から重要度を算出するものとしてもよい。また、色から重要度を算出するものとしてもよい。
【０１０６】
さらに、再生画像のアスペクト比の調整はソフトウェアで行うこともできる。図１１は、上述した一連の処理をコンピュータ・プログラムにより実行するコンピュータ装置の構成を示した図である。
【０１０７】
コンピュータ装置５０のＣＰＵ５１は、ＲＯＭ５２または記録部５９に記録されているコンピュータ・プログラムにしたがって各種の処理を実行する。
【０１０８】
ＲＡＭ５３には、ＣＰＵ５１が実行するコンピュータ・プログラムやデータなどが適宜記憶される。これらのＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４により相互に接続されている。また、ＣＰＵ５１には、バス５４を介して入出力インタフェース部５５が接続されている。入出力インタフェース部５５には、ユーザインタフェース部５６、入力部５７、出力部５８、記録部５９、通信部６０、ドライブ部６１等が接続されている。
【０１０９】
ユーザインタフェース部５６は、キーボードやポインティングデバイス、リモートコントロール信号受信部等を用いて構成されており、ユーザ操作に応じた操作信号をＣＰＵ５１に供給する。入力部５７は外部機器（図示せず）から供給された画像データのデフォーマットを行い、コンピュータ装置で処理可能な画像データに変換する。出力部５８は、アスペクト比調整が行われた画像データを画像表示装置（図示せず）に対応したフォーマットの画像データに変換して出力する。
【０１１０】
記録部５９は、例えばハードディスクや半導体メモリ等で構成されており、ＣＰＵ５１が実行するコンピュータ・プログラムや画像データ等を記録する。通信部６０は、インターネットやローカルエリアネットワークなどのネットワークを介して外部機器（図示せず）と通信を行うためのものである。通信部６０は、ネットワークを介してコンピュータ・プログラムを取得して例えば記録部５９に記録する。また、ＲＯＭ５２が書換え可能であるとき、通信部６０を介して取得したコンピュータ・プログラムで、ＲＯＭ５２に記憶されているコンピュータ・プログラムを更新するものとしてもよい。さらに、通信部６０は、ネットワークを介して画像データの送受信を行うものとしてもよい。
【０１１１】
ドライブ部６１は、装着されているリムーバブルメディア７０、例えば磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどに記録されているコンピュータ・プログラムや画像データなどの読み出し等を行うためのものである。なお、読み出されたコンピュータ・プログラムは、通信部６０で取得したコンピュータ・プログラムと同様に処理される。
【０１１２】
ＣＰＵ５１は、コンピュータ・プログラムを実行して、入力部５７を介して供給された画像データや記録部５９およびドライブ部６１に装着されているリムーバブルメディア７０から読み出した画像データに対して上述の処理を行うことで、所望のアスペクト比の画像データを生成する。さらに、所望のアスペクト比とされた画像データを出力部５８や通信部６０を介して画像表示装置に出力する。また、所望のアスペクト比とされた画像データを記録部５９やドライブ部６１に装着されているリムーバブルメディア７０に記録するものとしてもよい。
【０１１３】
このようにして、上述した一連の処理をコンピュータ・プログラムにより実行すれば、再生画像のアスペクト比の調整をコンピュータ装置で行うこともできる。なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【産業上の利用可能性】
【０１１４】
この発明は、画像のアスペクト比を容易に調整できるものであり、例えばデジタルスチルカメラ等で撮像した撮像画像を、アスペクト比の異なるテレビジョン装置等の画面上に表示する場合に有用である。
【図面の簡単な説明】
【０１１５】
【図１】画像表示装置の構成を示す図である。
【図２】デコーダの構成を示す図である。
【図３】変換係数を示す図である。
【図４】不要領域決定部の動作を示すフローチャートである。
【図５】候補領域の決定動作を示す図である。
【図６】重み付けテーブルを示す図である。
【図７】不要領域決定処理を示すフローチャートである。
【図８】不要領域決定部において、サムネイル画像を用いたときの動作を示すフローチャートである。
【図９】サムネイル画像を用いたときの候補領域の決定動作を示す図である。
【図１０】非圧縮の画像データを用いたときの不要領域決定処理を示すフローチャートである。
【図１１】コンピュータ装置の構成を示す図である。
【図１２】撮像画像をアスペクト比が異なるテレビジョン装置で表示する場合の動作を説明するための図である。
【図１３】撮像画像の上下端を切り捨ててテレビジョン装置に表示する場合の動作を説明するための図である。
【符号の説明】
【０１１６】
１０・・・画像表示装置、１１・・・画像保存部、１２・・・デコーダ部、１３・・・アスペクト比調整部、１４・・・画像サイズ調整部、１５・・・表示部、５０・・・コンピュータ装置、５１・・・ＣＰＵ、５２・・・ＲＯＭ、５３・・・ＲＡＭ、５４・・・バス、５５・・・入出力インタフェース部、５６・・・ユーザインタフェース部、５７・・・入力部、５８・・・出力部、５９・・・記録部、６０・・・通信部、６１・・・ドライブ部、７０・・・リムーバブルメディア、１２１・・・ストリーム解析部、１２２・・・エントロピー復号部、１２３・・・逆量子化部、１２４・・・逆ＤＣＴ部、１３１・・・不要領域決定部、１３２・・・画像切出部
【図１】
2009268018.tif 000005
【図２】
2009268018.tif 000006
【図３】
2009268018.tif 000007
【図４】
2009268018.tif 000008
【図５】
2009268018.tif 000009
【図６】
2009268018.tif 000010
【図７】
2009268018.tif 000011
【図８】
2009268018.tif 000012
【図９】
2009268018.tif 000013
【図１０】
2009268018.tif 000014
【図１１】
2009268018.tif 000015
【図１２】
2009268018.tif 000016
【図１３】
2009268018.tif 000017