(57)【要約】【課題】画像データをスクロール表示する際に、閲覧者の興味を引く注目領域に効果処理を施して表示することが可能な画像表示方法、プログラム、及び、画像表示装置、並びに、撮像装置を提供する。【解決手段】画像表示装置２を、画素毎に、輝度及び２つの色度で表現されたデジタル画像及びその属性情報が対応付けられて記憶された記憶部１５と、制御部１６と、記憶部１５から読み出されたデジタル画像から注目領域を検出する注目領域検出部１８と、画像データのスクロールの要否とそのスクロール方向を決定し、この注目領域を基に所定の効果処理を施しながら画像を表示画面２０にスクロール表示する表示画像生成部１７とから構成する。【選択図】図１
2011053456.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを用いて、画像データを表示する画像表示方法であって、
前記画像データ及び当該画像データを表示する表示部の縦方向のサイズ比及び横方向のサイズ比を求め、当該サイズ比の何れもが１以下の場合は、当該画像データのスクロール表示を行わないと決定し、当該サイズ比の少なくとも一方が１より大きい場合は、当該画像データのスクロール表示を行うと決定するステップと、
スクロール表示を行うと決定したときに、当該画像データ及び前記表示部の縦方向のサイズ比が横方向のサイズ比より小さい場合に、当該画像データのスクロール方向を横方向と決定し、縦方向のサイズ比が横方向のサイズ比より大きい場合に、前記画像データのスクロール方向を縦方向と決定するステップと、
スクロール表示を行うと決定したときに、当該画像データのスクロール方向と直交する方向のサイズが、前記表示部の当該サイズより大きい場合に、前記直交する方向のサイズが前記表示部の当該サイズと略同一となるよう、当該画像データをリサイズするステップと、
当該画像データから、注目領域を検出するステップと、
前記注目領域に効果処理を施しながら、前記画像データを前記表示部に表示するステップと、を有する画像表示方法。
【請求項２】
スクロール表示を行うと決定したときに、前記画像データをリサイズするステップと、前記画像データから注目領域を検出するステップとの間に、
前記画像データを複数の分割画像に分割するステップ、を更に有し、
前記分割画像毎に、前記注目領域を検出するステップを行って、前記注目領域を検出するように構成された請求項１に記載の画像表示方法。
【請求項３】
前記効果処理が、前記注目領域を拡大表示する処理、又は、前記注目領域の表示時間を延長する処理である請求項１または２に記載の画像表示方法。
【請求項４】
前記注目領域を検出するステップは、
前記画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、前記画像データの画素毎に、前記画像データのエッジ成分を抽出し、前記画素毎に、前記３つのプレーンの各々の前記エッジ成分を重み付けして加算することにより、前記画素毎のエッジ量を算出するステップと、
前記画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの前記要素の各々を、前記画像データの対応する前記画素の前記エッジ量に乗算して、前記画素毎の注目度を算出するステップと、
前記画像データにおいて、前記注目度が所定の閾値より大きい画素の全てを内包する領域を前記注目領域として抽出するステップと、を有する請求項１〜３何れか一項に記載の画像表示方法。
【請求項５】
前記注目領域を検出するステップは、
前記エッジ量を算出するステップの前に実行されるステップであって、前記画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、
前記エッジ量を算出するステップは、前記画像データ及び前記リサイズ画像毎に、前記エッジ量を算出するように構成され、
前記注目度を算出するステップは、さらに、
前記リサイズ画像から算出された前記エッジ量を、前記画像データの画素数と同一次元に復元するステップと、
前記画像データから算出された前記エッジ量及び前記リサイズ画像から算出されてリサイズされた前記エッジ量の各々に、前記注目領域重み付けマップの前記要素の各々を乗算し、さらに、前記注目領域重み付けマップが乗算された前記エッジ量の各々に、予め設定された重みを乗じて前記画素毎に加算して、前記画素毎の前記注目度を算出するステップと、を有する請求項４に記載の画像表示方法。
【請求項６】
前記注目領域を検出するステップは、
さらに、
前記画像データから、前記注目領域として抽出するステップにおいて抽出された前記領域を切り出すステップと、
前記切り出された前記画像データを、少なくとも１つ以上の異なるサイズにリサイズするステップと、
前記切り出された画像データ及び前記切り出された画像データをリサイズした画像毎に前記エッジ量を算出するステップと、
前記切り出された画像データをリサイズした画像から算出されたエッジ量を、前記切り出された画像データの次元に復元するステップと、
前記切り出された画像データから算出された前記エッジ量及び前記切り出された画像データをリサイズした画像から算出され、さらにリサイズされた前記エッジ量を、予め設定された重みを乗じて前記画素毎に加算して、前記切り出された画像データの注目度を算出するステップと、
前記切り出された画像データの前記注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、
前記二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれる前記グループを注目領域部分領域として決定するステップと、
当該注目領域部分領域を、互いの距離に応じて１つ又は２以上に更にグループ化し、得られたグループ毎に、当該グループに所属する注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有する請求項５に記載の注目領域抽出方法。
【請求項７】
画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、請求項１〜６いずれか一項に記載の画像表示方法を実行させるためのプログラム。
【請求項８】
画像データが記憶された記憶部と、
表示部と、
前記記憶部から前記画像データを読み出して、請求項１〜６いずれか一項に記載の画像表示方法により前記表示部に表示する制御部と、を有する画像表示装置。
【請求項９】
請求項８に記載の画像表示装置と、
光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を前記記憶部に記憶させる撮像部と、を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置に関する。
【背景技術】
【０００２】
いわゆるパノラマ画像をディスプレイデバイス（例えば、デジタルカメラの液晶ディスプレイやテレビなど）のような表示部に表示する場合、パノラマ画像の縦横比は表示部の縦横比と一致しないことが多い。このようなパノラマ画像全体を表示するためには、画像の長手方向が表示部内に収まるように画像全体を縮小すればよいが、結果的に画像が小さく表示されて見辛いものとなっていた。一方で、パノラマ画像を縮小することなく表示すると、画像の一部が表示部からはみ出してしまい、画像全体を表示することができない。したがって、画像全体を表示するためには、ユーザが手動で、または画像表示システム側で自動で画像を上下左右スクロールさせて表示するなどの処理が必要があった。このように画像をスクロール表示するための各種提案がされている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１２２０２１公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この従来技術では、パノラマ画像をスクロール表示する際に、一定速度または可変速度でスクロールすることは可能であったが、パノラマ画像の中から閲覧者の興味を引く部分（いわゆる、「注目領域」）だけをゆっくりと表示したり拡大表示するなどの演出的な表示を行うものは未だ提案されておらず、閲覧者が見易く、感性により合致した画像を表示する方法が求められている。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、パノラマ画像のように表示部に表示しきれない画像をスクロールして表示する際に、当該画像中から注目領域を検出し、この注目領域の表示時間を延長したり拡大表示するなどの効果処理を行うことが可能な画像表示方法、プログラム、画像表示装置、及び、撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る画像表示方法は、コンピュータを用いて、画像データを表示する画像表示方法であって、画像データ及び当該画像データを表示する表示部の縦方向のサイズ比及び横方向のサイズ比を求め、当該サイズ比の何れもが１以下の場合は、当該画像データのスクロール表示を行わないと決定し、当該サイズ比の少なくとも一方が１より大きい場合は、当該画像データのスクロール表示を行うと決定するステップと、スクロール表示を行うと決定したときに、当該画像データ及び表示部の縦方向のサイズ比が横方向のサイズ比より小さい場合に、当該画像データのスクロール方向を横方向と決定し、縦方向のサイズ比が横方向のサイズ比より大きい場合に、画像データのスクロール方向を縦方向と決定するステップと、スクロール表示を行うと決定したときに、当該画像データのスクロール方向と直交する方向のサイズが、表示部の当該サイズより大きい場合に、直交する方向のサイズが表示部の当該サイズと略同一となるよう、当該画像データをリサイズするステップと、当該画像データから、注目領域を検出するステップと、注目領域に効果処理を施しながら、画像データを表示部に表示するステップと、を有する画像表示方法。
【０００７】
このような画像表示方法は、スクロール表示を行うと決定したときに、画像データをリサイズするステップと、画像データから注目領域を検出するステップとの間に、画像データを複数の分割画像に分割するステップ、を更に有し、分割画像毎に、注目領域を検出するステップを行って、注目領域を検出するように構成されることが好ましい。
【０００８】
また、このような画像表示方法において、効果処理が、注目領域を拡大表示する処理、又は、注目領域の表示時間を延長する処理であることが好ましい。
【０００９】
また、このような画像表示方法において、注目領域を検出するステップは、画像データの、輝度及び２つの色度に対応する３つのプレーンの各々から、この画像データの画素毎に、画像データのエッジ成分を抽出し、画素毎に、３つのプレーンの各々のエッジ成分を重み付けして加算することにより、画素毎のエッジ量を算出するステップと、画像データの画素数に対応する要素を有し、当該要素毎に予め重み値が設定された注目領域重み付けマップの要素の各々を、画像データの対応する画素のエッジ量に乗算して、画素毎の注目度を算出するステップと、画像データにおいて、注目度が所定の閾値より大きい画素を注目点として抽出し、当該注目点の全てを内包する領域を注目領域として抽出するステップと、を有することが好ましい。
【００１０】
このとき、注目領域を検出するステップは、エッジ量を算出するステップの前に実行されるステップであって、画像データを、少なくとも１つ以上の異なる次元にリサイズしたリサイズ画像を生成するステップをさらに有し、エッジ量を算出するステップは、画像データ及びリサイズ画像毎に、エッジ量を算出するように構成され、注目度を算出するステップは、さらに、リサイズ画像から算出されたエッジ量を、画像データの画素数と同一次元に復元するステップと、画像データから算出されたエッジ量及びリサイズ画像から算出されてリサイズされたエッジ量の各々に、注目領域重み付けマップの要素の各々を乗算し、さらに、注目領域重み付けマップが乗算されたエッジ量の各々に、予め設定された重みを乗じて画素毎に加算して、画素毎の注目度を算出するステップと、を有することが好ましい。
【００１１】
あるいは、注目領域を検出するステップは、さらに、画像データから、注目領域として抽出するステップにおいて抽出された領域を切り出すステップと、切り出された画像データを、少なくとも１つ以上の異なるサイズにリサイズするステップと、切り出された画像データ及び切り出された画像データをリサイズした画像毎にエッジ量を算出するステップと、切り出された画像データをリサイズした画像から算出されたエッジ量を、切り出された画像データの次元に復元するステップと、切り出された画像データから算出されたエッジ量及び切り出された画像データをリサイズした画像から算出され、さらにリサイズされたエッジ量を、予め設定された重みを乗じて画素毎に加算して、切り出された画像データの注目度を算出するステップと、切り出された画像データの注目度を、当該注目度が所定の閾値以上のときを１とし、所定の閾値より小さいときを０として二値化するステップと、二値化された注目度において、隣接して１が設定されている画素をグループ化し、所定の個数以上の画素が含まれるグループを注目領域部分領域として決定するステップと、当該注目領域部分領域を、互いの距離に応じて１つ又は２以上に更にグループ化し、得られたグループ毎に、当該グループに所属する注目領域部分領域の全てを内包する領域を新たな注目領域として抽出するステップと、を有することが好ましい。
【００１２】
また、本発明に係るプログラムは、画像データが記憶された記憶部と、表示部と、が接続されたコンピュータに、上述の画像表示方法のいずれかを実行させるためのプログラムである。
【００１３】
また、本発明に係る画像表示装置は、画像データが記憶された記憶部と、表示部と、記憶部から画像データを読み出して、上述の画像表示方法のいずれかにより表示部に表示する制御部と、を有する。
【００１４】
さらに、本発明に係る撮像装置は、上述の画像表示装置と、光学系及び当該光学系で結像された像を検出する撮像素子を備え当該撮像素子で検出された画像を記憶部に記憶させる撮像部と、を有する。
【発明の効果】
【００１５】
本発明に係る画像表示方法、プログラム、画像表示装置、及び、撮像装置を以上のように構成すると、いわゆるパノラマ画像のように、ディスプレイデバイス等の表示画面よりもサイズの大きい画像をスクロール表示する際に、当該画像から注目領域を検出し、この注目領域に対して、表示時間の延長や拡大表示などの効果処理を施すことにより、閲覧者の感性に合致した好ましい画像表示が可能となる。
【図面の簡単な説明】
【００１６】
【図１】画像表示装置を有するデジタルカメラの構成を表すブロック図である。
【図２】記憶部のデータ構造を示す説明図であり、（ａ）は画像情報格納領域のデータ構造を示し、（ｂ）は画像データ格納領域のデータ構造を示す。
【図３】画像表示装置による画像表示処理の概要を示すフローチャートである。
【図４】画像表示処理における各処理を説明するための説明図であり、（ａ）は表示画面と元画像データとのサイズ比を求める処理を説明するための説明図であり、（ｂ）は表示画面のサイズに対応して画像データをリサイズする処理を説明するための説明図であり、（ｃ）はリサイズされた画像データを複数の分割画像に分割する処理を説明するための説明図であり、（ｄ）は各分割画像から注目領域を検出する処理を説明するための説明図であり、（ｅ）は検出された注目領域に効果処理を施しながらスクロール表示する処理を説明するための説明図である。
【図５】ラプラシアン処理に用いるフィルタを示す説明図であり、（ａ）は８近傍ラプラシアンフィルタを示し、（ｂ）は４近傍ラプラシアンフィルタを示す。
【図６】注目領域重み付けマップの一例を説明するための説明図である。
【図７】第１の注目領域検出処理の概要を示すフローチャートである。
【図８】第２の注目領域検出処理の概要を示すフローチャートである。
【図９】第３の注目領域検出処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像表示方法が実行される画像表示装置２の構成について説明する。なお、本実施形態においては、この画像表示装置２を、撮像部１０等を有するデジタルカメラ（撮像装置）１に適用した場合について説明する。図１に示すように、デジタルカメラ１は、撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、制御部１６、表示画像生成部１７、注目領域検出部１８、及び、外部装置出力部１９から構成される。そして、これらの撮像部１０、メモリ１１、画像処理部１２、操作部１３、表示部１４、記憶部１５、表示画像生成部１７、注目領域検出部１８、及び、外部装置出力部１９は、制御部１６に情報を伝達可能に接続されている。さらに、このデジタルカメラ１は、外部装置出力部１９を介して画像を表示可能に外部モニタ１００への接続が可能となっている。そして、本実施形態の画像表示装置２は、上記デジタルカメラ１の構成部のうち、記憶部１５、制御部１６、表示画像生成部１７、及び、注目領域検出部１８などから構成されている。
【００１８】
撮像部１０は、図示しない撮影レンズ、撮像素子、Ａ／Ｄ変換部等を備えており、ユーザーによる操作部１３からの指示に基づいて、制御部１６が制御することにより、被写体像を撮像する。
【００１９】
メモリ１１は、撮像部１０により撮像された被写体像の画像データを記憶し、また、各処理で算出された数値などを一時的に記憶する。メモリ１１には、半導体メモリのうち、任意の不揮発性メモリを適宜選択して用いることができる。
【００２０】
画像処理部１２は、撮像された画像データに対して、補間処理、輪郭強調処理またはホワイトバランス補正等の画像処理を行う。この画像処理部１２は、更に、撮影モード、シャッター速度、絞り値やＩＳＯ値等の撮影条件、および撮像日時等の撮像された画像に関する属性を示す情報を画像に付加して、Ｅｘｉｆ（Exchangeable image file format）形式等の画像のファイルを生成するデジタルフロントエンド処理部としての機能も有する。
【００２１】
操作部１３は、ユーザーによる操作指示信号を制御部１６に出力する。操作部１３には、例えば、電源ボタン、撮影モード等のモード設定ボタン、レリーズボタン等の操作ボタンやタッチパネルを有する。本実施形態では、画像表示を行うモードが、モード設定ボタンによって選択できるようになっている。また、操作ボタンは、タッチパネル上に画像として表示され各種操作を選択できるようにしてもよい。
【００２２】
表示部１４は、ライブビュー用のスルー画像、モード設定画面及び画像等を表示する。表示部１４には、一般的な液晶モニタ等を適宜選択して用いることができる。
【００２３】
制御部１６は、記憶部１５に記憶されている制御プログラムを読み込み、操作部１３を介してユーザーからの様々な指示を受け付け、それらに基づいてデジタルカメラ１の動作を制御する。例えば、制御部１６は、撮像部１０に被写体像の撮像指令を出したり、画像処理部１２に撮像した画像データの画像処理をさせたり、処理された画像を記憶部１５へ記録したり、表示部１４へ表示したりする等の制御を行う。さらに、本実施形態では、制御部１６は、後述するように、撮像した複数の画像を表示部１４や外部表示装置１００へ表示するにあたり、ユーザーから操作部１３を介して受け取る指示に基づいて、表示部１４や外部表示装置１００に表示する表示画像を表示画像生成部１７に生成させ、この生成された表示画像を再生する。なお、この制御部１６には、一般的なコンピュータのＣＰＵが使用される。
【００２４】
表示画像生成部１７は、画像データを基に表示用の画像を生成し、この画像を制御部１６を介して表示部１４や外部モニタ１００の表示画面２０に表示する。この際に、注目領域検出部１８で検出された注目領域に、所定の効果処理を施して画像を表示する。注目領域検出部１８は、画像内の注目領域を、輝度および色のコントラストを基に抽出する。なお、注目領域の検出については後述する。
【００２５】
外部装置出力部１９は、外部表示装置１００である外部モニタと有線または無線で接続され、ユーザーによる操作部１３の操作に応じて、デジタルカメラ１によって撮像された画像を外部表示装置１００へ出力する。外部装置出力部１９には、ＨＤＭＩ（High-Definition  Multimedia  Interface）等のチップが搭載されたインターフェースを用いることができる。また、外部表示装置１００には、一般的な高精細度テレビジョン放送受信可能なテレビを適宜選択して用いることもできる。
【００２６】
記憶部１５は、制御部１６がデジタルカメラ１を制御するための制御プログラム、撮像した画像データ及びこの画像データの各種情報（図２参照）等が記憶される。記憶部１５に記憶されるプログラムや画像データは、制御部１６から適宜参照することができる。記憶部１５には、一般的なハードディスク装置、光磁気ディスク装置、半導体メモリである任意の不揮発性メモリ、または着脱可能なカードメモリ等を適宜選択して用いることができる。
【００２７】
また、記憶部１５には、図２に示すように、画像データの格納先や注目領域の座標などが記憶される画像情報格納領域１５１と、画像そのものとその属性情報が関連付けられて画像データとして記憶される画像データ格納領域１５２とを有している。画像情報格納領域１５１は、図２（ａ）に示すようなデータ構造を有しており、画像データを識別する識別情報（ＩＤ）として、ファイル名が記憶されるファイル名記憶領域１５１ａ、このファイルの格納先の先頭アドレスが記憶されるアドレス記憶領域１５１ｂ、画像データのスクロール方向が記憶されるスクロール方向領域１５１ｃ、画像のオリジナル（元画像）のサイズ（Ｗ×Ｈ）が画素数で記憶される元画像サイズ領域１５１ｄ、画像を縮小（リサイズ）した際のサイズが（Ｗ×Ｈ）が画素数で記憶される縮小後サイズ領域１５１ｅ、画像データを複数の分割画像に分割した際の分割数が記憶される分割数領域１５１ｆ、及び、注目領域検出部１８で検出された注目領域情報が記憶される注目領域情報領域１５１ｇを少なくとも有している。
【００２８】
また、注目領域情報領域１５１ｇは、注目領域の左上の座標（ｘ座標及びｙ座標）が記憶される左上座標領域１５１ｈと当該注目領域の右下の座標（ｘ座標及びｙ座標）が記憶される右下座標領域１５１ｉとから構成されている。この注目領域の左下及び右下の座標領域１５，ｈ，１５２ｉは、画像データを分割した際の分割画像の数に対応して設けられ、各分割画像の注目領域情報を設定可能となっている。なお、この注目領域の左下及び右下の座標については、縮小後の画像の左上隅を原点（０，０）とし、横方向をｘ軸、縦方向をｙ軸とした際に、当該注目領域の左上隅及び右下隅の位置座標を、原点からの相対位置（画素）で表したものである。
【００２９】
また、画像情報格納領域１５１のファイル名記憶領域１５１ａ、アドレス記憶領域１５１ｂ及び元画像サイズ領域１５１ｄには、撮像部１０により撮影された画像データが記憶部１５の画像データ格納領域１５２に記憶される際に、そのファイル名、格納先アドレス、画像サイズが設定され、これら以外の領域（１５１ｃ，１５１ｅ，１５１ｆ，１５１ｇ）には、初期値として空白やゼロが設定される。
【００３０】
一方、画像データ格納領域１５２は、図２（ｂ）に示すようなデータ構造を有しており、画像そのもののデータが記憶される画像記憶領域１５２ａと、ヘッダ領域、撮影時刻情報、回転情報などの属性情報が記憶される属性情報記憶領域１５２ｂとを有し、１つの画像データに対する情報が１レコードとして管理される。この画像記憶領域１５２ａと属性情報記憶領域１５２ｂとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Exchangeable  image  file  format）等が知られている。ここで、画像データ格納領域１５２に記憶された画像データを取得する場合、画像情報格納領域１５１のアドレス記憶領域１５１ｂから画像データのアドレスを取得し、このアドレスを基に画像データ格納領域１５２から、該当する画像データそのもの及びその属性情報を取得することができる。
【００３１】
次に、このような構成のデジタルカメラ１において、画像表示装置２が画像表示方法を用いて、撮像した画像を表示する際の画像表示処理について、図３のフローチャートを用いて説明する。この画像表示処理は、例えば、ユーザーがデジタルカメラ１の操作部１３において、モード選択ボタンで画像表示のモードを選択するなどによって画像表示の指示が発行され、この指示を受け取った制御部１６が、表示画像生成部１７に対して表示画像の生成及び表示指令を出力することによって実行される。
【００３２】
この指令を受け取った表示画像生成部１７は、制御部１６を介して、記憶部１５の画像情報格納領域１５１をメモリ１１に読み出し、この画像情報格納領域１５１に記憶されたファイル名順に、画像データ格納領域１５２に記憶された画像データを一件ずつメモリ１１へ読み出す。（以上、ステップＳ１００）。
【００３３】
次に、表示画像生成部１７は、画像情報格納領域１５１の元画像サイズ領域１５１ｄから取得した画像データのオリジナルサイズを基に、表示部４または外部表示装置１００の表示画面に対する処理対象の画像データの縦方向のサイズ比αと横方向のサイズ比βとを算出する。図４（ａ）に示すように、表示画面２０の縦方向のサイズ（画素数）をａ、横方向のサイズ（画素数）をｂとし、画像データ３０の縦方向のサイズ（画素数）をＡ、横縦方向のサイズ（画素数）をＢとしたとき、縦方向のサイズ比αと横方向のサイズ比βとは次式（１）及び（２）により算出できる（以上、ステップＳ１１０）。
【００３４】
α＝Ａ／ａ                                  （１）
β＝Ｂ／ｂ                                  （２）
【００３５】
次に、上記式（１）及び（２）で算出されたα及びβが、次式（３）を満たすか否か判定することにより、スクロールするか否かを決定する（ステップＳ１２０）。
【００３６】
α≦１  かつ  β≦１                        （３）
【００３７】
上記式（３）を満足する場合は、画像データ３０をオリジナルサイズのまま表示しても縦・横方向ともに表示画面２０内に収まるので、画像データ３０のスクロールやリサイズの必要がない。そのため、以降のステップＳ１３０〜ステップＳ１５０の処理は行わず、ステップＳ１６０の注目領域の検出処理に進む。
【００３８】
一方、上記式（３）を満足しない場合は、画像データ３０をオリジナルサイズで表示した場合に縦方向又は横方向の少なくとも何れかの方向で、画像が表示画面２０からはみ出てしまうため、当該画像をスクロールして表示する必要がある。そのため、縦方向及び横方向の何れの方向にスクロールするか決定する（ステップＳ１３０）。この場合、表示画面２０からはみ出す割合が大きい方向をスクロール方向として選択する。具体的には、ステップＳ１１０で算出されたα及びβが、次式（４）及び（５）の何れを満たすかで判断する。
【００３９】
α＜β                                      （４）
α＞β                                      （５）
【００４０】
上記式（４）を満足する場合、すなわち、表示画面に対する画像データの縦方向のサイズ比が横方向のサイズ比より小さい場合は、画像の横方向がはみ出す割合が大きい。したがって、スクロール方向を横方向と決定する。一方、上記式（５）を満足する場合、すなわち、表示画面に対する画像データの縦方向のサイズ比が横方向のサイズ比より大きい場合は、画像の縦方向がはみ出す割合が大きい。したがって、スクロール方向を縦方向と決定する。以下、横方向にスクロールすることを、「横スクロール」と呼び、縦方向にスクロールすることを、「縦スクロール」と呼ぶ。また、この処理で得られたスクロール方向を、メモリ１１上に展開した画像情報格納領域１５１のスクロール方向領域１５１ｃに設定する。なお、α＝βを満足する場合は、スクロールは行わず後述のリサイズを行う。
【００４１】
次に実行されるリサイズ処理（ステップＳ１４０）について説明する。まず、リサイズを行う必要があるか否かを決定する。上記ステップＳ１３０で「横スクロール」と決定された場合、このスクロール方向に直交する縦方向のサイズ比αが次式（６）を満足するか否かで画像データをリサイズする必要があるか否かを決定することができる。
【００４２】
α≦１                                      （６）
【００４３】
上記式（６）を満足する場合、当該画像データ３０の縦サイズは表示画面２０の縦サイズ以下であることから、リサイズの必要はない。一方、上記式（６）を満足しない場合、当該画像データ３０の縦サイズが表示画面２０の縦サイズより大きいため、表示画面２０内に収まるように画像データ３０を縮小（リサイズ）する必要がある。縮小後の画像データ３０′の縦サイズＡ′（画素数）、横サイズＢ′（画素数）は、次式（７）及び（８）を用いて算出する。次式（７）及び（８）に示すように、縦サイズＡ′は表示画面のサイズａに一致させ、この縦方向の縮小割合と同じ割合（１／α）で横方向を縮小し、サイズＢ′を算出する。
【００４４】
Ａ′＝ａ                                    （７）
Ｂ′＝Ｂ／α                                （８）
【００４５】
また、上記ステップＳ１３０で「縦スクロール」と決定された場合、このスクロール方向に直交する横方向のサイズ比βが次式（９）を満足するか否かで画像データ３０をリサイズするか否かを決定する。
【００４６】
β≦１                                      （９）
【００４７】
上記式（９）を満足する場合、当該画像データ３０の横サイズは表示画面の横サイズ以下であることから、リサイズの必要はない。一方、上記式（９）を満足しない場合、当該画像データ３０の横サイズが表示画面２０の横サイズより大きいため、画像データ３０を縮小（リサイズ）する必要がある。縮小後の画像データ３０′の縦サイズＡ′、横サイズＢ′を、次式（１０）及び（１１）を用いて算出する。次式（１０）及び（１１）に示すように、横サイズＢ′は表示画面のサイズｂに一致させ、この横方向の縮小割合と同じ割合（１／β）で縦方向を縮小し、サイズＡ′を算出する。
【００４８】
Ｂ′＝ｂ                                    （１０）
Ａ′＝Ａ／β                                （１１）
【００４９】
以上のように算出された縮小後のサイズでメモリ１１上に展開した画像データ３０を縮小するとともに、この縮小後のサイズを、メモリ１１に展開した画像情報格納領域１５１の縮小後サイズ領域１５１ｅに設定する。なお、画像データの縮小は、解像度を下げることによって行うことができる。
【００５０】
次に、画像データ３０′の分割処理を行う（ステップＳ１５０）。まず、横スクロールの場合の分割方法について説明する。リサイズ後の画像データの横サイズＢ′を表示画面の横サイズｂで割ったときの商Ｃ及び余りＭは、次式（１２）のように表される。
【００５１】
Ｂ′／ｂ＝Ｃ余りＭ                          （１２）
ただし、上記式（１２）中、Ｃは正の整数で、Ｍは０又は正の整数である。
【００５２】
ここで、Ｂ′／ｂが割り切れる場合、すなわち、Ｍ＝０の場合、画像データ３０′を横方向にサイズｂ（画素）ずつ等分割して、Ｃ個の分割画像３１を形成する（図４（ｃ）の例では、３１ａ〜３１ｄの４つ）。これに対して、Ｂ′／ｂが割り切れない場合、すなわち、余りＭ（Ｍ≠０）を生じる場合の、画像データの分割方法を、２つの具体例を挙げて説明する。
【００５３】
第１の分割方法では、画像データを横サイズＢ′／（Ｃ＋１）（画素）で等分割し、（Ｃ＋１）個の分割画像３１を形成する。ただし、Ｂ′が（Ｃ＋１）で割り切れない場合がある。このときの画像データの横サイズＢ′を分割数（Ｃ＋１）で割った際の商Ｄ及び余りＮは、次式（１３）のように表される。
【００５４】
Ｂ′／（Ｃ＋１）＝Ｄ余りＮ                  （１３）
ただし、上記式（１３）中、Ｄ及びＮは正の整数を表す。
【００５５】
上記式（１３）の場合、画像データ３０′を、横サイズがＤ（画素数）のＣ個の分割画像３１と、横サイズが（Ｄ＋Ｎ）（画素数）の１個の分割画像３１とに分割する。
【００５６】
次に、第２の分割方法について説明する。この方法では、前述の式（１２）で得られた余りＭが閾値γより大きいか否か、具体的には、次式（１４）又は（１５）の何れを満足するかで分割サイズ及び分割数を決定する。閾値γには、例えば、表示画面２０の横方向のサイズの半分（γ＝ｂ／２）を設定することができる。
【００５７】
Ｍ＞γ                                      （１４）
Ｍ≦γ                                      （１５）
【００５８】
余りＭが上記式（１４）を満足する場合、即ち、余りＭが表示画面の横サイズの半分よい大きい場合、画像データ３０′を、横サイズｂ（画素数）ずつ、Ｃ個の分割画像３１に等分割するとともに、残りの領域を横サイズがＭ（画素数）の分割画像３１とする。一方、余りＭが上記式（１５）を満足する場合、即ち、余りＭが表示画面の横サイズの半分以下の場合は、前述した第１の方法と同様に、前出の式（１３）を基に、画像データ３０′を、横サイズがＤ（画素数）のＣ個の分割画像３１と、横サイズ（Ｄ＋Ｎ）（画素数）の１個の分割画像３１とに分割する。
【００５９】
以上何れかの方法で得られた分割画像３１の分割数を、メモリ１１の分割数領域１５１ｆに設定しておく。なお、以上のように全ての分割画像３１が必ずしも等間隔に分割されるとは限らないため、等分割された分割画像３１の横サイズと、最後にサイズ調整された分割画像３１の横サイズとを画像情報格納領域１５１に設定できるようにしてもよい。また、上記では横スクロールの場合の分割方法について説明したが、縦スクロールの場合も、縦横の方向は異なるが、横スクロールの場合と同様の分割方法を用いることができ、画像データ３０′を縦方向に分割して、複数の分割画像３１を形成する。
【００６０】
次に、注目領域検出部１８により、画像データからの注目領域の検出処理が行われる（ステップＳ１６０）。この注目領域検出処理（ステップＳ１６０）の詳細については後述する。この処理に入力される画像データは、スクロールが必要なものでは上記で分割された分割画像３１である。これに対して、前出の式（３）を満足することで、画像データのスクロールの必要がないと判断されたものについては、画像データ３０の分割を行っていないため、オリジナルサイズの画像データ３０そのものが入力される。
【００６１】
この注目領域検出部１８から、戻り値として注目領域の左上座標（ｌｅｆｔ，ｔｏｐ）と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）とが返される。表示画像生成部１７では、この戻り値を、メモリ１１に展開した画像情報格納領域１５１の注目領域情報領域１５１ｇにおける、当該分割画像３１に対応する左上座標領域１５１ｈ及び右下座標領域１５１ｉに格納する。なお、分割しない画像データ３０場合は、１つ目の領域にこれらを格納する。例えば、図４（ｄ）に示す分割画像３１ａでは、実線で囲まれた部分が注目領域ＲＯＩ１として検出される。
【００６２】
以上のように１つの分割画像３１（分割しない場合は、１つの画像データ３０）について注目領域の検出処理が終わると、制御部１６は、次の分割画像３１が存在するか否かを判断し（ステップＳ１７０）、存在する場合は、ステップＳ１６０の注目領域の検出処理を繰り返す。一方、分割画像３１全ての注目領域の検出が終了した場合は、記憶部更新処理（ステップＳ１８０）に進む。
【００６３】
次の記憶部更新処理（ステップＳ１８０）では、メモリ１１上の各領域（１５１ｅ〜１５１ｇ）に設定された縮小後サイズ、分割数、注目領域情報などを、記憶部１５に書き込んで更新する。なお、スクロールの必要がなく、分割が行われなかった画像データ３０の場合には、スクロール方向領域１５１ｃには、空白が、分割数領域１５１ｆには「１」が設定され、注目領域情報領域１５１ｇの１つ目の左上座標領域１５１ｈ及び右下座標領域１５１ｉに注目領域情報が設定されることとなる。また、画像データ３０′を複数に分割した場合、分割数領域１５１の分割数に対応した数の注目領域情報（左上座標領域１５１ｈ及び右下座標領域１５１ｉ）が設定されることとなる。
【００６４】
次に、表示画像生成部１７により、表示部１４や外部モニタ１００などの表示画面２０への画像の表示処理が行われる（ステップＳ１９０）。この表示は、公知のスライドショーの演出技術などを用いて行うことができる。このとき、元の画像データ３０が表示画面２０に収まる場合は、スクロールすることなくそのまま表示する。また、スクロールする必要がある場合は、スクロール方向領域１５１ｃに設定されたスクロール方向に従って、画像データ３０（リサイズされた場合は縮小後の画像データ３０′）をスクロール表示する。なお、表示画面２０に表示する画像の縦又は横サイズが表示画面２０の縦又は横サイズより小さくて、表示画面２０と画像との間に空間を生じる場合、この空間を所定の色（例えば黒色）や模様等で塗り潰し、レターボックスにしてもよい。
【００６５】
また、この画像の表示の際には、ステップＳ１６０で検出された注目領域ＲＯＩを拡大表示したり、表示時間を延長するなどの効果処理が施される。以下、この効果処理の一例について図４（ｃ）及び（ｄ）を用いて説明する。ここでは、図４（ｃ）に示すように、画像データ３０′が４つの分割画像３１ａ〜３１ｄに分割され、各々において実線で囲った部分が注目領域ＲＯＩ１〜ＲＯＩ４として検出されたものとする。まず、画像データ３０′の画像中、一つ目の分割画像３１ａに相当する領域を表示画面２０にスクロール表示する場合、当該分割画像３１ａの注目領域情報（一つ目の左上座標領域１５１ｈ及び右下座標領域１５１ｉからの情報）を基に、表示画面２０の面積に対する注目領域ＲＯＩ１の面積の比を計算する。
【００６６】
この面積比が、閾値（例えば、１／２）以下であるか否かで施す効果の種類を選択して表示する。例えば、注目領域ＲＯＩ１の面積比が閾値以下であるとすると、この場合は注目領域ＲＯＩ１を拡大して表示する（図４（ｄ）のＲＯＩ１′）。この拡大は、縦横で等倍とするとともに、ＲＯＩ１の縦又は横サイズの何れかが、表示画面２０の縦又は横サイズと略同一になるように行う。ただし、注目領域ＲＯＩ１のオリジナルサイズを拡大の上限とし、それ以上大きくは拡大しないものとする。なお、最大に拡大しても注目領域ＲＯＩ１′のサイズが表示画面２０のサイズより小さく空間を生じる場合は、表示画面２０が埋まるように注目領域ＲＯＩ１の外周付近の画像も含めて拡大表示してもよい。また、表示画面２０には、注目領域ＲＯＩ１を拡大した状態（ＲＯＩ１′）で表示して、これをスクロール表示してもよいし、初めは通常のサイズで表示し、スクロールの進行にしたがって徐々に注目領域ＲＯＩ１を拡大表示するようにしてもよい。
【００６７】
次に、面積比が閾値を超えた場合について、２つめの分割画像３１ｂを用いて説明する。この分割画像３１ｂでは、ほぼ全体が注目領域ＲＯＩ２で占められているので、拡大表示は行わず、スクロールを一時停止したり、スクロール速度を遅くするなどにより、分割画像３１ｂの表示時間を延長する。
【００６８】
以上のように、分割画像３１ｂに相当する領域のスクロール表示が終わると、分割画像３１ｃ，３１ｄに相当する領域が前の分割画像につながって順次スクロール表示されるが、これらの領域の注目領域ＲＯＩ３，ＲＯＩ４のサイズ比は、閾値より小さいため、効果処理として拡大表示が行われる。なお、スクロール表示しない画像データ３０を表示する際にも、注目領域の拡大表示や表示時間の延長などの効果処理を施して表示してもよい。以上のように、閲覧者の興味を引く注目領域に効果処理を施すことで、より見易く、閲覧者の感性に合致した好ましい画像表示が可能となる。
【００６９】
上記のように１つの画像データについて画像の表示処理が終わると、制御部１６は、次の処理対象の画像データが存在するか否かを判定し（ステップＳ２００）、処理対象の画像データ存在する場合には、ステップＳ１００以降の処理を繰り返す。一方、処理対象画像データが存在しない場合は、画像表示処理全体を終了する。
【００７０】
なお、以上の説明では、画像表示指示を受けると、画像データを読み出す毎に、スクロール方向の決定、リサイズ、分割、注目領域検出、画像表示などの一連の処理を行っているが、本願はこれに限定されることはない。例えば、画像表示指示を受けたら、最初に全ての画像データについて注目領域検出までの処理を行い、その後、これらの処理で得られた情報を基に、全ての画像データについて順次、効果処理を施して表示画像を生成し表示するような処理構成としてもよい。または、撮影された画像データを記憶部１５に記憶する際に、注目領域検出までの処理を行い、この注目領域情報などの各種情報を画像データと関連付けて記憶部１５に記憶しておく。そして、画像の表示指示を受けた際には、記憶部１５に記憶されたこれらの情報を基に、効果処理を施して表示画像を生成し表示するような処理構成としてもよい。
【００７１】
また、本実施形態では、表示画面２０より大きいためにスクロール表示を行う画像データ３０，３０′を複数の分割画像３１に分割し、各分割画像３１について注目領域検出処理を行っているが、本願がこれに限定されることはない。例えば、後述する第２の注目領域検出方法で注目領域を検出する場合、画像データ３０，３０′を分割することなく、そのまま注目領域検出部１８に入力して、当該画像データ３０，３０′から複数の注目領域を検出するような構成とすることができる。この場合、注目領域検出部１８に、１つの画像データ３０，３０′から複数の注目領域を検出するよう指示する必要がある。その指示方法及び注目領域検出方法は、後述の第２の注目領域検出処理で説明する。また、このように分割しない場合は、画像情報格納領域１５１には、分割数領域１５１ｆを設ける必要はなく、その代わりに、検出された注目領域の数を記憶する領域を設けてもよい。そして、当該画像データ３０，３０′の表示の際には、スクロール表示中に各注目領域が表示画面２０内に現れた際に、前述のような拡大表示、表示時間延長などの効果処理を施して表示することにより、閲覧者の感性に合致した好ましい画像表示が可能となる。
【００７２】
（注目領域検出処理）
それでは、図７〜図９のフローチャートを用いて、注目領域検出部１８で実行される注目領域検出処理（ステップＳ１６０）として、３種類の処理手順について以下に説明する。なお、以降においては、ステップＳ１００で読み出された１つの画像データ３０，３０′又は分割画像３１に対する注目領域の検出処理について説明する。以下、画像データ３０，３０′及び分割画像３１を「被検出画像」と呼ぶ。また、この被検出画像は、輝度（Ｙ）及び２つの色度（Ｃｂ，Ｃｒ）で表現されたデジタル画像、すなわち、ＹＣｂＣｒ表色系で表現されたデジタル画像であるとする。
【００７３】
（第１の注目領域検出処理）
図７に示すように、注目領域検出部１８では、最初に、注目度マップ作成処理が行われる（ステップＳ１６０１）。この注目度マップ作成処理では、まず、被検出画像のリサイズ（縮小）処理が行われる。具体的には、この被検出画像（以下、「入力画像ｉｍｇ１」と呼ぶ）に対して、横方向及び縦方向（以下、「幅方向」及び「高さ方向」と呼ぶ）にそれぞれ１／２及び１／４にリサイズした画像を生成する。以下、１／２にリサイズされた画像を「入力画像ｉｍｇ２」と呼び、１／４にリサイズされた画像を「入力画像ｉｍｇ３」と呼ぶ。
【００７４】
そして、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、ラプラシアン（Ｌａｐｌａｃｉａｎ）処理が行われる。ここで、入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンを、以下の式（ａ１）〜（ａ３）のように定義する。なお、（ｘ，ｙ）は画素の座標を示し、ｘ軸、ｙ軸の定義は上述した通りである。
【００７５】
【数１】
2011053456.tif 000003
【００７６】
次に、下記式（ｂ１）〜（ｂ９）を用いて、上記で定義した入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３，ΔＣｂ１〜３，ΔＣｒ１〜３）を求める。
【００７７】
【数２】
2011053456.tif 000004
【００７８】
上記式（ｂ１）〜（ｂ９）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。
【００７９】
そして、以上のようにして求めた各プレーンのラプラシアン画像に対して、以下に示す式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各プレーンのエッジ成分（隣接画素とのコントラスト）に、予め決められた係数を乗じた上で、３つのプレーンの対応する各画素の値を加算する。これにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。
【００８０】
【数３】
2011053456.tif 000005
【００８１】
上記式（ｃ１）〜（ｃ３）中、演算子「×」は各画像の画素値に共通の係数（ｗＹ，ｗＣｂ，ｗＣｒ）を乗算することを意味する。なお、この係数（ｗＹ，ｗＣｂ，ｗＣｒ）は、それぞれΔＹ，ΔＣｂ，ΔＣｒ各々に対する重み付け係数（スカラ値）であり、Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３の計算時においては、共通の値が用いられる。また、係数ｗＭを乗じている３つの項目は、各プレーンの画素数から、各プレーンの平均値（ｍｅａｎ（＊）で表す）を減算した値の絶対値（ａｂｓ（＊）で表す）に、各々ｗＭ＿Ｙ等の係数を乗算し、さらに、その総和に係数ｗＭを乗算しているが、これは次段の処理で得られる注目度マップ算出の際に、背景画像からの影響を除去する効果を期待して付け加えられている。
【００８２】
さらに、以下に示す式（ｄ１）〜（ｄ３）を用いて、上述の処理で求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め定義されてこの画像表示装置２に設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、注目度マップＳａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして、対応する画素毎に加算することにより、画素毎の注目度から構成される当該入力画像の注目度マップＳａｌを得る。
【００８３】
【数４】
2011053456.tif 000006
【００８４】
なお、上記式（ｄ１）〜（ｄ３）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズ（元の画像サイズに復元）する関数を意味する。すなわち、式（ｄ２），（ｄ３）では、入力画像ｉｍｇ１の次元に対して、それぞれ１／２及び１／４にリサイズされているため、これらのラプラシアン画像Δｉｍｇ２，Δｉｍｇ３を元の画像の次元にリサイズしている。また、ｗＭａｐは注目領域重み付けマップであり、Δｉｍｇ１と次元数を等しくした行列である。例えば、Δｉｍｇ１の次元（すなわち、入力画像ｉｍｇ１の次元）が８０×１２０（画素）の場合には、ｗＭａｐは同様に８０×１２０（画素）の次元を有する。なお、ｗＭａｐは以下に示す式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである。また、Ｓａｌ１〜Ｓａｌ３の定義式（ｄ１）〜（ｄ３）に現れる行列に対する演算子「×」は当該演算子の両側にある行列の各要素を各々乗算することを意味する。そのため、必然的に、２つの行列の次元は一致している必要がある。また、式（ｄ４）中、ｗｄ１〜ｗｄ３はＳａｌ１〜Ｓａｌ３に対する重み付け因子（スカラ値）である。
【００８５】
【数５】
2011053456.tif 000007
【００８６】
上記式（ｄ５）及び（ｄ６）中、μn及びｇｗnは、ｗＭａｐを形成する各ガウシアン（ｎでインデクス付けしている）の平均ベクトル、及び、共分散行列Σの重み付け係数をそれぞれ示す。ここで、この注目領域重み付けマップｗＭａｐの例を図６に示す。この図６に示す注目領域重み付けマップｗＭａｐは、５つのガウシアン分布を組み合わせた場合を示している。なお、この注目領域重み付けマップｗＭａｐは、例えば、サンプル画像を収集して解析することにより生成される。
【００８７】
上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０２）が行われる。具体的には、以下に示す式（ｅ１）を用いて、作成された注目度マップから、所定の閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを注目点（ＰＯＩ）として定義する。
【００８８】
【数６】
2011053456.tif 000008
【００８９】
注目点（ＰＯＩ）の抽出が完了すると、次に、注目領域（ＲＯＩ）決定処理（ステップＳ１６０３）が行われる。まず、上記注目点（ＰＯＩ）抽出処理で求められたＰＯＩを全て内包する領域、すなわち、画像中の全注目点（ＰＯＩ）を含む最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求め、この領域を最終的な注目領域（ＲＯＩ）とする。具体的には、以下の式（ｆ１）〜（ｆ５）で定義された手順を順次実行する。下記式中、ｘ，ｙは、注目点のｘ座標、ｙ座標を表し、添え字ｎは抽出された注目点のＩＤを表す。
【００９０】
【数７】
2011053456.tif 000009
【００９１】
上記式（ｆ２）〜（ｆ５）で求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）の値が、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０４）、第１の注目領域検出処理が終了する。
【００９２】
以上のように、一つの被検出画像をリサイズ（縮小）した２つのリサイズ画像を生成して次元の異なる３つの画像とし、それぞれの画像を構成する３つのプレーンに対してエッジ抽出処理をして重み付けをした上で合成し、また、次元の異なる３つの画像の各々に対して注目領域重み付けマップｗＭａｐで重み付けをして、さらにこれらの３つの画像を重み付けして合成して注目マップＳａｌを生成することにより、注目領域の検出の精度を向上させることができる。
【００９３】
（第２の注目領域検出処理）
次に、第２の注目領域検出処理について説明する。この方法は、上述の第１の注目領域検出処理と同様の手順で注目領域を大まかに抽出し（以下、「ラフ抽出処理」と呼ぶ）、その後、抽出された注目領域を基に、再度注目領域の抽出処理を行って（以下「ファイン抽出」と呼ぶ）、注目領域の検出処理の高精度化を図っている。また、この第２の注目領域検出処理では、表示画像生成部１７からの指示により、注目領域を１つのみ検出することも、複数検出することも可能なように構成することができる。例えば、引数などを用いて、分割画像やスクロールの必要がない画像データが入力された際には、注目領域を１つのみ検出し、スクロールが必要であるが分割されていない画像データがそのまま入力された際には、注目領域を複数検出するよう構成する。
【００９４】
この第２の注目領域検出処理の詳細を、図８のフローチャートを用いて説明する。この図８に示すように、まず、注目領域検出部１８によって、ラフ抽出処理（ステップＳ１６０１′〜Ｓ１６０３′）が行われる。この処理では、最初に注目度マップ作成処理が行われる（ステップＳ１６０１′）。この処理の詳細は、第１の注目領域検出処理と同様であり、記憶部１５からメモリ１１上に画像データが読み出され、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が作成される。そして、これらの入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒの各プレーンに対して、前出の式（ａ１）〜（ａ３）を用いて、ラプラシアン処理が行われる。
【００９５】
さらに、第１の注目領域検出処理と同様に、前出の式（ｂ１）〜（ｂ９）を用いて、上記で定義された入力画像ｉｍｇ１〜ｉｍｇ３のＹＣｂＣｒ各プレーンに対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＹ１〜３、ΔＣｂ１〜３、ΔＣｒ１〜３）が求められる。
【００９６】
そして、このようにして求めた各プレーンのラプラシアン画像に対して、前出の式（ｃ１）〜（ｃ３）を用いて、プレーンごとに、各画素に対して予め決められた係数を乗じた上で、各値を加算することにより、入力画像ｉｍｇ１〜ｉｍｇ３に応じたラプラシアン画像Δｉｍｇ１、Δｉｍｇ２、及び、Δｉｍｇ３が求められる。その後、前出の式（ｄ１）〜（ｄ６）を用いて、入力画像の第１の注目度マップＳａｌが求められる。
【００９７】
上述のようにして第１の注目度マップＳａｌが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０２′）が行われる。この処理も、第１の注目領域検出処理と同様に、前出の式（ｅ１）を用いて、閾値ｔｈ以上の注目度を持つ点（画素）を抽出し、それらを第１の注目点（ＰＯＩ）と定義する。そして、次の注目領域（ＲＯＩ）決定処理（ステップＳ１６０３′）では、この抽出された第１の注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、第１の注目領域が求められる。なお、このラフ抽出処理にて求められた第１の注目領域を、以下、「ＲＯＩrough」と呼ぶ。
【００９８】
次に、ファイン抽出処理（ステップＳ１６０４′〜Ｓ１６０６′）について説明する。上記のラフ抽出処理で抽出された第１の注目領域ＲＯＩroughを基に、ファイン抽出処理が行われる。この処理では、まず、注目度マップの再生成処理が行われる（ステップＳ１６０４′）。この場合、入力画像ｉｍｇ１から第１の注目領域ＲＯＩroughに対応する領域を切り出して、この領域をファイン抽出処理用の入力画像ｉｍｇ１fineとする。この際、ＲＯＩroughで既定される領域の幅及び高さが４の倍数ではない場合は、下端行及び右端列をそれぞれコピーたしたものをｉｍｇ１fineに付与することとする。なお、右下隅についてはコピー元の右下隅の情報を用いることができる。この入力画像ｉｍｇ１fineを基に、ラフ抽出処理と同様に、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズ（復元）した入力画像ｉｍｇ２fine及び入力画像ｉｍｇ３fineが生成される。これらを基に、前出の式（ｄ１）〜（ｄ４）を用いて、入力画像の第２の注目度マップＳａｌが求められる。この一連の処理は、基本的にはラフ抽出処理と同様の処理となるが、各式中のパラメータはラフ抽出処理とは異なる値となる。また、前出の注目度マップＳａｌ１〜Ｓａｌ３を求める式（ｄ１）〜（ｄ３）の注目領域重み付けマップｗＭａｐ（ｘ，ｙ）は、ｘ，ｙの値によらず全て１とする（すなわち、このファイン抽出処理では、注目領域重み付けマップｗＭａｐによる重み付けは行わない）。
【００９９】
第２の注目度マップの再生成が終了すると、次に、この第２の注目度マップの２値化処理が行われる（ステップＳ１６０５′）。すなわち、上記注目度マップの再生成処理を行った結果得られた第２の注目度マップＳａｌ（以下、「Ｓａｌfine」と呼ぶ）に対して、所定の閾値ｔｈfineを基に、以下に示す式（ｇ１）〜（ｇ２）を用いて、２値化処理を行うことにより（注目度マップの各画素の値が、閾値ｔｈfine以上のときは「１」とし、それより小さいときは「０」とする）、２値化注目度マップ（以下、「Ｓａｌbin」と呼ぶ）を生成する。
【０１００】
【数８】
2011053456.tif 000010
【０１０１】
注目度マップの２値化処理では、次に、上記式（ｇ１）又は（ｇ２）で生成されたＳａｌbinに対して、図５（ｂ）に示すような４近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、２値化注目度マップＳａｌbinのエッジ成分（輪郭成分にほぼ等しい）の抽出が行われる。そして、この畳み込み演算の結果が０ではない優位な値を持つ画素に対して、以下に示す手順（１）〜（３）によりラベリング処理が行われる。
【０１０２】
（１）ラベル値をλと定義し、このλ＝０を初期値として、Ｓａｌbin上の左上から順方向ラスタ走査を行う。
（２）走査の過程で、ラベル値が付与されておらず、画素値が０でない画素を発見した時、当該画素にラベル付けを行う。この際、既走査の８近傍画素に付与されているラベル値に応じて、以下の通り、付与するラベル値λを変化させる。
（ｉ）既走査の８近傍画素の全ての画素値が０であった場合、ラベル値λを１カウントアップ（λ＝λ＋１）して、当該画素にラベル値λを付与する。
（ii）ラベル値が１種類の場合は、λの更新を行わず、当該画素にラベル値λを付与する。
（iii）ラベル値が２種類（λ，λ′，λ＜λ′）の場合は、当該画素にラベル値λを付与し、さらに、既走査画素においてλ′のラベル値が付与されている画素を全てラベル値λに変更する。
（３）上記（２）の処理を、Ｓａｌbin上の全ての画素に対して行う。
【０１０３】
次に、注目度マップの２値化処理において、ラベリング結果の評価が行われる。まず、上記のようにＳａｌbin上の０でない全画素を対象にラベリング処理を行った後、ラベル値ごとに、付与されている画素の個数ｎλをカウントする。このｎλを所定の閾値ｔｈλにより評価し、ｎλがｔｈλよりも大きいラベルを抽出する。その後、当該ラベルが付与されている画素（の集合）を、注目領域部分領域ＰＯＩfineと定義する。
【０１０４】
注目度マップの２値化処理が終了すると、次に、注目領域（ＲＯＩ）の決定処理（ステップＳ１６０６′）が行われる。ここで、注目領域を１つのみ検出する場合及び複数検出する場合のそれぞれの処理手順について、以下に説明する。まず、注目領域を１つのみ検出する場合の注目領域決定処理を説明する。この場合、上述の通り求めた注目領域部分領域ＰＯＩfineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められ、この領域が第２の注目領域検出処理における最終的な１つの注目領域（ＲＯＩ）となる。具体的には、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行されることにより求められる。
【０１０５】
次に、注目領域を２以上検出する場合の注目領域決定処理を説明する。上述の通り求めた注目領域部分領域ＰＯＩfineについて更にグルーピングを行う。それには、付与されたラベルを基に各ＰＯＩfine間のユークリッド距離を求め、このユークリッド距離に応じて、階層的クラスタリングなどのクラスタリング手法を用いて、注目領域部分領域ＰＯＩfineをグルーピングしてＰＯＩfineの系統図を生成する。この系統図を予め決められた閾値で切断する事により、注目領域部分領域ＰＯＩfineのグループを複数生成することができる。そして、生成されたグループ毎に、当該グループに所属する注目領域部分領域ＰＯＩfineを全て内包する最小矩形領域の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）を求められ、この最小矩形領域を当該グループの注目領域（ＲＯＩ）とする。具体的には、グループ毎に、前出の式（ｆ１）〜（ｆ５）で定義された手順が順次実行される。以上の処理を全てのグループについて行うことにより、第２の注目領域検出処理における最終的な複数の注目領域（ＲＯＩ）を得ることができる。なお、この方法でも、グループが１つしか生成されなかった場合は、得られる注目領域は１つである。
【０１０６】
以上のようにして求められた１つ又は２以上の左上座標（ｌｅｆｔ，ｔｏｐ）と右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）とが、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０７′）、第２の注目領域検出処理が終了する。この第２の注目領域検出処理によると、注目領域検出処理をラフ抽出処理とファイン抽出処理の２段階で行うことで、注目領域の検出をより高精度に行うことが可能となる。
【０１０７】
（第３の注目領域検出処理）
次に、第３の注目領域検出処理について説明する。第１の注目領域検出処理では、注目度マップを作成する際に、ＹＣｂＣｒの３つのプレーン全てを評価していたが、第３の注目領域検出処理では、ＹＣｂＣｒの何れか１つのプレーンのみを処理対象として、注目度マップを作成した上で、注目領域の検出を行っている。これにより、第３の注目領域検出処理では、注目領域の検出処理の高速化を図っている。
【０１０８】
以下、注目領域検出部１８における注目領域検出処理について、図９のフローチャートを用いて説明する。この図９に示すように、まず、注目領域検出部１８によって、変動係数の計算及び処理対象プレーンの選択処理（ステップＳ１６０１″）が行われる。この処理では、処理対象として指定された被検出画像（入力画像ｉｍｇ１）に対して、各プレーンの変動係数が算出される。ここで、Ｙプレーンの変動係数をＶY、Ｃｂプレーンの変動係数をＶCb、Ｃｒプレーンの変動係数をＶCrと定義したとき、これらの変動係数は、以下に示す式（ｈ１）〜（ｈ３）を用いて求められる。
【０１０９】
【数９】
2011053456.tif 000011
【０１１０】
上記式（ｈ１）〜（ｈ３）中、ｓｄ（＊）は当該プレーンにおける画素のエッジ成分の標準偏差を求める演算を意味し、ｍｅａｎ（＊）は当該プレーンにおける画素のエッジ成分の平均値を求める演算を意味する。
【０１１１】
このように変動係数が求まったら、以下に示す式（ｉ１）を用いて、処理対象プレーンＳＰの選択を行う。
【０１１２】
【数１０】
2011053456.tif 000012
【０１１３】
上記式（ｉ１）中、ｍａｘ（＊）は引数で最大の要素を返す関数であり、ａｒｇはｍａｘ（＊）の返り値がＶY，ＶCb，ＶCrいずれのプレーンであるかを判定する演算子である。すなわち、変動係数が最も大きなプレーンが処理対象プレーンとして選択される。例えば、ＶY，ＶCb，ＶCrのうち、Ｙプレーンの変動係数ＶYが最も大きな値であった場合、処理対象プレーンはＹプレーンとなる。以下、この処理対象プレーンを、「ＳＰ」と呼ぶが、例えば、入力画像ｉｍｇ１に対して選択された処理対象プレーンを、「ＳＰ１」と呼ぶ。
【０１１４】
処理対象プレーンＳＰの選択が終了すると、次に、この処理対象プレーンＳＰに対して注目度マップ作成処理が行われる（ステップＳ１６０２″）。まず、入力画像のリサイズが行われるが、処理対象として指定された入力画像ｉｍｇ１に対して、幅方向及び高さ方向にそれぞれ１／２及び１／４にリサイズした入力画像ｉｍｇ２及び入力画像ｉｍｇ３が生成される。なお、入力画像ｉｍｇ２及び入力画像ｉｍｇ３の処理対象プレーンは、それぞれ「ＳＰ２」、「ＳＰ３」と呼ぶ。
【０１１５】
次に、以下に示す式（ｂ１′）〜（ｂ３′）を用いて、入力画像ｉｍｇ１〜ｉｍｇ３の処理対象プレーンＳＰ１〜ＳＰ３に対して、図５（ａ）に示すような８近傍ラプラシアンフィルタΔ（ｘ，ｙ）を畳み込み演算することにより、ラプラシアン画像（ΔＳＰ１〜ΔＳＰ３）を求める。
【０１１６】
【数１１】
2011053456.tif 000013
【０１１７】
上記式（ｂ１′）〜（ｂ３′）中、演算子「＊」は畳み込み演算を意味する。なお、画像の上下端、左右端の画素に対してフィルタを演算する際には、上下端の行と列、または左右端の行と列とをコピーすることにより画像を拡張し、演算を実行するものとする。
【０１１８】
そして、以下に示す式（ｄ１′）〜（ｄ３′）を用いて、上述のようにして求めたラプラシアン画像Δｉｍｇ１〜Δｉｍｇ３に対し、予め設定されている注目領域重み付けマップｗＭａｐを乗算することにより、ラプラシアン画像ごとの注目度マップＳａｌ１〜Ｓａｌ３を求める。その後、以下に示す式（ｄ４）を用いて、Ｓａｌ１〜Ｓａｌ３をｗｄ１〜ｗｄ３で重み付けして画素毎に加算することにより、入力画像全体の注目度マップＳａｌを得る。
【０１１９】
【数１２】
2011053456.tif 000014
【０１２０】
上記式（ｄ１′）〜（ｄ３′）中、ｒｅｓｉｚｅ（＊，＊）は、第１引数の行列（画素）を、第２引数の倍率により、リサイズする関数を意味する。すなわち、第１の注目領域検出処理では、被検出画像である入力画像ｉｍｇ１の次元にリサイズしていたが、この第３の注目領域検出処理では、次元の最も小さい入力画像ｉｍｇ３を基準画像とし、残りの入力画像ｉｍｇ１，ｉｍｇ２をこの基準画像の次元にリサイズしている。そのため、注目領域重み付けマップｗＭａｐは、基準画像（Δｉｍｇ３）と次元数を等しくした行列となる。例えば、Δｉｍｇ３の次元（すなわち、入力画像ｉｍｇ３の次元）が２０×３０（画素）の場合には、ｗＭａｐは同様に２０×３０（画素）の次元を有する。各式の演算子の意味については、前出の式（ｄ１）〜（ｄ４）の説明で述べた通りである。なお、ｗＭａｐは前出の式（ｄ５）及び（ｄ６）により表される混合ガウス型のマップである（図６参照）。
【０１２１】
上述のようにして注目度マップが作成されると、次に、注目点（ＰＯＩ）抽出処理（ステップＳ１６０３″）が行われる。下記式（ｅ１′）を用いて、生成した注目度マップＳａｌから、予め決定しておいた閾値ｔｈSP以上の注目度を持つ点を抽出し、それらを注目点（ＰＯＩ）と定義する。
【０１２２】
【数１３】
2011053456.tif 000015
【０１２３】
なお、閾値ｔｈSPは、選択された処理対象プレーンがＹ，Ｃｂ，Ｃｒ何れかによって、それぞれ異なる値が用いられる。この閾値ｔｈSPは、プレーンごとに予め決められた固定値であってもよいし、以下に示す式（ｊ１）及び（ｊ２）を用いて動的に求めてもよい。なお、上記式（ｊ１）中、ＶSPはＳに対応した変動係数であり、ｐａｒａｍSPは以下の式（ｊ２）で表され、ＳＰに応じて固定値を持つ、予め決められたパラメータを意味する。
【０１２４】
【数１４】
2011053456.tif 000016
【０１２５】
上記注目点（ＰＯＩ）の抽出処理が完了すると、次の注目領域（ＲＯＩ）決定処理（ステップＳ１６０４″）では、この抽出された注目点（ＰＯＩ）を基に、前出の式（ｆ１）〜（ｆ５）を用いて、注目領域ＲＯＩの左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）が求められる。なお、上述のように、基準画像（次元の最も小さい画像であって、上述の場合は入力画像ｉｍｇ３）の次元にリサイズされているため、基準画像と被検出画像（入力画像ｉｍｇ１）の次元が異なる場合には、注目領域ＲＯＩの座標を被検出画像の次元に変換する必要がある。
【０１２６】
このようにして求められた注目領域（ＲＯＩ）の左上座標（ｌｅｆｔ，ｔｏｐ）及び右下座標（ｒｉｇｈｔ，ｂｏｔｔｏｍ）の値が、戻り値として表示画像生成部１７に返されることで（ステップＳ１６０５″）、第３の注目領域検出処理が終了する。この第３の注目領域検出処理によると、ＹＣｂＣｒの１つのプレーンのみを処理対象とすることで、注目領域の検出をより高速に行うことが可能となる。
【０１２７】
以上で説明した本実施形態の画像表示装置２では、画像データの縮小後サイズ、分割数、注目領域情報、その他の情報を、メモリ１１に設定して各部での情報受け渡しを行っているが、これらの情報を記憶部１５に記憶し、この記憶部１５にアクセスすることで、各部での情報受け渡しを行うよう構成してもよい。
【０１２８】
なお、本実施形態の画像表示装置２は、中央演算装置（ＣＰＵ）やメモリ等を有し、上述の画像表示処理及びこの画像表示処理で実行される画像表示方法は、このＣＰＵで実行されるプログラムとして実装することができる。ここで、このプログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等の記憶媒体または記憶装置に格納される。また、ネットワークなどを介してディジタル信号として配信される場合もある。このとき、中間的な処理結果はメインメモリ等の記憶装置に一時保管される。あるいは、特別のＣＰＵやメモリ等を設けずに、以上の処理をＡＳＩＣやＤＳＰ等に論理回路として構成することも可能である。
【０１２９】
また、本願は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、これに限定されることはない。
【符号の説明】
【０１３０】
１  デジタルカメラ（撮像装置）    ２  画像表示装置    １４  表示部
１５  記憶部    １６  制御部    ２０  表示画面    ３０  画像データ
【図１】
2011053456.tif 000017
【図２】
2011053456.tif 000018
【図３】
2011053456.tif 000019
【図４】
2011053456.tif 000020
【図５】
2011053456.tif 000021
【図６】
2011053456.tif 000022
【図７】
2011053456.tif 000023
【図８】
2011053456.tif 000024
【図９】
2011053456.tif 000025