(57)【要約】【課題】スライドショー実行時に画像の中の顔の一部が切れて表示されてしまうのを防止できるようにする。【解決手段】画像を順次に自動再生するスライドショーを実行する時に、画像内において切り出し判定用領域を決定し、前記切り出し判定用領域が予め設定された第１の条件に収まっているか否かを判断し、収まっている場合には前記第１の条件で切り出し判定用領域を決定し、収まっていない場合には、第２の条件または第３の条件に従って画像切り出し処理を行うよう制御する制御手段を設け、スライドショーの実行時に、被写体が欠けてしまったり、切り出し形状がいびつになったりして、見栄えの良さが損なわれないようにする。【選択図】図３
2011039784.tif 000002
【特許請求の範囲】
【請求項１】
画像を順次に自動再生するスライドショーを実行する時に、画像内において切り出し判定用領域を決定し、前記切り出し判定用領域が予め設定された第１の条件に収まっているか否かを判断し、収まっている場合には前記第１の条件で切り出し判定用領域を決定し、収まっていない場合には、第２の条件または第３の条件に従って画像切り出し処理を行うよう制御する制御手段を有することを特徴とする表示制御装置。
【請求項２】
前記第１の条件は、画像内の顔を基準にした領域を切り出して表示する際に、顔の一部が切れていないことであり、前記第２の条件は、別の被写体に基いて切り出し判定用領域を決定することまたは画像の中央を基準として切り出し判定用領域を決定することであり、前記第３の条件はピントの合わせ状態を検出するためのフォーカス枠を基準として切り出し判定用領域を決定することであることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
画像を読み込む読み込み手段と、
前記読み込み手段により読み込んだ画像内に特定の被写体の有無、特定の被写体の位置を検出する被写体検出手段と、
前記被写体検出手段により検出された画像内の特定の被写体に基づいて切り出し判定用領域を決定する領域決定手段と、
前記領域決定手段により決定された切り出し判定用領域が画像内に収まっていない場合に、画像内に収まるように補正する領域補正手段と、
前記領域補正手段により補正された切り出し判定用領域と特定の被写体の位置とを比較し、その比較の結果に基づいて前記補正された切り出し判定用領域を切り出し領域とするかどうかを決定する制御手段とを有することを特徴とする表示制御装置。
【請求項４】
前記領域決定手段は、前記補正された切り出し判定用領域と前記特定の被写体の位置とを比較し、その結果、別の被写体に基いて切り出し判定用領域を決定することを特徴とする請求項３に記載の表示制御装置。
【請求項５】
前記領域決定手段は、前記補正された切り出し判定用領域と前記特定の被写体の位置とを比較し、その結果、画像の中央を基準として切り出し判定用領域を決定することを特徴とする請求項３に記載の表示制御装置。
【請求項６】
前記領域決定手段は、属性情報に含まれる撮影時の設定が特定の条件を満たせば、前記被写体検出手段の処理を実行せずに、ピントの合わせ状態を検出するためのフォーカス枠を基準として切り出し判定用領域を決定することを特徴とする請求項３に記載の表示制御装置。
【請求項７】
画像を順次に自動再生するスライドショーを実行する時に、画像内において切り出し判定用領域を決定し、前記切り出し判定用領域が予め設定された第１の条件に収まっているか否かを判断し、収まっている場合には前記第１の条件で切り出し判定用領域を決定し、収まっていない場合には、第２の条件または第３の条件に従って画像切り出し処理を行うよう制御する制御工程を有することを特徴とする表示制御方法。
【請求項８】
画像を読み込む読み込み工程と、
前記読み込み工程において読み込んだ画像内に特定の被写体の有無、特定の被写体の位置を検出する被写体検出工程と、
前記被写体検出工程において検出された画像内の特定の被写体に基づいて切り出し判定用領域を決定する領域決定工程と、
前記領域決定工程により決定された切り出し判定用領域が画像内に収まっていない場合に、画像内に収まるように補正する領域補正工程と、
前記領域補正工程において補正された切り出し判定用領域と特定の被写体の位置とを比較し、その比較の結果に基づいて前記補正された切り出し判定用領域を切り出し領域とするかどうかを決定する制御工程とを有することを特徴とする表示制御方法。
【請求項９】
画像を順次に自動再生するスライドショーを実行する時に、画像内において切り出し判定用領域を決定し、前記切り出し判定用領域が予め設定された第１の条件に収まっているか否かを判断し、収まっている場合には前記第１の条件で切り出し判定用領域を決定し、収まっていない場合には、第２の条件または第３の条件に従って画像切り出し処理を行うよう制御する制御工程をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
画像を読み込む読み込み工程と、
前記読み込み工程において読み込んだ画像内に特定の被写体の有無、特定の被写体の位置を検出する被写体検出工程と、
前記被写体検出工程において検出された画像内の特定の被写体に基づいて切り出し判定用領域を決定する領域決定工程と、
前記領域決定工程により決定された切り出し判定用領域が画像内に収まっていない場合に、画像内に収まるように補正する領域補正工程と、
前記領域補正工程において補正された切り出し判定用領域と特定の被写体の位置とを比較し、その比較の結果に基づいて前記補正された切り出し判定用領域を切り出し領域とするかどうかを決定する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項９または１０に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示制御装置及び表示制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの小型電子機器にも顔検出機能が搭載され、撮影時に顔を検出してピントを合わせることなどに利用されている。また、撮影した画像を再生する再生モード時に、顔検出機能を有効に用いる機能として、画像を順次に自動再生するスライドショーが挙げられる。
【０００３】
具体的には、スライドショー実行時に、表示する画像の中に顔が検出されればその顔をクローズアップして画面上に表示するといった利用が考えられる。その際に、画像に対する顔の位置や大きさによって、顔が中央に表示されなかったり、顔の一部が見切れてしまったりすることがあった。
【０００４】
特に、顔周辺を切り出して表示する場合、顔が端にある場合は、切り出す形状が欠けてしまうことがあり、切り出す形状が左右対称にならなかったり、いびつな形となってしまったりして、見た目上好ましくない。そこで、切り出す形状が欠けてしまうような場合には、切り出し領域を内側に寄せることで、切り出し形状が欠けないようにしていたが、その結果、顔の一部が欠けて切り出されてしまうことがあった。
【０００５】
このような問題点を解消する技術として、例えば特許文献１では、画像の任意の点を中心に拡大して表示する場合に、その拡大した領域が表示領域の外に含まれないようにするために、表示領域の内側に寄せるように補正することを提案している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２５５７７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した特許文献１に記載されているされている画像表示装置では、表示領域の内側に寄せるように補正したことによって顔の一部が切れてしまい、画像の中の顔を美しく表示できない事態が発生する問題点があった。
本発明は前述の問題点に鑑み、スライドショー実行時に画像の中の顔の一部が切れて表示されてしまうのを防止できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の表示制御装置は、画像を順次に自動再生するスライドショーを実行する時に、画像内において切り出し判定用領域を決定し、前記切り出し判定用領域が予め設定された第１の条件に収まっているか否かを判断し、収まっている場合には前記第１の条件で切り出し判定用領域を決定し、収まっていない場合には、第２の条件または第３の条件に従って画像切り出し処理を行うよう制御する制御手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体を基準として画像の一部を切り出して順次に自動再生するスライドショーを実行する時に、被写体が欠けてしまったり、切り出し形状がいびつになったりして、見栄えの良さを損なってしまうのを防ぐことがでる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の表示制御装置の構成例を示すブロック図である。
【図２】第１の実施形態に係る表示制御装置の処理を示すフローチャートである。
【図３】第１の実施形態に係る画像切り出し処理を示すフローチャートである。
【図４】第１の実施形態に係る画像と切り出し領域とを説明する図である。
【図５】第２の実施形態に係る表示制御装置の処理を示すフローチャートである。
【図６】第２の実施形態に係る画像切り出し処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明による表示制御装置、表示制御方法の実施形態について説明する。以下に説明する実施形態においては、この発明による装置、方法をパーソナルコンピュータ（以下ＰＣ）に適用した場合を例にして説明する。
図１は、本発明の実施形態の構成を示す図である。図１は、本発明が実施されうる表示制御装置の一例としてのＰＣ１００の構成例を示している。
【００１２】
図１に示すように、内部バス１１１で接続されたＣＰＵ（中央演算装置）１０１、ハードディスク（ＨＤ）１０２、メモリ１０３、ディスプレイ１０４、入力部１０５、記録媒体ドライブ１０６、ネットワークインターフェイス（Ｉ／Ｆ）１０７などを備えている。
【００１３】
ＣＰＵ１０１は、表示制御装置の動作を制御する演算処理装置であり、入力部１０５等を介してユーザからの指示を受け付けて、後述する各種プログラムを実行し、ディスプレイ１０４の表示制御を行う。ＨＤ１０２には画像や、ＣＰＵ１０１の動作処理手順（例えばコンピュータの立ち上げ処理や基本入出力処理、後述する本発明の各処理等のプログラム）が記録されている。メモリ１０３はＣＰＵ１０１のワークエリアとして使用される。
【００１４】
ディスプレイ１０４は、本実施形態におけるグラフィックユーザインターフェースを表示するための表示部であり、この表示部上に後述するサムネイル画像が表示される。入力部１０５は、ユーザからの指示を受け付けるための入力部であり、キーボードやポインティングデバイスとしてのマウス、タッチパネル等の入力デバイスである。ユーザは入力部１０５を使用することで、画像再生プログラムを実行できるような構成となっている。記録媒体ドライブ１０６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フラッシュメモリ等からなる外部記録媒体１０８に格納されているデータの読み出しや、外部記録媒体１０８にデータの書き込みを行う装置である。
【００１５】
ＣＰＵ１０１は、読み出した画像中に顔が含まれているか否かを調べる顔検出処理を行う。以下に、顔検出機能について説明する。
ＣＰＵ１０１は、顔検出対象の画像データを画像処理部２０に送る。画像処理部２０は、ＣＰＵ１０１の制御下で当該画像データに水平方向のバンドパスフィルタを作用させる。また、ＣＰＵ１０１の制御下で画像処理部２０は処理された画像データに垂直方向のバンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００１６】
その後、ＣＰＵ１０１は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ＣＰＵ１０１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ＣＰＵ１０１は、顔の検出結果に応じて顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ１０３に記憶する。
【００１７】
以上のように再生表示される画像データを画像解析して、画像データの特徴量を抽出することにより被写体情報を検出することが可能である。本実施形態では、被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。前述した画像解析は、画像処理部２０を用いて行ったが、専用のハードウェアがなくとも、プログラムに従って同様の処理を行うことも可能である。
【００１８】
（第１の実施形態）
本実施形態の動作について、図２、図３のフローチャートを参照しながら説明する。
図２は、記録媒体ドライブ１０６を介して、外部記録媒体１０８に記録されている画像をディスプレイ１０４に、画像を順次に自動再生するスライドショー実行時に行われる処理を説明するフローチャートである。まず、スライドショー機能が実行されると、Ｓ２０１にて最初に表示する初期表示画像の設定を行う。
【００１９】
例えば、外部記録媒体１０８に記録されている画像のうち、一番古いものを最初に表示する初期表示画像として設定したり、スライドショー機能実行前に閲覧していた画像を設定したりする。次に、Ｓ２０２では、Ｓ２０１で設定された初期表示画像を記録媒体ドライブ１０６からメモリ１０３に読み込みを行う。次に、Ｓ２０３では、Ｓ２０２で読み込まれた画像に対して、ディスプレイ１０４に表示する領域を切り出す画像切り出し処理を実行する。
【００２０】
次に、Ｓ２０４では、Ｓ２０３で切り出された領域をディスプレイ１０４に表示する。次に、Ｓ２０５では、Ｓ２０４にて表示した画像がスライドショーで再生する最後の画像であるかの判定を行う。この判定においては、予め設定された画像の切替間隔が経過するか、入力部１０５を介してユーザからの次の画像への切り替え指示の受け付けの有無に基いて行う。Ｓ２０５の判定の結果、最後の画像でない場合はＳ２０６へ進み、最後の画像である場合はＳ２０７へ進んでスライドショーを終了する。Ｓ２０６では、次に表示する画像を表示画像として設定する。その後、Ｓ２０２に戻り、画像の読み込み、表示を繰り返す。
【００２１】
ここで、前述したＳ２０３で実行する画像切り出し処理について詳しく述べる。
図３は、画像切り出し処理の動作を説明するフローチャートである。Ｓ３０１では、Ｓ２０２にてメモリ１０３に読み込まれた画像データに対して、読み込んだ画像内に特定の被写体の有無、切り出し判定用領域と特定の被写体の位置とを比較して、特定の被写体の位置を検出する被写体検出を行う。具体的には、顔検出処理を実行して画像内に顔が存在するかどうかを判定する。この判定の結果、顔が存在する場合はＳ３０２へと進み、顔が存在しない場合はＳ３１２へと進む。Ｓ３０２では、Ｓ３０１で検出された顔が複数存在するか否かを判別する。この判別の結果、顔が複数存在する場合はＳ３０３へと進み、複数存在しない場合はＳ３０４へと進む。
【００２２】
Ｓ３０３では、画像内に存在する複数の顔に対して優先度を設定する。その後、Ｓ３０４へと進む。Ｓ３０４では、Ｓ３０３で設定された優先度に従って切り出しの基準とする切り出し対象の顔を設定する。次に、Ｓ３０５では、切り出し領域を算出する。例えば、検出された顔の大きさで画像を切り出した場合、顔部分しか見えない画像になってしまい実際にはどのような画像だったかわからなくなってしまう不都合が発生することがある。そのため、検出された顔の領域の一定数倍の領域を切り出し領域として領域決定することで、顔周辺の情報も見ることができどのような画像なのかが分かりやすくなる。
【００２３】
図４（ａ）において、枠４０１が検出された顔の領域を示し、枠４０２は枠４０１に一定数を掛けた大きさの領域を示している。Ｓ３０５で算出される領域はこの枠４０２となる。また、枠４０３はＳ２０２で読み込まれた画像全体の範囲（画像自体の領域）を示している。次に、Ｓ３０６では、Ｓ３０５で算出した切り出し領域が画像自体の領域からはみ出してしまうかを判定する。この判定の結果、はみ出してしまうのであればＳ３０７に進み、はみ出さないのであれば切り出し領域を決定してＳ３１３へと進む。
【００２４】
Ｓ３０７では、Ｓ３０５で行った切り出し領域の算出により、はみ出してしまった切り出し領域を補正する。例えば、図４（ｂ）のように、顔が画像の端などにある場合の枠４０２のように、Ｓ３０５で算出した切り出し領域が画像の領域をはみ出してしまう。このような場合には、枠４０４のように切り出し領域を画像の内側に移動させる領域補正を行う。ここで、補正の方法として切り出し領域を縮小して画像の領域に収まるように補正する方法もあるが、顔周辺の情報も見ることができるように切り出し領域を決定するには、画像内側に移動させる領域補正方法が有用である。
【００２５】
次に、Ｓ３０８では、顔がＳ３０７で補正した切り出し領域からはみ出すかどうかを判定し、はみ出すようであればＳ３０９へ進み、はみ出さないようであれば切り出し領域を決定してＳ３１３へ進む。例えば、図４（ｃ）のように、切り出す形状が円形だった場合、顔の一部が切り出し領域である枠４０５からはみ出してしまい、表示の際には顔が一部欠けてしまう。そのような場合には、Ｓ３０９にて次の優先度の顔があるかを判別する。この判別の結果、あるようであればＳ３１０へ進み、なければＳ３１１へと進む。なお、図４（ｃ）の枠４０５は、検出された顔の領域に一定数を掛けた大きさの切り出し判定用領域が、画像自体の領域をはみ出していたために、画像自体の領域内に補正した枠４０４（図４（ｂ）の枠４０４と同じもの）に内接する円である。
【００２６】
Ｓ３１０では、次の優先度の顔を切り出し対象の顔として設定し、その後、Ｓ３０５からの処理を繰り返すことで、顔の一部が切れてしまった状態での表示を回避することができる。また、Ｓ３０９の判別の結果、次の優先度の顔がなかった場合には、Ｓ３１１にて画像の中央部分を切り出し領域として決定することで、顔の一部が切れてしまった状態での表示を回避する。そもそも、画像に顔が含まれていないような場合には、Ｓ３０１にて顔の検出がなかったと判別され、Ｓ３１２に進み、画像の中央部分を切り出し領域として決定される。
【００２７】
Ｓ３１１またはＳ３１２の処理の後はＳ３１３に進む。Ｓ３１３では、Ｓ３１１またはＳ３１２の処理により、決定された切り出し領域で実際に画像の切り出し処理を行う。その後、Ｓ３１４へ進み画像切り出し処理を完了させて、図２のＳ２０４において切り出された領域を表示する。
【００２８】
ここで、Ｓ３０８にて顔が切り出し領域からはみ出すかどうかを判別する際に、図４（ｃ）のように、切り出す形状が円形の場合は、以下のような判別基準を設けてもよい。すなわち、図４（ｄ）のように、Ｓ３０７で補正された切り出し判定用領域の枠４０４に一定の割合を掛け合わせた領域を切り出し有効判定領域４０６とする。そして、検出された顔の中心点４０７が切り出し有効判定領域４０６の中に入っているか否かで、顔が切り出し領域からはみ出すかどうかを判別する。図４（ｃ）の例では、検出された顔の中心点４０７が切り出し有効判定領域４０６の中に入っているので、切り出し判定用領域の枠４０４は有効となり、切り出し判定用領域の枠４０４に内接する円が切り出される。逆に、検出された顔の中心点４０７が切り出し有効判定領域４０６の中に入っていなければ、Ｓ３０９の次の優先度の顔があるか否かの判定処理に進むことになる。
【００２９】
なお、切り出す領域の基準として顔と限定せず、その他の被写体を基準にしてもよい。また、切り出す領域の基準は、顔検出処理を行って検出した顔としたが、予め画像の属性情報として顔情報が記録されていればその情報を切り出す領域の基準として、顔検出処理は行わなくともよい。
【００３０】
（第２の実施形態）
第１の実施形態のケースでは、画像に顔が検出されれば顔を基準にして切り出し領域を決定しているため、撮影時に顔以外のものに意図してピントを合わせたとしても、顔が映りこんでいたために顔の周辺が切り出されて表示されてしまう不都合が発生する。本実施形態においては、このような不都合が発生しないようにするために、図５に示すように、図２のフローチャートの一部に以下に説明するような処理を加えたものである。
【００３１】
Ｓ２０１において最初に表示する初期表示画像の設定が行われたら、次に、Ｓ５０１にて表示画像の読み込みをした後、Ｓ５０２にて読み込まれた画像が撮影時に検出された顔にピントを合わせる顔ＡＦ機能で撮影されたかどうかを判別する。この判別の結果、顔ＡＦ機能で撮影された画像であればＳ５０３へ進み、そうでなければＳ５０４へ進む。Ｓ５０３では、Ｓ５０５での切り出し処理において基準とする基準枠を顔に設定する。Ｓ５０４では、基準枠をＡＦ枠（フォーカス枠）に設定する。これらの設定を完了したら、その後、Ｓ５０５へと進んで画像切り出し処理を実行する。
【００３２】
ここでの画像切り出し処理は、図６に示すフローチャートのＳ６０１〜Ｓ６１４のようになる。すなわち、図３のフローチャートを参照しながら説明した画像切り出し処理においては、顔を基準に切り出し領域を決定していたのを、Ｓ５０３、Ｓ５０４で設定された基準枠を基準として切り出し領域を決定する。このように処理することで、撮影時に顔以外にピントを合わせるように撮影したような画像のスライドショーを行う場合に、意図することなく移りこんだ顔を基準にして切り出されてしまうことを防ぐことができる。
【００３３】
前述した実施形態に係らず、種々の条件に従って制御することができる。例えば、第１の条件としては、画像内の顔を基準にした領域を切り出して表示する際に、顔の一部が切れていないことである。第２の条件は、別の被写体に基いて切り出し判定用領域を決定することまたは画像の中央を基準として切り出し判定用領域を決定することである。第３の条件はピントの合わせ状態を検出するためのフォーカス枠を基準として切り出し判定用領域を決定すること、などを考慮することができる。
【００３４】
なお、ＣＰＵ１０１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、前述した各実施形態においては、本発明がパーソナルコンピュータに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は、デジタルカメラなどの撮像装置に適用してもよい。すなわち、メモリカードなどの、デジタルカメラが読み取り可能な記憶媒体に記憶された撮影画像を、デジタルカメラの有する背面液晶装置などのディスプレイにマルチ再生表示する際にも、本発明は適用可能である。さらに、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなど、画像を表示可能な装置であれば、本発明は適用可能である。
【００３５】
また、前述した各実施形態の各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に提供してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、不揮発性の半導体メモリ、磁気テープなどを用いることができる。
【００３６】
また、本発明は、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるのに限られない。例えば、当該プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含むことができる。
【００３７】
さらに、コンピュータ読み取り可能な記憶媒体から読み出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むことができる。
また、前述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【図１】
2011039784.tif 000003
【図２】
2011039784.tif 000004
【図３】
2011039784.tif 000005
【図４】
2011039784.tif 000006
【図５】
2011039784.tif 000007
【図６】
2011039784.tif 000008