(57)【要約】【課題】画像処理装置における画像閲覧、検索環境の向上を図る。【解決手段】被写体を撮影するＣＣＤ１０６と、ＣＣＤ１０６によって撮影された画像の中から特徴領域を抽出し、画像の全体である全体画像と前記特徴領域を表示するＣＰＵ１１３と、全体画像の表示の指示をする操作ボタン１２０とを有し、ＣＰＵ１１３は、操作ボタン１２０の操作間隔が予め定められた閾値よりも短い場合、ＬＣＤパネルなどにおいて特徴領域を表示するように制御する。【選択図】  図１
2009118188.tif 000002
【特許請求の範囲】
【請求項１】
画像から特徴領域を抽出する抽出手段と、
前記抽出手段により抽出された特徴領域を記憶する記憶手段と、
前記画像を表示手段に表示させるための操作を受け付ける操作手段と、
前記操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御手段とを有し、
前記表示制御手段は、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示することを特徴とする画像処理装置。
【請求項２】
前記記憶手段は、前記特徴領域を前記画像に関連付けて記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶手段は、前記画像のうち前記特徴領域を示す画像を前記画像のサムネイル画像として記憶することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記表示制御手段は、前記画像のうち前記記憶手段に記憶された特徴領域を表示した後に、前記画像を表示することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記画像のうち前記記憶手段に記憶された特徴領域を表示した後に、前記画像を上書きして表示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記記憶手段は、前記画像における前記特徴領域の座標の情報を、さらに記憶することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記特徴領域を前記座標の情報に基づく位置に表示することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記抽出手段により複数の特徴領域が抽出された場合、前記記憶手段は前記複数の特徴領域を記憶し、
前記表示制御手段は、前記記憶手段に記憶された複数の前記特徴領域を一画面に表示することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記抽出手段によって抽出された複数の前記特徴領域のフォーカス評価値に応じた順序で複数の前記特徴領域を表示することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記表示制御手段は、前記抽出手段によって抽出された複数の前記特徴領域の面積に応じた順序で複数の前記特徴領域を表示することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示制御手段は、前記画像のうち前記記憶手段に記憶された特徴領域の輪郭を表示した後、前記特徴領域を表示することを特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記抽出手段は、前記特徴領域として人物の顔を抽出することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画像から特徴領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された特徴領域を記憶手段に記憶する記憶ステップと、
前記画像を表示手段に表示させるための操作を受け付ける操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御ステップとを有し、
前記表示制御ステップにおいて、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示することを特徴とする画像処理装置の制御方法。
【請求項１４】
画像から特徴領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された特徴領域を記憶手段に記憶する記憶ステップと、
前記画像を表示手段に表示させるための操作を受け付ける操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御ステップとをコンピュータに実行させ、
前記表示制御ステップにおいて、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示処理を行う画像処理装置などに関する。
【背景技術】
【０００２】
従来このような画像処理は、主にパーソナルコンピュータ上で処理されてきたものであるが、近年、携帯機器の処理能力の向上に伴って、処理速度は劣るものの、携帯機器上においても同様の処理が行えるようになってきた。例えば携帯電話は今や単なる会話をするのみの機器では無く、写真撮影機能、音楽再生機能、インターネット接続機能など多くの機能を取り込んできており、画像処理を行うことについても十分な処理能力を有している。
【０００３】
特許文献１には、携帯電話を用いて被写体を撮影し、撮影した画像中の人物の顔を認識し、その認識結果を利用するという技術が開示されている。この特許文献１に記載の技術によれば、撮影した画像中から人物の顔を抽出し、予め携帯電話に蓄積されている人物の顔データ一覧との比較を行い、同一人物が存在するかどうかの検索を行うことができる。そして、同一人物が存在すると判定された場合には、顔データに関連付けられて保存されている電子メールアドレスデータを読み出し、自動的に撮影画像を添付したメールを送信することができる。
【０００４】
【特許文献１】特開２００６−１７８５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術においては、送信したい画像を特定するまでの手順、即ち画像閲覧、検索を行うユーザの利便性を向上させることはできない。
【０００６】
例えば、携帯電話やデジタルカメラなどの携帯機器においては、画像表示処理に充分な処理能力が無い機器も多いこともあり、画像閲覧環境の向上が望まれている実情もある。
【０００７】
本発明は、このような諸事情に鑑みてなされたものであり、画像の特徴領域を用いることで、画像処理装置における画像閲覧、検索環境の向上を図ること目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、画像から特徴領域を抽出する抽出手段と、前記抽出手段により抽出された特徴領域を記憶する記憶手段と、前記画像を表示手段に表示させるための操作を受け付ける操作手段と、前記操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御手段とを有し、前記表示制御手段は、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示することを特徴とする。
また、本発明の画像処理装置の制御方法は、画像から特徴領域を抽出する抽出ステップと、前記抽出ステップにより抽出された特徴領域を記憶手段に記憶する記憶ステップと、前記画像を表示手段に表示させるための操作を受け付ける操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御ステップとを有し、前記表示制御ステップにおいて、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示することを特徴とする。
また、本発明のプログラムは、画像から特徴領域を抽出する抽出ステップと、前記抽出ステップにより抽出された特徴領域を記憶手段に記憶する記憶ステップと、前記画像を表示手段に表示させるための操作を受け付ける操作手段が操作されるごとに、前記画像を切り替えて前記表示手段に表示する表示制御ステップとをコンピュータに実行させ、前記表示制御ステップにおいて、前記操作手段の操作間隔が予め定められた閾値よりも短い場合、前記画像のうち前記記憶手段に記憶された特徴領域を表示するプログラムである。
【発明の効果】
【０００９】
本発明によれば、携帯電話などの携帯機器における画像閲覧、検索環境の向上を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を用いて説明する。
（第１の実施の形態）
図１は、本発明における第１の実施の形態では、画像処理装置に一例として、撮像装置の一種としてのデジタルカメラの電気的構成を示したブロック図である。
【００１１】
図１に示すデジタルカメラは、被写体からの光がフォーカッシングレンズ１０４から入射し、絞り１０５を通して撮像手段としてのＣＣＤ１０６（Charge Coupled Device）に到達するように構成されている。
【００１２】
フォーカッシングレンズ１０４は、ＣＣＤ１０６の受光面と平行に配置されており、フォーカッシングモータ１０１により平行移動されることでＣＣＤ１０６との間の距離を調整し、被写体像をＣＣＤ１０６上に結像させる。
【００１３】
フォーカッシングモータ１０１は、図示しないフォトインタラプタなどによってその回転数が読み取られており、これによりデジタルカメラにおいてはフォーカッシングレンズ１０４の存在する位置が認識できるようになっている。フォーカッシングモータ１０１はまた、モータドライバ１０３によって回転数が制御されており、フォーカッシングレンズ１０４を所望の位置に移動することが可能である。なお、実際の使用においては、デジタルカメラと被写体との距離や角度によって、フォーカッシングレンズ１０４に入射する光線の入光量や角度が変化する。そのため、撮影の都度、フォーカッシングレンズ１０４とＣＣＤ１０６との間の距離を調整する焦点検出動作が必要になる。
【００１４】
絞りモータ１０２は、絞り１０５を調整することで被写体からの光の入光量を調整する。絞りモータ１０２は、モータドライバ１０３によって回転数が制御されており、適正露出を得るための入光量を調整したりする。
【００１５】
ＣＣＤ１０６は、結像した被写体像に対して光電変換を行う。詳細には、ＣＣＤ１０６が有する画素一つ一つが得た光をその光量に比例した電荷量の電荷に変換する。被写体像の明るい部分においては大きな電荷量が得られ、被写体像の暗い部分においては小さな電荷量が得られることで、被写体像の濃淡を電荷量の差として得ることができる。
【００１６】
ＣＣＤ１０６はまた、数百〜数千万画素で構成されており、それぞれの画素にマイクロレンズ、カラーフィルターが配置されている。赤、緑、青のカラーフィルターを配置することで、３原色の入光量を得ることができ、フルカラー画像を得ることができる。
【００１７】
ＣＣＤ１０６からの電荷は、図示しないプリント基板上の配線パターンを通してＡＦＥ１０７（Analog Front End）に入力される。ＡＦＥ１０７は、不図示のＣＤＳ（Correlated Double Sampling）、Ａ／Ｄ（Analog to Digital）変換回路などのアナログ信号処理回路からなり、ＣＣＤ１０６から入力した電荷に処理を施す。
【００１８】
またデジタルカメラにおいては、ＣＣＤ１０６からの電荷を読み出すためのタイミング信号を作り出す不図示のＴＧ（Timing Generator）が配置されている。このＴＧではＣＣＤ１０６を制御するタイミング信号を生成し、このタイミング信号に従ってＣＣＤ１０６がＡＦＥ１０７に電荷を転送する。ＣＣＤ１０６から読み出された電荷は、ＡＦＥ１０７におけるＣＤＳにてノイズ成分の低減処理が行われ、Ａ／Ｄ変換回路部にてアナログ量である電荷量がデジタル信号に変換される。
【００１９】
Ａ／Ｄ変換回路部により変換されたデジタル信号は、バス信号ライン１１２を介してＳＤＲＡＭ１０８などの高速送受信が可能なデバイスに一時蓄積される。そしてデジタル信号は、逐次ＣＰＵ１１３へ読み出され、エッジ強調やノイズ除去、ホワイトバランスなど各種画像処理が行われ、画像データとして生成される。
【００２０】
画像処理が終了した画像データは、数メガバイト程度の大容量のデータであるため、ＪＰＥＧ（Joint Photographic Experts Group）方式などによる画像圧縮処理が施される。そして、画像データは、フラッシュメモリ１０９やカードコネクタ１１１に装着された不揮発性メモリ１１０などに保存される。ここで持ち運び可能な不揮発性メモリ１１０に画像データを記録することで、デジタルカメラで撮影した画像を他のデバイス、例えばパーソナルコンピュータやプリンタなどで読み出すことが可能となる。これにより、大画面のディスプレイ上で画像を閲覧したり、写真紙にプリントアウトすることで画像データを写真として閲覧したりすることができる。
【００２１】
またデジタルカメラは、不揮発性メモリ１１０を介しての画像出力手段の他に、ＬＣＤ（Liquid Cristal Display）パネル１１９を有している。これにより、撮影した画像をすぐにＬＣＤパネル１１９の画面上に出力することができ、撮影した画像をすぐに確認することができるようにしている。ＬＣＤパネル１１９に画像データを表示する場合は、ＬＣＤドライバ１１８がＣＰＵ１１３からの画像データを基に、ＬＣＤパネル１１９の画素配列に合わせたＹＵＶもしくはＲＧＢ信号とＬＣＤパネル駆動用信号とを生成する。これら信号がＬＣＤパネル１１９に送信されて、ＬＣＤパネル１１９上に再生画像が表示される。
【００２２】
ＬＣＤパネル１１９は、デジタルカメラに内蔵されているため、小型で解像度が低い場合が多く、複数人で同時に画像を閲覧するのに難がある。そこで、本実施の形態では、デジタルカメラ内部にビデオエンコーダ１１４、ビデオアンプ１１５を搭載して、デジタルカメラから直接ＴＶモニタ１１６に映像出力を行うことを可能にしている。この場合、ＴＶモニタ１１６は、ＬＣＤパネル１１９と比較して大画面で解像度に優れるため、高画素化の進んだデジタルカメラの画像の解像感を十分に表現でき、また、多くの人と一緒に画像の閲覧を楽しむことも可能である。
【００２３】
また、操作ボタン１２０は、ユーザからの操作を受け付ける操作部材であり、後述の画像送りボタン２０５や画像戻しボタン２０４などを含む。
【００２４】
次に、本実施の形態に係るデジタルカメラの外観を図２に示す。図２において、電源スイッチ２０１は、デジタルカメラのＯＮ／ＯＦＦを切り替えるためのスイッチである。シャッターボタン２０２は、ＡＦ（オートフォーカス）処理や撮影に係る一連の処理の動作開始を指示するためのボタンである。カードコネクタ１１１は、不揮発性メモリを装着するためのインタフェースである。
【００２５】
またデジタルカメラ背面に配されるモードスイッチ２０３は、静止画撮影モード、動画撮影モード、再生モードなどの設定を行うための操作部材である。画像戻しボタン２０４は、ＬＣＤパネル１１９に表示された画像よりも前に記録された画像を表示するためのボタンであり、画像送りボタン２０５は、ＬＣＤパネル１１９に表示された画像よりも後に記録された画像を表示するためのボタンである。
【００２６】
本実施の形態に係るデジタルカメラにおいては、電源スイッチ２０１をＯＮにすると、複数のモードのうちのいずれかのモードを起動するようになっている。ここで起動されるモードは、静止画撮影モード、動画撮影モード、再生モードなどであり、モードスイッチ２０３の設定に応じて起動するモードが切り替わる。また、起動するモードによって、同じ操作ボタンが押されたとしても違う動作が行われる。例えば、静止画撮影モードにて、シャッターボタン２０２を押すと静止画撮影が行われるが、動画撮影モードでシャッターボタン２０２を押すと動画撮影が行われる。
以上の構成が、本実施の形態に係るデジタルカメラの一態様である。
【００２７】
次に、本実施の形態に係るデジタルカメラの動作をフローチャートを参照しつつ説明する。図３は、本実施の形態の形態に係るデジタルカメラの撮影シーケンスを示したフローチャートである。
【００２８】
まずステップＳ３０１において、デジタルカメラは、どのモードで起動されたかを検知する。本実施の形態では、静止画撮影モードが選択されている場合にステップＳ３０２に移行する。
【００２９】
次にステップＳ３０２において、デジタルカメラは、被写体の特徴領域の検出を行う。本実施の形態においては特徴領域として人物の顔の領域を検出するものとする。この特徴領域は、人物の顔に限らず、撮影画像再生時に優先的に表示したいと考えている被写体の特徴を検出するようにしてもよい。例えば、風景写真において、地上の風景と空との境界を検出し、地上の風景領域を特徴領域としても良いし、被写体の緑色部分（風景写真においては山や森の緑）を特徴領域としても良い。このステップＳ３０２で処理する被写体顔検出処理の内容について、以下、図４を用いて詳細に説明する。
【００３０】
図４は、被写体の顔を検出するシーケンスを示したフローチャートである。本実施の形態では、デジタルカメラは静止画撮影モードとなっており、ユーザがシャッターボタン２０２を押すといつでも静止画が撮影できるモードに設定されている。この静止画撮影モードでは、図示しないシャッターは開放状態であり、デジタルカメラは被写体からの光を常に受光していて、撮影画角の変化や被写体の動きを常時捕らえることができるようになっている。
【００３１】
そして静止画撮影モードでは、被写体からの光がフォーカッシングレンズ１０４を通してＣＣＤ１０６で受光され、ＣＰＵ１１３で各種画像処理が施された後に、ＬＣＤパネル１１９上に表示される。ＣＣＤ１０６ではおよそ１／３０〜１／６０秒間隔で画像を取り込むので、この一枚一枚の画像に対して以下で説明する顔検出処理を行うのが本来は望ましい。しかしながら、ＣＰＵ１１３の処理能力は限られているので、本実施の形態では２〜３枚／秒程度のスピードで顔検出処理を行うこととする。以下、このような設定における顔検出処理について説明する。
【００３２】
まずステップＳ４０１において、デジタルカメラは、撮影画像中の肌色領域を検出する。
【００３３】
ここで、ＣＣＤ１０６は単純に光の強度を電荷量に変換するデバイスであるため、光の有する色までは読み取ることができない。そのため、ＣＣＤ１０６は、例えば３原色（赤、緑、青）それぞれの波長を有する光のみを透過するフィルターを格子状に配置して、赤、緑、青の光の強度を検出している。よって、ＣＣＤ１０６からは、赤、緑、青単色の画像（電荷量）が出力され、ＡＦＥ１０７に転送されてＡ／Ｄ変換が行われる。なお、Ａ／Ｄ変換されたデータ状態で、色補正処理や圧縮処理が行われていないデジタル画像データをＲＡＷデータと呼ぶ。
【００３４】
ＲＡＷデータは、バス信号ライン１１２を通して一時的に高速アクセスが可能なＳＤＲＡＭ１０８に保存される。このＲＡＷデータは被写体の赤、緑、青それぞれ単色の輝度データしか有しないので、これら３原色の画像を補完することでフルカラー画像が生成される。そしてＣＰＵ１１３は前記フルカラー画像に対して、予め設定した肌色情報との色比較を行い、肌色情報に近い色領域を抽出するようにしている。
【００３５】
次にステップＳ４０２において、デジタルカメラは、前記抽出した肌色領域中の特徴領域を検出する。さらには、この肌色領域中の高コントラスト部を抽出する。
【００３６】
次にステップＳ４０３において、デジタルカメラは、予め用意された目、鼻もしくは口などの形状情報との比較を行って、抽出した高コントラスト部が人物の目、鼻もしくは口などであるかの確認を行う。ここで、高コントラスト部分が目、鼻、口ではないと判定した場合にはステップＳ４０７に移行する。なお、ステップＳ４０１、Ｓ４０２において肌色領域、特徴形状が検出できなかった場合は、画像全体を顔領域として保存し、処理をステップＳ４０７に移行する。高コントラスト部分が人物の目、鼻もしくは口であったと判断した場合には、ステップＳ４０４において、肌色領域を人物の顔領域であると判定し、ステップＳ４０５に移行する。
【００３７】
ステップＳ４０５において、デジタルカメラは、ステップＳ４０４にて検出（判定）した顔領域の座標（顔領域座標）をＳＤＲＡＭ１０８に保存する。
【００３８】
次にステップＳ４０６において、デジタルカメラは、顔検出数に１を足して、ステップＳ４０７に移行し、撮影画像全体の肌色領域検出が全て完了したか否かを判断する。まだ完了していないと判断した場合にはステップＳ４０１に移行し、撮影画像中の未調査領域の肌色領域検出を行う。また、撮影画像全体の肌色領域検出が完了したと判断した場合には本シーケンスを終了する。
【００３９】
図３に戻り、ステップＳ３０３において、デジタルカメラは、シャッターボタン２０２が押されたかどうかの検知を行う。シャッターボタン２０２が押された場合には、ステップＳ３０４の撮影処理に移行し、シャッターボタン２０２が押されていない場合にはステップＳ３０２に移行し、被写体顔検出処理を継続する。
【００４０】
ステップＳ３０４において、デジタルカメラは、撮影処理を行い、その後ステップＳ３０５に移行して、撮影した全体画像を保存するとともに、ステップＳ３０６及びステップ３０７にも同時に移行する。
【００４１】
ステップＳ３０６において、デジタルカメラは、被写体顔検出処理(詳しくは、図４のステップＳ４０５)において保存した顔領域座標を利用して顔画像を抽出し、ステップ３０７においては、顔画像を保存する。
【００４２】
次にステップＳ３０８において、デジタルカメラは、全体画像と顔画像の画像圧縮処理を行う。ＣＣＤ１０６からの信号にＡ／Ｄ変換処理を行っただけのＲＡＷデータでは情報量が多いため、ここでは画像圧縮処理を行うようにしている。なお、一般に、ほとんどのデジタルカメラは画像圧縮処理機能を有している。
【００４３】
ここで、画像圧縮処理について説明する。例えば５００万画素のＣＣＤを有するデジタルカメラにおいては、ＲＡＷデータが４．５メガバイト程度であるのに対し、一般的な画像圧縮方式であるＪＰＥＧ方式にて画像圧縮を行うと、０．５〜２メガバイト程度（圧縮率により開きがある）に圧縮可能である。ただし、デジタル一眼レフカメラなど、高品質の画像を求めるカメラにおいては画像圧縮による画像劣化を防ぐために、あえて圧縮処理を行わず先に説明したＲＡＷ形式で保存するものが多い。本実施の形態においては、画像圧縮を行った後に画像を保存するものとする。
【００４４】
また本実施の形態に係るデジタルカメラにおいては、ステップＳ３０４で撮影を行い、ステップＳ３０８で画像圧縮処理を行うまでの間、ＲＡＷデータのままで顔画像の抽出処理を行っている。画像圧縮処理後の画像から顔画像を切り出して、顔画像を圧縮画像として保存する場合には、再度画像圧縮処理を行う必要がある。この場合、圧縮処理時間が増大するとともに、ＪＰＥＧなどの圧縮処理方式では、圧縮回数が増えるほど画像劣化も増大する。そのため、本実施の形態においては圧縮処理前のＲＡＷデータのままで顔画像切り出し処理を行うようにしている。
【００４５】
次にステップＳ３０９にて、デジタルカメラは、ステップＳ３０５で保存した全体画像と、被写体顔検出処理（詳しくは、図４のステップＳ４０５）で保存した顔領域座標（座標情報）と、ステップＳ３０７で保存した顔画像（特徴領域）とを関連付けて保存する。なお、保存先としては、フラッシュメモリ１０９、あるいはカードコネクタ１１１に装着された、脱着可能な不揮発性メモリ１１０のどちらかであっても構わないし、両方であっても構わない。
【００４６】
ここで、この保存処理において、全体画像を"ＩＭＧ０００１．ＪＰＧ"（ここで、ＩＭＧは画像：ＩＭＡＧＥの略）と保存した場合には、顔領域座標を"ＰＯＳ０００１．ＪＰＧ"（ここで、ＰＯＳは位置：ＰＯＳＩＴＩＯＮの略）の名称で保存するようにする。さらに、顔画像を"ＦＡＣ０００１．ＪＰＧ"（ここで、ＦＡＣは顔：ＦＡＣＥの略）の名称で保存するようにする。このように、同一撮影データから抽出されたデータを、撮影データと同じ通し番号となるようにすることで、同一撮影データからの抽出データであることが識別できる。また通し番号を"０００１"→"０００２"というように数を増して保存するようにすることで、複数の撮影データを有する場合にも対応可能である。
【００４７】
また、全体画像と顔画像とを関連付けるために、顔画像を全体画像のサムネイル画像として保存してもよい。ここで、サムネイル画像とは主画像のデータ量を小さくした画像であり、データ量を小さくするために画像サイズも１６０×１２０画素程度に抑えられているような画像である。サムネイル画像はアプリケーション上などで画像ファイルの一覧を素早く表示させるためなどに用いられる。例えばデジタルカメラにおいて、画像ファイルを記録するフォーマットとして普及しているＥｘｉｆ（Exchangeable image file format）では、主画像データの他に、撮影条件などを記録したヘッダ部とサムネイル画像とを有する。
【００４８】
なお、本実施の形態においては、全体画像と顔画像を別々のファイルとして保存するようにするが、顔画像を全体画像のサムネイルとし、ひとつのファイルとして保存してもよい。
【００４９】
ステップＳ３０９において全体画像と顔領域座標と顔画像とを関連付けて保存した後は、ステップＳ３１０に移行し、デジタルカメラは、静止画撮影モードを終了するかどうかの確認を行う。詳細には、モードスイッチ２０３の状態を確認し、静止画撮影モードに設定されていればステップＳ３０２に移行し、被写体顔検出処理を再開する。またモードスイッチ２０３が撮影モード以外のモード、例えば動画撮影モードや再生モードに設定された場合や、電源スイッチ２０１が押された場合には、静止画撮影モードを終了する。
【００５０】
次に本実施の形態に係るデジタルカメラが表示制御を行い、画像を再生する処理について説明する。図５は、本実施の形態に係るデジタルカメラの表示制御シーケンスを示すフローチャートである。
【００５１】
まずステップＳ５０１において、デジタルカメラは、デジタルカメラの動作モードの確認を行う。モードスイッチ２０３の設定を確認し、画像再生モードに設定されていればステップＳ５０２に移行し、画像再生モードに設定されていなければ本シーケンスを終了する。
【００５２】
ステップＳ５０２において、デジタルカメラは、保存されている画像を自動的に再生する。ここで第一番目に再生する画像は、保存されている画像中のうち、通し番号が一番小さい画像であっても良いし、前回再生モード時に最後に表示していた画像であっても良い。本実施の形態においては、通し番号が小さい順に再生するものとする。ここで再生する画像は、フラッシュメモリ１０９やカードコネクタに接続される不揮発性メモリ１１０に保存されており、多くの場合、ＪＰＥＧなどの圧縮形式で保存されている。
【００５３】
画像を再生する場合、画像はバス信号ライン１１２を通してＣＰＵ１１３に読み込まれ、ＣＰＵ１１３にて圧縮状態を解凍され、ビデオエンコーダ１１４やＬＣＤドライバ１１８の仕様にあわせたデジタル画像データに変換される。
【００５４】
例えば画像をＴＶモニタ１１６で表示したい場合には、ＣＰＵ１１３からビデオエンコーダ１１４に画像をデジタル画像データとして送信し、ビデオエンコーダ１１４にてビデオ信号として生成する。生成されたビデオ信号は、ビデオアンプ１１５で増幅され、ＴＶモニタ１１６で画像が再生(表示）される。
【００５５】
一方、画像をＬＣＤパネル１１９で表示したい場合には、ＣＰＵ１１３からＬＣＤドライバ１１８に画像をデジタル画像データとして送信する。そして、ＬＣＤドライバ１１８は、デジタル画像データからＬＣＤパネル１１９の画素配列に合わせたＹＵＶもしくはＲＧＢ信号と、ＬＣＤパネル駆動用信号とを生成してＬＣＤパネル１１９に送信し、ＬＣＤパネル１１９上に画像が再生（表示）される。
【００５６】
次にステップＳ５０３において、デジタルカメラは、ユーザが画像送りボタン２０５を押したか否か（即ち、表示の指示がされたか否か）を判断し、押された場合には画像送りボタン２０５からＣＰＵ１１３に向けて電気信号を送信する。なお、画像送りボタン２０５は図１に示した操作ボタン１２０のうちの一つである。
【００５７】
次にステップＳ５０４において、デジタルカメラは、直ちにＣＰＵ１１３内部の図示しないタイマーをスタートさせ、時間計測を開始する。なお、タイマーは次回、画像送りボタン２０５が押されるまでの時間（ステップＳ５０３〜ステップＳ５０６までの時間）を計測するためのものである。
【００５８】
次にステップＳ５０５において、デジタルカメラは、第一番目に再生した画像の次に通し番号が小さい画像を再生する。
【００５９】
次にステップＳ５０６において、デジタルカメラは、ユーザが画像送りボタン２０５を押したか否か（即ち、表示の指示がされたか否か）を判断し、押された場合にはステップＳ５０７に移行し、ＣＰＵ１１３でのタイマー計測を完了する。この時点で、ステップＳ５０３〜Ｓ５０６間の、ユーザが画像送りボタン２０５を押す間隔（以後、ボタン入力間隔とする）の時間が算出できる。
【００６０】
次にステップＳ５０８において、デジタルカメラは、ＣＰＵ１１３により再度タイマーをスタートさせて時間計測を開始する。
【００６１】
次にステップＳ５０９において、デジタルカメラは、ステップＳ５０７にて算出した画像送りボタン２０５の入力間隔（操作間隔）が予め定められた閾値よりも長いか短いかの判定を行う。ボタン入力間隔が閾値よりも長い場合にはステップＳ５１０に移行し、通常の画像再生を行う。ここで、通常の画像再生とは、画像中のある部分を優先的に表示するような手段をとらず、画像データを全て読み込んでから一度に画面全体を表示するような、一般的に行われている再生方法のことを指す。一方、ボタン入力間隔が閾値よりも短い場合にはステップＳ５１１に移行し、被写体顔検出処理（詳しくは、図４のステップＳ４０５）で取得した顔領域座標の読み出しを行う。
【００６２】
次にステップＳ５１２において、デジタルカメラは、図３のステップＳ３０７にて保存した顔画像の再生を行うが、このとき、ステップＳ５１１で読み出した顔領域座標を用いて全表示画像中の適切な位置（所定の位置）に顔画像の表示を行う。
【００６３】
ここで、ステップＳ５１２における表示について具体的な画像を例に挙げて説明する。図６は、再生する撮影画像の一例を示す図である。図６において、全体画像表示領域６０５に表示された全体画像６０３には、人物６０２とパーソナルコンピュータ６０１が含まれている。図６に示すような人物６０２とともにパーソナルコンピュータ６０１などの周辺物が撮影された画像を処理する場合、まず顔検出処理により顔領域６０４が検出され、図３に示したステップＳ３０７で保存される顔画像は、図７に示す顔画像７０１となる。
【００６４】
そして、図３のステップＳ３０６では、図６に示す全体画像６０３中の顔領域６０４の座標を読み出しており、ステップＳ３０９では、全体画像６０３と、図７に示した顔画像７０１、顔領域座標とを関連付けて保存している。これにより、ステップＳ５１２では、この顔領域座標を用いて顔画像７０１を図６に示した全体画像表示領域６０５の適切な位置に表示し、図８に示す顔検出領域表示画像８０１のように画像を表示することができる。
【００６５】
このとき、全体画像表示領域６０５中の顔画像７０１以外の領域は、例えば灰色で塗りつぶすなどの視覚効果処理を行うと、全体画像中の顔画像７０１の位置関係や大きさがわかりやすくなる。
【００６６】
次にステップＳ５１３において、デジタルカメラは、図８に示した顔検出領域表示画像８０１に対して図６に示した全体画像６０３の上書きを行う。
【００６７】
ここで、全体画像６０３を上書きする代わりに、全体画像６０３から顔画像７０１を除いた画像（顔検出領域以外の画像）を書き込んでも良い。しかしながら、保存画像の多くはＪＰＥＧ形式などで圧縮されているので、顔検出領域以外の画像と顔画像７０１の境界線の整合が取れない。なぜならば、ＪＰＥＧ形式などの圧縮形式では、画像中の画素を８×８画素程度にまとめてブロックとし、ブロック内で圧縮計算を行うので、圧縮前の分割画像の境界線の整合が取れていても、圧縮後の分割画像の境界線の整合性は無くなってしまうからである。そのため境界線が表示されてしまうといった不具合が発生するので、本実施の形態においては単に上書き処理を行うものとする。
なお、ステップＳ５１１〜Ｓ５１３の処理の間にユーザによる画像送りの操作を検知した場合には、デジタルカメラは処理をステップＳ５０７に移行させ、再度画像送りボタンが押される間隔を算出する。
【００６８】
次にステップＳ５１４において、デジタルカメラは、モードスイッチ２０３の設定状態を確認し、デジタルカメラが再生モードであるかどうかの確認を行い、再生モードが継続している場合にはステップＳ５０６に移行する。一方、モードスイッチ２０３の設定が変更されたり、デジタルカメラの電源スイッチ２０１などが押されて画像再生モードが終了したりしている場合には、本シーケンスを終了する。
【００６９】
以上、本実施の形態に係るデジタルカメラにおいては、撮影画像中の特徴領域、即ち本実施の形態では人物の顔画像領域を検出し、顔画像と全体画像中における顔領域座標を全体画像に関連付けて保存するようにした。そして画像再生時においてユーザの画像送りボタン２０５の押す間隔が短かければ、即ち予め設定した閾値よりも短ければ、ユーザが急いで画像検索を行っていると判断し、データ量が小さく表示に時間がかからない顔画像を他領域よりも先に表示するようにした。そして顔画像表示後にデータ量が大きく表示に時間がかかる全体画像を上書きするようにした。これにより、画像閲覧、検索環境の向上を図ることができる。
【００７０】
詳しく説明すると、画像を閲覧するユーザが撮影者本人であるときは、多くの場合、顔画像のみが表示されれば撮影時の記憶からおおよそ画像全体の予測がつくと考えられる。そこで、本実施の形態に係るデジタルカメラは、データ量が小さく表示に時間がかからない顔画像を他領域よりも先に表示するようにしている。ここで顔画像だけでユーザが画像を把握できれば、ユーザは画像送りボタン２０５を押すことになり、この場合は、またデータ量が小さく表示に時間がかからない顔画像を他領域よりも先に表示するようにする。よって、ユーザは、データ量が大きく、表示に時間のかかる全体画像を表示することなく他画像の検索に移行することができ、大量の画像から所望の画像を検索するための画像検索時間の大幅な削減が実現できる。
なお、本実施形態のように顔画像ではなく、通常の表示画像よりもサイズの小さい低解像度の全体画像を表示することも考えられる。しかしながら、低解像度の画像は画質が劣化しているため、ユーザは一見して何の画像かが把握できない場合も考えられる。それに対して本実施形態では、画像の特徴的な領域と考えられる顔の領域のみを最初に表示することにより、通常の表示画像の画質を保ちつつ、高速にユーザの画像送り操作に追従することが可能となる。
一方で、顔画像だけでユーザが画像を把握できなかった場合でも、その後全体画像が表示されるため、ユーザが画像を確実に把握できる。
また、画像を閲覧するユーザが撮影者本人で無い場合にも、顔画像が表示されれば所望の画像を検索する大きな手がかりとなるため、ユーザは、画像を検索するための画像検索時間の削減ができる。
【００７１】
なお、本実施の形態において説明した画像送りボタン２０５を押す間隔が長いか否かを判断する閾値は、ユーザの任意に設定することができるようにして構わない。
【００７２】
以上の実施の形態で説明した本発明に係る技術は、画像表示技術として有効である。現在、デジタルカメラの撮影可能画素数は、ＣＣＤ１０６の性能向上に伴い、数百から数千万画素の撮影が可能である。画素数が多くなるほど画像の解像感は高まるため、より高画素のＣＣＤ１０６を使用する傾向が進んでいる。しかし、一方でＣＣＤ１０６の画素数に比例して画像データ量が増大するので、処理時間も増大することになる。
【００７３】
また、画像をＴＶモニタ１１６やＬＣＤパネル１１９上で表示するためには、ＪＰＥＧ形式などで圧縮されたデータを解凍した後、ＴＶモニタ１１６やＬＣＤパネル１１９上で表示するのに最適なデータフォーマットに変換する作業が必要である。そのため、ＣＰＵ１１３に大きな負荷がかかる。特にデジタルカメラなどの小型携帯機器においては、高性能のＣＰＵを搭載するための基板面積の確保が難しく、また大幅なコストアップとなる現実的ではない。
【００７４】
このように限られた製品スペックの製品、即ち、大容量のＪＰＥＧ画像をストレス無く閲覧する性能を有するのが難しい製品において、本発明に係る画像表示技術、特に図５のフローチャートにて説明した表示制御シーケンスは有効である。
【００７５】
（第２の実施の形態）
次に本発明の第２の実施の形態に係る撮像装置（画像処理装置を含む）としてのデジタルカメラについて説明する。本実施の形態は、先述の第１の実施の形態の構成に、顔領域フォーカス評価値を利用する構成を加えたものである。以下、相違する点に絞って説明を行う。
【００７６】
図９は、本発明の第２の実施の形態に係る撮像装置としてのデジタルカメラの撮影シーケンスを示すフローチャートである。
【００７７】
図９において、ステップＳ９０１〜ステップＳ９０４は、図３に示した第１の実施の形態の撮影シーケンスにおけるステップＳ３０１〜ステップＳ３０４に相当するため、説明を省略し、ステップＳ９０５以降の処理を以下で説明する。
【００７８】
ステップＳ９０４の撮影処理を終了後ステップＳ９０５において、デジタルカメラは、全体画像を保存するとともに、ステップＳ９０６〜Ｓ９０８に移行する。ステップＳ９０６においては、顔領域座標から顔画像を抽出し、ステップＳ９０７においては、ステップＳ９０２にて検出された顔領域のフォーカス評価値平均値を取得する。
【００７９】
ここで、フォーカス評価値平均値について説明する。図１０は、ステップＳ９０２において、顔検出の対象となった撮影画像の一例を示す図である。図１０に示すように撮影画像中に複数の人物、例えば人物１００１、人物１００２が存在する場合には、顔検出において、人物１００１、人物１００２それぞれの顔を検出することになり、本実施の形態では、それぞれの顔に対してフォーカス評価値平均値を取得する。なお、フォーカス評価値平均値はステップＳ９０２において取得されるものとする。
【００８０】
図１１は、フォーカス評価値平均値の取得手法の一例を説明するための図であり、コントラスト方式によるフォーカス評価値抽出手法を示している。
【００８１】
この方法においては、図１１に示すように顔画像１００３のコントラスト値を水平スキャンライン１１０１に沿って抽出する。これにより、顔画像１００３の画像水平方向の一部のコントラスト値が得られ、これがフォーカス評価値１１０２となる。ここでコントラスト値とは明るい部分と暗い部分との明度の差を示した値である。そして上記フォーカス評価値抽出動作を顔画像１００３の領域全体に対して行い、領域全体のフォーカス評価値１１０２を得て、顔画像１００３の顔画像領域が有するフォーカス評価値の平均値（フォーカス評価値平均値）を算出する。また、図１０に示した顔画像１００４に対しても同様に、顔画像領域が有するフォーカス評価値平均値の算出をする。本実施の形態においては、このように算出したフォーカス評価値平均値を利用する。
【００８２】
次にステップＳ９０８において、デジタルカメラは、図１０に示した顔画像１００３、及び顔画像１００４の２つの顔画像の保存を行う。
【００８３】
次にステップＳ９０９において、デジタルカメラは、ステップＳ９０５で保存した全体画像とステップＳ９０８で保存した２つの顔画像をＪＰＥＧなどの画像圧縮形式で保存する。
【００８４】
次にステップＳ９１０において、デジタルカメラは、全体画像と、２つの顔画像、それぞれの顔領域座標、それぞれのフォーカス評価値平均値とを関連付けて保存する。
【００８５】
次にステップＳ９１１において、デジタルカメラは、静止画撮影モードが継続していればステップＳ９０２に移行し、静止画撮影モードが終了していれば本撮影シーケンスを終了する。
【００８６】
次に、本実施の形態に係るデジタルカメラが表示制御を行い、画像を再生する処理について説明する。図１２は、本実施の形態に係るデジタルカメラの表示制御シーケンスを示すフローチャートである。
【００８７】
図１２において、ステップＳ１２０１〜Ｓ１２０８は、図５に示した第１の実施の形態の再生シーケンスにおけるステップＳ５０１〜Ｓ５０８に相当するため、説明を省略し、ステップＳ１２０９以降の処理を以下で説明する。
【００８８】
ステップＳ１２０９において、デジタルカメラは、画像送りボタン２０５が押される間隔が閾値よりも長いか否かを判断する。長い場合はステップＳ１２１０に移行し、通常の画像再生を行う。また、画像送りボタン２０５が押される間隔が閾値よりも短い場合には、ステップＳ１２１１に移行して、被写体顔検出処理（詳しくは、図４のステップＳ４０５）にて保存した顔領域座標の読み出しを行う。ここで、撮影画像中に複数の人物の顔が存在する場合には、人数分の顔領域座標の読み出しを行う。本実施の形態においては図１０に示したように、人物１００１と人物１００２の二人が存在する場合について説明を行う。
【００８９】
次にステップＳ１２１２において、デジタルカメラは、人物１００１と人物１００２という二人分の顔画像を一画面中に表示する処理を行う。この際本実施形態では、顔画像のフォーカス評価値平均値が高い順に顔画像の表示を行う。つまり、図９に示したステップＳ９０７にて取得した人物１００１と人物１００２の二人の顔領域フォーカス評価値平均値を読み出し、平均値が高いほうの画像から順番に表示する。
【００９０】
例えば、人物１００２の顔領域フォーカス評価値平均値が人物１００１のものよりも高い場合には、人物１００２の顔画像を最初に表示し、次に人物１００１の顔画像を表示する。
【００９１】
次にステップＳ１２１３において、デジタルカメラは、ステップＳ１２１２において表示した画像に全体画像を上書きする。
【００９２】
次にステップＳ１２１４において、デジタルカメラは、モードスイッチ２０３の設定状態を確認し、デジタルカメラが再生モードであるかどうかの確認を行い、再生モードが継続している場合にはステップＳ１２０６に移行する。一方、モードスイッチ２０３の設定が変更されたり、デジタルカメラの電源スイッチ２０１などが押されて画像再生モードが終了したりしている場合には、本シーケンスを終了する。
【００９３】
以上、本実施の形態に係るデジタルカメラにおいては、撮影画像中の特徴領域、即ち複数の人物の顔画像領域を検出し、顔画像と、全体画像中における顔領域座標と、顔領域フォーカス評価値とを全体画像に関連付けて保存するようにした。そして、画像再生時にユーザが画像送りボタン２０５を押す間隔が短ければ、即ち予め設定した閾値よりも時間が短ければ、ユーザが急いで画像検索を行っていると判断し、顔画像を表示する。この際、複数の人物の顔画像の中からフォーカス評価値平均値が高い顔画像から先に表示するように、フォーカス評価値平均値に応じて表示順序を変更するようにした。これにより、画像閲覧、検索環境の向上を図ることができる。
【００９４】
詳しく説明すると、撮影者は通常、撮影したいと意図した対象物に対してフォーカスを合わせようとするため、前記フォーカス評価値が高い被写体ほどユーザが閲覧したいと意図する被写体である可能性が高いと考えられる。そこで、本実施の形態では、人物の顔へのフォーカス評価値平均値を利用して、ユーザが優先的に閲覧したいと考えられる画像から先に表示するようにした。これにより、ユーザが大量の画像から所望の画像を検索するための画像検索時間の大幅な削減が実現できる。
【００９５】
（第３の実施形態）
次に本発明の第３の実施の形態に係る撮像装置としてのデジタルカメラについて説明する。本実施の形態は、先述の第１の実施形態の構成に、顔領域の面積情報を利用する構成を加えたものである。以下、相違する点に絞って説明を行う。なお、本実施の形態の撮影シーケンスは、図３に示した第１の実施の形態の撮影シーケンスと同様であるため、説明を省略する。
【００９６】
図１３は、本発明の第３の実施の形態に係る撮像装置としてのデジタルカメラの表示制御シーケンスを示すフローチャートである。図１３において、ステップＳ１３０１〜Ｓ１３０８は、図５に示した第１の実施の形態におけるステップＳ５０１〜Ｓ５０８に相当するため、説明を省略し、ステップＳ１３０９以降の説明を以下で説明する。
【００９７】
ステップＳ１３０９において、デジタルカメラは、画像送りボタン２０５が押される間隔が閾値よりも長いか否かを判断する。長い場合にはステップＳ１３１０に移行し、通常の画像再生を行う。また、画像送りボタン２０５が押される間隔が閾値よりも短い場合にはステップＳ１３１１に移行して、被写体顔検出処理（詳しくは、図４のステップＳ４０５）にて保存した顔領域座標の読み出しを行う。
【００９８】
次にステップＳ１３１２において、デジタルカメラは、顔画像の面積計算を行う。顔画像の面積は、顔領域座標より撮影画像における画素数を計算することで容易に算出できる。そして、ステップ１３１３において、デジタルカメラは、顔画像領域の面積が大きい順に顔画像の表示を行う。なお、以降で行われるステップＳ１３１３及びＳ１３１４の処理は、図５で示したステップＳ５１３及びＳ５１４と同様であるため説明は省略する。
【００９９】
図１４に本実施の形態を説明するための撮影画像の一例を示す。図１４のように２人の人物を撮影した場合において顔画像の輪郭を抽出した場合、顔画像１４０３及び１４０４が抽出されることになる。この場合、輪郭の座標（顔領域座標）は、被写体顔検出処理（詳しくは、図４のステップＳ４０５）にて算出されているので、撮影画像中の輪郭内に存在する画像の画素数を単純に足し合わせることで、それぞれの顔画像の面積が算出できる。
【０１００】
図１４の例においては、顔画像１４０３よりも、顔画像１４０４のほうが面積が大きいので、顔画像１４０４を再生してから顔画像１４０３を再生するようにする。図１５は、前記２つの顔画像を表示した結果を示している。そして、前記２つの顔画像を再生後、ステップＳ１３１４において、全体画像を上書きする。
【０１０１】
以上、本実施の形態に係るデジタルカメラにおいては、人物の顔画像の面積を利用して、面積が大きい顔画像を先に表示するようにした。これにより、画像閲覧、検索環境の向上を図ることができる。
【０１０２】
詳しく説明すると、撮影者は通常、撮影したいと意図した対象物をより大きく撮影しようとするため、面積の大きな画像、本実施の形態においては面積の大きな顔ほどユーザが閲覧したいと意図する被写体である可能性が高いと考えられる。そこで、本実施の形態では、人物の顔画像の面積を利用して、ユーザが優先的に閲覧したいと考えられる画像から先に表示を行うように、人物の顔画像の面積に応じて表示順序を変更するようにした。これにより、ユーザが大量の画像情報から所望の画像を検索するための画像検索時間の大幅な削減が実現できる。
【０１０３】
（第４の実施形態）
次に本発明の第４の実施の形態に係る撮像装置としてのデジタルカメラについて説明する。本実施の形態は、先述の第１の実施の形態の構成に、顔領域の輪郭情報を利用する構成を加えたものである。以下、相違する点に絞って説明を行う。なお、本実施の形態の撮影シーケンスは、図３に示した第１の実施の形態の撮影シーケンスと同様であるため、説明を省略する。
【０１０４】
図１６は、本発明の第４の実施の形態に係る撮像装置としてのデジタルカメラの表示制御シーケンスを示すフローチャートである。図１６において、ステップＳ１６０１〜Ｓ１６０８は、図５に示した第１の実施の形態の再生シーケンスにおけるステップ５０１〜Ｓ５０８に相当するため、説明を省略し、ステップＳ１６０９以降の処理を説明する。
【０１０５】
ステップＳ１６０９において、デジタルカメラは、画像送りボタン２０５が押される間隔が閾値よりも長いか否かを判断する。長い場合にはステップＳ１６１０に移行し、通常の画像再生を行う。また、画像送りボタン２０５が押される間隔が閾値よりも短い場合にはステップＳ１６１１に移行して、被写体顔検出処理（詳しくは、図４のステップＳ４０５）にて保存した顔領域座標の読み出しを行う。
【０１０６】
次にステップＳ１６１２において、デジタルカメラは、図３に示すステップＳ３０７にて保存した顔画像から顔の輪郭情報のみを抜き出して輪郭のみを描画する。顔の輪郭は、顔検出領域の最外郭部分を任意の線で結んで表示を行う。
【０１０７】
例えば、図１０に示した２人の人物写真を撮影した場合、輪郭描画結果は図１７の輪郭１７０１及び１７０２のようになる。
【０１０８】
次にステップＳ１６１３において、デジタルカメラは、図３に示すステップＳ３０７で保存した顔画像を上書きする。
【０１０９】
次にステップＳ１６１４において、デジタルカメラは、前記２つの顔画像を再生後、全体画像を上書きする。
【０１１０】
次にＳ１６１５において、デジタルカメラは、モードスイッチ２０３の設定状態を確認し、デジタルカメラが再生モードであるかどうかの確認を行い、再生モードが継続している場合にはステップＳ１６０６に移行する。また、一方、モードスイッチ２０３の設定が変更されたり、デジタルカメラの電源スイッチ２０１などが押されて画像再生モードが終了したりする場合には、本シーケンスを終了する。
【０１１１】
以上、本実施の形態に係るデジタルカメラにおいては、撮影画像中の特徴領域、即ち本実施の形態では人物の顔画像領域を検出し、顔画像と全体画像中における顔領域座標とを全体画像に関連付けて保存するようにした。そして、画像再生時にユーザが画像送りボタン２０５を押す間隔が短かければ、即ち予め設定した閾値よりも時間が短ければ、ユーザが急いで画像検索を行っていると判断し、最初に顔の輪郭データを表示するようにした。そして次に顔画像データを先に表示し、顔画像表示後に全体画像を上書きするようにした。これにより、画像閲覧、検索環境の向上を図ることができる。
【０１１２】
つまり、顔の輪郭データは全体画像データと比較してデータ量が大幅に小さいため、全体画像データを表示するのと比較して大幅に短時間で表示が完了する。顔の輪郭画像の表示時点でユーザが表示画像の内容を把握できればユーザは画像送りボタン２０５を押して他画像の検索に移行することができる。そして、顔の輪郭画像のみではユーザが全体画像の内容を把握できなければ、次にユーザは顔の輪郭画像に上書きされる顔画像を見て全体画像の内容を予測する。顔画像の表示時点でユーザが表示画像の内容を把握できればユーザは画像送りボタン２０５を押して他画像の検索に移行することができる。
【０１１３】
このようにして全体画像表示前にユーザが全体画像の内容を予測し、所望の画像で無い場合には画像送りボタン２０５で他画像の検索に移行することで、ユーザが大量の画像情報から所望の画像を検索するための画像検索時間の大幅な削減が実現できる。
【０１１４】
（第５の実施の形態）
次に本発明の第５の実施の形態に係る画像処理装置としてパーソナルコンピュータ（以下、ＰＣ）について説明する。本実施の形態は、先述の本発明の第１の実施の形態において示した再生シーケンスを画像処理装置としてのＰＣに適用したものである。
【０１１５】
図１８は、本発明の第５の実施の形態に係る画像処理装置としてのＰＣの電気的構成の一部を示したブロック図である。
【０１１６】
図１８において、ハードディスク１８０１はパーソナルコンピュータを制御するためのプログラムなどを格納しており、ＣＰＵ１８０６はハードディスク１８０１に格納されたプログラムを実行することで各種制御を実行する。例えばＣＰＵ１８０６は画像ファイルなどが記録された持ち運び可能な不揮発性メモリ１８０３がカードコネクタ１８０４に装着された場合に、バス信号ライン１８０５を通して画像データを取り込み、ディスプレイ１８０７に表示したりする。また、キーボード１８０８はユーザが操作指示を行う場合などに用いられ、ＣＰＵ１８０６に操作に応じた指令を送信する。なお、ＳＤＡＲＭ１８０２は例えばＣＰＵ１８０６がディスプレイ１８０７に画像データを表示する際に、画像データを一時的に記憶しておく場合などに用いられる。
【０１１７】
図１９は、本発明の第５の実施形態に係る画像処理装置としてのパーソナルコンピュータの表示制御シーケンスを示すフローチャートである。
【０１１８】
まずステップＳ１９０１において、ＰＣは、全体画像、顔画像及び顔領域座標が関連付けられて保存された画像ファイルの読み出しを行う。この画像ファイルは、全体画像、顔画像及び顔領域座標を関連付けする機能を有した機器で作成され、図１８に示した持ち運び可能な不揮発性メモリ１８０３に記録された画像ファイルなどである。本実施の形態においては、本発明の第１の実施の形態における、図３に示したステップＳ３０９にて保存されたファイルを使用する。つまり、ＰＣは、ステップＳ３０９にて保存されたファイルを記録した不揮発性メモリ１８０３がカードコネクタ１８０４に挿入された場合に、ＣＰＵ１８０６により不揮発性メモリ１８０３から画像データを読み出す。
【０１１９】
次にステップＳ１９０２において、ＰＣは、ステップＳ１９０１で読み出したファイルを再生する。バス信号ライン１８０５を通してＣＰＵ１８０６に取り込まれた画像データはディスプレイ１８０７で表示するための画像フォーマットに変換されて、ディスプレイ１８０７上に表示される。
【０１２０】
次にステップＳ１９０３において、ＰＣは、ユーザが画像送りボタンを押したか否か（即ち、表示の指示がされたか否か）を判断し、押された場合には画像送りボタンからＣＰＵ１８０６に向けて電気信号を送信する。本実施の形態においては、画像送りボタンはキーボード１８０８のキーのどれか一つに割り当てられている。
【０１２１】
次にステップＳ１９０４において、ＰＣは、直ちにＣＰＵ１８０６内部の図示しないタイマーをスタートさせ、時間計測を開始する。
【０１２２】
次にステップＳ１９０５において、ＰＣは、第一番目に再生した画像の次に通し番号が小さい画像を再生する。
【０１２３】
次にステップＳ１９０６において、ＰＣは、ユーザが画像送りボタンを押したかどうか（即ち、表示の指示がされたか否か）の確認を行う。即ち画像送りボタンとして割り当てられたキーを押すと、電気信号がキーボード１８０８からＣＰＵ１８０６に送信されて、ステップＳ１９０７に移行する。なお、以降のステップＳ１９０７〜ステップＳ１９１３は、図５に示したステップＳ５０７〜Ｓ５１３に相当するため、説明を省略する。
【０１２４】
そしてステップＳ１９１０及びＳ１９１３が完了すると、ＰＣは、ステップＳ１９０６に移行する。
【０１２５】
以上のように本実施の形態に係るパーソナルコンピュータにおいては、外部の装置で作成された、全体画像、顔画像及び顔領域座標が関連付けられて保存された画像ファイルの読み出しを行うようにした。そして、画像再生時にユーザが画像送りボタンを押す間隔が短かければ、即ち予め設定した閾値よりも時間が短ければ、ユーザが急いで画像検索を行っていると判断し、データ量が小さく表示に時間がかからない顔画像を先に表示するようにした。そして、顔画像表示後にデータ量が大きく表示に時間がかかる全体画像を上書きするようにした。これにより、画像閲覧、検索環境の向上を図ることができる。
【０１２６】
つまり、ユーザが顔画像の表示のみで全体画像の把握ができれば、ユーザはキーボード１８０８のうちの一つに割り当てられた画像送りボタンを押すことで、データ量が大きく、表示に時間のかかる全体画像を表示することなく他画像の検索に移行できる。したがって、ユーザが大量の画像情報から所望の画像を検索するための画像検索時間の大幅な削減が実現できる。
【０１２７】
（他の実施形態）
以上、本発明の実施の形態について具体的な説明を行ったが、本発明は上述の実施の形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。
【０１２８】
例えば、上述の実施の形態において用いた数値はあくまで一例であり、必要に応じてこれと異なる数値を用いることができる。
【０１２９】
また、例えば上述の第１乃至第４の実施の形態においては、撮影時の特徴領域検出部分として人物の顔を抽出したが、本発明の主旨からすれば、人物の顔に限定することなく他の方法であっても良い。例えば撮影画像中の特徴的な色（例えば赤色）を抽出したり、または被写体中の明るい部分（有する輝度成分が高い部分）を特徴領域検出部分として抽出したりしても良い。
【０１３０】
また、例えば上述の第１乃至第４の実施の形態においては、画像保存時に画像圧縮処理を利用しているが、本発明の主旨からすれば、必ずしも画像圧縮処理を利用する必要は無く、他の方法であっても良い。例えば、非圧縮画像、例えばＲＡＷデータのまま本発明を実施しても良い。
【０１３１】
また、例えば上述の第１乃至第５の実施の形態においては、特徴領域表示後に全体画像の上書きを行っているが、本発明の主旨からすれば、上書きに限定することなく他の方法であっても良い。例えば、特徴領域を除いた他領域の画像を予め作成しておき、特徴領域表示後に、特徴領域を除いた領域に他領域を表示する処理を行っても良く、また、特徴領域のみを表示させ、特徴領域以外の画像は表示させないシーケンスとしても良い。
【０１３２】
また、例えば上述の第１乃至第５の実施の形態においては、所望の画像表示完了後にユーザが画像送りボタンを押したか検出するシーケンスとなっているが、本発明の主旨からすれば、前記シーケンスに限定することなく他の方法であっても良い。例えば、顔の輪郭画像や顔画像もしくは全体画像表示中などにユーザが画像送りボタン２０５もしくは画像戻しボタン２０４を押した場合には、画像表示動作を即時に中止し、別画像の再生動作に移行しても良い。あるいは、画像表示完了の一定時間後に他画像表示処理に移行しても良い。
さらに、上記の実施形態では、画像送りボタン２０５もしくは画像戻しボタン２０４が押された間隔に応じて顔画像を表示するか全体画像を表示するかを決定したが、他の決定基準を用いることが可能である。例えば、画像送りボタン２０５もしくは画像戻しボタン２０４が押された場合は、デジタルカメラはまず顔画像を表示する。そしてその後一定時間画像送りボタン２０５もしくは画像戻しボタン２０４などの操作部材が操作されなかったと判断した場合に、デジタルカメラは全体画像を表示するようにしてもよい。
また、画像送りボタン２０５もしくは画像戻しボタン２０４が押し続けられることにより、デジタルカメラは画像を高速に切り替えて画像送りするようにしてもよい。この場合は、例えば図５のステップＳ５０６の次に画像送りボタン２０５もしくは画像戻しボタン２０４が一定時間以上押し続けられているか否かを判断する。そして押し続けられていると判断した場合には、顔画像を順次切り替えて表示する。さらに、押し続けられていた画像送りボタン２０５もしくは画像戻しボタン２０４が離されたと判断した場合に、表示中の顔画像に対応する全体画像を読み出して表示する。押し続けられていないと判断した場合には、図５のステップＳ５０７のように、押された間隔に応じた表示を行う。
【０１３３】
また、上述の第１乃至第４の実施の形態を組み合わせて実施しても構わない。例えば、第２の実施の形態の再生シーケンスにおいて、第４の実施の形態のステップＳ１６１２に係る輪郭を描画する処理を組み合わせて実施してもよい。或いは、第３の実施の形態の再生シーケンスにおいて、第４の実施の形態のステップＳ１６１２に係る輪郭を描画する処理を組み合わせて実施してもよい。
【０１３４】
なお、上述の第１乃至第５の実施の形態では、本発明を撮像装置及び画像処理装置としてデジタルカメラ及びパーソナルコンピュータに適用した実施の形態を挙げたが、本発明の技術的思想はデジタルカメラ及びパーソナルコンピュータに限定されるものではない。
例えば、携帯電話やＰＤＡ（Personal Digital Assistant）などのように、画像表示機能を有した機器に本発明の適用が可能である。
また、画像表示機能を有したパーソナルコンピュータのソフトウェアの形態においても本発明の適用が可能である。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルカメラの外観を示す図である。
【図３】本発明の第１の実施の形態に係るデジタルカメラの撮影シーケンスを示したフローチャートである。
【図４】本発明の第１の実施の形態に係るデジタルカメラの被写体の顔を検出するシーケンスを示したフローチャートである。
【図５】本発明の第１の実施の形態に係るデジタルカメラの表示制御シーケンスを示したフローチャートである。
【図６】本発明の第１の実施の形態に係るデジタルカメラにおいて表示する撮影画像の一例を示す図である。
【図７】本発明の第１の実施の形態に係るデジタルカメラにおいて検出した顔画像を示す図である。
【図８】本発明の第１の実施の形態に係るデジタルカメラにおいて表示する顔検出領域表示画像を示す図である。
【図９】本発明の第２の実施の形態に係るデジタルカメラの撮影シーケンスを示したフローチャートである。
【図１０】本発明の第２の実施の形態に係るデジタルカメラにおいて表示する撮影画像の一例を示す図である。
【図１１】本発明の第２の実施の形態に係るデジタルカメラにおいて用いるフォーカス評価値の取得手法の一例を説明するための図である。
【図１２】本発明の第３の実施の形態に係るデジタルカメラの表示制御シーケンスを示したフローチャートである。
【図１３】本発明の第３の実施の形態に係るデジタルカメラの表示制御シーケンスを示したフローチャートである。
【図１４】本発明の第３の実施の形態に係るデジタルカメラにおいて表示する撮影画像の一例を示す図である。
【図１５】本発明の第３の実施の形態に係るデジタルカメラにおいて表示する顔検出領域表示画像を示す図である。
【図１６】本発明の第４の実施の形態に係るデジタルカメラの表示制御シーケンスを示したフローチャートである。
【図１７】本発明の第４の実施の形態に係るデジタルカメラにおいて表示する顔検出領域表示画像を示す図である。
【図１８】本発明の第５の実施の形態に係るパーソナルコンピュータの電気的構成を示したブロック図である。
【図１９】本発明の第５の実施の形態に係るパーソナルコンピュータの表示制御シーケンスを示したフローチャートである。
【符号の説明】
【０１３６】
１０１  フォーカッシングモータ、１０２  絞りモータ、１０３  モータドライバ、１０４  フォーカッシングレンズ、１０５  絞り、１０６  ＣＣＤ、１０７  ＡＦＥ（Analog Front End）、１０８  ＳＤＲＡＭ、１０９  フラッシュメモリ、１１０  不揮発性メモリ、１１１  カードコネクタ、１１２  バス信号ライン、１１３  ＣＰＵ、１１４  ビデオエンコーダ、１１５  ビデオアンプ、１１６  ＴＶモニタ、１１８  ＬＣＤドライバ、１１９  ＬＣＤパネル、１２０  操作ボタン、２０１  電源スイッチ、２０２  シャッターボタン、２０３  モードスイッチ、２０４  画像戻しボタン、２０５  画像送りボタン、１８０１  ハードディスク、１８０２  ＳＤＲＡＭ、１８０３  不揮発性メモリ、１８０４  カードコネクタ、１８０５  バス信号ライン、１８０６  ＣＰＵ、１８０７  ディスプレイ、１８０８  キーボード。
【図１】
2009118188.tif 000003
【図２】
2009118188.tif 000004
【図３】
2009118188.tif 000005
【図４】
2009118188.tif 000006
【図５】
2009118188.tif 000007
【図６】
2009118188.tif 000008
【図７】
2009118188.tif 000009
【図８】
2009118188.tif 000010
【図９】
2009118188.tif 000011
【図１０】
2009118188.tif 000012
【図１１】
2009118188.tif 000013
【図１２】
2009118188.tif 000014
【図１３】
2009118188.tif 000015
【図１４】
2009118188.tif 000016
【図１５】
2009118188.tif 000017
【図１６】
2009118188.tif 000018
【図１７】
2009118188.tif 000019
【図１８】
2009118188.tif 000020
【図１９】
2009118188.tif 000021