(57)【要約】  【課題】表示画像に関連付けされて併せて表示される画像を、記録媒体などから読みだした画像の中に登場する人物を認証し、その人物の関連画像とすることで、画像鑑賞をより効果的に演出することが可能な画像処理装置を提供すること。  【解決手段】スライドショー画像と同時に複数の関連画像のうちいずれかを表示する表示手段と、記録媒体などから読みだした画像の中に登場する人物を認証する認証手段と、前記認証手段により認証された人物に応じて、前記表示手段で表示する関連画像を決定する制御手段と、を備えたことを特徴とする。【選択図】図２
2014216800.tif 000002
【特許請求の範囲】
【請求項１】
記憶媒体から画像を読みだす読み出し手段と、
本画像と同時に複数の関連画像のうちいずれかを表示する表示手段と、
前記読み出し手段により得られた画像から画像に登場する人物を認証する人物認証手段と、
前記人物認証手段により認証された人物の認証結果に応じて、前記表示手段で表示する関連画像を決定する制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
被写界を撮影する撮影手段と、前記撮像手段により得られた人物の画像を前記人物認証手段に登録し、関連画像として表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、本画像に対する関連画像を本画像に重畳して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記読み出し手段により得られた画像に登場する人物の認証情報の属性と、関連画像の認証情報の属性が一致する場合に、該関連画像を前記表示手段で表示すると決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記制御手段は、前記読み出し手段により得られた画像に登場する人物が複数人認証された場合、認証された複数人とお互い関連のある人物の認証画像を関連画像として認証情報からを表示することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記制御手段は、前記読み出し手段により得られた画像に登場する人物が複数人認証された場合、その認証された複数人の人物のうち主な人物を特定し、主な鑑賞者の関連画像を優先して表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記主な人物とは、前記認証情報の属性情報が家族で登録されていることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記主な人物とは、前記認証情報の属性情報が友達で登録されていることを特徴とする請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に静止画像や動画像を撮像、記録、再生する画像処理装置に関するものである。
【背景技術】
【０００２】
従来の画像処理装置には、スライドショーで表示された表示画像と、前記表示画像が表示されている時に撮影された撮影画像とを関連付けて、スライドショーにおいて、前期表示画像と撮影画像とを一画面中に表示させることで、画像鑑賞の演出効果を高めることができるものがある。また、その演出効果を事前に確認するための確認モードを持つものも提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１８９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に開示された従来技術を利用した演出効果を事前に確認するためのモード(以下確認モード)では、表示画像に関連付けされて表示領域に併せて表示される画像(以下鑑賞者画像)が、画像処理装置の前に操作者以外の人物がいない為表示することができない。また操作者以外の人物がいない為、前述の表示画像に関連付けされて合わせて表示される画像の代わりに文字だけのガイドが出ても、実際の本再生の時にどの人物が鑑賞者画像に表示されるのか見当がつかない。そこで、本発明の目的は確認モードにおいて、表示画像に関連付けされて併せて表示される鑑賞者画像を、表示画像に関連する人物を記憶媒体から探し鑑賞者画像として表示することで、実際のスライドショー再生の際にどの人物が登場するのかを見当をつける事ができ、スライドショー再生をより効果的にすることを可能にした画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、記憶媒体から画像を読みだす読み出し手段と、
本画像と同時に複数の関連画像のうちいずれかを表示する表示手段と、
前記読み出し手段により得られた画像から画像に登場する人物を認証する人物認証手段と、
前記人物認証手段により認証された人物の認証結果に応じて、前記表示手段で表示する関連画像を決定する制御手段と、
を備えたことを特徴としている。
【発明の効果】
【０００６】
本発明によれば、表示画像に関連付けされて併せて表示される画像を、スライドショーに登場する人物に関連する人物とし、その関連人物の画像を記憶媒体から探し鑑賞者画像として表示することで、実際のスライドショー再生の際にどの人物が登場するのかを見当をつける事ができ、スライドショー再生をより演出性の高い効果的な物にすることを可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明を実施するための形態の構成ブロック図
【図２】実施例におけるスライドショー表示画像にスライドショーに登場する人物に関連する画像を重畳して表示する処理のフローチャート
【図３】実施例におけるスライドショー表示画像の例を示す図
【図４】実施例におけるスライドショー表示画像に関連画像を重畳表示するエリアを示す図
【図５】実施例におけるスライドショーの現在のスライドショーに登場する人物の画像が重畳表示された状態を示す図
【図６】実施例における顔評価値の構成
【図７】実施例における指定人物の関連画像をリスト化して表示する処理のフローチャート
【図８】実施例における不揮発性メモリ５６内に記録されている認証登録データベースの構成
【図９】実施例におけるスライドショー表示画像とその関連画像との関係を示す図
【発明を実施するための形態】
【０００８】
図１は、本実施形態による画像処理装置１００の構成例を示すブロック図である。
【０００９】
図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、画像処理装置１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１０】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１１】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１２】
また、メモリ３２は画像表示用のメモリを兼ねている。表示部２８は LCD等から成る画像表示部であり、メモリ３２に書き込まれた画像表示用のデータはメモリ制御部１５を介して表示部２８により表示される。システム制御部５０は、プログラムに従い表示制御信号を生成し、表示部２８に表示するための映像信号を生成して表示部２８に出力するように画像処理装置１００の各部を制御する。表示部２８は出力された映像信号に基づいて映像を表示する。なお、画像処理装置１００自体が備える構成としては表示部２８に表示させるための映像信号を出力するためのインターフェースまでとし、表示部２８は外付けのモニタ（テレビなど）で構成してもよい。表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。
【００１３】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００１４】
システム制御部５０は、画像処理装置１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、表示部２８等を制御することにより表示制御も行う。
【００１５】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００１６】
操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。
【００１７】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００１８】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００１９】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２０】
上述した画像処理装置１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。
【００２１】
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００２２】
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。
【００２３】
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
【００２４】
なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。
【００２５】
［実施例］
以下、図２〜１３を参照して、確認モードにおけるスライドショー表示画像にスライドショー表示画像の登場人物に関連する画像を鑑賞者画像として表示する例について説明する。
【００２６】
図２は、実施例において、確認モードにおけるスライドショー表示画像にスライドショーに登場する人物に関連する画像を重畳して表示する処理のフローチャートである。この各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。
【００２７】
Ｓ２０１では、システム制御部５０は、操作部７０を利用してユーザーが画像処理装置をスライドショーの確認モードを選択する事で処理が始まる。
【００２８】
Ｓ２０２において、ユーザーは確認モードで確認すべきスライドショーが、本再生の場合だれと鑑賞するのかを選択する。たとえば、スライドショーに登場する人物の祖父や祖母と一緒に鑑賞する場合は『家族』、また友達と鑑賞する場合は『お友達』を選択する。システム制御部５０はこの情報をメモリ装置３２に記憶する。
【００２９】
Ｓ２０３では、ユーザーの指示に従って、確認モードのスライドショーを開始する。Ｓ２０４では、システム制御部５０は、再生すべきスライドショー画像からスライドショーに登場する人物を抽出しその人物の顔画像を取得する。Ｓ２０５では、システム制御部５０は、Ｓ２０４により検出された顔について、顔評価値を算出する。図６は、実施例における顔評価値の構成である。顔評価値の要素は、顔の位置と、顔の大きさの２つである。この２つの要素の値の合計値が顔評価値となる。顔の位置の値は、撮影領域の中心３０％の領域より内側に顔が存在する場合は、５である。撮影領域の中心３０〜５９％の領域に顔が存在する場合は、３である。撮影領域の中心５９％の領域より外側に顔が存在する場合は、１である。顔の大きさの値は、顔のサイズが２００×２００pixel以上の場合は、５である。顔のサイズが５０×５０pixel〜１９９×１９９pixelの場合は、３である。顔のサイズが４９×４９pixel以下の場合は、１である。
【００３０】
Ｓ２０６では、Ｓ２０５で抽出した顔情報を顔認証モジュールに送り、一致する登録人物を検出する。 Ｓ２０７では、Ｓ２０６で認証された人物を、画像処理装置に登録された認証登録DBの属性に記録されている情報をもとに、Ｓ２０３で入力されたユーザーがスライドショーを見せたい相手と一致するように、登録情報をリスト化する。
【００３１】
Ｓ２０８では、Ｓ２０７でリスト化された人物を、一般的には認証登録DBのに登録された人物画像から選び出し、確認モードにおけるスライドショー表示画像の鑑賞者画像として重畳表示する。
【００３２】
Ｓ２０９では、他にまだ重畳エリアがあれば、Ｓ２０７でリスト化された情報を用いて、Ｓ２０８のモジュールを利用して順次表示する。これを重畳エリアがなくなるまで処理を続け、重畳エリアがなくなった場合、本処理を終了する。
【００３３】
図７は、実施例において、指定人物の関連画像を認証登録D.B.利用して、確認モードにおけるスライドショーに重畳して表示する画像の候補をリスト化する処理のフローチャートである。この各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。
【００３４】
Ｓ３０１では、システム制御部５０は、指定人物の特徴データを生成し、認証データベース内の人物の特徴データと一致するか否かを判定する。指定人物と認証登録データベース内の人物が一致する場合はＳ３０２へ進み、指定人物と認証登録データベース内の人物が一致しない場合は本処理を終了する。図８は、実施例における、不揮発性メモリ５６内に記録されている認証登録データベースの構成である。Iは登録人物の個人情報で操作部７０によるユーザー入力操作によって記録される。IIは“家族”、“友人”など登録人物の属性情報で操作部７０によるユーザー入力操作によって記録される。ただし入力操作がされなかった場合は“Ｎｏｎｅ”となる。IIIは登録人物の特徴データである。IVは、登録人物のサムネイル画像である。
【００３５】
Ｓ３０２では、システム制御部５０は、Ｓ３０１により認証登録データベース内で一致、つまり認証された人物の属性情報が“Ｎｏｎｅ”であるか否かを判定する。属性情報が“Ｎｏｎｅ”でない場合はＳ３０３へ進み、属性情報が“Ｎｏｎｅ”である場合は本処理を終了する。
【００３６】
Ｓ３０３では、システム制御部５０は、スライドショー表示画像に登場する人物とその関連画像および属性情報と、Ｓ２０３で入力されたスライドショーを見せたい相手に対する入力を読みだす。Ｓ３０４ではＳ３０３で読みだされたスライドショーを見せたい相手に対する入力から街頭する属性を検索し、スライドショーに登場する人物の関連人物が認証登録D.B.にから検索可能かを判断する。検索できない場合は本処理を終了する。図９はスライドショー表示画像とその関連画像との関係を示す図である。
【００３７】
Ｓ３０５では、Ｓ３０４で検索された関連する人物の情報をリスト化する。リストする場合は、例えばスライドショーを見せたい相手に対する入力が友人の場合、過去に何度もリストアップされた人物をリストの上位にしたり、スライドショーを見せたい相手に対する入力が親族の場合、親等数の上位な人物をリストの上位にすると尚好ましい。
【００３８】
Ｓ３０６では、システム制御部５０は、既にＳ３０５による判定を行ったスライドショー表示画像の関連画像を除き、まだ判定を行っていない関連画像があるか否かを判定する。判定を行っていない関連画像がある場合はＳ３０７４へ進み、判定を行っていない関連画像がない場合は本処理を終了する。
【００３９】
以上のように、本実施例によれば、スライドショー表示画像に重畳して表示する関連を、スライドショーに登場する人物に関連する人物とし、その関連人物の画像を記憶媒体から探し鑑賞者画像として表示することができ、実際のスライドショー再生の際にどの人物が登場するのかを見当をつける事ができ、スライドショー再生をより演出性の高い効果的なものにすることができる。
【００４０】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４１】
１０３   撮影レンズ
１０１   シャッター
２２   撮像部
２３   Ａ／Ｄ変換器
１０２   バリア
１００   画像処理装置
【図１】
2014216800.tif 000003
【図２】
2014216800.tif 000004
【図３】
2014216800.tif 000005
【図４】
2014216800.tif 000006
【図５】
2014216800.tif 000007
【図６】
2014216800.tif 000008
【図７】
2014216800.tif 000009
【図８】
2014216800.tif 000010
【図９】
2014216800.tif 000011