(57)【要約】【課題】メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択可能とした画像処理装置、撮像装置、制御方法、及びプログラムを提供する。【解決手段】撮像装置は、顔検出部125、表情別評価値算出部126、システム制御部150を備える。顔検出部125は、記録媒体104に記録されたサブ映像から人物の顔を検出する。表情別評価値算出部126は、検出された人物の顔の領域を基に、人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する。システム制御部150は、表情別評価値算出部126の算出結果を基にサブ映像の表情を判別し、記録媒体104に記録された複数のサブ映像から予め定めた数のサブ映像を選択し、記録媒体104に記録されたメイン映像と選択したサブ映像を表示部128に表示する。【選択図】図２
2015159405.tif 000002
【特許請求の範囲】
【請求項１】
メイン映像と該メイン映像に対応付けられた複数のサブ映像を記録する記録手段と、
前記記録手段に記録されたサブ映像から人物の顔を検出する検出手段と、
前記検出手段により検出された人物の顔の領域を基に、該人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する表情別評価値算出手段と、
前記表情別評価値算出手段により算出された評価値を基に、前記記録手段に記録された前記複数のサブ映像からサブ映像を選択する選択手段と、
前記記録手段に記録された前記メイン映像と共に前記選択手段により選択されたサブ映像を表示する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段は、予め決められた数のサブ映像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表情別評価値算出手段により算出された結果を基に、前記サブ映像の表情を判別する判別手段を更に備え、
前記選択手段は、前記表情別評価値算出手段により算出された評価値と、前記判別手段により判別された表情とを基に、前記記録手段に記録された前記複数のサブ映像からサブ映像を選択することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記選択手段は、前記記録手段に記録された前記複数のサブ映像から、判別された表情の表情別の評価値が高いサブ映像を優先的に選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、前記判別手段により判別された表情が同じであって、当該表情の評価値が高いものを優先的に選択することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記判別手段により特定の表情であると判別されたサブ映像の全てのサブ映像に占める割合を示す表情別割合を算出する表情別割合算出手段を更に備え、
前記選択手段は、前記表情別割合算出手段により算出された結果を基に、前記記録手段に記録された前記複数のサブ映像から、判別された表情の表情別割合が高いサブ映像を優先的に選択することを特徴とする請求項１または３に記載の画像処理装置。
【請求項７】
前記選択手段は、前記表情別割合算出手段により算出された結果を基に、前記記録手段に記録された前記複数のサブ映像から表情別の評価値が高いサブ映像を優先的に選択するか、表情別割合が高いサブ映像を優先的に選択するか、を切り替えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記記録手段に記録されたサブ映像から少なくとも１つ以上のフレームを選択するフレーム選択手段を更に備える、
前記検出手段は、前記フレーム選択手段により選択されたフレームから人物の顔を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記フレーム選択手段は、前記記録手段に記録されたサブ映像から予め定めた時間毎に複数のフレームを選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記フレーム選択手段は、前記記録手段に記録された前記メイン映像の１フレームに対応する時刻における複数のサブ映像のそれぞれについて１フレームを選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記メイン映像は被写体を撮影して得た映像であり、前記サブ映像は前記メイン映像を表示した際の該メイン映像の閲覧者を撮影して得た映像であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
請求項１乃至９のいずれか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項１３】
画像処理装置の制御方法であって、
メイン映像と該メイン映像に対応付けられた複数のサブ映像を記録する記録手段に記録されたサブ映像から人物の顔を検出する検出工程と、
前記検出工程により検出された人物の顔の領域を基に、該人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する表情別評価値算出工程と、
前記表情別評価値算出工程により算出された評価値を基に、前記記録手段に記録された前記複数のサブ映像からサブ映像を選択する選択工程と、
前記記録手段に記録された前記メイン映像と共に前記選択工程により選択されたサブ映像を表示する制御工程と、
有することを特徴とする画像処理装置の制御方法。
【請求項１４】
請求項１３記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラムコードを有するコンピュータ可読のプログラムであって、前記制御方法は、
メイン映像と該メイン映像に対応付けられた複数のサブ映像を記録する記録手段に記録されたサブ映像から人物の顔を検出する検出工程と、
前記検出工程により検出された人物の顔の領域を基に、該人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する表情別評価値算出工程と、
前記表情別評価値算出工程により算出された評価値を基に、前記記録手段に記録された前記複数のサブ映像からサブ映像を選択する選択工程と、
前記記録手段に記録された前記メイン映像と共に前記選択工程により選択されたサブ映像を表示する制御工程と、
有することを特徴とするプログラム。
【請求項１５】
請求項１４記載のプログラムを格納することを特徴とするコンピュータ可読の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影されたメイン映像に対応付けて記録された複数のサブ映像から所定のサブ映像を自動的に選択して表示する画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
従来、第１カメラ部と第２カメラ部の２つのカメラ部を備える撮像装置がある（例えば、特許文献１参照）。特許文献１に記載された撮像装置では、撮影モード時に第１カメラ部と第２カメラ部を用いて同時に撮影することが可能となっている。これによれば、第１カメラ部による撮影により被写体の映像が得られ、第２カメラ部による撮影により撮影者の映像が得られる。また、第１カメラ部及び第２カメラ部による撮影で得られたそれぞれの映像を合成して表示することで、被写体と撮影者が一体となった映像を表示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−９４７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１記載の第１カメラ部と第２カメラ部を備える撮像装置において、第１カメラ部で撮影したメイン映像を再生して表示する度に、第２カメラ部でメイン映像の閲覧者をサブ映像として撮影することが考えられる。この場合には１つのメイン映像に対して複数の閲覧者のサブ映像が撮像装置で記録され、被写体と被写体を閲覧した複数の閲覧者とを関連付けた映像が得られる。
【０００５】
しかし、特許文献１では、複数のサブ映像から所定のサブ映像を選択して表示する方法については言及していない。また、撮像装置では撮影した映像を表示する映像再生領域が限られることから、撮像装置で記録したサブ映像が多い場合には映像再生領域に表示するサブ映像を選択する必要がある。この場合には撮像装置の制御部でユーザにとって好適なサブ映像を自動的に選択して表示することが望ましい。
【０００６】
本発明の目的は、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択可能とした画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は、メイン映像と該メイン映像に対応付けられた複数のサブ映像を記録する記録手段と、前記記録手段に記録されたサブ映像から人物の顔を検出する検出手段と、前記検出手段により検出された人物の顔の領域を基に、該人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する表情別評価値算出手段と、前記表情別評価値算出手段により算出された評価値を基に、前記記録手段に記録された前記複数のサブ映像からサブ映像を選択する選択手段と、前記記録手段に記録された前記メイン映像と共に前記選択手段により選択されたサブ映像を表示する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、記録手段に記録されたサブ映像から検出した人物の顔の領域を基に、人物の顔がどのような表情に相当するかを表す評価値を表情別に算出する。更に、算出された評価値を基に、記録手段に記録されたメイン映像と共に選択されたサブ映像を表示する。これにより、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。
【図３】第２実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。
【図４】第３実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。
【図５】メイン映像に対する閲覧者の顔と表情別評価値と表情判別結果を示す図である。
【図６】メイン映像とメイン映像に関連付けられた複数のサブ映像の表示例を示す図である。
【図７】第４実施形態に係る撮像装置のサブ映像から閲覧者を選択する処理を説明する図である。
【図８】第５実施形態に係る撮像装置のサブ映像から閲覧者を選択する処理を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を参照しながら詳細に説明する。
【００１１】
〔第１実施形態〕
図１は、本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。図１において、撮像装置１００は、本発明の画像処理装置を実現するための一例であり、メイン撮像ユニット１９０とサブ撮像ユニット１９１の２つの撮像ユニットを備えるデジタルカメラとして構成されている。
【００１２】
メイン撮像ユニット１９０とサブ撮像ユニット１９１は、それぞれ、シャッタ１０１、バリア１０２、撮影レンズ１０３、撮像部１２２、Ａ／Ｄ変換器１２３を備えている。メイン撮像ユニット１９０とサブ撮像ユニット１９１は、互いに異なる方向に向けることが可能な構造を有する。メイン撮像ユニット１９０は、被写体（メイン映像）の撮影に用いる。サブ撮像ユニット１９１は、メイン撮像ユニット１９０で撮影した被写体（メイン映像）を閲覧する閲覧者（サブ映像）の撮影などに用いる。
【００１３】
撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。シャッタ１０１は、絞り機能を備える。撮像部１２２は、被写体の光学像を電気信号に変換するＣＣＤもしくはＣＭＯＳ素子等から構成されている。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、撮影レンズ１０３等を覆うことにより、撮影レンズ１０３、シャッタ１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。
【００１４】
画像処理部１２４は、画質調整処理した画像信号から静止画データを生成する処理を含む各種処理を行う。即ち、Ａ／Ｄ変換器１２３から出力されるデータまたはメモリ制御部１１５から出力されるデータに対し、所定の画素補間、縮小といったリサイズ処理、色変換処理を行う。また、画像処理部１２４は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御部１５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。
【００１５】
更に、画像処理部１２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。Ａ／Ｄ変換器１２３から出力されるデータは、画像処理部１２４及びメモリ制御部１１５を介してまたはメモリ制御部１１５を介してメモリ１３２に書き込まれる。
【００１６】
顔検出部１２５は、Ａ／Ｄ変換器１２３から出力されるデータまたはメモリ制御部１１５から出力されるデータに対し、撮像装置１００により撮影した人物の顔を検出する所定の顔検出処理を行う。顔検出結果はメモリ制御部１１５を介してメモリ１３２に書き込まれる。顔検出部１２５は、本発明の検出手段として機能する。
【００１７】
表情別評価値算出部１２６は、Ａ／Ｄ変換器１２３から出力されるデータまたはメモリ制御部１１５から出力されるデータに対し、撮像装置１００により撮影した人物の表情別に評価値を算出する表情別評価値算出処理を行う。表情別評価値は、後述の図５（ａ）、図５（ｂ）に示すように、人物の顔がどのような表情（笑顔、泣き顔、怒り顔）に相当するかを数値で表したものである。表情別評価値算出部１２６は、本発明の表情別評価値算出手段として機能する。
【００１８】
メモリ１３２は、撮像部１２２により得られＡ／Ｄ変換器１２３でデジタルデータに変換された画像データ、表示部１２８への表示用の画像データ、顔検出部１２５による人物の顔領域の検出結果などを格納する。メモリ１３２は、所定枚数の静止画や所定時間の動画及び音声を格納するのに十分な記憶容量を有する。また、メモリ１３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１３は、メモリ１３２に格納されている表示用の画像データをアナログ信号に変換して表示部１２８に供給する。これにより、表示部１２８により画像が表示される。
【００１９】
表示部１２８は、ＬＣＤ等の表示器に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示（静止画、動画）を行う。Ａ／Ｄ変換器１２３によって一度Ａ／Ｄ変換されメモリ１３２に蓄積されたデジタル信号（画像データ）をＤ／Ａ変換器１１３においてアナログ信号に変換し、表示部１２８に逐次転送して表示する。これにより、表示部１２８は電子ビューファインダとして機能し、スルー画像表示を行うことができる。
【００２０】
不揮発性メモリ１５６は、電気的に消去／記録が可能なメモリであり、例えばＦＲＯＭ等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、撮像装置１００で撮影した人物の表情別評価値の算出に用いる表情別の統計データ、プログラム等が記憶される。ここで言うプログラムとは、後述する各フローチャートに示す処理を実行するためのプログラムのことである。また、表情別の統計データとは、人物の例えば笑顔、怒り顔、泣き顔等の表情毎に顔の特徴量が変化する傾向を予め記録したデータである。
【００２１】
システム制御部１５０は、撮像装置全体を制御するものであり、不揮発性メモリ１５６に記録されたプログラムを実行することで、後述の各実施形態の処理を実現する。また、システム制御部１５０は、メモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。システム制御部１５０は、不揮発性メモリ１５６に格納されたプログラムに基づき後述する各フローチャートに示す処理を実行する。
【００２２】
システム制御部１５０は、本発明の判別手段、選択手段、制御手段、表情別割合算出手段、フレーム選択手段として機能する。システムメモリ１５２は、ＲＡＭが用いられ、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。
【００２３】
モード切替スイッチ１６０、シャッタボタン１６１、第１シャッタスイッチ１６２、第２シャッタスイッチ１６３、操作部１７０は、システム制御部１５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ１６０は、システム制御部１５０の動作モードを、静止画を記録媒体１０４に記録する静止画記録モード、動画を記録媒体１０４に記録する動画記録モード、静止画／動画を表示部１２８に表示する再生モード等のいずれかに切り替える。
【００２４】
第１シャッタスイッチ１６２は、シャッタボタン１６１の操作途中いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタスイッチ信号ＳＷ１を発生する。システム制御部１５０は、前記信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２シャッタスイッチ１６３は、シャッタボタン１６１の操作完了いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタスイッチ信号ＳＷ２を発生する。システム制御部１５０は、前記信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２５】
操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばメニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。利用者は、表示部１２８に表示されたメニュー画面と４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２６】
電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、記録媒体１０４を含む各部へ必要な電圧を必要な期間供給する。電源部１３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉ電池等の二次電池、ＡＣアダプタ等から構成されている。記録媒体Ｉ／Ｆ１１８は、記録媒体１０４とのインタフェースを司る。
【００２７】
記録媒体１０４は、メイン撮像ユニット１９０及びサブ撮像ユニット１９１により撮影された映像（メイン映像とメイン映像に対応付けられた複数のサブ映像など）を記録するものであり、半導体メモリまたは磁気ディスク等から構成されている。ここで、メイン映像は、被写体をメイン撮像ユニット１９０により撮影して得た映像である。サブ映像は、メイン映像を再生して表示部１２８により表示した際に該メイン映像の閲覧者をサブ撮像ユニット１９１により撮影して得た映像である。
【００２８】
尚、図１に示す撮像装置はデジタルカメラにおいて本発明を実施した場合の構成例であり、以下に説明する動作を実行できるものであれば、図１に示す構成に限定されるものではない。即ち、メイン映像と該メイン映像に対応付けられた複数のサブ映像が記録された記録媒体を備えるものであれば、スマートフォンやパーソナルコンピュータ等でも撮像装置と同様に本発明を実施可能である。
【００２９】
次に、本実施形態に係る撮像装置の再生モード時の処理について図２のフローチャートを参照して詳細に説明する。
【００３０】
本発明の目的（メイン映像に対応付けられた複数のサブ映像から好適なサブ映像を自動的に選択可能とする）を踏まえ、図１の撮像装置によりメイン映像が撮影されており、メイン映像の再生及びサブ映像の撮影が複数回実行されている場合を例に説明する。従って、予めメイン映像及びメイン映像に対応付けられた複数のサブ映像が記録媒体１０４（記録手段）に記録されているものとする。
【００３１】
図２は、本実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。図２において、システム制御部１５０は再生モードを開始すると、操作部１７０からのユーザ入力に基づき、記録媒体１０４に記録されている複数のメイン映像から１つのメイン映像を選択する（ステップＳ２０１）。次に、システム制御部１５０は選択されたメイン映像を表示部１２８により表示する（ステップＳ２０２）。次に、システム制御部１５０は記録媒体１０４に記録されている複数のサブ映像のうち１つのサブ映像に対して、顔検出部１２５によりサブ映像の人物の顔を検出する顔検出処理を行う（ステップＳ２０３）。
【００３２】
次に、システム制御部１５０は上記顔検出処理を行ったサブ映像の人物の表情のうち１つに関して、表情別評価値算出部１２６により表情別に評価値を算出する表情別評価値算出を行う（ステップＳ２０４）。表情別評価値算出方法としては、例えば、特開２００５−３１５６６号公報に開示されているように、画像データ内の人物の顔の特徴点を検出し、検出された特徴点から人物の笑顔度を推定する技術が挙げられる。
【００３３】
本実施形態の表情別評価値算出は、メモリ１３２に書き込まれた人物の顔領域の検出結果と、不揮発性メモリ１５６に予め記憶されている表情別の統計データに基づき行われる。ここで表情別の統計データとは、人物の表情毎に顔の特徴点がどのように変化するかを表したデータであり、統計的な手法によって算出される。
【００３４】
次に、システム制御部１５０は上記１つのサブ映像について、全ての表情に関して表情別評価値の算出を行ったか否かを判定する（ステップＳ２０５）。全ての表情に関して表情別評価値の算出を行っていない場合は、システム制御部１５０はステップＳ２０４に戻り処理を繰り返す。全ての表情に関して表情別評価値の算出を行った場合は、システム制御部１５０は上記１つのサブ映像について、表情別に算出された全ての表情別評価値のうち表情別評価値が最大となる表情を当該サブ映像の表情として判別する（ステップＳ２０６）。
【００３５】
次に、システム制御部１５０は全てのサブ映像に対して表情別評価値算出及び表情判別を行ったか否かを判定する（ステップＳ２０７）。全てのサブ映像に対して表情別評価値算出及び表情判別を行っていない場合は、システム制御部１５０はステップＳ２０３に戻り一連の処理を繰り返す。全てのサブ映像に対して表情別評価値算出及び表情判別を行った場合は、システム制御部１５０は表情別評価値が予め定めた閾値よりも高い複数のサブ映像から、表情別評価値が高い順に予め定めた数だけサブ映像を優先的に選択する（ステップＳ２０８）。
【００３６】
次に、システム制御部１５０は上記表情別評価値が高い順に選択したサブ映像を表示部１２８により表示する（ステップＳ２０９）。次に、システム制御部１５０は撮像装置を操作している人物の映像をサブ撮像ユニット１９１により撮影し、サブ映像として記録媒体１０４に記録し（ステップＳ２１０）、本処理を終了する。
【００３７】
以上、撮像装置のシステム制御部１５０の制御により上記図２に示した手順を実行することで、表情別評価値の高い人物（メイン映像の閲覧者）を優先的に表示部１２８に表示することができる。
【００３８】
図５（ａ）は、上記手順に基づいて行った処理の一例を表したものであり、メイン映像に対する閲覧者の顔と表情別評価値と表情判別結果を示す図である。図５（ａ）において、メイン映像に対する閲覧者である人物Ａから人物Ｆの６人について、笑顔、泣き顔、怒り顔の表情別に算出した表情別評価値と、３人が笑顔、２人が泣き顔、１人が怒り顔と判別した表情判別結果とを示している。この場合、表示部１２８に表示するサブ映像を３つとすると、表情別評価値が高い人物Ａ、人物Ｃ、人物Ｄが選択され表示される。
【００３９】
図６は、メイン映像とメイン映像に関連付けられた複数のサブ映像の表示例を示す図である。図６において、表示部１２８の映像表示領域６００は、メイン映像及びメイン映像に関連付けられたいくつかのサブ映像を表示する領域である。映像表示領域６００は、メイン映像表示領域６０１、第１サブ映像表示領域６０２、第２サブ映像表示領域６０３、第３サブ映像表示領域６０４から構成される。ただし、記録媒体１０４にはメイン映像に関連付けられたサブ映像は３つより多く記録されており、表示された３つのサブ映像は記録媒体１０４から自動的に選択されている。
【００４０】
上述したように本実施形態によれば、複数のサブ映像から表情別評価値を算出し、表情別評価値に基づきサブ映像の表情を判別し、サブ映像の表情に基づき該当するサブ映像を選択して表示する。これにより、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００４１】
〔第２実施形態〕
本発明の第２実施形態は、上記第１実施形態に対して下記で説明する点において相違する。本実施形態のその他の要素は、上記第１実施形態（図１）の対応するものと同一であるため説明を省略する。
【００４２】
次に、本実施形態に係る撮像装置の再生モード時の処理について図３のフローチャートを参照して詳細に説明する。
【００４３】
図３は、本実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。図３において、ステップＳ３０１〜ステップＳ３０７の処理は図２のステップＳ２０１〜ステップＳ２０７の処理と同様であるため説明を省略する。ステップＳ３０１〜ステップＳ３０７の処理の後、システム制御部１５０は全てのサブ映像の表情判別結果に基づき、全てのサブ映像に対して表情別割合を算出する（ステップＳ３０８）。ここで、表情別割合とは、特定の表情であると判別されたサブ映像の全てのサブ映像に占める割合である。
【００４４】
例えば、あるメイン画像に対応して記録媒体１０４に記録されているサブ映像が６つあり、表情判別結果が笑顔３つ、泣き顔２つ、怒り顔１つであった場合、表情別割合は次のように算出される。即ち、表情別割合は、笑顔５０％（＝３／６）、泣き顔３３％（≒２／６）、怒り顔１６％（≒１／６）となる。
【００４５】
次に、システム制御部１５０は最も表情別割合が高い表情から予め定めた数だけ表示部１２８に表示するサブ映像を優先的に選択する（ステップＳ３０９）。この場合、同じ表情内ではその表情の表情別評価値が高い順にサブ映像を選択する。以下のステップＳ３１０〜ステップＳ３１１の処理は図２のステップＳ２０９〜ステップＳ２１０の処理と同様であるため説明を省略する。
【００４６】
以上、撮像装置のシステム制御部１５０の制御により上記図３に示した手順を実行することで、メイン映像と関係ある表情をした人物（閲覧者）を表示部１２８に表示することができる。
【００４７】
図５（ｂ）は、上記手順に基づいて行った処理の一例を表したものであり、メイン映像に対する閲覧者の顔と表情別評価値と表情判別結果を示す図である。図５（ｂ）において、メイン映像に対する閲覧者である人物Ａから人物Ｆの６人について、笑顔、泣き顔、怒り顔の表情別に算出した表情別評価値と、５人が笑顔、１人が怒り顔と判別した表情判別結果とを示している。この場合、表示部１２８に表示するサブ映像を３つとすると、最も表情別割合が大きい笑顔の５人から、表情別評価値が高い人物Ａ、人物Ｂ、人物Ｃのサブ映像が選択され表示される。
【００４８】
上述したように本実施形態によれば、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００４９】
〔第３実施形態〕
本発明の第３実施形態は、上記第１実施形態に対して下記で説明する点において相違する。本実施形態のその他の要素は、上記第１実施形態（図１）の対応するものと同一であるため説明を省略する。
【００５０】
次に、本実施形態に係る撮像装置の再生モード時の処理について図４のフローチャートを参照して詳細に説明する。
【００５１】
図４は、本実施形態に係る撮像装置の再生モード時の処理を示すフローチャートである。図４において、ステップＳ４０１〜ステップＳ４０８の処理は図３のステップＳ３０１〜ステップＳ３０８の処理と同様であるため説明を省略する。ステップＳ４０１〜ステップＳ４０８の処理の後、システム制御部１５０は最も表情別割合が大きい表情について、表情別割合が予め定めた閾値を超えるか否かを判定する（ステップＳ４０９）。表情別割合が予め定めた閾値を超える場合は、システム制御部１５０は表情別評価値が前記閾値よりも高い複数のサブ映像から、表情別評価値が高い順に予め定めた数だけのサブ映像を優先的に選択する（ステップＳ４１０）。
【００５２】
表情別割合が予め定めた閾値を超えない場合は、システム制御部１５０は表情別評価値が前記閾値よりも高い複数の表情から、予め定めた数だけ表示するサブ映像を優先的に選択する（ステップＳ４１１）。この場合、複数の表情内では表情別評価値が高い順にサブ映像を選択する。以下のステップＳ４１２〜ステップＳ４１３の処理は図３のステップＳ３１０〜ステップＳ３１１の処理と同様であるため説明を省略する。
【００５３】
上記ステップＳ４１０においては、ステップＳ４０９の判別結果から、メイン映像に対する閲覧者の表情が一意に決まる場合と考えられる。また、ステップＳ４１１においては、メイン映像に対する閲覧者の表情が一意に決まらない場合と考えられる。従って、上述の方法でサブ映像選択方法を切り替える。即ち、メイン映像に対応付けられた複数のサブ映像から表情別評価値が高いサブ映像を優先的に選択するか、表情別割合が高いサブ映像を優先的に選択するか、を切り替える。これにより、メイン映像に応じてより好ましい閲覧者を選択し表示することができる。
【００５４】
上述したように本実施形態によれば、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００５５】
〔第４実施形態〕
本発明の第４実施形態は、上記第１実施形態に対して下記で説明する点において相違する。本実施形態のその他の要素は、上記第１実施形態（図１）の対応するものと同一であるため説明を省略する。
【００５６】
本実施形態の撮像装置の画像処理部１２４は、上記第１実施形態で説明した画質調整処理された画像信号から静止画データを生成する処理に加えて、更に、画質調整処理された複数のフレームの画像信号から動画データを生成する処理を行う。ここで、画像処理部１２４は、動画データの各フレームをフレーム内符号化して圧縮符号化された動画データを生成してもよい。また、動画データの複数のフレーム間での差分や動き予測などを利用して圧縮符号化された動画データを生成してもよい。例えばMotion JPEG、MPEG、H.264（MPEG4-Part10 AVC）等の様々な公知の圧縮符号化方式の動画データを生成することができる。
【００５７】
一般に、フレーム内符号化されたフレーム画像データをＩピクチャーと呼ぶ。また、前方のフレームとの差分を用いてフレーム間符号化された画像データをＰピクチャーと呼ぶ。また、前方後方のフレームとの差分を用いてフレーム間符号化された画像データをＢピクチャーと呼ぶ。尚、これらの圧縮方式は、公知の圧縮方式を用いており、本発明の特徴とは関係ないので説明を省略する。
【００５８】
システム制御部１５０は、これらの動画データ及び図示しない音声データを合成することでデータストリームを形成し、データストリームを１つの動画ファイルとして記録媒体１０４に書き込んでいく。一方、再生モード時には、システム制御部１５０は、記録媒体１０４に記録された圧縮画像信号からなる静止画ファイルまたは圧縮画像信号と圧縮音声信号とからなる動画ファイルをメモリ１３２に読み出す。
【００５９】
システム制御部１５０は読み出された圧縮画像信号と圧縮音声信号を、画像処理部１２４及び音声処理部（不図示）に送る。画像処理部１２４は、圧縮画像信号を一時的に記憶させたメモリ１３２から公知の所定の手順で復号する。そして、メモリ制御部１１５は、復号化した画像信号を顔検出部１２５や表情別評価値算出部１２６に送信する。これにより、表情別に評価値算出処理が実行される。
【００６０】
次に、本実施形態に係る撮像装置の再生モード時の処理について図７を参照して詳細に説明する。
【００６１】
上記第１乃至第３実施形態では、サブ映像が静止画データである場合について説明した。これに対し、本実施形態では、メイン映像及びサブ映像が特に動画データである場合について説明する。即ち、記録媒体１０４に記録されたサブ映像の動画データから少なくとも１つ以上のフレーム（具体的には予め定めた時間毎に複数のフレーム）を選択し、表情別評価値の算出、表情の判別、閲覧者を選択する処理について説明する。
【００６２】
図７（ａ）、図７（ｂ）は、本実施形態に係る撮像装置のサブ映像から閲覧者を選択する処理を説明する図である。図７（ａ）は、メイン映像に対応する閲覧者（人物Ａ）の動画データを示している。図７（ｂ）はメイン映像に対応する閲覧者（人物Ｂ）の動画データを示している。図７（ａ）、図７（ｂ）において、横軸は動画データの経過時間であり、縦軸はある時間における表情別評価値である。ｔ１〜ｔ５は表情別評価値を取得するある時刻を示しており、例えば１分ごとに動画データの表情別評価値を取得する。この時間間隔は固定であってもよいし、動画の記録時間等によって変化させてもよい。
【００６３】
時刻ｔ１（＝０）における人物Ａの動画データの１フレームを復号化した画像信号に対して取得した笑顔に対する表情別評価値がｅ１ａとなる。また、時刻ｔ１（＝０）における人物Ｂに対して取得した笑顔に対する表情別評価値がｅ１ｂとなる。この場合、他の表情に対してもそれぞれ表情別評価値を取得する。時刻ｔ１（＝０）における表情別評価値の取得を予めメイン映像に対する複数のサブ映像が記録されているもの全てについて実行する。
【００６４】
これらの表情別評価値について、上記第１乃至第３実施形態に示した方法を用いて、表示部１２８に表示するサブ映像を選択する。そして、選択された複数のサブ映像を表示例として上記図６に示したように表示部１２８に表示する。この場合、表示部１２８に表示する画像としては、メイン映像に対応する閲覧者の動画を表示してもよいし、表情別評価値を取得した静止画を表示してもよい。
【００６５】
表示部１２８に表示するサブ映像の選択結果は、次の時刻ｔ２まで維持する。即ち、表情別評価値は次の時刻ｔ２まで有効とする。時刻ｔ２において、時刻ｔ１の処理と同様に、メイン映像に対する複数の全てのサブ映像について、表情別評価値を取得して表示するサブ映像を選択し、選択したサブ映像を表示部１２８に表示する。時刻ｔ３以降についても、同様の処理を繰り返し実施する。
【００６６】
上述の方法でサブ映像選択方法を切り替えることで、メイン映像及びサブ映像が特に動画データである場合でも、メイン映像に応じてより好ましい閲覧者を選択し表示することができる。
【００６７】
上述したように本実施形態によれば、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００６８】
〔第５実施形態〕
本発明の第５実施形態は、上記第１実施形態に対して下記で説明する点において相違する。本実施形態のその他の要素は、上記第１実施形態（図１）の対応するものと同一であるため説明を省略する。
【００６９】
次に、本実施形態に係る撮像装置の再生モード時の処理について図８を参照して詳細に説明する。本実施形態では、閲覧者を選択する処理が上記第４実施形態とは異なるので、その内容について説明する。
【００７０】
図８（ａ）、図８（ｂ）は、本実施形態に係る撮像装置のサブ映像から閲覧者を選択する処理を説明する図である。図８（ａ）は、メイン映像に対応する閲覧者（人物Ａ）の動画データを示している。図８（ｂ）は、メイン映像に対応する閲覧者（人物Ｂ）の動画データを示している。図８（ａ）、図８（ｂ）において、ｔ１〜ｔ５は表情別評価値を取得するある時刻を示しており、予め全ての設定された時刻における表情別評価値を取得する。そして、取得した全ての表情別評価値を比較して最大値を算出する。
【００７１】
図８（ａ）では、人物Ａの動画データの１フレームを復号化した画像信号に対して取得した笑顔に対する複数の表情別評価値の最大値が、ｅａｍａｘ（時刻ｔ２）である。また、図８（ｂ）では、人物Ｂの動画データの１フレームを復号化した画像信号に対して取得した笑顔に対する複数の表情別評価値の最大値が、ｅｂｍａｘ（時刻ｔ４）である。
【００７２】
複数のサブ映像に対する表情別評価値の最大値について、上記第１乃至第３実施形態に示した方法を用いて、表示部１２８に表示するサブ映像を選択する。即ち、記録媒体１０４に記録された複数のサブ映像から、表情別評価値算出部１２６により算出された複数の表情別評価値のうち表情別評価値が最大値となるサブ映像を選択する。
【００７３】
例えば、メイン映像に対する閲覧者において「笑顔」「泣き顔」「怒り顔」の各表情別評価値のうち「笑顔」の表情別評価値が最大値である場合は、「笑顔」をサブ映像として選択する。具体的には、図５（ａ）の人物Ｃの場合は、表情別評価値が「笑顔」100、「泣き顔」25、「怒り顔」0であるため、表情別評価値が最大値となる「笑顔」が表情判別結果となる（サブ映像として選択する）。以降は上記各実施形態と同様であるので説明を省略する。
【００７４】
上述したように本実施形態によれば、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００７５】
〔第６実施形態〕
本発明の第６実施形態は、上記第１実施形態に対して下記で説明する点において相違する。本実施形態のその他の要素は、上記第１実施形態（図１）の対応するものと同一であるため説明を省略する。
【００７６】
次に、本実施形態に係る撮像装置の再生モード時の処理について詳細に説明する。本実施形態では、閲覧者を選択する処理が上記第４及び第５実施形態とは異なるので、その内容について説明する。
【００７７】
上記第４及び第５実施形態では、複数のサブ映像に対する表情別評価値を設定された時刻毎に取得する必要があるため、処理が複雑であり、動画データの復号化など実際の処理負荷が大きい。本実施形態では、処理負荷を低減しつつ、メイン映像に応じてより好ましい閲覧者を選択し表示する内容について説明する。具体的には、記録媒体１０４に記録されたメイン映像の１フレームに対応する時刻における複数のサブ映像のそれぞれについて１フレームを選択する例を説明する。
【００７８】
映像コンテンツに関わる技術としては、映像コンテンツに含まれる特定画像を検出し、ハイライトシーン（重要度の高いシーン）を抽出し、映像コンテンツにハイライトシーン情報を付加する技術が提案されている（特開２００６−０１４０８５号公報）。
【００７９】
本実施形態では、上記公報に記載されたような技術を用いて、メイン映像データのハイライトシーン情報よりハイライトシーンの時刻情報を取得する。この時刻をｔｍとする。メイン映像に対応付けられた複数のサブ映像における、上記ハイライトシーンの時刻ｔｍに対応する時刻ｔｍの１フレームを復号化し、表情別評価値を取得する。
【００８０】
取得した複数のサブ映像に関わる表情別評価値について、上記第１乃至第３実施形態に示した方法を用いて、表示部１２８に表示するサブ映像を選択する。以降は上記各実施形態と同様であるので説明を省略する。上述の方法でサブ映像の選択を実施することで、メイン映像及びサブ映像が特に動画データである場合でも、処理負荷を低減しつつ、メイン映像に応じてより好ましい閲覧者を選択し表示することができる。
【００８１】
上述したように本実施形態によれば、メイン映像に対応付けられた複数のサブ映像からユーザにとって好適なサブ映像を自動的に選択することが可能となる。
【００８２】
〔他の実施形態〕
第１乃至第６実施形態では、本発明の好ましい実施形態について説明したが、本発明はこれらの第１乃至６実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
【００８３】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。本発明のプログラムは、本発明の画像処理装置の制御方法をコンピュータに実行させるためのコンピュータ可読のプログラムコードを有し、記憶媒体に格納される。
【符号の説明】
【００８４】
１００  撮像装置
１０４  記録媒体
１２５  顔検出部
１２６  表情別評価値算出部
１２８  表示部
１５０  システム制御部
【図１】
2015159405.tif 000003
【図２】
2015159405.tif 000004
【図３】
2015159405.tif 000005
【図４】
2015159405.tif 000006
【図５】
2015159405.tif 000007
【図６】
2015159405.tif 000008
【図７】
2015159405.tif 000009
【図８】
2015159405.tif 000010