(57)【要約】【課題】風景を撮影したり特定の人物に着目して撮影したりした場合など画像の撮影シーンによっては、画像のうち音源方向に応じた部分の領域を拡大すると、ユーザが見たい画像と異なる画像が再生されてしまうことがあった。【解決手段】画像再生装置は、フレーム画像から構成される画像データを取得する取得部と、フレーム画像に対するシーン判別を行う判別部と、フレーム画像に対応する多チャンネル音声情報とシーン判別の結果に基づいて、フレーム画像の少なくとも一部の領域を拡大して表示部に表示させる表示制御部とを備える。【選択図】図１
2013211793.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像で構成される画像データを取得する取得部と、
前記フレーム画像に対するシーン判別を行う判別部と、
前記フレーム画像に対応する多チャンネル音声情報と前記シーン判別の結果に基づいて、前記フレーム画像の少なくとも一部の領域を拡大して表示部に表示させる表示制御部と
を備える画像再生装置。
【請求項２】
前記判別部は、前記フレーム画像に顔領域が存在するか否かを判別し、
前記表示制御部は、前記判別部が前記フレーム画像に前記顔領域が存在すると判別した場合であって、前記多チャンネル音声情報に前記顔領域の方向からの音声が含まれる場合に、前記顔領域を拡大する請求項１に記載の画像再生装置。
【請求項３】
前記表示制御部は、前記判別部が前記顔領域に予め指定された顔があると判別した場合には、前記音声情報に依らず前記顔領域を拡大する請求項２に記載の画像再生装置。
【請求項４】
前記表示制御部は、前記シーン判別の結果によっては拡大表示を行わない請求項１から３のいずれか１項に記載の画像再生装置。
【請求項５】
前記判別部は、前記フレーム画像の撮影時において関連付けられたシーン情報を読み出して前記シーン判別を行う請求項１から４のいずれか１項に記載の画像再生装置。
【請求項６】
前記シーン情報は、前記フレーム画像の各々に関連付けられている請求項５に記載の画像再生装置。
【請求項７】
前記表示制御部は、前記多チャンネル音声情報のうち、前記フレーム画像のシーン方向からの音声と共に、前記シーン方向以外の音声を加味して前記少なくとも一部の領域を決定する請求項１から６のいずれか１項に記載の画像再生装置。
【請求項８】
前記画像データは動画像データであり、
前記表示制御部は、予め定められたフレーム群単位で前記少なくとも一部の領域を拡大する請求項１から７のいずれか１項に記載の画像再生装置。
【請求項９】
前記画像データは静止画像データであり、
前記多チャンネル音声情報は、前記静止画像データに関連付けられた音声クリップである請求項１から７のいずれか１項に記載の画像再生装置。
【請求項１０】
フレーム画像から構成される画像データを取得する取得ステップと、
前記フレーム画像に対するシーン判別を行う判別ステップと、
前記フレーム画像に対応する多チャンネル音声情報と前記シーン判別の結果に基づいて、前記フレーム画像の少なくとも一部の領域を拡大して表示部に表示させる表示制御ステップと
をコンピュータに実行させる画像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置および画像再生プログラムに関する。
【背景技術】
【０００２】
音声から音源方向を検出し、画像のうち音源方向に応じた部分の領域を拡大して画像再生処理を行う技術が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−１８２９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
風景を撮影したり特定の人物に着目して撮影したりした場合など画像の撮影シーンによっては、画像のうち音源方向に応じた部分の領域を拡大すると、ユーザが見たい画像と異なる画像が再生されてしまうことがあった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様の画像再生装置は、フレーム画像から構成される画像データを取得する取得部と、フレーム画像に対するシーン判別を行う判別部と、フレーム画像に対応する多チャンネル音声情報とシーン判別の結果に基づいて、フレーム画像の少なくとも一部の領域を拡大して表示部に表示させる表示制御部とを備える。
【０００５】
本発明の第２の態様の画像再生プログラムは、フレーム画像から構成される画像データを取得する取得ステップと、フレーム画像に対するシーン判別を行う判別ステップと、フレーム画像に対応する多チャンネル音声情報とシーン判別の結果に基づいて、フレーム画像の少なくとも一部の領域を拡大して表示部に表示させる表示制御ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態における画像再生処理の概念を説明する図である。
【図２】本実施形態に係る画像データを生成するカメラのシステム構成図である。
【図３】記録媒体の動画像関連の記録データを説明する図である。
【図４】本実施形態に係る画像再生装置を示す図である。
【図５】本実施形態に係る画像再生装置のシステム構成図である。
【図６】本実施形態における画像再生処理のフロー図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
まず、本実施形態の概念について説明する。本実施形態に係る画像再生装置は、複数のフレーム画像から構成される動画像データを再生する場合に、フレーム画像のシーン判別を行う。後述するように、動画像データにおいて、フレーム情報、多チャンネル音声情報およびシーン情報が関連付けられている。そして、画像再生装置は、フレーム画像に対応する多チャンネル音声情報とシーン判別の結果とに応じて、フレーム画像の少なくとも一部の領域を拡大して表示部に表示させるか否かを判断する。例えば、画像再生装置は、各フレーム画像に対応するシーンが風景シーンのような人物を含まないシーンであると判別した場合、フレーム画像の拡大処理を行わずそのまま表示部に表示させる。
【００１０】
人物が被写体として含まれる場合の画像再生処理について図１を用いて説明する。図１は、本実施形態における画像再生処理の概念を説明する図である。図１（ａ）〜（ｃ）の各画像は、後述の本実施形態に係る画像再生装置が、複数のフレーム画像から構成される動画像データを再生した時のフレーム画像である。図１（ａ）〜（ｃ）の各フレーム画像には、少年１１および少女１２の２人の人物が被写体として含まれる。画像再生装置は、図１のシーンを２人の人物の会話シーンと判別している。
【００１１】
画像再生装置は、多チャンネル音声情報に少年１１の方向からの音声も少女１２の方向からの音声も含まれていないと判断すると、図１（ａ）に示すとおり、画像の拡大を行わずにフレーム画像１０を表示部に表示させる。一方、画像再生装置は、多チャンネル音声情報に少年１１の方向からの音声が含まれていると判断した場合に、図１（ｂ）に示すとおり、フレーム画像２０において少年１１の顔領域を拡大し、拡大した少年１１の顔領域を表示部の左領域２１に表示させる。この場合、少女１２は拡大されずに表示部の右領域２２にそのまま表示される。
【００１２】
また、本実施形態に係る画像再生装置は、ユーザが注目したい人物がフレーム画像に含まれているかを判別し、判別結果に応じてフレーム画像の少なくとも一部の領域を拡大して表示部に表示させる。例えば、ユーザは、画像再生装置に対して、注目したい人物の顔を予め指定することができる。例えば、ユーザは、少女１２の顔の情報を画像再生装置に登録して、注目したい人物として少女１２を予め指定する。画像再生装置は、予め指定された少女１２の顔がフレーム画像に存在する場合、注目人物の登場シーンと判別する。そして、画像再生装置は、たとえ多チャンネル音声情報に少年１１の方向からの音声が含まれる場合であっても、注目人物である少女１２の顔領域を拡大する。そして、画像再生装置は、図１（ｃ）に示すとおり、フレーム画像３０において少女１２の顔領域を拡大し、拡大した少女１２の顔領域を表示部の右領域３２に表示させる。この場合、少年１１は拡大されずに表示部の左領域３１にそのまま表示される。
【００１３】
このように、本実施形態に係る画像再生装置は、多チャンネル音声情報だけでなくフレーム画像に対するシーン判別の結果を考慮してフレーム画像の少なくとも一部の領域を拡大表示する。したがって、ユーザは、シーンに適した拡大画像を視聴することができる。
【００１４】
図２は、本実施形態に係る画像データ（動画像データ）を生成するカメラ１００のシステム構成図である。カメラ１００は光学系１２０を備える。光学系１２０は、ズームレンズ、フォーカスレンズ等により構成される。被写体像は光軸１１０に沿って光学系１２０に入射し、撮像素子１３１の受光面に結像する。
【００１５】
撮像素子１３１は、光学系１２０を透過して入射する被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１３１で光電変換された被写体像は、Ａ／Ｄ変換器１３２でアナログ信号からデジタル信号に変換される。撮像素子１３１の電荷読み出し制御およびＡ／Ｄ変換器１３２の変換制御は、メモリ制御部１３３の同期制御を受けたタイミング発生部１３４が供給するクロック信号により同期が計られる。
【００１６】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１３２によりデジタル信号に変換された画像データは、メモリ制御部１３３の制御に従い、一旦内部メモリ１３５に記憶される。内部メモリ１３５は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１３５は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１３６が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１３５は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１３３は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１７】
画像処理部１３６は、設定されている撮影モード、ユーザからの指示に則して、画像データを所定の画像フォーマットに従った画像データに変換する。例えば、静止画像としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、動画像としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。そして、変換された静止画像データ、動画像データは再び内部メモリ１３５に保管される。なお、動画像データは、連続するフレーム画像の集合体の情報であるフレーム情報を含む。
【００１８】
画像処理部１３６で処理された画像データは、記録用に処理される画像データに並行して、表示用の画像データを生成する。表示用の画像データは、記録用に処理される画像データをコピーして間引き処理された、画素数の少ない画像データである。生成された表示用の画像データは、表示制御部１３８の制御に従って、タイミング発生部１３４からのクロック信号に同期するＤ／Ａ変換器１３９でアナログ信号に変換されて、例えば液晶パネルである表示部１４０に表示される。記録の有無に関わらず、画像処理部１３６が逐次表示用の画像データを生成して表示部１４０へ出力すれば、電子ファインダ機能を実現することができる。表示制御部１３８は、逐次表示用の画像データを用いて、ライブビュー画像を表示部１４０に表示させる。
【００１９】
また、画像処理部１３６は、画像データの画像内における人物の顔領域を検出する顔検出機能を実行する。例えば、画像処理部１３６は、フレーム画像内において人物の顔領域を検出することができる。そして、画像処理部１３６は、検出した顔領域の位置情報を取得する。さらに、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目も、表示部１４０に表示することができる。
【００２０】
画像処理部１３６によって処理された静止画像データ、動画像データは、メモリ制御部１３３の制御により、内部メモリ１３５から記録媒体ＩＦ１３７を介して、記録媒体１５０に記録される。記録媒体１５０は、フラッシュメモリ等により構成される、カメラ１００に対して着脱可能な不揮発性メモリである。
【００２１】
カメラ１００は、上記の画像処理における各々の要素も含めて、カメラシステム制御部１４１により直接的または間接的に制御される。カメラシステム制御部１４１は、システムメモリ１４２を備える。システムメモリ１４２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ１４２は、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないように記録している。カメラシステム制御部１４１は、定数、変数、プログラム等を適宜内部メモリ１３５に展開して、カメラ１００の制御に利用する。
【００２２】
集音部１４３は、複数のマイクで構成され、カメラ１００周辺の音声を集音する。音声処理部１４４は、集音部１４３の各マイクの出力信号をＡ／Ｄ変換し、多チャンネル音声情報を生成する。
【００２３】
動画撮影時において、音声処理部１４４は、動画像データの各フレーム画像に対応する多チャンネル音声情報を生成する。連続するフレーム画像の集合体の情報であるフレーム情報と時間軸に沿って記録される多チャンネル音声情報とは、同期して再生されるように記録媒体１５０に記録される。
【００２４】
カメラシステム制御部１４１は、動画撮影時に、動画像を形成するフレーム画像のシーン解析を行う。シーンはフレーム画像ごとに定義される。そして、カメラシステム制御部１４１は、フレーム画像のシーンの解析結果をシーン情報として、当該フレーム画像に関連付けて記録媒体１５０に記録する。このように、本実施形態に係るカメラ１００は、各フレーム画像に対応する、フレーム情報、多チャンネル音声情報およびシーン情報を関連付けて動画像データとして記録媒体１５０に記録する。
【００２５】
光学系１２０は、カメラシステム制御部１４１の統括制御のもと、レンズ制御部１４５によって制御される。レンズ制御部１４５は、ユーザの指示に応じてズームレンズを駆動して、被写体像の画角を変更する。また、レンズ制御部１４５は、ＡＦの情報に応じてフォーカスレンズを駆動して、特定の領域の被写体像を撮像素子１３１の受光面上で合焦させる。
【００２６】
カメラ１００は、ユーザからの操作を受け付ける操作部材１４６を複数備えている。カメラシステム制御部１４１は、これら操作部材１４６が操作されたことを検知し、操作に応じた動作を実行する。また、カメラ１００は操作部材１４６の類としてレリーズスイッチ１４７を備える。レリーズスイッチ１４７は、静止画用レリーズスイッチと動画用レリーズスイッチとを備える。
【００２７】
静止画用レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。カメラシステム制御部１４１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１３１による被写体像の取得動作を実行する。
【００２８】
動画用レリーズスイッチは、押下げ方向に１段階に検知できる押しボタンで構成されている。カメラシステム制御部１４１は、１回目の押下げの検知により、撮影準備動作であるＡＦ、ＡＥ等を実行し、動画撮影を開始する。そして、カメラシステム制御部１４１は、２回目の押下げの検知により、動画撮影を終了する。
【００２９】
カメラ１００は、電源１６０から電力供給を受ける。電源制御部１４８は、電源１６０と通信して残電力の検出、電力供給の監視を行う。電源１６０は、２次電池、家庭用ＡＣ電源等により構成される。
【００３０】
図３は、記録媒体１５０に記録される動画像データを説明する図である。なお、図３を用いて説明する実施形態において、集音部１４３は左右２つのマイクで構成され、音声処理部１４４は左右２チャンネルのステレオ音声情報を生成する。そして、図３以降の図面を用いて説明する実施形態において、多チャンネル音声情報として左右２チャンネルのステレオ音声情報が用いられる。
【００３１】
動画像データは、フレーム情報、ステレオ音声情報およびシーン情報を含む。上述したとおり、フレーム情報、ステレオ音声情報およびシーン情報は、画像処理部１３６、音声処理部１４４およびカメラシステム制御部１４１によってそれぞれ生成される。また、図３に示すとおり、ステレオ音声情報およびシーン情報は、フレーム画像（フレーム１〜４）ごとに生成される。
【００３２】
カメラシステム制御部１４１は、顔領域の検出の有無、被写体までの距離等を参照してフレーム画像のシーンをフレーム画像ごとに解析し、シーン情報を生成する。具体的には、カメラシステム制御部１４１は、顔領域が検出された場合には人物が存在するシーンと判別し、顔領域が検出されなかった場合には人物が存在しないシーンと判別する。また、カメラシステム制御部１４１は、顔領域が２つ検出された場合であって被写体までの距離が予め定められた距離より短い場合には、２人が会話している会話シーンと判別する。
【００３３】
図３の例において、カメラシステム制御部１４１は、会話シーンと判別し、会話シーンであることを示すシーン情報を動画像データに含めて記録する。また、図３に示すとおり、カメラシステム制御部１４１は、検出した顔領域の位置を示す位置情報もシーン情報に含める。例えば、フレーム１のフレーム情報とともに、フレーム１に対応するステレオ音声情報として音声情報（Ｌ１，Ｒ１）が記録される。また、フレーム１に対応するシーン情報として、会話シーンであることを示す情報と、顔領域の位置を示す位置情報（顔Ａ：Ｘａ１，Ｙａ１）および（顔Ｂ：Ｘｂ１，Ｙｂ１）とが記録される。
【００３４】
なお、カメラシステム制御部１４１は、予め定められたフレーム群単位、例えば３０フレーム単位でフレーム画像のシーンを解析してもよい。予め定められたフレーム群単位の他の例として、ＭＰＥＧで用いられるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）単位、チャプタ単位が挙げられる。フレーム群に対してシーンを解析することにより、シーン解析の負荷を軽減すると共に、拡大表示処理を連続するフレーム間で滑らかに実行することができる。
【００３５】
また、カメラシステム制御部１４１は、撮影時における撮影モードを参照してフレーム画像のシーンを解析してもよい。例えば、人物を引き立たせるポートレートモードで撮影された場合、カメラシステム制御部１４１は、人物が存在するシーンと判別する。一方、近くから遠くまでピントを合わせる風景モードで撮影された場合、カメラシステム制御部１４１は、人物が存在しないシーン（風景シーン）と判別する。その他の撮影モードの一例として、夜景モード、マクロモード、スポーツモード、ペットモード、水中モード等が挙げられる。
【００３６】
また、カメラシステム制御部１４１は、フレーム画像の輝度分布に応じてシーンを解析してもよい。例えば、全体の輝度が予め定められた値より低い場合、カメラシステム制御部１４１は、全体が低輝度のシーン（全体低輝度シーン）であると判別する。ここで、予め定められた値は、人が肉眼で区別し難い輝度値に応じて実験的またはシミュレーション的に決定された値である。なお、特定の部分の輝度だけ予め定められた値より低い場合、カメラシステム制御部１４１は、特定の部分だけ低輝度のシーン（部分低輝度シーン）であると判別する。
【００３７】
図４は、本実施形態に係る画像再生装置２００の外観図である。画像再生装置２００の一例として、記録媒体１５０の画像データを再生する再生部を具備する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、プロジェクタ等が挙げられる。
【００３８】
図４に示すように、画像再生装置２００は、本体２０１と、観察者により操作されるリモコン２０６を主な構成要素とする。本体２０１は、画像を表示する表示部２０２、音声を出力する左スピーカ２０３および右スピーカ２０４、並びに画像データが記録された記録媒体１５０を受容するスロット２０５を備える。
【００３９】
リモコン２０６には複数の操作部材を備えており、例えば、表示された設定項目等の移動に用いられる十字スイッチ２０７、選択した機能を実行させるＯＫスイッチ２０８を備える。十字スイッチ２０７は回転機能も有しており、画像表示のコマ送り指示等に利用される。操作指令は、例えば赤外線通信により本体２０１へ送信される。
【００４０】
図５は、本実施形態に係る画像再生装置２００のシステム構成図である。本体２０１は、本体２０１全体の制御を司る再生システム制御部２１１を備える。再生システム制御部２１１は、画像再生装置２００を動作させるプログラムのほか、各種調整値、設定値を記憶する記憶装置であるシステムメモリ２１２を備える。システムメモリ２１２は、ユーザが動画像データの再生時に注目したい人物の顔を予め指定した場合に、当該人物の顔の情報を記録する。また、画像再生装置２００は、リモコン２０６からの操作指令信号を受信するリモコン受信部２１３、画像記録媒体１５０から画像データを取り込む記録媒体ＩＦ２１４を備える。
【００４１】
画像再生装置２００は、記録媒体１５０から取得した動画像データを解析する画像解析部２１５を備える。画像解析部２１５は、カメラ１００によって動画像データに含まれるシーン情報を記録媒体１５０から読み出し、シーン情報を参照してシーン判別を行う。なお、カメラ１００のカメラシステム制御部１４１がシーン解析を行わない場合には、画像解析部２１５は、カメラシステム制御部１４１によるシーン解析と同様の処理を実行して、動画像を形成するフレーム画像のシーン判別を行う。このように、本実施形態において、画像解析部２１５は、画像データのフレーム画像に対するシーン判別を行う判別部として機能する。
【００４２】
また、画像解析部２１５は、フレーム画像内で検出された顔領域にユーザが予め指定した顔が存在するか否かを判別する。ユーザがリモコン２０６を操作して記録媒体１５０の画像データから注目したい人物の顔を指定すると、再生システム制御部２１１は、その人物の顔の情報をシステムメモリ２１２に転送する。
【００４３】
画像解析部２１５は、フレーム画像内で検出された顔領域の画像と、システムメモリ２１２に記録された顔の情報とをパターンマッチングする。そして、画像解析部２１５は、マッチング結果に応じて顔領域に予め指定された顔が存在するか否かを判別する。
【００４４】
画像再生装置２００は、動画像データに含まれるステレオ音声情報を解析する音声解析部２１６を備える。音声解析部２１６は、ステレオ音声情報がフレーム画像内の顔領域の方向からの音声を含むか否かを判断する。例えば、フレーム画像の左領域に顔領域が存在する場合、音声解析部２１６は、ステレオ音声情報における左側の音声のレベルが予め定められたレベルより大きいか否かを判断する。ここで、予め定められたレベルは、人の会話の音声レベルに応じて実験的またはシミュレーション的に決定されたレベルである。
【００４５】
そして、音声解析部２１６は、予め定められたレベルより大きい場合に、ステレオ音声情報がフレーム画像内の顔領域の方向からの音声を含むと判断する。なお、予め定められたレベルの代わりに、反対側の音声レベルと比較してもよい。上述の例の場合、音声解析部２１６は、ステレオ音声情報における左側の音声のレベルが右側の音声レベルより大きいか否かを判断する。
【００４６】
画像再生装置２００は、システムメモリ２１２に記憶されたプログラム等が展開される内部メモリ２１７を備える。内部メモリ２１７は、作業メモリとしての役割も担う。また、画像再生装置２００は、表示部２０２の表示画像を制御する表示制御部２１８、並びに左スピーカ２０３および右スピーカ２０４へ音声信号を出力する音声出力部２１９を備える。
【００４７】
リモコン２０６は、リモコン２０６全体の制御を司るリモコン制御部２２１を備える。また、リモコン２０６は、ユーザの指示を操作部材の入力により受け付ける操作受付部２２２、および本体２０１へ操作指令信号を送信するリモコン送信部２２３を備える。
【００４８】
再生システム制御部２１１は、本体２０１に備えられた操作部材でユーザの指示を受け付けた場合には拡大表示をせず通常の画像表示を行い、リモコン２０６から操作指令信号によりユーザの指示を受け付けた場合に上述の拡大表示を行ってもよい。このように操作部材により拡大表示処理を実行するか否かを決定することにより、メニュー画面等で予め拡大表示処理を行うか否かを設定する必要がなくなる。
【００４９】
図６は、本実施形態における画像再生処理のフロー図である。本フローは、例えば、画像再生装置２００の電源がオンにされたときに開始される。本実施形態において、再生システム制御部２１１は、画像解析部２１５、音声解析部２１６、表示制御部２１８等と協働して、本フローの処理を実行する。本フローでは、予め定められたフレーム群単位でフレーム画像のシーン判別を行う場合について説明する。なお、１つのフレーム画像毎にシーン判別を行ってもよい。
【００５０】
ステップＳ１０１では、再生システム制御部２１１は、ユーザがリモコン２０６で指示した動画像データを記録媒体１５０から取得する。取得した動画像データは内部メモリ２１７に一時保存する。なお、再生システム制御部２１１は、動画像データを内部メモリ２１７にすべて保存できない場合には、保存可能な量の動画像データを取得して内部メモリ２１７に一時保存する。その後、再生システム制御部２１１は、再生処理された動画像データを内部メモリ２１７から削除し、続きの動画像データを取得して内部メモリ２１７に保存する。本実施形態において、再生システム制御部２１１は、画像データを取得する取得部として機能する。
【００５１】
ステップＳ１０２では、再生システム制御部２１１は、フレーム群の番号を示すフレーム群番号ｉを１に設定する。なお、本実施形態において、再生開始のフレーム群から順に番号を付与し、再生終了のフレーム群番号をｎとする。また、番号ｉのフレーム群を第ｉフレーム群と称する。ステップＳ１０３では、再生システム制御部２１１は、第ｉフレーム群を内部メモリ２１７から抽出する。
【００５２】
ステップＳ１０４では、画像解析部２１５は、上述したように、第ｉフレーム群のフレーム画像に対するシーン判別を行う。そして、ステップＳ１０５では、再生システム制御部２１１は、第ｉフレーム群のフレーム画像内に顔領域が検出されているか否かを判別する。顔領域が検出されている場合にはステップＳ１０６へ移行し、顔領域が検出されていない場合にはステップＳ１０９へ移行する。ステップＳ１０４のシーン判別の処理およびステップＳ１０５の顔検出の処理は、動画像データに含まれるシーン情報を参照して実行される。
【００５３】
ステップＳ１０６では、画像解析部２１５は、上述したように、第ｉフレーム群のフレーム画像内にユーザが予め指定した顔が存在するか否かを判別する。予め指定した顔が存在する場合にはステップＳ１０８へ移行し、予め指定した顔が存在しない場合にはステップＳ１０７へ移行する。ステップＳ１０７では、音声解析部２１６は、上述したように、第ｉフレーム群のフレーム画像に対応するステレオ音声情報を解析する。
【００５４】
ステップＳ１０８では、表示制御部２１８は、第ｉフレーム群のフレーム画像の少なくとも一部の領域を拡大する。具体的には、ステップＳ１０７でステレオ音声情報に第ｉフレーム群のフレーム画像内の顔領域の方向からの音声が含まれると判断された場合に、表示制御部２１８は、当該顔領域を拡大する。また、ステップＳ１０６で第ｉフレーム群のフレーム画像内の顔領域に予め指定された顔が存在すると判別された場合に、表示制御部２１８は、ステレオ音声情報に依らず当該顔領域を拡大する。
【００５５】
なお、ステレオ音声情報に複数の被写体（人物）からの音声が含まれている場合、音声解析部２１６が各被写体からの音声レベルを比較し、表示制御部２１８が、音声レベルの比較結果に応じて表示部２０２における各被写体の拡大比率を変更してもよい。例えば、声がより大きい人物はより大きく表示部２０２に表示され、声がより小さい人物はより小さく表示部２０２に表示される。
【００５６】
ステップＳ１０９では、再生システム制御部２１１は、第ｉフレーム群の動画再生処理を実行する。具体的には、再生システム制御部２１１は、表示制御部２１８と協働して、第ｉフレーム群のフレーム画像を表示部２０２に表示させる。表示制御部２１８は、ステップＳ１０８で拡大処理が実行されている場合には拡大処理後のフレーム画像を表示部２０２に表示させ、拡大処理が実行されていない場合にはそのままのフレーム画像を表示部２０２に表示させる。また、再生システム制御部２１１は、音声出力部２１９と協働して、第ｉフレーム群のフレーム画像に対応するステレオ音声情報の音声を左スピーカ２０３および右スピーカ２０４から出力させる。
【００５７】
ステップＳ１１０では、再生システム制御部２１１は、フレーム群番号ｉに１を加算する。そして、ステップＳ１１１では、再生システム制御部２１１は、フレーム群番号ｉがｎより大きいか否かを判断する。フレーム群番号ｉがｎ以内である場合にはステップＳ１０３へ戻り、フレーム群番号ｉがｎより大きい場合には本フローを終了する。
【００５８】
なお、上述のステップＳ１０４で低輝度のシーンと判別されている場合には、再生システム制御部２１１は、顔領域が検出されていてもステップＳ１０９へ移行する。また、上述のステップＳ１０４で特定の部分だけ低輝度のシーンと判別されている場合において、再生システム制御部２１１は、特定の部分に顔領域が検出されていても他の明るい部分に顔領域が検出されていない場合にはステップＳ１０９へ移行する。暗い場面を拡大表示してもユーザが把握できないことから、暗い場面では拡大表示せずに通常の画像を表示する。
【００５９】
上述の実施形態では、左右２チャンネルのステレオ音声情報を用いたがこれに限らず、３チャンネル以上の多チャンネル音声情報を用いてもよい。また、フレーム画像のシーン方向からの音声と共にシーン方向以外の音声、例えば撮影者の後方からの音声を含む多チャンネル音声情報を用いてもよい。この場合、表示制御部２１８は、フレーム画像のシーン方向からの音声と共にシーン方向以外の音声を加味して拡大する領域を決定してもよい。
【００６０】
例えば、５．１チャンネルの音声情報を用いる場合について説明する。フレーム画像の右領域に顔領域が検出されている場合、表示制御部２１８は、右前方の音声レベルが予め定められたレベルより高い場合には当該顔領域を拡大する。しかし、右後方の音声レベルが右前方の音声レベルより高い場合には、表示制御部２１８は、右後方からの音声が主要因と判断して顔領域の拡大を行わない。
【００６１】
また、上述の実施形態では、動画像データを用いたが、これに限らず、多チャンネル音声情報が関連付けられた、静止画像から構成される静止画像データを用いてもよい。この場合、静止画像が上述のフレーム画像として処理される。具体的には、まず、静止画撮影時において、カメラシステム制御部１４１は、レリーズスイッチのＳＷ１がオンになった時点で、音声処理部１４４を制御して、外部の音声の録音を開始する。多チャンネル音声情報は内部メモリ１３５に記憶される。
【００６２】
そして、カメラシステム制御部１４１は、ＳＷ２がオンになった時点で、外部の音声の録音を終了し、録音された多チャンネル音声情報を音声クリップとして静止画像データと関連付けて記録媒体１５０に記録する。また、カメラシステム制御部１４１は、上述の動画像データの場合と同様に、静止画像に対するシーンを解析し、シーン情報を静止画像データに関連付けて記録媒体１５０に記録する。
【００６３】
画像再生装置２００の表示制御部２１８は、上述の動画像データの場合と同様に、静止画像に対応する音声クリップと、シーン情報を用いたシーン判別の結果とに応じて、静止画像の少なくとも一部の領域を拡大して表示部２０２に表示させる。このように静止画像データに関連付けられた音声クリップとシーン判別結果とを用いることにより、静止画像の一部をシーンに応じて適切に拡大することができる。
【００６４】
また、上述の実施形態では、顔領域を拡大したがこれに限らない。画像再生装置２００は、走行している自動車、電車等の車両を撮影した動画像データを再生する場合であって、多チャンネル音声情報に車両の方向からの音声が含まれる場合には、車両の領域を拡大してもよい。
【００６５】
上述の実施形態では、カメラ１００と別個の画像再生装置２００が画像再生処理を実行したが、カメラ１００を画像再生装置として機能させてもよい。具体的には、カメラ１００のカメラシステム制御部１４１が、画像再生装置２００の再生システム制御部２１１、画像解析部２１５、音声解析部２１６および音声出力部２１９と同様の機能を実行する。また、カメラ１００の表示制御部１３８が、画像再生装置２００の表示制御部２１８と同様の機能を実行する。
【００６６】
カメラ１００を画像再生装置として機能させる場合、ライブビュー画像に上述の拡大表示処理を適用してもよい。例えば、カメラシステム制御部１４１は、予め定められたフレーム群単位、例えば３０フレーム単位で、逐次表示用の画像データのフレーム画像（ライブビュー画像）のシーン解析を行う。また、カメラシステム制御部１４１は、音声処理部１４４を制御して、外部の音声を内部メモリ１３５に逐次録音する。そして、表示制御部１３８は、シーン解析の結果および内部メモリ１３５内の多チャンネル音声情報に応じて、ライブビュー画像の少なくとも一部の領域を拡大して表示部１４０に表示させる。
【００６７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６９】
１０  フレーム画像、１１  少年、１２  少女、２０  フレーム画像、２１  左領域、２２  右領域、３０  フレーム画像、３１  左領域、３２  右領域、１００  カメラ、１１０  光軸、１２０  光学系、１３１  撮像素子、１３２  Ａ／Ｄ変換器、１３３  メモリ制御部、１３４  タイミング発生部、１３５  内部メモリ、１３６  画像処理部、１３７  記録媒体ＩＦ、１３８  表示制御部、１３９  Ｄ／Ａ変換器、１４０  表示部、１４１  カメラシステム制御部、１４２  システムメモリ、１４３  集音部、１４４  音声処理部、１４５  レンズ制御部、１４６  操作部材、１４７  レリーズスイッチ、１４８  電源制御部、１５０  記録媒体、１６０  電源、２００  画像再生装置、２０１  本体、２０２  表示部、２０３  左スピーカ、２０４  右スピーカ、２０５  スロット、２０６  リモコン、２０７  十字スイッチ、２０８  ＯＫスイッチ、２１１  再生システム制御部、２１２  システムメモリ、２１３  リモコン受信部、２１４  記録媒体ＩＦ、２１５  画像解析部、２１６  音声解析部、２１７  内部メモリ、２１８  表示制御部、２１９  音声出力部、２２１  リモコン制御部、２２２  操作受付部、２２３  リモコン送信部
【図１】
2013211793.tif 000003
【図２】
2013211793.tif 000004
【図３】
2013211793.tif 000005
【図４】
2013211793.tif 000006
【図５】
2013211793.tif 000007
【図６】
2013211793.tif 000008