(57)【要約】【課題】動画像を撮影している撮影者の撮影行為を支援する技術を提供する。【解決手段】第１取得部１１は、記録用の動画像を撮像するための第１撮像部２１０から画像を取得する。第２取得部１２は、撮影者を撮像するための第２撮像部２２０から画像を取得する。判定部１４は、第２取得部１２により取得された画像をもとに、記録用の動画像を表示しているモニタ２３０を撮影者が見ているか否かを判定する。制御部２０は、判定部１４による判定結果に応じて、撮像装置２００のステータスを変化させる。【選択図】図２
2012028836.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮像するための撮像装置に搭載されるべき画像処理装置であって、
記録用の動画像を撮像するための第１撮像部から画像を取得する第１取得部と、
撮影者を撮像するための第２撮像部から画像を取得する第２取得部と、
前記第２取得部により取得された画像をもとに、前記記録用の動画像を表示しているモニタを前記撮影者が見ているか否かを判定する判定部と、
前記判定部による判定結果に応じて、前記撮像装置のステータスを変化させる制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記判定部による判定の結果、前記撮影者が前記モニタを見ているとき、前記第１取得部により取得された動画像から、それぞれ異なる画質で複数の動画像符号化データを生成し、前記撮影者が前記モニタを見ていないとき、前記第１取得部により取得された動画像から、一種類の動画像符号化データを生成するよう制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１取得部により取得される動画像を、第１画質および当該第１画質より低い第２画質の両方で符号化することも、前記第１画質および前記第２画質の一方で符号化することもできる符号化部をさらに備え、
前記判定部による判定の結果、前記撮影者が前記モニタを見ているとき、前記第１取得部により取得された動画像から、前記第１画質および前記第２画質で二種類の動画像符号化データを生成し、前記撮影者が前記モニタを見ていないとき、前記第１取得部により取得された動画像から、前記第１画質または前記第２画質で一種類の動画像符号化データを生成するよう制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記判定部による判定の結果、前記撮影者が前記モニタを見ているとき、手振れ補正機能をオフまたはその強度を弱め、前記撮影者が前記モニタを見ていないとき、手振れ補正機能をオンまたはその強度を強めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
記録用の動画像を撮像するための第１撮像部と、
撮影者を撮像するための第２撮像部と、
請求項１から４のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像される動画像を符号化する画像処理装置およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
近年、一般ユーザが手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらのなかには、フルＨＤ（high definition）（１９２０×１０８０ピクセル）画質の動画像を撮影することができるものもある。また、近年のデジタルムービーカメラは多機能化しており、ユーザはなかなかそれらの機能を使い切れていないのが現状である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５３０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
とくに、デジタルムービーカメラの取り扱いに不慣れなユーザ、およびそもそも高度に電子化されたカメラなど電子機器全般の取り扱いが苦手なユーザにとって、デジタルムービーカメラに搭載された機能を使い切るのは至難の業である。たとえば、手振れ補正機能一つとっても、それらのユーザがその機能をオフにして撮影したり、反対に、常に当該機能を最大強度で使用することにより、必要以上に消費電力を浪費していたりする。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、動画像を撮影している撮影者の撮影行為を支援する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像処理装置は、動画像を撮像するための撮像装置に搭載されるべき画像処理装置であって、記録用の動画像を撮像するための第１撮像部から画像を取得する第１取得部と、撮影者を撮像するための第２撮像部から画像を取得する第２取得部と、第２取得部により取得された画像をもとに、記録用の動画像を表示しているモニタを撮影者が見ているか否かを判定する判定部と、判定部による判定結果に応じて、撮像装置のステータスを変化させる制御部と、を備える。
【０００７】
本発明の別の態様は、撮像装置である。この装置は、記録用の動画像を撮像するための第１撮像部と、撮影者を撮像するための第２撮像部と、上述した画像処理装置と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、動画像を撮影する撮影者の撮影行為を支援することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態に係る撮像装置の外観概略図である。
【図２】本発明の実施の形態に係る画像処理装置を搭載した撮像装置の構成図である。
【図３】分岐部に入力されるフレーム画像、第１画像符号化部により符号化されるフレーム画像および第２画像符号化部により符号化されるフレーム画像の関係を示す図である。
【図４】ＨＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルエンコードモードとの切り替えタイミング例を示す図である。
【図５】ＳＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルエンコードモードとの切り替えタイミング例を示す図である。
【図６】図６（ａ）〜（ｃ）は、手振れ補正部による手振れ補正の一例を示す図である。
【図７】図７（ａ）〜（ｃ）は、オートフレーミング処理部によるオートフレーミング処理の一例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、本発明の実施の形態に係る撮像装置２００の外観概略図である。当該撮像装置２００には、第１撮像部２１０、第２撮像部２２０およびモニタ２３０が設置される。第１撮像部２１０は、人物、風景、構造物（鉄道車両など）など被写体の動画像を撮影するためのメインカメラである。第２撮像部２２０は、撮影者、より具体的には撮影者の目を撮像するためのサブカメラである。モニタ（ビューワー、ファインダーともいう）２３０は、主に、第１撮像部２１０により撮像されている動画像を表示する。
【００１２】
第２撮像部２２０は、所謂、自分撮りをして記録するためのカメラではなく、撮影者がモニタ２３０を見ているまたは覗いているか否かを判定するためのカメラである。したがって、第２撮像部２２０により撮像された画像は基本的に記録されず、破棄される。これに対し、第１撮像部２１０は記録用の動画像を撮像するためのカメラである。
【００１３】
第２撮像部２２０は、撮影者がモニタ２３０を見ているか否かを判定するための画像を撮影できる位置に設置される。具体的には、撮像装置２００の撮影者による通常の平均的な持ち位置で、撮影者の顔が撮影できる位置に設置されることが好ましい。たとえば、第２撮像部２２０がモニタ２３０の周囲の辺のいずれかの位置に設置されてもよい。
【００１４】
撮影者がモニタ２３０を見ているか否かを判定することにより、撮影者の行動や心理状態を以下のように推測することができる。
【００１５】
まず、撮影者がモニタ２３０を見ている場合、以下のような推測が成り立つ。
１．現在撮影しているシーンを絶対に逃したくない（撮影ミスをしたくない）と撮影者が考えている。
２．ターゲットとすべき被写体または構図を変更している最中である。
３．ズーム倍率を変更している最中である。
４．カメラを少し動かすとターゲットがフレーム内から外れてしまうため、通常より撮影に集中している。
【００１６】
つぎに、撮影者がモニタ２３０を見ていない場合、以下のような推測が成り立つ。
１．撮影するつもりがない。
２．構図を変更するなどの理由から、カメラを通さずに撮影空間全体の把握に努めている。
３．ターゲットを見失い、カメラを通さずにターゲットを探している。
【００１７】
以下、これらの知見を前提に本発明の実施の形態について具体的に説明する。
図２は、本発明の実施の形態に係る画像処理装置１００を搭載した撮像装置２００の構成図である。撮像装置２００は、第１撮像部２１０、第２撮像部２２０、モニタ２３０、音声取得部２４０、操作部２５０および画像処理装置１００を備える。
【００１８】
第１撮像部２１０についてより具体的に説明する。第１撮像部２１０は、フレーム画像を連続的に取得し、動画像として画像処理装置１００に供給する。第１撮像部２１０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。
【００１９】
第２撮像部２２０は、第１撮像部２１０と基本的に同じであるが、第１撮像部２１０より低スペックなものを用いることができる。なお、上述した撮影者がモニタ２３０を見ているか否かの判定を一定時間ごと（たとえば、５秒間隔）に実行する場合、第２撮像部２２０は必ずしも動画像を撮像する機能を搭載している必要はなく、その一定時間ごとに静止画を撮像できる能力があれば足りる。なお、解像度や画角についても、第２撮像部２２０は第１撮像部２１０より低スペックなものを用いてもよい。
【００２０】
音声取得部２４０は、外部から取得される音を電気信号に変換して、音声信号として画像処理装置１００に出力する。操作部２５０は、ユーザの指示を受け付け、その指示にもとづく制御信号を生成し、画像処理装置１００に出力する。
【００２１】
画像処理装置１００は、第１取得部１１、第２取得部１２、顔検出部１３、判定部１４、制御部２０、手振れ補正部２１、オートフレーミング処理部２２、分岐部３１、解像度／画角変換部３２、画像符号化部４０、音声符号化部４５、多重化部５０、記録部５１および入出力部５２を備える。画像符号化部４０は、第１画像符号化部４１および第２画像符号化部４２を含む。
【００２２】
画像処理装置１００の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２３】
第１取得部１１は、第１撮像部２１０から画像を取得し、分岐部３１に供給する。第２取得部１２は、第２撮像部２２０から画像を取得し、顔検出部１３に供給する。
【００２４】
顔検出部１３は、第２撮像部２２０により撮像されたフレーム画像内から人物の顔を検出する。顔検出部１３は既存の一般的な顔検出技術を用いることができる。たとえば、顔画像を識別するための識別器を用いて、フレーム画像内から顔画像を検出することができる。本実施の形態では、撮影者がモニタ２３０を見ているか否かを判定する必要があるため、顔検出部１３はモニタ２３０に正対している顔画像が存在するか否かを走査し、その走査結果を判定部１４に供給する。
【００２５】
判定部１４は、第２取得部１２により取得された画像をもとに、第１取得部により取得された記録用の動画像を表示しているモニタ２３０を撮影者が見ているか否かを判定する。具体的には、顔検出部１３から顔画像の走査結果を取得し、モニタ２３０に正対している顔画像が検出された場合、撮影者がモニタ２３０を見ていると判定し、モニタ２３０に正対している顔画像が検出されなかった場合、撮影者がモニタ２３０を見ていないと判定する。
【００２６】
なお、顔検出部１３ではフレーム画像を拡大および縮小しながら、走査が繰り返し実行されるため、フレーム画像内の顔画像の大きさも検出される。したがって、この顔画像の大きさをもとに、撮影者とモニタ２３０との距離を推定することができる。また、表情の真剣度を識別可能な識別器を用いれば、モニタ２３０を見ている撮影者が真剣であるかリラックスしているかを判別することもできる。また、特定の人物を撮影して生成した識別器を用いれば、その人物がモニタ２３０を見ているか否かを判定することができる。この場合、別の人物がモニタ２３０を見ていても、見ていないと判定される。
【００２７】
制御部２０は、判定部１４による判定結果に応じて、撮像装置２００のステータスを変化させる。このステータス変化の具体例は後述する。
【００２８】
分岐部３１は、制御部２０からの制御信号による指示にしたがい、第１取得部１１から供給される動画像を第１画像符号化部４１に出力するか、解像度／画角変換部３２に出力するか、またはその両方に出力する。
【００２９】
解像度／画角変換部３２は、分岐部３１から入力される動画像を構成するフレーム画像の解像度および／または画角を変換することができる。たとえば、当該フレーム画像の解像度を低下させることもできるし、当該フレーム画像の中央領域を切り出し、その周辺領域を削除して画角を狭くすることもできる。また、当該フレーム画像内の画素を間引いて、解像度を低下させ、かつ画角を狭くしてもよい。解像度／画角変換部３２は、解像度および／または画角を変換させた後のフレーム画像で構成される動画像を第２画像符号化部４２に出力する。
【００３０】
なお、解像度／画角変換部３２と第２画像符号化部４２との間に、図示しない超解像処理部を設けてもよい。当該超解像処理部は、解像度／画角変換部３２により画角が狭く調整されたフレーム画像の解像度を超解像処理により向上させ、元のフレーム画像のサイズに復元してもよい。これにより、注目領域を拡大するために画角が狭く調整されたフレーム画像のサイズを元の解像度で元のサイズに復元することができる。
【００３１】
画像符号化部４０は、第１撮像部２１０により撮像される動画像を、第１画質および当該第１画質と異なる第２画質の両方で、並列的または同時に符号化することができる。すなわち、一種類の動画像をデュアルエンコードすることができる。図２では、第１画像符号化部４１が分岐部３１から入力される動画像を、第２画像符号化部４２が解像度／画角変換部３２から入力される動画像を、並列的または同時に符号化することができる。
【００３２】
上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度および／または画角で符号化される。たとえば、上記第１画質の動画像の解像度と上記第２画質の動画像の解像度との組み合わせは、様々な組み合わせが可能である。たとえば、１９２０×１０８０ピクセルサイズ、１２８０×７２０ピクセルサイズ、６４０×４８０ピクセルサイズ、４４８×３３６ピクセルサイズおよび１９２×１０８ピクセルサイズの、任意の二つの組み合わせであってもよい。
【００３３】
また、上記第１画質の動画像と上記第２画質の動画像とは、異なる解像度および／または画角で符号化されるとともに、異なるフレームレートで符号化されてもよい。たとえば、６０ｆｐｓ、３０ｆｐｓおよび１５ｆｐｓの、任意の二つの組み合わせであってもよい。また、４４８×３３６ピクセルサイズまたは１９２×１０８ピクセルサイズなど、低解像度の場合、２４０ｆｐｓや６００ｆｐｓなど、高フレームレートを割り当てることも可能である。
【００３４】
画像符号化部４０は、当該第１画質の動画像および当該第２画質の動画像を所定の規格にしたがい圧縮符号化する。たとえば、Ｈ．２６４／ＡＶＣ、Ｈ．２６４／ＳＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化することができる。
【００３５】
画像符号化部４０は、一つのハードウェアエンコーダまたは汎用プロセッサによるソフトウェア処理により、上記第１画質の動画像と上記第２画質の動画像を時分割に符号化してもよいし、二つのハードウェアエンコーダにより、当該第１画質の動画像と当該第２画質の動画像とを平行に符号化してもよい。画像符号化部４０は、符号化した、第１画質の動画像の符号化データ（符号化ストリームともいう）および第２画質の動画像の符号化データを多重化部５０に出力する。
【００３６】
音声符号化部４５は、音声取得部２４０から供給される音声信号を符号化する。たとえば、ＡＡＣ、ＭＰ３などの規格にしたがい圧縮符号化する。音声符号化部４５は、符号化した、音声の符号化データを多重化部５０に出力する。
【００３７】
多重化部５０は、第１画像符号化部４１から入力される上記第１画質の動画像の符号化データ、第２画像符号化部４２から入力される上記第２画質の動画像の符号化データ、および音声符号化部４５から入力される音声の符号化データを多重化して、一つの動画像ファイルを生成する。たとえば、ＭＰ４ファイルフォーマットにしたがった、コンテナファイルを生成することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。復号側で当該コンテナファイルが参照されることにより、上記第１画質の動画像、上記第２画質の動画像および上記音声間の同期をとることや、ランダムアクセスすることが容易に可能となる。
【００３８】
記録部５１は、多重化部５０により多重化された動画像ファイルを所定の記録媒体に記録する。当該記録媒体として、内蔵メモリおよび着脱可能なリムーバブルメモリの少なくとも一方を採用することができる。たとえば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。
【００３９】
入出力部５２は、所定のインターフェイスを介して外部機器と通信する。たとえば、ＵＳＢケーブルでＰＣや外付けハードディスクと接続して、上記記録媒体に記録された動画像ファイルをＰＣや外付けハードディスクに転送することができる。また、Ｄ端子、Ｓ端子またはＨＤＭＩ端子でテレビと接続して、上記第１画質の動画像および上記第２画質の動画像をテレビ画面に表示させることもできる。
【００４０】
図３は、分岐部３１に入力されるフレーム画像Ｆ１、第１画像符号化部４１により符号化されるフレーム画像Ｆ２および第２画像符号化部４２により符号化されるフレーム画像Ｆ３の関係を示す図である。図３では、上記第１画質の動画像がＨＤ（１２８０×７２０ピクセル）サイズのフレーム画像で構成される動画像、および上記第２画質の動画像がＳＤ（６４０×４８０ピクセル）サイズのフレーム画像で構成される動画像である場合を例に説明する。この例では、分岐部３１にＨＤサイズのフレーム画像Ｆ１が入力される。
【００４１】
分岐部３１は、ＨＤサイズのフレーム画像Ｆ１を第１画像符号化部４１および解像度／画角変換部３２に出力する。解像度／画角変換部３２は、ＨＤサイズのフレーム画像Ｆ１をＳＤサイズのフレーム画像Ｆ３に変換する。第１画像符号化部４１は、分岐部３１から入力されたＨＤサイズのフレーム画像Ｆ１をそのまま符号化する。第２画像符号化部４２は、解像度／画角変換部３２から入力されたＳＤサイズのフレーム画像Ｆ３を符号化する。
【００４２】
第１画像符号化部４１により符号化される、ＨＤサイズのフレーム画像Ｆ２のアスペクト比は１６：９であり、第２画像符号化部４２により符号化される、ＳＤサイズのフレーム画像Ｆ３のアスペクト比は４：３である。ＳＤサイズのフレーム画像Ｆ３は、ＨＤサイズのフレーム画像Ｆ２の中央領域が残され、その周辺領域が削除されて生成される。
【００４３】
以下、制御部２０による上記ステータス変化の具体例を説明する。具体例１では、デュアルエンコード機能のオン／オフを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、第１取得部１１により取得された動画像から、それぞれ異なる画質で複数の動画像符号化データを生成し、撮影者がモニタ２３０を見ていないとき、第１取得部１１により取得された動画像から、一種類の動画像符号化データを生成するよう制御する。
【００４４】
上述したように、画像符号化部４０は、第１取得部１１により取得される動画像を、第１画質および当該第１画質より低い第２画質の両方で符号化することも、第１画質および第２画質の一方で符号化することもできる。この機能を利用して、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、第１取得部１１により取得された動画像から、第１画質および第２画質で二種類の動画像符号化データを生成し、撮影者がモニタ２３０を見ていないとき、第１取得部１１により取得された動画像から、第２画質で一種類の動画像符号化データを生成するよう制御することができる。また、撮影者がモニタ２３０を見ていないとき、第１取得部１１により取得された動画像から、第１画質で一種類の動画像符号化データを生成するよう制御してもよい。
【００４５】
以下、図３と同様に上記第１画質の動画像がＨＤ（１２８０×７２０ピクセル）サイズのフレーム画像で構成される動画像、および上記第２画質の動画像がＳＤ（６４０×４８０ピクセル）サイズのフレーム画像で構成される動画像である場合を例に説明する。
【００４６】
図４は、ＨＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルエンコードモードとの切り替えタイミング例を示す図である。この例は、全撮影期間においてＨＤ画質の動画像を符号化し、当該全撮影期間のうち判定部１４により撮影者がモニタ２３０を見ていると判定されている期間（以下、注目期間という）において、ＨＤ画質の動画像とＳＤ画質の動画像の両方を符号化するものである。すなわち、画像符号化部４０は、撮像された動画像を、ＨＤ画質で継続的に符号化し、ＳＤ画質で断続的に符号化する。
【００４７】
この例は、ＰＣやテレビでの観賞用に高画質の動画像を保存することを主たる目的とし、その一部の注目シーンをメールに添付して送信したり、インターネット上のサイトに投稿することを従たる目的とする場合に適している。
【００４８】
図４では、全撮影期間中に、二つの注目期間が設定されている。撮影開始タイミングＴｓ０で撮影が開始され、ＨＤ画質によるシングルコーデックが開始される。続いて、第１注目期間開始タイミングＴｓ１でＨＤ画質およびＳＤ画質によるデュアルエンコードが開始される。続いて、第１注目期間終了タイミングＴｅ１でＨＤ画質およびＳＤ画質によるデュアルエンコードが終了し、ＨＤ画質によるシングルコーデックが開始される。続いて、第２注目期間開始タイミングＴｓ２でＨＤ画質およびＳＤ画質によるデュアルエンコードが開始される。続いて、第２注目期間終了タイミングＴｅ２でＨＤ画質およびＳＤ画質によるデュアルエンコードが終了し、ＨＤ画質によるシングルコーデックが開始される。最後に、撮影終了タイミングＴｅ０で撮影が終了され、ＨＤ画質によるシングルコーデックが終了される。
【００４９】
図５は、ＳＤ画質によるシングルコーデックモードと、ＨＤ画質およびＳＤ画質によるデュアルエンコードモードとの切り替えタイミング例を示す図である。この例は、全撮影期間においてＳＤ画質の動画像を符号化し、当該全撮影期間のうちの上記注目期間において、ＨＤ画質の動画像とＳＤ画質の動画像の両方を符号化するものである。すなわち、画像符号化部４０は、撮像された動画像を、ＳＤ画質で継続的に符号化し、ＨＤ画質で断続的に符号化する。
【００５０】
この例は、撮影した動画像の全編をメールに添付して送信したり、インターネット上のサイトに投稿することを主たる目的とし、その一部の注目シーンをＰＣやテレビでの観賞用に保存することを従たる目的とする場合に適している。
【００５１】
図５に示す切り替え例は、図４に示す切り替え例の、ＨＤ画質とＳＤ画質とを入れ替えたものと同様であるため、その説明を省略する。
【００５２】
つぎに、制御部２０による上記ステータス変化の具体例２を説明する。具体例２では、手振れ補正機能のオン／オフまたはその強度を制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、手振れ補正機能をオフまたはその強度を弱め、撮影者がモニタ２３０を見ていないとき、手振れ補正機能をオンまたはその強度を強める。
【００５３】
図２に戻り、手振れ補正部２１は、制御部２０からの指示に応じて、既存の一般的な電子式手振れ補正を実行する。すなわち、第１取得部１１から取得される撮像範囲全体のフレーム画像を一時保持し、当該フレーム画像内から、分岐部３１に出力すべき有効領域を選択する。より具体的には、時間的に前後するフレーム間のずれ量を算出し、そのずれ量を打ち消すように有効領域を移動させる。
【００５４】
図６（ａ）〜（ｃ）は、手振れ補正部２１による手振れ補正の一例を示す図である。図６（ａ）は、現在のフレーム画像より一フレーム前のフレーム画像を示す。図６（ｂ）は、補正前の現在のフレーム画像を示す。図６（ｃ）は、補正後の現在のフレーム画像を示す。全撮影期間にわたり撮像範囲Ｐは一定である。
【００５５】
図６（ａ）に示す有効領域Ｅ１内には被写体として人物画像が写っている。ここでは、フレーム画像の特徴点ＦＰ１に人物の左目が設定されている。図６（ｂ）に示す有効領域Ｅ２ｂのフレーム画像の特徴点ＦＰ２は一フレーム前のフレーム画像と比較し、右方向に所定の距離、移動している。そこで、図６（ｃ）に示すようにその移動を打ち消すために、現在のフレームの有効領域Ｅ２ａを当該距離ｄ、左方向に移動させている。これにより、手振れが補正される。
【００５６】
なお、このずれ量に対する補償量は完全に一致している必要はなく、５０％、８０％など、その補正の強度が調整されてもよい。たとえば、制御部２０は、判定部１４による判定の結果、撮影行為が不慣れな予め登録された特定の撮影者がモニタ２３０を見ているとき、手振れ補正機能を５０％以上の強度でオンに設定してもよい。
【００５７】
つぎに、制御部２０による上記ステータス変化の具体例３を説明する。具体例３では、オートフレーミング機能のオン／オフを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、オートフレーミング機能をオフし、撮影者がモニタ２３０を見ていないとき、オートフレーミング機能をオンする。
【００５８】
図２に戻り、オートフレーミング処理部２２は、制御部２０からの指示に応じて、既存の一般的なオートフレーミング処理を実行する。すなわち、フレーム画像からトリミングされる領域内のターゲットとすべき被写体の位置を固定する。より具体的には、フレーム画面内で被写体が動いたり、カメラの向きが変化した場合でも、フレーム画像内からトリミングすべき領域を適応的に移動させることにより、フレーム画像内にて最初に検出した被写体の位置を、記録用画像内にて維持するよう制御する。本実施の形態では、第１取得部１１から取得されるフレーム画像を一時保持し、当該フレーム画像内から、分岐部３１に出力すべきトリミング領域を選択する。
【００５９】
図７（ａ）〜（ｃ）は、オートフレーミング処理部２２によるオートフレーミング処理の一例を示す図である。図７（ａ）は、現在のフレーム画像Ｆ１３より二フレーム前のフレーム画像Ｆ１１を示す。図７（ｂ）は、現在のフレーム画像Ｆ１３より一フレーム前のフレーム画像Ｆ１２を示す。図７（ｃ）は、現在のフレーム画像Ｆ１３を示す。
【００６０】
図７（ａ）〜（ｃ）では、被写体とすべき人物が右方向に動いている例を示している。トリミング領域Ｔ１〜Ｔ３は、その領域内で被写体とすべき人物が中央に位置するように、当該人物の動きに合わせて、右方向に移動していく。これにより、当該人物が中央に写った動画像を記録することができる。
【００６１】
つぎに、制御部２０による上記ステータス変化の具体例４を説明する。具体例４では、記録すべき音声に指向性を持たせるか否かを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、音声に指向性を持たせて音声データを記録し、撮影者がモニタ２３０を見ていないとき、音声に指向性を持たせずに音声データを記録する。
【００６２】
より具体的には、撮影者がモニタ２３０を見ているとき、制御部２０は、第１撮像部２１０が向いている方向からの音声レベルをそれ以外の方向からの音声レベルより大きくなるように、採取された音声を音声符号化部４５に符号化させる。たとえば、第１撮像部２１０が向いている方向以外から採取された音声のレベルを減衰させる。一方、撮影者がモニタ２３０を見ていないとき、制御部２０は、全方位から採取された音声を均等に処理し、音声符号化部４５に符号化させる。
【００６３】
つぎに、制御部２０による上記ステータス変化の具体例５を説明する。具体例５では、撮像された動画像の符号化および／または記録をするか否かを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ていないとき、撮像された動画像の符号化および／または記録を停止する。または、撮像装置２００全体の電源をオフに、または省電力モードに移行させる。一方、制御部２０は、撮影者がモニタ２３０を見ているとき、動画像の符号化および／または記録を再開する。または、撮像装置２００全体の電源をオフからオンに、または省電力モードから通常モードに復帰させる。
【００６４】
つぎに、制御部２０による上記ステータス変化の具体例６を説明する。具体例６では、動画像を符号化する際のビットレートを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、撮像された動画像の符号化ビットレートを維持または上げ、撮影者がモニタ２３０を見ていないとき、動画像の符号化ビットレートを下げる。
【００６５】
なお、ビットレートを制御する際、顔検出部１３により検出される、上述した表情の真剣度が参酌されてもよい。撮影者がモニタ２３０を見ているとき、制御部２０は当該真剣度が高くなるほど、ビットレートを上げるよう制御してもよい。たとえば、当該真剣度と当該ビットレートとの間に比例関係を持たせてもよい。
【００６６】
つぎに、制御部２０による上記ステータス変化の具体例７を説明する。具体例７では、モニタ２３０の電源のオン／オフを制御する。すなわち、制御部２０は、判定部１４による判定の結果、撮影者がモニタ２３０を見ているとき、モニタ２３０の電源をオンに制御し、撮影者がモニタ２３０を見ていないとき、モニタ２３０の電源をオフに制御する。たとえば、モニタ２３０が液晶モニタの場合、そのバックライトをオン／オフ制御する。
【００６７】
以上説明したように本実施の形態によれば、撮影者がモニタ２３０を見ているか否かに応じて、撮像装置２００のステータスを変化させることにより、撮影者の撮影行為を支援することができる。たとえば、上記具体例１では撮影時に、動画像をデュアルエンコードすることにより、二種類の画質の動画像符号化データを生成することができるが、その際、必要なシーンを二種類の画質で記録する要請と、データ容量の増大抑制の要請を、ユーザ操作なしに自動的に満たすことができる。上記具体例２〜７についても、ユーザ操作なしに、撮影時の状況にマッチしたモードに自動的に設定することができる。
【００６８】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
上述した実施の形態では、画像符号化部４０が二つの符号化部を備える例を説明した。この点、画像符号化部４０が一つの符号化部を備える構成であってもよい。この場合、具体例１は適用できないが、具体例２〜７は適用可能である。
【符号の説明】
【００７０】
１１  第１取得部、  １２  第２取得部、  １３  顔検出部、  １４  判定部、  ２０  制御部、  ２１  手振れ補正部、  ２２  オートフレーミング処理部、  ３１  分岐部、  ３２  解像度／画角変換部、  ４０  画像符号化部、  ４１  第１画像符号化部、  ４２  第２画像符号化部、  ４５  音声符号化部、  ５０  多重化部、  ５１  記録部、  ５２  入出力部、  １００  画像処理装置、  ２００  撮像装置、  ２１０  第１撮像部、  ２２０  第２撮像部、  ２３０  モニタ、  ２４０  音声取得部、  ２５０  操作部。
【図１】
2012028836.tif 000003
【図２】
2012028836.tif 000004
【図３】
2012028836.tif 000005
【図４】
2012028836.tif 000006
【図５】
2012028836.tif 000007
【図６】
2012028836.tif 000008
【図７】
2012028836.tif 000009