(57)【要約】被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる撮影装置および撮影方法を提供する。撮影装置（１００）は、動きが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように多焦点光学レンズの焦点距離を算出し、動きが検出されなかった場合、設定されたズーム倍率となるように焦点距離を算出する焦点距離算出部（１０３）、撮影画像とズーム倍率を時間とともに保存する記録メディア部（１０８）、ズーム倍率に従って撮像素子部（１０４）の出力である撮影画像から切り出すフレーム領域ＩＣＦを設定するフレーム領域設定部（１１１）、フレーム領域（ＩＣＦ）から電子ズームでフレーミング画像（ＩＤＦ）を生成する電子ズーム処理部（１１２）、およびフレーミング画像（ＩＤＦ）を表示するフレーミング画像表示部（１１３）を備える。
2007094219.tif 000002
【特許請求の範囲】
【請求項１】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、
前記被写体の動きを検出する被写体動き検出手段と、
当該撮影装置の動きを検出する撮影装置動き検出手段と、
前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、
前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、
前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、
前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、
前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備える
ことを特徴とする撮影装置。
【請求項２】
前記撮影装置は、さらに、
前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも１つを再設定するフレーミング再設定手段と、
前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記被写体動き検出手段は、前記光学ズーム画像中の前記被写体の動きを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記被写体動き検出手段は、複数の前記光学ズーム画像の輝度差および対応点追跡の少なくとも１つを用いて前記被写体の動きを検出する
ことを特徴とする請求項３記載の撮影装置。
【請求項５】
前記撮影装置動き検出手段は、角速度センサおよび加速度センサの少なくとも１つを用いて当該撮影装置の動きを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記電子ズーム処理手段は、前記光学ズーム画像の画像座標と独立した画像特徴量を高密化して高密化画像特徴量を生成し、前記高密化画像特徴量から前記電子ズーム画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記撮影装置は、さらに、
前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、
前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記圧縮符号化手段は、前記被写体の動きおよび前記撮影装置の動きの度合いが大きいほど、前記外枠領域の圧縮率を低く圧縮符号化を行う
ことを特徴とする請求項７記載の撮影装置。
【請求項９】
前記撮影装置は、さらに、
前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、
前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項１０】
前記容量管理手段は、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを、前記外枠領域の中で前記被写体の動きの度合いおよび前記撮影装置の動きの度合いが小さい外枠領域から順に上書きする
ことを特徴とする請求項９記載の撮影装置。
【請求項１１】
前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１３】
前記撮影装置は、さらに、
前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも１つを検出する画像特徴検出手段を備え、
前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも１つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、
前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１４】
前記フレーミング画像表示手段によって表示される画像を、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から選択を受け付ける表示方法設定手段を備え、
前記フレーミング画像表示手段は、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から、前記表示方法設定手段によって選択された画像を表示する
ことを特徴とする請求項１記載の撮影装置。
【請求項１５】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影方法であって、
前記被写体の動きを検出する被写体動き検出ステップと、
当該撮影装置の動きを検出する撮影装置動き検出ステップと、
前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとを含む
ことを特徴とする撮影方法。
【請求項１６】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影するためのプログラムであって、
前記被写体の動きを検出する被写体動き検出ステップと、
当該撮影装置の動きを検出する撮影装置動き検出ステップと、
前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像撮影に係り、撮影意図と映像を分離して記録する技術に関するものである。
【背景技術】
【０００２】  近年、様々な機器のデジタル化と集積化技術の高度化によって、映像をデジタル記録できるカメラ、すなわち、デジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高く、ネットワークでの配信や映像編集など、様々な利用形態が民生用途で広がりを見せている。【０００３】  カメラは、図１Ａに示すように、シーン１８０１の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠１８０２を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置１８０３、カメラの方向１８０４、カメラの角度１８０５（横向きに構えるか、縦向きに構えるか、斜めに構えるか）、カメラの画角１８０６の４つである。このうち、カメラの位置は、図１Ｂの表１８０７、および図１Ｃに示すように、トラッキング１８０８（左右に水平移動）、ブーミング１８０９（鉛直移動）、ドリーイング１８１０（前後に水平移動）で調整する。また、カメラの方向は、図１Ｄに示すように、パンニング１８１１（カメラ中心で水平方向に回転）、チルティング１８１２（カメラ中心で鉛直方向に回転）で調整する。また、カメラの回転は、図１Ｄに示すように、ローリング１８１３（光軸を中心に回転）で調整する。カメラの画角は、ドリーイング１８１０、ズーミング１８１４で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング１８０８からズーミング１８１４までの７種類のカメラワークで撮影者によって決定される。【０００４】  撮影者は、撮影意図に応じて、図１Ａ〜図１Ｄに示したカメラワークを使い分けて、様々なフレーミングを作り出すことができる。たとえば、図２は、撮影者１９０１が被写体１９０２の側面から正面に回りこみながら、かつ、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を連続的に長くしてズーム倍率を上げる（ズームインする）撮影例を示す図である。ここで、画像ＩＣ１、画像ＩＣ２、画像ＩＣ３は、ビデオカメラ２００１のファインダ２００３に映し出される撮影画像を示し、それぞれ、撮影倍率１倍、２倍、４倍に相当する。この撮影例では、撮影者１９０１は、体の移動と回転でトラッキングとパンニングを行いつつ、同時に、ズーミングを行う。【０００５】  以上のように、７種類のカメラワークを自由に使い分けることで、様々なフレーミングが設定でき、映像表現力を高めることができるが、同時に、自由度の高さ故に、カメラワークを撮影意図どおりに制御できず、フレーミングが不適正になる場合がある。たとえば、図３は、被写体１９０２が右方向に移動したため、トラッキングとパンニングの制御が適正に実行できず、被写体１９０２がフレームから外れて（フレームアウトして）撮りこぼした例であり、図２のように、常に被写体１９０２を画面の中央に捉えたい、という撮影意図どおりにフレーミングを設定できなかった。被写体１９０２は、時間Ｔ１、時間Ｔ２、時間Ｔ３と時間が進むごとに右に移動し、撮影者１９０１は、トラッキングとパンニングが適切に制御できず、画像ＩＣ４に示す���うに、時間Ｔ１で画面中央に捉えていた被写体１９０２が、画像ＩＣ５に示すように、時間Ｔ２では画面右側にずれ、次に、画像ＩＣ６に示すように、時間Ｔ３では画面右側にフレームアウトして、撮りこぼしが発生した。【０００６】  以上のような撮影意図どおりにフレーミングが設定できない課題を解消するために、フレーミングを撮影後に再設定できる技術が開示されている（例えば、特許文献１参照）。すなわち、図４Ａに示すように、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を短く（たとえば３５ｍｍ）して、広角で撮影し、画角２１０１を確保して被写体１９０２を捉え、取りこぼしを防ぐ。撮影画像は、図４Ｂに示す画像ＩＣ７のように、被写体１９０２をフレーム内に捉えるが、トラッキングとパンニングが適切に制御できない影響で、画面の右側にずれたフレーミングになる。図３の画像ＩＣ６は、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を長く（たとえば１４０ｍｍ）して画角を画角２１０２のように狭め、ズーム倍率４倍の撮影画像をフレーム２２０１として得ている。そこで、図２の画像ＩＣ３のように、被写体１９０２を画面中央に捉えたい、という撮影意図に合致させるために、フレーム２２０２で画像ＩＣ８を切り出し、これをファインダ２００３に表示する。撮影時のフレーミングはフレーム２２０１であったが、これを撮影後に、フレーム２２０２に再設定して、撮影意図どおりのフレーミングを確保している。【０００７】  加えて、特許文献１では、画像処理によるズーミングである電子ズームで画質が劣化する対策として、画素数とライン数の多い高精細撮像素子を利用する。多焦点レンズ２００２の焦点距離を、たとえば３５ｍｍから１４０ｍｍに４倍長くすると、画角は、画角２１０１から画角２１０２に変更され、ファインダ２００３には、画角２１０１の場合の４倍の大きさで被写体１９０２が映し出される。もし、ビデオカメラ２００１の撮像素子の画素数とライン数がファインダ２００３と同一で、たとえば６４０画素×４８０ラインであったとすると、被写体１９０２がフレームアウトしないように、画角２１０１で広角撮影すると、ファインダ２００３に表示したい領域は１／４に小さくなる。そこで、画像ＩＣ７を６４０画素×４８０ラインで得た場合、切り出したいフレーム２２０２は、１６０画素×１２０ラインになり、６４０画素×４８０ラインのファインダ２００３に表示するために、画像処理で４倍拡大を行う必要がある。特許文献１では、画像処置による画像拡大を避けるために、ビデオカメラ２００１の撮像素子の画素数とライン数を増やし、切り出し処理のみで、両角２１０２の光学ズーム４倍と同等の画質を得る。すなわち、ファインダ２００３の画像サイズが、６４０画素×４８０ラインであるとすると、撮像素子には、２５６０画素×１９２０ラインを用いる。
【特許文献１】特開２００５−１２４２３号公報（図３）
【非特許文献１】日本ビクター株式会社、「ハードディスクムービー、主な仕様」、［平成１８年２月１０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｊｖｃ−ｖｉｃｔｏｒ．ｃｏ．ｊｐ／ｄｖｍａｉｎ／ｇｚ−ｍｇ７０／ｓｐｅｃ．ｈｔｍｌ＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】  しかしながら、従来の技術では、撮影画像が保存される記録メディアの記録容量が考慮されていない課題を有する。たとえば、２５６０画素×１９２０ラインの撮像素子を用いた場合、ＲＧＢ２４ビットのフレーム画像１枚の容量は約１４．７ＭＢであり、１秒間に３０フレーム撮影すると、１秒間の記録容量は約４４１ＭＢになる。たとえば、非特許文献１のビデオカメラを想定した場合、ハードディスクの容量が３０ＧＢであるので、特許文献１の方式で映像を記録すると、約６８秒でディスク容量を使い切る。また、非特許文献１のビデオカメラを想定した場合、動画記録時間は７時間（画質モードを最高レベルにした場合）であるため、撮影画像を圧縮して、７時間分の映像を３０ＧＢのハードディスクに記録するには、約０．３％までデータ量を削減しなければならない。【０００９】  そこで、本発明は上記の事情に鑑みてなされたものであり、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】  上記目的を達成するため、本発明に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。
【発明の効果】
【００１１】  本発明に係る撮影装置および撮影方法よれば、被写体あるいはビデオカメラが動いて撮影意図どおりにフレーミングが制御できなかった場合に、広角撮影画像から画像を切り出すことでフレーミングを修正できる。また、フレーミングの再設定の可能性が低い場合、記録メディアへの記録容量を削減することで、映像の記録時間を長くすることができる。さらに、記録メディア上のデータ管理を、表示画像として利用される可能性の大小に応じた適応処理とすることで、映像の記録時間を長くすることができる。
【図面の簡単な説明】
【００１２】
【図１Ａ】図１Ａは、本発明の背景技術を示す図である。
【図１Ｂ】図１Ｂは、本発明の背景技術を示す図である。
【図１Ｃ】図１Ｃは、本発明の背景技術を示す図である。
【図１Ｄ】図１Ｄは、本発明の背景技術を示す図である。
【図２】図２は、本発明の背景技術を示す図である。
【図３】図３は、本発明の背景技術を示す図である。
【図４Ａ】図４Ａは、本発明の背景技術を示す図である。
【図４Ｂ】図４Ｂは、本発明の背景技術を示す図である。
【図５】図５は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、焦点距離Ｆ、画角Ｌ、撮影距離Ｄ、撮像素子の大きさＳの関係を示す図である。
【図７Ａ】図７Ａは、被写体動きの検出方法の一例を説明する図である。
【図７Ｂ】図７Ｂは、被写体動きの検出方法の一例を説明する図である。
【図８】図８は、時間Ｔｉ−１と時間Ｔｉにおける撮影装置と被写体の相対的位置関係が保存される例を説明する図である。
【図９】図９は、撮影装置の動きを検出する方法を説明する図である。
【図１０】図１０は、図５の撮影画像ＩＣとフレーミング画像ＩＤＦの詳細を示す図である。
【図１１】図１１は、線形補間法を説明する図である。
【図１２】図１２は、データベース参照型の画像拡大方法を説明する図である。
【図１３】図１３は、画像特徴量ＦＩＳをウェーブレット変換の係数で表現する方法を説明する図である。
【図１４】図１４は、撮影装置の動作を説明するフローチャートである。
【図１５Ａ】図１５Ａは、フレーミングの再設定方法を説明する図である。
【図１５Ｂ】図１５Ｂは、フレーミングの再設定方法を説明する図である。
【図１６】図１６は、本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１７】図１７は、本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。
【図１８Ａ】図１８Ａは、被写体の動きの度合いを求める方法を説明する図である。
【図１８Ｂ】図１８Ｂは、被写体の動きの度合いを求める方法を説明する図である。
【図１９】図１９は、本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２０】図２０は、撮影画像データ部がフレーム領域ＩＣＦの保存領域と外枠領域ＩＣＭの保存領域をメモリアドレスで識別する方法を説明する図である。
【図２１】図２１は、本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。
【図２２】図２２は、先読みの方法を右方向へ撮影装置をパンニングする例で説明する図である。
【図２３】図２３は、本発明の実施の形態６に係る撮影装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態７に係る撮影装置の構成を示すブロック図である。
【図２５】図２５は、本発明の実施の形態８に係る撮影装置の概観図である。
【図２６】図２６は、動作モードの選択画面を示す図である。
【図２７】図２７は、被写体撮りこぼし防止モードの設定画面を示す図である。
【図２８】図２８は、圧縮率可変モードの設定画面を示す図である。
【図２９】図２９は、外枠上書きモードの設定画面を示す図である。
【図３０】図３０は、フレーミング再設定モードの設定画面を示す図である。
【図３１】図３１は、先読みモードの設定画面を示す図である。
【図３２】図３２は、画像特徴検出部における特定の色の指定に用いるカラーパレット１６０６を説明する図である。
【図３３】図３３は、画像特徴検出部における特定の色の指定に用いるエリア指定１６０９を説明する図である。
【図３４】図３４は、音特徴検出部における音指定の設定画面を示す図である。
【図３５Ａ】図３５Ａは、本発明の実施の形態９に係る撮影装置の構成を示すブロック図である。
【図３５Ｂ】図３５Ｂは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【図３５Ｃ】図３５Ｃは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【図３５Ｄ】図３５Ｄは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【符号の説明】
【００１３】  １００、４００、５００、６００、７００、８００、９００、１０００、１７００    撮影装置
１０１    多焦点光学レンズ部
１０２    焦点制御部
１０３    焦点距離算出部
１０４    撮像素子部
１０５    ズーム倍率設定部
１０６    被写体動き検出部
１０７    撮影装置動き検出部
１０８    記録メディア部
１０９    フレーミング再設定部
１１０    フレーミング変更部
１１１    フレーム領域設定部
１１２    電子ズーム処理部
１１３    フレーミング画像表示部
１１４    姿勢センサ部１１４
２００    被写体
【発明を実施するための最良の形態】
【００１４】  本発明の実施の形態に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。【００１５】  具体的には、第１に、被写体または撮影装置が動いた場合、撮影意図に適さないフレーミングが発生しやすい、と想定して広角撮影を選択し、被写体の取りこぼしを防ぐ。すなわち、被写体あるいは撮影装置の動きが検出されたら、光学ズームを広角撮影に切り替え（多焦点レンズの焦点距離を短くする）、広い範囲でシーンを撮影し、被写体を画角内に捉える。撮影者がフレーミングを確認するファインダへの映像表示には、電子ズームを用い、たとえば、撮影者がズーム倍率を４倍に設定した場合は、広角撮影画像からズーム倍率４倍に対応した領域をフレーム領域として切り出し、電子ズームでファインダに表示する表示映像のサイズに拡大する。記録メディアには、光学ズームで決定された広角撮影映像と撮影者が指定したズーム倍率を保存する。ズーム倍率を参照すれば、撮影者がファインダで確認したフレーム領域を広角撮影映像上に特定でき、フレーム領域以外の外枠領域は、フレーミング再設定に利用できる。【００１６】  第２に、被写体と撮影装置がともに静止している場合は、撮影意図どおりにフレーミングを制御しやすい、と想定して撮影時に設定されたフレーム領域のみが記録メディアに保存され、外枠領域は設けられない。そこで、撮影者がフレーミングを確認するファインダへの映像表示には、光学ズームで撮影された画像がそのまま使われ、電子ズームは動作しない（倍率１倍とする）。従って、被写体と撮影装置の両方で動きが検出されない場合は、表示に必要な画像サイズのみを記録メディアに保存して、記録容量を削減する。【００１７】  これによって、ズーミングの光学的制御（光学ズーム���と電子的制御（電子ズーム）の両方を利用して撮影意図に応じたフレーミングを設定し、撮影者に撮影意図どおりの映像を表示することができる。また、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる。【００１８】  また、前記撮影装置は、さらに、前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも１つを再設定するフレーミング再設定手段と、前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備えてもよい。【００１９】  また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備えてもよい。これによって、記録メディアの記録容量を削減することができる。すなわち、外枠領域は、フレーミングの再設定が行われない限り利用されず、また、外枠領域すべてがフレーミングの再設定で選択される可能性は低いため、外枠領域は相対的に圧縮率を高めて記録容量の削減を優先し、フレーム領域は相対的に圧縮率を低めて画質を優先することができる。【００２０】  また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備えてもよい。これによって、撮影者にとって、より重要なフレーム領域の映像が記録される時間を長くすることができる。【００２１】  また、前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、撮影装置の動きに加え、フレーム領域が光学ズーム画像内で撮影装置の移動方向に移動するので、より短い時間で被写体を捉えることができ、撮りこぼしを最小限の抑えることができる。【００２２】  また、前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、例えば突然動きを早めた人物や、突然動きを止めた人物などにフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。【００２３】  また、前記撮影装置は、さらに、前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも１つを検出する画像特徴���出手段を備え、前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも１つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、特定の色および特定の画像パターンを含む領域にフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。【００２４】  なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。【００２５】  以下、本発明の実施の形態につき図面を参照して詳細に説明する。【００２６】  （実施の形態１）
本実施の形態では、被写体あるいはビデオカメラの動き検出に応じて光学ズームと電子ズームを使い分け、被写体が画角から外れる撮りこぼしの可能性を最小限に抑えて、かつ映像の記録容量も最小限に抑える撮影装置について説明する。【００２７】  図５は本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。【００２８】  撮影装置１００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ部１１４を備えている。実線は映像データの流れを示し、点線は制御データの流れを示す。【００２９】  多焦点光学レンズ部１０１は、焦点距離を変更することによって、撮像素子部１０４に結像される撮影画像ＩＣの画角を変更する。焦点距離は、ズーム倍率設定部１０５で設定されたズーム倍率ＺＦに従って焦点距離算出部１０３で算出され、焦点距離制御部１０２を介して多焦点光学レンズ部１０１の焦点距離が設定される。図６は、焦点距離Ｆ、撮像される被写体２００の長さ（画角に相当）Ｌ、被写体２００と多焦点光学レンズ１０１との距離Ｄ、撮像素子１０４の大きさＳの関係を示し、これらは次の（式１）の関係を持つ。【００３０】
【数１】
2007094219.tif 000003
【００３１】  焦点距離Ｆと画角Ｌは反比例の関係にあり、たとえば、焦点距離Ｆが３５ｍｍから１４０ｍｍへ４倍長くなった場合、画角Ｌは１／４狭くなり、倍率４倍の拡大画像が撮影できる。【００３２】  ズーム倍率設定部１０５では、撮影者によってズーム倍率ＺＦが設定される。ズーム倍率ＺＦは、多焦点光学レンズ部１０１の焦点距離が最短で最も画角が広い状態を１倍とする。ズーム倍率設定部１０５で設定されたズーム倍率ＺＦは、焦点距離算出部１０３と記録メディア部１０８とフレーミング変更部１０９に入力する。【００３３】  被写体動き検出部１０６は被写体２００の動きを検出し、撮影装置動き検出部１０７は撮影装置１００の動きを検出する。被写体２００の動き、あるいは撮影装置１００の動きの少なくとも一方が検出された場合、焦点距離算出部１０３に検出結果が入力され、焦点距離算出部１０３は焦点距離を最短（たとえば３５ｍｍ）に設定し、多焦点光学レンズ部１０１は画角が最も広い光学ズーム１倍の状態に設定される。このような動作の目的は、被写体２００と撮影装置１００の少なくとも一方が動いた場合に、撮影者がフレーミングを撮影意図どおりに制御できなくなり、被写体２００が画角から外れる可能性が高い、と想定して、画角が最も広い光学ズーム１倍に設定して、撮りこぼしを防止するところにある。逆に、被写体２００に動きがなく、かつ撮影装置１００に動きがない場合は、被写体２００が画角から外れて撮りこぼしをする可能性は低いため、焦点距離算出部１０３はズーム倍率設定部１０５から与えられるズーム倍率ＺＦ（たとえば４倍）を焦点距離制御部１０２に出力し、多焦点光学レンズ部１０１は光学ズーム４倍（たとえば３５ｍｍを１倍とした場合、１４０ｍｍ）に設定される。【００３４】  本発明において、被写体動きの検出方法は任意であるが、たとえば、図７Ａおよび図７Ｂに示すように、時間の異なる２つの画像の差分を求める方法などを利用する。図７Ａは、時間Ｔ０から時間ＴＥの間で被写体２００が右方向に移動した場合であり、撮影装置１００は静止していたとする。時間Ｔ０と時間ＴＥの間で連続する時間Ｔｉ−１と時間Ｔｉを考え、撮影画像をそれぞれ、撮影画像ＩＣｉ−１、撮影画像ＩＣｉとする。時間Ｔｉ−１と時間Ｔｉの間隔は、フレームレートに依存し、通常、１／３０秒である。図７Ｂに示す画像ＩＣＯＰＴは、撮影画像ＩＣｉ−１と撮影画像ＩＣｉを画素単位で差分を求めた結果であり、画素値が異なる画素を斜線で示した。実際はカメラノイズや、背景のわずかな動きなどを含めて様々なノイズが存在するために、差分値に閾値を設けて、閾値を超えた場合に動きありと判定する。また、閾値設定は、画素値だけでなく、画素数に対しても設定し、画素数に対する閾値を超えない場合はノイズと考えて無視する。【００３５】  上記の説明では、撮影装置１００が静止している仮定をおいた。逆に、被写体２００が静止していて、撮影装置１００が左側へトラッキングした場合、図７Ａおよび図７Ｂと同じ撮影画像が得られる。そこで、撮影装置１００の動きも図７Ａおよび図７Ｂの原理で検出できる。しかし、図８に示すように、撮影装置１００と被写体２００が同時に移動して、時間Ｔｉ−１と時間Ｔｉにおけ��相対的位置関係が保存され、撮影画像ＩＣｉ−１と撮影画像ＩＣｉが同一になる場合が考えられる。この場合は、図７Ａおよび図７Ｂに示した差分値を求める方法では、撮影装置１００の動き、あるいは被写体２００の動きを検出できない。そこで、図９に示すように、撮影装置１００に姿勢センサ１１４を内蔵し、撮影装置１００の動きを検出する。図７Ａおよび図７Ｂに示した被写体動き検出方法は一例であり、本発明は任意の被写体動き方法を利用できるが、いずれの方法を適用したとしても、撮影装置１００の動きが独立に検出されれば、被写体２００の動き検出の精度向上につながるため、姿勢センサ１１４は有効に利用できる。姿勢センサ１１４には、角速度センサや加速度センサなどを用いる。【００３６】  記録メディア部１０８は、撮像素子部１０４から出力される撮影画像ＩＣとズーム倍率ＺＦ設定部１０５から出力されるズーム倍率ＺＦを時間とともに保存する。撮影画像ＩＣとズーム倍率ＺＦは記録された時間を参照することで、対応関係がわかる。被写体動き検出部１０６、あるいは撮影装置動き検出部１０７が、被写体２００あるいは撮影装置１００の動きを検出した際、多焦点光学レンズ部１０１は光学ズーム１倍に設定されるため、ズーム倍率ＺＦの設定値に関わらず、光学ズーム１倍の撮影画像ＩＣが記録される。【００３７】  フレーミング再設定部１０９とフレーミング変更部１１０は、撮影時には動作せず、記録した映像を再生してフレーミングを再設定する際に動作する。そこで、撮影時は、ズーム倍率設定部１０５から与えられたズーム倍率ＺＦがフレーミング変更部１１０を通過して、フレーム領域設定部１１１と電子ズーム処理部１１２に入力される。フレーミング再設定部１０９とフレーミング変更部１１０の動作説明は、撮影時の動作説明の後、再生時の動作説明として後述する。【００３８】  フレーム領域設定部１１１は、ズーム倍率ＺＦに従って、撮像素子部１０４の出力である撮影画像ＩＣから切り出すフレーム領域ＩＣＦを設定し、電子ズーム処理部１１２は、撮影画像ＩＣからフレーム領域ＩＣＦを切り出して、画像処理による電子ズームでフレーミング画像ＩＤＦを生成し、フレーミング画像表示部１１３で撮影者にフレーミング画像ＩＤＦを表示する。【００３９】  図１０は、図５の撮影画像ＩＣとフレーミング画像ＩＤＦの詳細を示す。撮影画像ＩＣは、画素数ＰＣ、ライン数ＬＣを有し、撮像素子部１０４の画素数とライン数に一致する。フレーミング画像ＩＤＦは、画素数ＰＤ、ライン数ＬＤを有し、フレーミング画像表示部１１３の画素数とライン数に一致する。点線の交点は多焦点光学レンズ部１０１の光軸位置を表し、撮影画像ＩＣとフレーミング画像ＩＤＦの中心と一致する。ズーム倍率ＺＦは、多焦点光学ズーム部１０１が最も広角の場合を倍率１とするため、ズーム倍率ＺＦに従って画角を狭めて切り出されるフレーム領域ＩＣＦの画素数は（ＰＣ）／（ＺＦ）、ライン数は（ＬＣ）／（ＺＦ）となる。【００４０】  次にフレーム領域ＩＣＦをフレーミング画像表示部１１３に表示するために、画素数（ＰＣ）／（ＺＦ）を画素数ＰＤに、ライン数（ＬＣ）／（ＺＦ）をライン数ＬＤに変換する電子ズームを施す。画素数ＰＤが画素数（���Ｃ）／（ＺＦ）より大きい場合、あるいは、ライン数ＬＤがライン数（ＬＣ）／（ＺＦ）より大きい場合、電子ズームは画像拡大になる。本発明において、画像拡大方法は任意であり、図１１と図１２に画像拡大方法の例を示す。【００４１】  図１１は、線形補間法を説明する図である。実線は、被拡大画像（図１０のフレーム領域ＩＣＦに相当）の画素位置を示し、実線の交点が画素を示す。画素Ｐ１は画素値Ｓ１を持ち、画素Ｐ２は画素値Ｓ２を持ち、画素Ｐ３は画素値Ｓ３を持ち、画素Ｐ４は画素値Ｓ４を持つ。点線は拡大画像（図１０のフレーミング画像ＩＤＦに相当）の画素位置を示し、画素ＤＦＰの画素値ＳＤを（式２）の線形補間演算で求める。【００４２】
【数２】
2007094219.tif 000004
【００４３】  図１２は、データベース参照型の画像拡大方法を説明する図である。この場合、電子ズーム処理部１１２は、図１２に示すように画像特徴解析部３０１、高密化データベース３０２カテゴリ選定部３０３、および画像生成部３０７を備えている。また、高密化データベース３０２は、特徴カテゴリデータベース３０４、変換テーブルデータベース３０５、および高密化画像特徴量データベース３０６を備えている。【００４４】  被拡大画像ＩＳ（図１０のフレーム領域ＩＣＦに相当）は、画像特徴解析部３０１で画像特徴量ＦＩＳに変換される。画像特徴量ＦＩＳは、画像のテクスチャ（光沢感や凹凸感などを表す模様やパターンの総称）を表現する特徴量であり、たとえば、図１３に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを得る。これが、画像特徴量ＦＩＳに用いられる。高密化データベース３０２は、画像特徴量ＦＩＳを空間的に密度の高い高密化画像特徴量ＦＩＳＨに変換する。高密化データベース３０２は、高密化のための画像特徴量の変換情報を画像特徴カテゴリごとに保有している。そこで、画像特徴量ＦＩＳのカテゴリが、カテゴリ選定部３０３で選定され、図１２の例では、画像特徴カテゴリ＃２が選択されている。画像特徴カテゴリは、たとえば、被写体の材質の種類ごと（たとえば肌、木、石、生地など）に設定して画像特徴量を高密化すれば、材質のテクスチャを保存でき、拡大画像の画質を高品位に制御できる。カテゴリ選定部３０３で特定された画像特徴カテゴリは、画像特徴カテゴリデータベース３０４を参照して、最も類似するカテゴリを選択し、図１２の例では、画像特徴カテゴリ＃２が選択されている。画像特徴カテゴリデータベース３０４の参照によって、カテゴリ番号（この例では＃２）が決定すると、変換テーブルデータベース３０５で同じカテゴリ番号が選択され、参照すべき高密化画像特徴量のカテゴリ番号（この例では＃１０）が得られる。高密化画像特徴量のカテゴリ番号に従って高密化画像特徴量データベース３０６から高密化画像特徴量が選択され、この例では、高密化画像特徴量＃１０が高密化画像特徴量ＦＩＳＨとして、画像生成部３０７に出力される。画像生成部３０７は画像特徴解析部３０１の処理の逆変換で高密化画像特徴量を拡大画像ＩＬに変換する。画像特徴解析部３０１にウェーブレット変換を用いた場合は、ウェーブレット逆変換を適用する。【００４５】  以上のように、被写体動き検出部１０６が被写体２００の動きを検出するか、あるいは撮影装置動き検出部１０７が撮影装置１００の動きを検出するか、少なくとも何れか一方が検出されると、被写体２００を取りこぼす可能性が高いと想定して、画角を最も広く取り、外枠領域ＩＣＦを含めて撮影画像ＩＣが記録メディア部１０８に保存される。逆に、被写体２００と撮影装置１００がともに静止している場合は、被写体２００を取りこぼす可能性が低いと想定して、フレーム領域ＩＣＦのみが撮影画像ＩＣとして記録メディア部１０８に保存される。このような動作原理により、撮りこぼしの可能性を最小限に抑えつつ、かつ記録メディア部１０８への記録容量を最大限に削減できる。【００４６】  上記のように構成された撮影装置１００を用いて撮影者が被写体２００を撮影する場合の動作について説明する。【００４７】  図１４は、撮影装置１００の動作を説明するフローチャートである。【００４８】  撮影装置１００は、起動されると初期設定（Ｓ１０１）として、焦点距離制御部１０２が多焦点光学レンズ部１０１の焦点距離を最短に設定し、ズーム倍率ＺＦを１にリセットする。フレーム領域設定部１１１と電子ズーム処理部１１２はズーム倍率ＺＦを１として動作するため、フレーミング画像表示部１１３にズーム倍率ＺＦが１の最も画角の広い画像が表示される（Ｓ１０２）。ズーム倍率設定部１０５が撮影者に解放され（Ｓ１０３）、撮影者は任意のタイミングでズーム倍率ＺＦを変更できる。撮影者が録画ボタンを押すと、被写体動き検出部１０６は、被写体の動きの監視を開始し、撮影装置動き検出部１０７は、撮影装置の動きの監視を開始する（Ｓ１０４）。被写体の動きと撮影装置の動きの少なくとも一方が検出されたら（Ｓ１０４でＹＥＳ）、焦点距離算出部１０３はズーム倍率ＺＦが１となるように焦点距離を算出し、焦点距離制御部１０２が多焦点光学レンズ部１０１を倍率１に相当する広角に設定する（Ｓ１０５）。倍率１の広角画像からズーム倍率ＺＦに相当するフレーム領域ＩＣＦを設定し、電子ズーム処理部１１２はこのフレーム領域ＩＣＦを切り出す（Ｓ１０６）。そして、電子ズーム処理部１１２はフレーム領域ＩＣＦをフレーミング画像表示部１１３の画像サイズに合致するように、画像拡大、あるいは画像縮小を行う（Ｓ１０７）。電子ズーム画像をフレーミング画像表示部１１３に表示し（Ｓ１０８）、撮影画像ＩＣとズーム倍率ＺＦとを記録メディア部１０８へ保存する（Ｓ１０９）。撮影終了の場合（Ｓ１１０でＹＥＳ）は、動作が終了する。撮影が続いている場合（Ｓ１１０でＮＯ）は被写体の動きおよび撮影装置の動きの少なくとも一方を検出するステップ（Ｓ１０４）へ戻る。一方、被写体の動きと撮影装置の動きがともに検出されなかったら（Ｓ１０４でＮＯ）、多焦点光学レンズ部１０１を撮影者が設定したズーム倍率ＺＦに設定する（Ｓ１１２）。撮像素子部１０４の出力の撮影画像ＩＣがフレーミング画像表示部１１３で表示される（Ｓ１０８）。【００４９】  以上の説明は、撮影時の動作に関するものであったが、これらに加えて、再生時のフレーミング再設定の動作を次に説明する。【００５０】  フレーミング再設定部１０９は、撮影時に設定したフレーミングを、撮影後に修正する手段であり、フレーム領域ＩＣＦの位置とズーム倍率ＺＦを変更できる。図１５Ａおよび図１５Ｂは、フレーミングの再設定方法を説明する図である。画像ＩＣＴｏは撮影時に記録メディア部１０８に保存された撮影画像であり、外枠領域ＩＣＭを含んでいる。撮影意図は、右方向へ移動する人物の上半身を撮影する、とする。撮影画像ＩＣＴｏが記録される前は、被写体２０１の上半身を捉えるフレーミングであったが、撮影画像ＩＣＴｏが撮影された時点で、被写体２０２の身長が被写体２０１より大きくことがわか��、フレームアウトした。そこで、撮影画像ＩＣＴ１のように、フレーミングを再設定したい、とする。すなわち、フレーム領域ＩＣＦｏの中心位置ＩＣＦＣｏを、フレーム領域ＩＣＦ１の中心位置ＩＣＦＣ１に移動し、かつ画角を広く（ズーム倍率を小さく）する。【００５１】  フレーム領域の中心位置とズーム倍率の指定方法は、撮影時と同様で、撮影者は記録メディア部１０８に保存された撮影画像を再生し、フレーミング画像表示部１１３でフレーミングを確認しながら、修正したい方向へ撮影装置１００を動かす。同時に、ズーム設定部１０５を調整する。撮影装置１００の動きは姿勢センサ１１４（図９）で検出し、撮影画像ＩＣにおける光軸位置の変化を読み取る。フレーミングの再設定時には、再生速度を落として（たとえば１／５秒）フレーミングの確認と操作に対して時間の余裕を与える。また、再生速度の変更を撮影者が行っても構わない。変更されたフレーム領域の中心位置ＩＣＦＣ１とズーム倍率ＺＦはフレーミング変更部１１０を介して記録メディア部１０８に保存される。この際、撮影者は、過去のデータを削除して新しい変更データのみを残す「上書きモード」や、過去のデータを残し、別途新しい変更データを記録する「コピーモード」を選択できる。また、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部１１３で確認してから上書きモードを実行する「コピー上書きモード」も利用できる。さらに、変更データを作成した後に外枠領域ＩＣＭのデータを削除するか、残しておくかを撮影者が指示できる。なお、記録メディアの記録容量を節約するには、上書きモードを選択し、過去のデータと変更データの両方で外枠領域を削除することが望ましい。逆に、フレーミングの再設定を繰り返す可能性が残る場合は、過去のデータと変更データの両方で外枠領域を残すことが望ましい。フレーミングの再設定を繰り返す場合は、過去のデータに対して実施するか、変更データに対して追加の変更を実施するか、を撮影者が選択できる。以上のように、撮影時と同じ操作方法でフレーミングを再設定すると、撮影時のフレーミングの記録（撮影装置を上に向けるべきだった）を参考にできるため、再設定の操作がスムースになり、かつ、複数のフレーム画像からなる動画像を一気に修正できるメリットがある。【００５２】  フレーム領域ＩＣＦｏの大きさは、ズーム倍率ＺＦに従って決まり、フレーム領域ＩＣＦｏに含まれる画素数は、画像ＩＣＴｏ全体の１／（ＺＦ）＾２にある。たとえば、ズーム倍率ＺＦが２倍の場合、１／４になり、ズーム倍率ＺＦが４倍の場合、１／１６になる。外枠領域ＩＣＭに含まれる画素数は、画像ＩＣＴｏ全体からフレーム領域ＩＣＦｏを差し引いた画素数であるから、ズーム倍率ＺＦが２倍の場合、３／４になり、ズーム倍率ＺＦが４倍の場合、１５／１６になる。相対的に見て、利用される可能性の低い外枠領域ＩＣＭが、利用される可能性の高いフレーム領域ＩＣＦよりも多くの画素を含むため、記録メディア部１０８の記録容量をある一定値（たとえば３０ＧＢ）で考えた場合、録画時間を延ばすには、外枠領域の削除が効果的であることが容易に理解できる。たとえば、撮像素子部１０４の画像サイズを２５６０画素×１９２��ラインとし、記録メディア部１０８の記録容量を３０ＧＢとすると、ＲＧＢ２４ビット画像の場合、約８６秒で記録容量の上限に達する。仮に、フレーミング画像表示部１１３の画像サイズを６４０画素×４８０ラインとした場合、フレーム領域ＩＣＦの画像サイズは撮影画像ＩＣに対して画素数、ライン数ともに１／４であり、外枠領域ＩＣＭは１５／１６となる。そこで、被写体２００と撮影装置１００がともに静止している場合、あるいは、撮影後に外枠領域を削除した場合、記録容量が１５／１６に削減され、３０ＧＢの記録上限であれば、録画時間が約１０８０秒（約１８分）まで延びる。【００５３】  また、電子ズーム処理部１１２で図１１や図１２に例示した画像処理による電子ズームを実行すれば、撮像素子部１０４の画素数とライン数を少なくできる。たとえば、撮像素子部１０４を１２８０画素×９６０ラインにし、電子ズーム処理部１１２で２倍拡大を行えば２５６０画素×１９２０ライン相当のフレーム領域ＩＣＦを得られる。撮像素子部１０４の画素数とライン数がともに１／２に削減されるため、記録メディア部１０８への録画時間も４倍長くなり、たとえば、記録メディア部１０８の記録容量を３０ＧＢとすると、約３３４秒（５分３４秒）となり、外枠領域ＩＣＭを保存しない場合は、７２分に延びる。【００５４】  なお、図５の説明では、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に光学ズームを１倍に設定したが、本発明は光学ズームの倍率を限定するものではなく、たとえば、１．５倍であっても構わない。動作の本質は、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に広角撮影に変更する、ところにあり、被写体の撮りこぼし防止に適する倍率であれば、その数値は任意に設定できる。【００５５】  以上により、被写体と撮影者の動きを監視し、光学ズームと電子ズームを使い分けることで、被写体の撮りこぼしを最小限に抑え、かつ長時間録画が可能な撮影装置を提供できる。また、フレーミングの再設定は、撮影時と同様に撮影装置を動かし、ズーム倍率を変更するため、新たな操作方法を覚える必要がなく、かつ動画像をスムースに修正できる。【００５６】  （実施の形態２）
本実施の形態では、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存する撮影装置について説明する。【００５７】  図１６は本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００５８】  撮影装置４００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ１１４、圧縮符号化部４０１、および伸長復号化部１１５を備えている。【００５９】  圧縮符号化部４０１は、フレーム領域設定部１１１で設定されたフレーム領域ＩＣＦと外枠領域ＩＣＭに異なる圧縮率で画像圧縮処理を施して記録メディア部１０８へ出力する。相対的にみて、フレーム領域ＩＣＦは画像表示に利用される可能性が高く、外枠領域は画像表示に利用される可能性が低いため、記録容量の削減を目的に、外枠領域に高い圧縮率を適用し、録画時間を延ばす。圧縮率を高くすることで画質劣化を招くが、外枠領域を設けることで撮りこぼしを防ぐことはできる。たとえば、撮像素子部１０４の画像サイズを２５６０画素×１９２０ラインとし、記録メディア部１０８の記録容量を３０ＧＢとすると、ＲＧＢ２４ビット画像の場合、約８６秒で記録容量の上限に達する。仮に、フレーミング画像表示部１１３の画像サイズを６４０画素×４８０ラインとした場合、フレーム領域ＩＣＦの画像サイズは撮影画像ＩＣに対して画素数、ライン数ともに１／４であり、外枠領域ＩＣＭは１５／１６を占める。そこで、外枠領域ＩＣＭのデータ量を１／２に圧縮し、フレーム領域ＩＣＦのデータ量を３／４に圧縮した場合は、１フレームの記録容量は約７．６ＭＢで、記録メディア部１０８の記録容量を３０ＧＢとすると、録画時間は約１３２秒（２分１２秒）となり、録画時間が約１．５倍延びる。【００６０】  伸長復号化部４０２は、圧縮符号化された撮影画像ＩＣを伸長復号化し、電子ズーム処理部１１２へ出力する。【００６１】  以上により、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存することにより、録画時間を長くする撮影装置を提供できる。なお、フレーム領域および外枠領域を同じ圧縮率で圧縮符号化しても構わないが、上記のように圧縮率を切り替えることによって、効率的に撮影画像を記録メディアに保存することができる。【００６２】  （実施の形態３）
本実施の形態では、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置について説明する。【００６３】  図１７は本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。なお、図１６に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００６４】  撮影装置５００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部５０３、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ１１４、圧縮符号化部５０１、および伸長復号化部５０２を備えている。【００６５】  被写体動き検出部１０６は、被写体の動き検出結果を焦点距離算出部１０３へ出力するとともに、フレーム領域設定部５０３と圧縮符号化部５０１と伸長復号化部５０２へ被写体の動き検出結果を出力する。被写体動き検出部１０６は、フレーム領域設定部５０３と圧縮符号化部５０１と伸長復号化部５０２への出力において、動きのある／なしの２値情報だけではなく、被写体の動きの度合いを出力する。動きの度合いとは、撮影画像ＩＣの中で被写体動きが検出された画素数の割合と、時間変化に注目した場合、被写体動きが検出された画素の集まりが撮影画像ＩＣの中でどれだけ移動しているか、の２つの観点がある。【００６６】  図７Ａおよび図７Ｂに示したように、被写体の動きは時間的に前後する２枚の画像（図７Ａおよび図７Ｂでは、時間Ｔｉ−１の画像ＩＣｉ−１と時間Ｔｉの画像ＩＣｉ）の画素値の差分を画素ごとに求め、差分値を持つ画素に動きが発生したと判断する。そこで、差分値の分布を表す画像ＩＣＯＰＴの斜線部分の面積が広いほど、被写体の動きの度合いが大きいと判定する。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ＩＣＦを小さく取り、外枠領域ＩＣＭを大きく取って、撮りこぼし防止の確度を高める。【００６７】  図１８Ａおよび図１８Ｂは、時間Ｔｉ−１、時間Ｔｉ、時間Ｔｉ＋１に連続する３枚の撮影画像ＩＣｉ−１、撮影画像ＩＣｉ、撮影画像ＩＣｉ＋１を示す。時間Ｔｉ−１と時間Ｔｉの差分が画像ＩＣＯＰＴ１であり、時間Ｔｉと時間Ｔｉ＋１の差分が画像ＩＣＯＰＴ２である。画像ＩＣＯＰＴ１の斜線で示された動きのある画素の重心は点ＣＰ１であり、画像ＩＣＯＰＴ２の斜線で示された動きのある画素の重心は点ＣＰ２であり、被写体の動きが検出された画素の集まりが、移動していることがわかる。すなわち、点ＣＰ１を通る垂直方向の点線ＣＶ１と点ＣＰ２を通る垂直方向の点線ＣＶ２が異なる位置にある。なお、被写体２００は平行移動しているため、点ＣＰ１を通る水平方向の点線ＣＨ１と点ＣＰ２を通る水平方向の点線ＣＨ２は同じ位置にある。点線ＣＶ１と点線ＣＶ２の不一致から被写体の動きが時間Ｔｉ−１から時間Ｔｉ＋１に至るまで連続していることが理解でき、被写体の動きの度合い��大きいと判定される。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ＩＣＦを小さく取り、外枠領域ＩＣＭを大きく取って、撮りこぼし防止の確度を高める。被写体動きが検出された画素の集まりの重心位置を時間的に連続して監視し、重心位置が動き続けるほど、被写体の動きの度合いが大きいと判定する。【００６８】  以上のように、被写体の動きの度合いに応じて、圧縮率を固定としてフレーム領域ＩＣＦの大きさを変更する方法を説明したが、同じ要領でフレーム領域ＩＣＦの大きさを固定として画像圧縮の圧縮率を制御しても構わない。すなわち、圧縮符号化部５０１は、入力された動きの度合いが大きい場合は外枠領域ＩＣＭを用いてフレーミングを再設定する可能性が高いため、外枠領域ＩＣＭに施す画像圧縮の圧縮率を低くして、画質レベルを高く保つ。【００６９】  また、被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ制御と外枠領域ＩＣＭの圧縮率の制御は、同時に実行できる。その際、フレーム領域ＩＣＦの大きさが小さくなるほど、電子ズーム処理部１１２が実行する画像拡大処理の拡大率が大きくなる。そこで、フレーム領域ＩＣＦの大きさが小さくなるほど、フレーム領域ＩＣＦに施す画像圧縮の圧縮率は低くし、画質レベルを維持する。【００７０】  以上の説明では、被写体の動きを対象に図１７の動作を説明したが、被写体の動きを撮影装置の動きと置き換えてことができる。また、被写体の動き、あるいは撮影装置の動きの少なくとも一方が発生した場合に、動きの度合いを求めても構わない。【００７１】  以上により、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置を提供でき、被写体の撮りこぼしの最小限に抑え、かつ録画時間を長くできる。【００７２】  （実施の形態４）
本実施の形態では、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録容量の残量がなくなったら、外枠領域の保存領域に上書きする撮影装置について説明する。【００７３】  図１９は本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００７４】  撮影装置６００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部６０４、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ１１４、撮影画像データ部６０１、メモリアドレス調整部６０２、およびメモリ容量管理部６０３を備えている。【００７５】  撮影画像データ部６０１は、図２０に示すように、フレーム領域ＩＣＦの保存領域と外枠領域ＩＣＭの保存領域を別々に有し、メモリアドレスで識別する。この例では、メモリアドレスの００００から１ＦＦＦをフレーム領域に利用し、メモリアドレスの２０００からＦＦＦＦを外枠領域に利用している。メモリアドレス調整部６０２は、フレーム領域設定部１０４から与えられるフレーム領域ＩＣＦと外枠領域ＩＣＭに応じて、メモリアドレスの割り振りを担当する。メモリ容量管理部６０３は、記録メディア部１０８の記録容量を監視し、残量がなくなった場合、メモリアドレス調整部６０２に指示を出して、フレーム領域ＩＣＦを外枠領域ＩＣＭのメモリアドレス空間に上書きしていく。このような動作によって、相対的に見て、利用される可能性の高いフレーム領域の記録時間を延ばして、録画時間を長くできる。【００７６】  また、被写体動き検出部１０６と撮影装置動き検出部１０７から動きの度合いをメモリアドレス調整部６０２経由で撮影画像データ部に記録する。そこで、図２０に示すように、すべての外枠領域ＩＣＭは動きの度合いを合わせ持つ。記録容量の残量がなくなって、外枠領域ＩＣＭのメモリ空間にフレーム領域を上書きする際には、動きの度合いの小さなデータから順に上書きする。このように動作させることで、相対的に見て、利用される可能性の少ない動きの少ない外枠領域から上書きし、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。【００７７】  以上により、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録要領の残量がなくなったら、外枠領域に上書きする撮影装置を提供でき、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。【００７８】  （実施の形態５）
本実施の形態では、撮影者が撮影したい被写体が画角外にあり、これを撮影者が撮影装置を移動することで被写体を画角内に捉えるカメラワークにおいて、撮影装置が姿勢センサの動きから先読みした移動方向にフレーミング領域を移動して、より短い時間で被写体を捉える撮影装置について説明する。【００７９】  図２１は本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００８０】  撮影装置７００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部７０１、圧縮符号化部４０１、伸長復号化部４０２、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ１１４を備えている。【００８１】  姿勢センサ部１１４は、撮影装置７００の姿勢情報をフレーム領域設定部７０１に出力する。フレーム領域設定部７０１は、姿勢情報を時間的に監視し続けて、撮影装置７００の動きに一定の規則性（たとえば、右方向へのパンニングが２秒間続くなど）が見つかったら、撮影装置７００は将来も同じ動きを続けると予測し、フレーム領域を撮影画像ＩＣ内で撮影装置の移動方向（たとえば、右方向へのパンニング）へ移動し、撮影装置の動きよりも早く被写体を捉える。たとえば、図２２は、右方向へ撮影装置７００をパンニングする例を示す。被写体は人物２０１、人物２０２、人物２０３であり、細い実線の四角が外枠ＩＣＭを示し、太い実線の四角がフレーム領域ＩＣＦを示す。撮影者はフレーム領域ＩＣＦをフレーミングするズーム倍率ＺＦを設定し、電子ズーム処理部１１２は、フレーム領域ＩＣＦを電子ズームしてフレーミング画像表示部１１３に表示する。図２２の上段の１列は、従来例であり、フレーム領域ＩＣＦの中心が光軸に一致している。下段の１列は、フレーム領域ＩＣＦを先読みする一例である。時間Ｔｉ−３に至るまでの累積的な姿勢情報の監視（たとえば、右方向へのパンニングが２秒間続いた）から、連続する右方向へのパンニングを検出した、とする。そこで、時間Ｔｉ−２ではフレーム領域ＩＣＦＴｉ−２が右方向に移動した。この時点で、撮影者は被写体２０３の顔がフレームアウトすることに気づき、時間Ｔｉ−１で撮影装置７００を上方へチルティングし、時間Ｔｉには被写体２０３の顔全体をフレーム領域ＩＣＦに捉えた。撮影者はフレーミング画像表示部１１３によって被写体２０３の顔全体を捉えたことを確認したため、撮影装置７００を移動する必要はなくなり、時間Ｔｉで撮影装置７００の右方向へのパンニングは停止し、同時にフレーム領域ＩＣＦの先読みも停止した。そこで、フレーム領域ＩＣＴｉの中心は光軸に戻った。一方、フレーム領域ＩＣＦの先読みがない上段では、時間Ｔｉ−１で被写体２０３のフレームアウトに気づき、時間Ｔｉでは撮影装置７００のチルティングの途中であり、被写体２０３の顔をフレーム領域ＩＣＦＴｉＦＯは捉え切れていない。つまり、上段では撮影装置７００の動きのみで目的の被写体２０３の顔を追いかけたが、時間Ｔｉではまだ完了しておらず、下段では撮影装置７００の動きに加え、フレーム領域の先読みでより早く目的の被写体２０３の顔を捉えた。このように、撮影装置の動きに加え、フレーム領域が撮影画像ＩＣ内で撮影装置の移動方向に移動すれば、より短い時間で被写体を捉えられ、撮りこぼしを最小限の抑えることができる。【００８２】  以上のような動きに加え、圧縮符号部４０１はフレーム領域ＩＣＦを低圧縮率で圧縮符号化し、外枠ＩＣＭを高圧縮率で圧縮符号化する。撮影装置７００が移動しているということは、移動方向の先に撮影者にとって重要な被写体が存在することを意味し、これをフレーム領域内で捉えることが撮影意図であるため、撮影意図として重要なフレーム領域は画質劣化の少ない低圧縮率を用い、撮影意図として重要でない外枠ＩＣＭは画質劣化の大きい高圧縮率を用いる。なお、圧縮符号化部４０１と伸長復号部４０２の動作は、図１６と同一である。【００８３】  撮像装置を素早く移動すると、ブラーと呼ばれるボケが画像に生じ、被写体の詳細が確認できない画質劣化につながる。そこで、ブラーが発生しない範囲で撮影装置を動かし、さらにフレーム領域の先読みで撮影装置の動きをカバーすると、撮りこぼしの最小化と画質を両立できる。たとえば、無人の監視カメラなどでは、関心のある被写体を画角内に納めつつ、被写体の詳細を記録したいという、広角と狭角の両立が必要である。そこで、狭角カメラをパン・チルトで移動し、広角撮影を確保する方式が取られる。本実施の形態は、パン・チルトの最中に、監視カメラ映像を見ているオペレータが注目の被写体を検出し、いち早く、カメラを注目の被写体へ向ける際に、短い時間で目的を達成できる効果を発揮できる。【００８４】  （実施の形態６）
本実施の形態では、動きに急激な変化が発生した領域へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。【００８５】  図２３は本発明の実施の形態６に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００８６】  撮影装置８００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部８０１、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ１１４を備えている。【００８７】  被写体動き検出部１０６は被写体の動きの度合いをフレーム領域設定部８０１へ出力する。フレーム領域設定部８０１は、被写体の動きの度合いを監視し続け、急激な変化を検出すると、その領域へフレーム領域ＩＣＦを自動的に移動する。急激な動きの変化は、図１８Ａおよび図１８Ｂで説明した動きの発生した画素の集まりの重心位置の変化で判断し、重心位置の変化量が閾値を越えたら、急激な動きが発生したとして、現時点の重心位置（図１８Ａおよび図１８Ｂでは、ＣＰ２）にフレーム領域ＩＣＦの中心位置を移動する。逆に、一定時間に渡り移動し続ける重心位置が、突然停止した際にフレーム領域ＩＣＦの中心位置を停止した重心位置に自動的に移動する。【００８８】  以上により、突然動きを早めた人物や、突然動きを止めた人物などに自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。【００８９】  なお、本実施の形態を監視カメラに適用する場合は、パンニングとチルティングの自動制御と組み合わせることで、より広い範囲で注目領域にズーミングできる。すなわち、動きが検出された画素の集まりの重心が画角から外れそうになると、フレーム領域ＩＣＦは画角内に収まらず、撮影画像ＩＣの外側に出てしまう。これは動きの激しい被写体が画角から外れそうな状態を意味するため、フレーム領域ＩＣＦが撮影画像ＩＣの外側に外れた方向に撮影装置８００の向きを変更すれば、被写体を画角内に捉えられる。フレーム領域ＩＣＦが撮影画像ＩＣの横方向に外れた場合はパンニングを、フレーム領域ＩＣＦが撮影画像ＩＣの縦方向に外れた場合は、チルティングを自動制御する。【００９０】  （実施の形態７）
本実施の形態では、特定の色や画像パターン、音などを検出した場合、その検出方向へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。【００９１】  図２４は本発明の実施の形態７に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００９２】  撮影装置９００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部９０２、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ１１４、画像特徴検出部９０１、音センサ部９０３、および音特徴検出部９０５を備えている。【００９３】  画像特徴検出部９０１は、撮影画像ＩＣ中の特定の色や特定の画像パターンを検出する。特定の色とは、たとえば、ＲＧＢ値がともに１００−１２０であるグレーや、Ｒ値が２００以上で、Ｇ値とＢ値が１０以下である赤など、画素値で指定する。画素値の種類は任意であり、ＹＵＶやＨＶＣ、測色値であるＸＹＺやＬＡＢなど、自由に選択できる。特定の画像パターンとは、撮影画像ＩＣを、たとえば５×５画素のブロックに分け、２５画素の画素値を要素として形成した特徴ベクトルなどである。たとえば、特定の文字を検出したい場合は、あらかじめ、文字画像をブロックに分け、特徴ベクトルを求めて、画像特徴検出部９０１に保持しておく。撮影画像ＩＣのブロックごとに文字画像の特徴ベクトルとの内積を求め、内積が閾値を超えたら文字が検出されたとする。画像特徴検出部９０１は、特定の色や画像パターンを検出したら、検出位置の位置情報をフレーム領域設定部９０２に出力する。フレーム領域設定部９０２は、検出位置の中心位置にフレーム領域ＩＣＦの中心位置を移動させる。また、特定の色や画像パターンが同時に複数検出された場合には、フレーム領域設定部９０２は、これらすべてを含むように、フレーム領域ＩＣＦを移動させる。【００９４】  以上により、特定の色やパターンを検出すると、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。【００９５】  音センサ部９０３は、音源９０４からの音をセンシングする。音源９０４の位置を特定するために、指向性を持つ複数本のマイクロフォンを内蔵し、音量の大小で音源９０４の位置を特定する。音特徴検出部９０５は、音量の変化に対する閾値を持ち、急激に大きな音がした場合、あるいは、急激に音量が落ちた場合、あるいは、特定の周波数パターンを持つ音を検出した場合に音源９０４の位置情報をフレーム領域設定部９０２に出力する。音源９０４の位置情報を受けたフレーム領域設定部９０２は、撮影画像ＩＣのおける音源位置をフレーム領域ＩＣＦの中心位置としてフレーム領域ＩＣＦを設定する。【００９６】  以上により、突然音量が大きくなったり、音量が小さくなったり、特定の周波数パターンを持つ音が発生するなど、特定のイベントを���の変化や発生で検知して、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。【００９７】  （実施の形態８）
本実施の形態では、実施の形態１から実施の形態７で説明した動作の詳細設定が撮影者は調整できる撮影装置について説明する。【００９８】  図２５は本発明の実施の形態８に係る撮影装置の概観を示し、図２６は動作モードの選択画面を示し、図２７から図３４を用いて各動作モードの条件設定方法を説明する。【００９９】  図２５に示すように、撮影装置１０００は、動作モード選択・調整ダイヤル部１００１を持ち、これを操作することで、図２６に示す動作モードの選択画面から設定を変更したい動作モードを選択する。動作モードには、仮に、被写体撮りこぼし防止モード１２００、圧縮率可変モード１３００、外枠上書きモード１４００、フレーミング再設定モード１５００、先読みモード１６００と名称を与える。この例では、被写体撮りこぼし防止モード１２００が選択されている。【０１００】  図２７は、フレーミング画像表示部１１３に表示された被写体撮りこぼし防止モード１２００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。被写体動き検出１２０１をＯＮにすると図５の被写体動き検出部１０６が有効になる。被写体動き検出感度１２０２を高くすると、図７Ａおよび図７Ｂに示した動き検出画素の画素数が相対的に少数でも被写体動きがあったと判定される。被写体動き検出感度１２０２を低くすると、図７Ａおよび図７Ｂに示した動き検出画素の画素数が相対的に多数の場合に被写体動きがあったと判定される。撮影装置動き検出１２０３をＯＮにすると図５の撮影装置動き検出部１０７が有効になる。撮影装置動き検出感度１２０４を高くすると、図９に示した姿勢センサ１１４の変化量が相対的に小さくても撮影装置に動きがあったと判定される。撮影装置動き検出感度１２０４を低くすると、姿勢センサ１１４の変化量が相対的に大きい場合に撮影装置に動きがあったと判定される。被写体動き反映度１２０５は、図１７に示した被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ調整の感度を表わす。被写体動き反映度１２０５が高いと、被写体の動きが相対的に遅くてもフレーム領域ＩＣＦのサイズは敏感に変化する。逆に、被写体動き反映度１２０５が低いと、被写体の動きが相対的に早くてもフレーム領域ＩＣＦのサイズは急激に変化しない。【０１０１】  図２８は、フレーミング画像表示部１１３に表示された圧縮率可変モード１３００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。フレーム領域圧縮率１３０１は、図１６の圧縮符号化部４０１がフレーム領域ＩＣＦに施す画像圧縮処理の圧縮率を設定する。外枠圧縮率１３０２は、圧縮符号化部４０１が外枠領域ＩＣＭに施す画像圧縮処理の圧縮率を設定する。この例では、フレーム領域ＩＣＦに低い圧縮率が、外枠領域ＩＣＭに高い圧縮率が設定されて、記録メディア部１０８への記録容量を削減している。被写体動き反映度１３０３は、図１７に示した被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ調整の感度を表わす。被写体動き反映度１３０４が高いと、被写体の動きが相対的に遅くてもフレーム領域圧縮率１３０１と外枠圧縮率１３０２の設定値が圧縮符号化部５０１に敏感に適用される。逆に、被写体���き反映度１３０４が低いと、被写体の動きが相対的に早くてもフレーム領域圧縮率１３０１と外枠圧縮率１３０２の設定値が圧縮符号化部５０１に急激には適用されない。フレーム領域サイズ連動圧縮可変制御１３０４をＯＮにすると、フレーム領域ＩＣＦが小さい場合、圧縮率を低くし、フレーム領域ＩＣＦが大きい場合、圧縮率を高くする。図１８Ａおよび図１８Ｂに示した方法で検出された被写体の動き、あるいは図９の姿勢センサ１１４で検出された撮影装置１００の動きの度合いが大きい場合、フレーム領域ＩＣＦはサイズが小さくなり、外枠領域を大きく取って取りこぼしを最小限に抑える。【０１０２】  図２９は、フレーミング画像表示部１１３に表示された外枠上書きモード１４００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。記録時間順上書き１４０１は、外枠領域ＩＣＭが記録メディア部１０８に記録された順番に従ってフレーム領域ＩＣＦを上書きする。記録時間順上書き１４０１をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、外枠領域ＩＣＭの記録時間を参照して最も古いデータから上書きしていく。被写体動き度合い順上書き１４０２は、図２０の撮影画像データ部６０１に保存された被写体の動き度合いを参照して、被写体の動き度合いの小さいものから順にフレーム領域ＩＣＦを上書きする。被写体動き度合い順上書き１４０２をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、被写体の動き度合いを参照して被写体の動き度合いの小さいデータから上書きしていく。撮影装置動き度合い順上書き１４０３は、図２０の撮影画像データ部６０１に保存された撮影装置の動き度合いを参照して、撮影装置の動き度合いの小さいものから順にフレーム領域ＩＣＦを上書きする。撮影装置動き度合い順上書き１４０３をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、撮影装置の動き度合いを参照して撮影装置の動き度合いの小さいデータから上書きしていく。図２９の例では、被写体動き度合い順上書き１４０２と撮影装置動き度合い順上書き１４０３がＯＮとなっているため、被写体と撮影装置の２つを合わせた動き度合いの小さい順に外枠領域ＩＣＭにフレーム領域ＩＣＦが上書きされる。被写体の動き度合いと撮影装置の動き度合いの合わせ方は、たとえば掛け算を用いる。【０１０３】  図３０は、フレーミング画像表示部１１３に表示されたフレーミング再設定モード１５００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。再生速度１５０１は、撮影画像を記録メディア部１０８から読み出す際のスピードで、これがフレーミング画像表示部１１３でのフレーミング画像ＩＤＦのリフレッシュレートになる。フレーミングの再設定を行う際に、たとえば秒５枚画像を表示するなど、再生速度を変更したい場合に利用する。再設定フレーミングデータ上書きモード１５０２は、フレーミングの再設定を行った結果を撮影時のフレーミングデータに上書きする。すなわち、図５のフレーミング変更部１１０はフレーミングデータのみを書き換え、撮影画像にはアクセスしない。従って、フレーミングの再設定は引き続き可能である。再設定フレーミングデータコピーモード１５０３は、再設定されたフレーミングデータを新たに記録メディア部１０８に保存する。すなわち、記録メディア部１０８で消去されるデータはない。図３０の例では、再設定フレーミングデータ上書きモード１５０２と再設定フレーミングデータコピーモード１５０３がＯＮになっているため、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部１１３で確認してから上書きモードが実行される。ファイナライズ１５０４は、フレーミングの再設定を確定する際に、外枠領域ＩＣＭを保存するか、削除するかを選択する。外枠領域ＩＣＭを保存すれば、繰り返しフレーミングを修正できるが、記録メディア部１０８の容量を大きく消費する。外枠領域ＩＣＭを削除すれば、記録メディア部１０８の容量は節約できるが、フレーミングの再設定はできない。【０１０４】  図３１は、フレーミング画像表示部１１３に表示された先読みモード１６００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。撮影装置移動方向１６０１は、図２２で説明したように、姿勢センサ１１４からの姿勢情報を累積的に監視し、撮影装置７００の移動方向にフレーム領域ＩＣＦを先回りして移動する。被写体動き変化１６０２は、図２３で説明したように、被写体動き検出部１０６からの動き情報を累積的に監視し、急激に動きを早めたり、あるいは急激に動きを止めた被写体を検出し、動き検出の重心位置にフレーム領域ＩＣＦを移動する。色１６０３は、図２４で説明したように、画像特徴検出部９０１に特定の色をＲＧＢ値やＹＵＶ値などで設定しておく。特定の色の指定は、図３２に示すように、カラーパレット１６０６を用いる方法や、数値入力１６０７の方法、図３３に示すように、撮影画像上でエリア１６０８を指定するエリア指定１６０９を用いる。図３１のパターン１６０４は、画像特徴検出部９０１に特定のパターンを設定しておいて、撮影画像に同じパターンが検出されたら、フレーム領域ＩＣＦが検出パターンの位置に移動する。特定パターンの入力は、図３３と同様に、撮影画像上でエリア１６０８を指定するエリア指定１６０９を用いる。音１６０５は、図２４で説明したように、フレーム領域ＩＣＦを、急激な音量の変化が発生した方向や、特定の周波数パターンを持つ音が検出された方向へ移動させる。音特徴検出部９０５は、図３４で設定される条件を保持し、音センサ部９０４からの音情報の音量変化量１６１１、音量変化方向１６１２、音パターン１６１３を検出する。音パターン１６１３は、あらかじめ音特徴検出部９０５が持つメモリに複数種類の人物の声（たとえば、男性、女性、子供、大人など）や、自動車、バス、電車、呼び鈴などを記録しておく。また、音特徴検出部９０５が持つメモリにユーザー定義領域を設けて、自分の声や、家族の声などを録音できる。【０１０５】  なお、すべてのモードでは、設定値の初期値が撮影装置立ち上げ用のメモリに記録されており、必要に応じて撮影者が設定を変更する。また、変更された設定値は、撮影装置立��上げ用のメモリに記録され、次回立ち上げ時には撮影者の設定条件で動作を開始できる。【０１０６】  以上により、実施の形態１から実施の形態７で説明した動作を、機能ごとに複数のモードに分割し、モードごとに設定条件を撮影者が調整できる。そこで、被写体の撮りこぼし防止を確保しつつ、録画時間を優先させたり、画質を優先させたり、自由度の高い動画撮影が可能になる。【０１０７】  （実施の形態９）
本実施の形態では、光学ズーム画像と電子ズーム画像の表示方法を複数提供する撮影装置について説明する。【０１０８】  図３５Ａは本発明の実施の形態９に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１０９】  撮影装置１７００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部７０１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ１１４、表示画像生成部１７０１、および表示方法設定部１７０２を備えている。【０１１０】  表示画像生成部１７０１は、撮影素子部１０４から光学ズーム画像ＩＣＯを得て、電子ズーム処理部１１２から電子ズーム画像ＩＥＣを得る。被写体動き検出部１０６が歩行する被写体２００の動きを捉えて、多焦点光学レンズ部１０１は広角に設定され、例えば図３５Ｂに示す画像ＩＤＷのような広角画像が撮影されている。また、ズーム倍率設定部１０５から拡大撮影のためのズーム倍率ＺＦ（たとえば４倍）がズーム処理部１１２に与えられ、図３５Ｃに示す画像ＩＤＦのような被写体２００の顔を拡大する拡大画像が生成される。さらに、表示画像生成部１７０１は、表示方法設定部１７０２から、光学ズーム画像ＩＣＯのみをフレーミング画像表示部１１３に表示する（ＩＣＯモード）か、電子ズーム画像ＩＥＣのみをフレーミング画像表示部１１３に表示する（ＩＣＥモード）か、光学ズーム画像ＩＣＯと電子ズーム画像ＩＥＣの両方をフレーミング画像表示部１１３に表示する（ＩＣＯＥモード）か、の表示方法の指示を受ける。ＩＣＯモードの場合、撮影者はフレーミング画像表示部１１３で画像ＩＤＷを見ることができ、すなわち、外枠領域ＩＣＭを含めた広角撮影のフレーミングを確認できる。また、ＩＣＥモードの場合、撮影者はフレーミング画像表示部１１３で画像ＩＤＦを見ることができ、すなわち、フレーム領域ＩＣＦの拡大撮影のフレーミングを確認できる。また、ＩＣＯＥモードの場合、撮影者はフレーミング画像表示部１１３で図３５Ｄに示す画像ＩＤＷＦを見ることができ、すなわち、フレーム領域ＩＣＦの拡大撮影のフレーミングと外枠領域ＩＣＭを含めた広角撮影のフレーミングを同時に確認できる。【０１１１】  以上により、撮影者は、光学ズーム画像と電子ズーム画像を選択して、あるいは両方を同時に表示して、複数のフレーミングを確認できる。撮影者が光学ズーム画像を見ることでフレーミング再設定の余裕度を画像で確認できる。また、光学ズーム画像と電子ズーム画像を同時に見ることで、フレーミング領域ＩＣＦが捉えている画角の外側の様子を確認でき、突発的に発生したイベントを発見できたり、多焦点光学レンズ部１０１の画角内に入ってきた新しい被写体に早い段階で気づくことができ、撮影者は撮りこぼしを抑えつつ、電子ズームでのフレーミングも同時に決めることができる。
【産業上の利用可能性】
【０１１２】  本発明にかかる撮影装置は、被写体の動き、あるいは撮影装置の動きが検出されると光学ズームを広角にして、被写体の撮りこぼしを最小限に抑え、電子ズームで表示画像を生成する。また、被写体と撮影装置にともに動きがない場合は、光学ズームの撮影画像のみを記録メディアに保存し、撮影時間を長くできる。そこで、民生用途のビデオカメラに搭載すれば、スポーツやエンターテイメントの撮影で安心してビデオ撮影ができる。また、監視カメラに搭載すれば、被写体の動きや色、パターン、音などを頼りに監視の目的上、重要な被写体を逃さず捉え、ズーミングで詳細な画像情報を記録できる。
【図１Ａ】
2007094219.tif 000005
【図１Ｂ】
2007094219.tif 000006
【図１Ｃ】
2007094219.tif 000007
【図１Ｄ】
2007094219.tif 000008
【図２】
2007094219.tif 000009
【図３】
2007094219.tif 000010
【図４Ａ】
2007094219.tif 000011
【図４Ｂ】
2007094219.tif 000012
【図５】
2007094219.tif 000013
【図６】
2007094219.tif 000014
【図７Ａ】
2007094219.tif 000015
【図７Ｂ】
2007094219.tif 000016
【図８】
2007094219.tif 000017
【図９】
2007094219.tif 000018
【図１０】
2007094219.tif 000019
【図１１】
2007094219.tif 000020
【図１２】
2007094219.tif 000021
【図１３】
2007094219.tif 000022
【図１４】
2007094219.tif 000023
【図１５Ａ】
2007094219.tif 000024
【図１５Ｂ】
2007094219.tif 000025
【図１６】
2007094219.tif 000026
【図１７】
2007094219.tif 000027
【図１８Ａ】
2007094219.tif 000028
【図１８Ｂ】
2007094219.tif 000029
【図１９】
2007094219.tif 000030
【図２０】
2007094219.tif 000031
【図２１】
2007094219.tif 000032
【図２２】
2007094219.tif 000033
【図２３】
2007094219.tif 000034
【図２４】
2007094219.tif 000035
【図２５】
2007094219.tif 000036
【図２６】
2007094219.tif 000037
【図２７】
2007094219.tif 000038
【図２８】
2007094219.tif 000039
【図２９】
2007094219.tif 000040
【図３０】
2007094219.tif 000041
【図３１】
2007094219.tif 000042
【図３２】
2007094219.tif 000043
【図３３】
2007094219.tif 000044
【図３４】
2007094219.tif 000045
【図３５Ａ】
2007094219.tif 000046
【図３５Ｂ】
2007094219.tif 000047
【図３５Ｃ】
2007094219.tif 000048
【図３５Ｄ】
2007094219.tif 000049
【手続補正書】
【提出日】平成19年6月5日(2007.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、
前記被写体の動きを検出する被写体動き検出手段と、
当該撮影装置の動きを検出する撮影装置動き検出手段と、
前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、
前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、
前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、
前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、
前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備える
ことを特徴とする撮影装置。
【請求項２】
前記撮影装置は、さらに、
前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも１つを再設定するフレーミング再設定手段と、
前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記被写体動き検出手段は、前記光学ズーム画像中の前記被写体の動きを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記被写体動き検出手段は、複数の前記光学ズーム画像の輝度差および対応点追跡の少なくとも１つを用いて前記被写体の動きを検出する
ことを特徴とする請求項３記載の撮影装置。
【請求項５】
前記撮影装置動き検出手段は、角速度センサおよび加速度センサの少なくとも１つを用いて当該撮影装置の動きを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記電子ズーム処理手段は、前記光学ズーム画像の画像座標と独立した画像特徴量を高密化して高密化画像特徴量を生成し、前記高密化画像特徴量から前記電子ズーム画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記撮影装置は、さらに、
前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、
前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記圧縮符号化手段は、前記被写体の動きおよび前記撮影装置の動きの度合いが大きいほど、前記外枠領域の圧縮率を低く圧縮符号化を行う
ことを特徴とする請求項７記載の撮影装置。
【請求項９】
前記撮影装置は、さらに、
前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、
前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項１０】
前記容量管理手段は、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを、前記外枠領域の中で前記被写体の動きの度合いおよび前記撮影装置の動きの度合いが小さい外枠領域から順に上書きする
ことを特徴とする請求項９記載の撮影装置。
【請求項１１】
前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１３】
前記撮影装置は、さらに、
前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも１つを検出する画像特徴検出手段を備え、
前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも１つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、
前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させる
ことを特徴とする請求項１記載の撮影装置。
【請求項１４】
前記フレーミング画像表示手段によって表示される画像を、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から選択を受け付ける表示方法設定手段を備え、
前記フレーミング画像表示手段は、前記光学ズーム画像、前記電子ズーム画像、および前記光学ズーム画像と電子ズーム画像との両方の中から、前記表示方法設定手段によって選択された画像を表示する
ことを特徴とする請求項１記載の撮影装置。
【請求項１５】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影方法であって、
前記被写体の動きを検出する被写体動き検出ステップと、
当該撮影装置の動きを検出する撮影装置動き検出ステップと、
前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとを含む
ことを特徴とする撮影方法。
【請求項１６】
多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影するためのプログラムであって、
前記被写体の動きを検出する被写体動き検出ステップと、
当該撮影装置の動きを検出する撮影装置動き検出ステップと、
前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出ステップにおいて前記被写体の動き、および前記撮影装置動き検出ステップにおいて当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点光学レンズの焦点距離を前記焦点距離算出ステップにおいて算出された焦点距離に合わせるように制御する焦点距離制御ステップと、
前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定ステップと、
前記フレーム領域設定ステップにおいて切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理ステップと、
前記電子ズーム処理ステップにおいて電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示ステップと、
前記ズーム倍率と前記光学ズーム画像とを保存する記録ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮影に係り、撮影意図と映像を分離して記録する技術に関するものである。
【背景技術】
【０００２】
近年、様々な機器のデジタル化と集積化技術の高度化によって、映像をデジタル記録できるカメラ、すなわち、デジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高く、ネットワークでの配信や映像編集など、様々な利用形態が民生用途で広がりを見せている。
【０００３】
カメラは、図１Ａに示すように、シーン１８０１の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠１８０２を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置１８０３、カメラの方向１８０４、カメラの角度１８０５（横向きに構えるか、縦向きに構えるか、斜めに構えるか）、カメラの画角１８０６の４つである。このうち、カメラの位置は、図１Ｂの表１８０７、および図１Ｃに示すように、トラッキング１８０８（左右に水平移動）、ブーミング１８０９（鉛直移動）、ドリーイング１８１０（前後に水平移動）で調整する。また、カメラの方向は、図１Ｄに示すように、パンニング１８１１（カメラ中心で水平方向に回転）、チルティング１８１２（カメラ中心で鉛直方向に回転）で調整する。また、カメラの回転は、図１Ｄに示すように、ローリング１８１３（光軸を中心に回転）で調整する。カメラの画角は、ドリーイング１８１０、ズーミング１８１４で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング１８０８からズーミング１８１４までの７種類のカメラワークで撮影者によって決定される。
【０００４】
撮影者は、撮影意図に応じて、図１Ａ〜図１Ｄに示したカメラワークを使い分けて、様々なフレーミングを作り出すことができる。たとえば、図２は、撮影者１９０１が被写体１９０２の側面から正面に回りこみながら、かつ、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を連続的に長くしてズーム倍率を上げる（ズームインする）撮影例を示す図である。ここで、画像ＩＣ１、画像ＩＣ２、画像ＩＣ３は、ビデオカメラ２００１のファインダ２００３に映し出される撮影画像を示し、それぞれ、撮影倍率１倍、２倍、４倍に相当する。この撮影例では、撮影者１９０１は、体の移動と回転でトラッキングとパンニングを行いつつ、同時に、ズーミングを行う。
【０００５】
以上のように、７種類のカメラワークを自由に使い分けることで、様々なフレーミングが設定でき、映像表現力を高めることができるが、同時に、自由度の高さ故に、カメラワークを撮影意図どおりに制御できず、フレーミングが不適正になる場合がある。たとえば、図３は、被写体１９０２が右方向に移動したため、トラッキングとパンニングの制御が適正に実行できず、被写体１９０２がフレームから外れて（フレームアウトして）撮りこぼした例であり、図２のように、常に被写体１９０２を画面の中央に捉えたい、という撮影意図どおりにフレーミングを設定できなかった。被写体１９０２は、時間Ｔ１、時間Ｔ２、時間Ｔ３と時間が進むごとに右に移動し、撮影者１９０１は、トラッキングとパンニングが適切に制御できず、画像ＩＣ４に示すように、時間Ｔ１で画面中央に捉えていた被写体１９０２が、画像ＩＣ５に示すように、時間Ｔ２では画面右側にずれ、次に、画像ＩＣ６に示すように、時間Ｔ３では画面右側にフレームアウトして、撮りこぼしが発生した。
【０００６】
以上のような撮影意図どおりにフレーミングが設定できない課題を解消するために、フレーミングを撮影後に再設定できる技術が開示されている（例えば、特許文献１参照）。すなわち、図４Ａに示すように、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を短く（たとえば３５ｍｍ）して、広角で撮影し、画角２１０１を確保して被写体１９０２を捉え、取りこぼしを防ぐ。撮影画像は、図４Ｂに示す画像ＩＣ７のように、被写体１９０２をフレーム内に捉えるが、トラッキングとパンニングが適切に制御できない影響で、画面の右側にずれたフレーミングになる。図３の画像ＩＣ６は、ビデオカメラ２００１の多焦点レンズ２００２の焦点距離を長く（たとえば１４０ｍｍ）して画角を画角２１０２のように狭め、ズーム倍率４倍の撮影画像をフレーム２２０１として得ている。そこで、図２の画像ＩＣ３のように、被写体１９０２を画面中央に捉えたい、という撮影意図に合致させるために、フレーム２２０２で画像ＩＣ８を切り出し、これをファインダ２００３に表示する。撮影時のフレーミングはフレーム２２０１であったが、これを撮影後に、フレーム２２０２に再設定して、撮影意図どおりのフレーミングを確保している。
【０００７】
加えて、特許文献１では、画像処理によるズーミングである電子ズームで画質が劣化する対策として、画素数とライン数の多い高精細撮像素子を利用する。多焦点レンズ２００２の焦点距離を、たとえば３５ｍｍから１４０ｍｍに４倍長くすると、画角は、画角２１０１から画角２１０２に変更され、ファインダ２００３には、画角２１０１の場合の４倍の大きさで被写体１９０２が映し出される。もし、ビデオカメラ２００１の撮像素子の画素数とライン数がファインダ２００３と同一で、たとえば６４０画素×４８０ラインであったとすると、被写体１９０２がフレームアウトしないように、画角２１０１で広角撮影すると、ファインダ２００３に表示したい領域は１／４に小さくなる。そこで、画像ＩＣ７を６４０画素×４８０ラインで得た場合、切り出したいフレーム２２０２は、１６０画素×１２０ラインになり、６４０画素×４８０ラインのファインダ２００３に表示するために、画像処理で４倍拡大を行う必要がある。特許文献１では、画像処置による画像拡大を避けるために、ビデオカメラ２００１の撮像素子の画素数とライン数を増やし、切り出し処理のみで、画角２１０２の光学ズーム４倍と同等の画質を得る。すなわち、ファインダ２００３の画像サイズが、６４０画素×４８０ラインであるとすると、撮像素子には、２５６０画素×１９２０ラインを用いる。
【特許文献１】特開２００５−１２４２３号公報（図３）
【非特許文献１】日本ビクター株式会社、「ハードディスクムービー、主な仕様」、［平成１８年２月１０日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｊｖｃ−ｖｉｃｔｏｒ．ｃｏ．ｊｐ／ｄｖｍａｉｎ／ｇｚ−ｍｇ７０／ｓｐｅｃ．ｈｔｍｌ＞
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の技術では、撮影画像が保存される記録メディアの記録容量が考慮されていない課題を有する。たとえば、２５６０画素×１９２０ラインの撮像素子を用いた場合、ＲＧＢ２４ビットのフレーム画像１枚の容量は約１４．７ＭＢであり、１秒間に３０フレーム撮影すると、１秒間の記録容量は約４４１ＭＢになる。たとえば、非特許文献１のビデオカメラを想定した場合、ハードディスクの容量が３０ＧＢであるので、特許文献１の方式で映像を記録すると、約６８秒でディスク容量を使い切る。また、非特許文献１のビデオカメラを想定した場合、動画記録時間は７時間（画質モードを最高レベルにした場合）であるため、撮影画像を圧縮して、７時間分の映像を３０ＧＢのハードディスクに記録するには、約０．３％までデータ量を削減しなければならない。
【０００９】
そこで、本発明は上記の事情に鑑みてなされたものであり、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明に係る撮影装置および撮影方法によれば、被写体あるいはビデオカメラが動いて撮影意図どおりにフレーミングが制御できなかった場合に、広角撮影画像から画像を切り出すことでフレーミングを修正できる。また、フレーミングの再設定の可能性が低い場合、記録メディアへの記録容量を削減することで、映像の記録時間を長くすることができる。さらに、記録メディア上のデータ管理を、表示画像として利用される可能性の大小に応じた適応処理とすることで、映像の記録時間を長くすることができる。
【発明を実施するための最良の形態】
【００１２】
本発明の実施の形態に係る撮影装置は、多焦点光学レンズの焦点距離を制御することによってズーム倍率を替えて被写体を撮影する撮影装置であって、前記被写体の動きを検出する被写体動き検出手段と、当該撮影装置の動きを検出する撮影装置動き検出手段と、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きのうち少なくとも一方が検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記被写体動き検出手段によって前記被写体の動き、および前記撮影装置動き検出手段によって当該撮影装置の動きが検出されなかった場合、設定された前記ズーム倍率となるように前記多焦点光学レンズの焦点距離を算出する焦点距離算出手段と、前記多焦点光学レンズの焦点距離を前記焦点距離算出手段によって算出された焦点距離に合わせるように制御する焦点距離制御手段と、前記多焦点光学レンズによって結像された前記光学ズーム画像の中から前記ズーム倍率により位置と大きさが決定されるフレーム領域を切り出すフレーム領域設定手段と、前記フレーム領域設定手段によって切り出された前記フレーム領域の画像を表示する画像サイズとなるように電子ズームで変更する電子ズーム処理手段と、前記電子ズーム処理手段によって電子ズームされた電子ズーム画像、または前記光学ズーム画像を表示するフレーミング画像表示手段と、前記ズーム倍率と前記光学ズーム画像とを保存する記録メディア手段とを備えることを特徴とする。
【００１３】
具体的には、第１に、被写体または撮影装置が動いた場合、撮影意図に適さないフレーミングが発生しやすい、と想定して広角撮影を選択し、被写体の取りこぼしを防ぐ。すなわち、被写体あるいは撮影装置の動きが検出されたら、光学ズームを広角撮影に切り替え（多焦点レンズの焦点距離を短くする）、広い範囲でシーンを撮影し、被写体を画角内に捉える。撮影者がフレーミングを確認するファインダへの映像表示には、電子ズームを用い、たとえば、撮影者がズーム倍率を４倍に設定した場合は、広角撮影画像からズーム倍率４倍に対応した領域をフレーム領域として切り出し、電子ズームでファインダに表示する表示映像のサイズに拡大する。記録メディアには、光学ズームで決定された広角撮影映像と撮影者が指定したズーム倍率を保存する。ズーム倍率を参照すれば、撮影者がファインダで確認したフレーム領域を広角撮影映像上に特定でき、フレーム領域以外の外枠領域は、フレーミング再設定に利用できる。
【００１４】
第２に、被写体と撮影装置がともに静止している場合は、撮影意図どおりにフレーミングを制御しやすい、と想定して撮影時に設定されたフレーム領域のみが記録メディアに保存され、外枠領域は設けられない。そこで、撮影者がフレーミングを確認するファインダへの映像表示には、光学ズームで撮影された画像がそのまま使われ、電子ズームは動作しない（倍率１倍とする）。従って、被写体と撮影装置の両方で動きが検出されない場合は、表示に必要な画像サイズのみを記録メディアに保存して、記録容量を削減する。
【００１５】
これによって、ズーミングの光学的制御（光学ズーム）と電子的制御（電子ズーム）の両方を利用して撮影意図に応じたフレーミングを設定し、撮影者に撮影意図どおりの映像を表示することができる。また、被写体または撮影者が動いた場合であっても、被写体の撮りこぼしを最小限に抑え、かつ長時間録画することができる。
【００１６】
また、前記撮影装置は、さらに、前記記録メディア手段に保存された前記ズーム倍率、および前記ズーム倍率で決まるフレーム領域の前記光学ズーム画像上の位置のうち少なくとも１つを再設定するフレーミング再設定手段と、前記記録メディア手段に保存されている前記光学ズーム画像上の中から、前記フレーミング再設定手段によって再設定された前記ズーム倍率および前記フレーム領域の前記光学ズーム画像上の位置を用いて前記フレーム領域を切り出すフレーミング変更手段とを備えてもよい。
【００１７】
また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを個別の圧縮率で画像の圧縮符号化を行う圧縮符号化手段と、前記フレーム領域と前記外枠領域とを個別の圧縮率で圧縮符号化された画像の伸長復号化を行う伸長復号化手段とを備えてもよい。これによって、記録メディアの記録容量を削減することができる。すなわち、外枠領域は、フレーミングの再設定が行われない限り利用されず、また、外枠領域すべてがフレーミングの再設定で選択される可能性は低いため、外枠領域は相対的に圧縮率を高めて記録容量の削減を優先し、フレーム領域は相対的に圧縮率を低めて画質を優先することができる。
【００１８】
また、前記撮影装置は、さらに、前記フレーム領域と、前記光学ズーム画像から前記フレーム領域を除いた外枠領域とを前記記録メディア手段上で個別にアドレス管理を行うアドレス調整手段と、前記記録メディア手段の記録容量が上限に達した場合、前記フレーム領域のデータを前記外枠領域のアドレスに上書きする容量管理手段とを備えてもよい。これによって、撮影者にとって、より重要なフレーム領域の映像が記録される時間を長くすることができる。
【００１９】
また、前記フレーム領域設定手段は、前記撮影装置動き検出手段によって検出された当該撮影装置の動きから規則性を検出し、検出した前記規則性に基づいて、フレーミングを先読みするように前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、撮影装置の動きに加え、フレーム領域が光学ズーム画像内で撮影装置の移動方向に移動するので、より短い時間で被写体を捉えることができ、撮りこぼしを最小限に抑えることができる。
【００２０】
また、前記フレーム領域設定手段は、前記被写体動き検出手段によって検出された前記被写体の動きが所定の変化以上である場合、前記被写体の動きが検出された領域へ前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、例えば突然動きを早めた人物や、突然動きを止めた人物などにフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
【００２１】
また、前記撮影装置は、さらに、前記光学ズーム画像の中から、特定の色および特定の画像パターンの少なくとも１つを検出する画像特徴検出手段を備え、前記焦点距離算出手段は、前記画像特徴検出手段によって前記特定の色および前記特定の画像パターンの少なくとも１つが検出された場合、設定されたズーム倍率よりズーム倍率が低くなるように前記多焦点光学レンズの焦点距離を算出し、前記フレーム領域設定手段は、前記画像特徴検出手段によって検出された前記特定の色および前記特定の画像パターンを含むように、前記光学ズーム画像の中の前記フレーム領域を移動させてもよい。これによって、特定の色および特定の画像パターンを含む領域にフレーム領域を移動することができるので、例えば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
【００２２】
なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００２３】
以下、本発明の実施の形態につき図面を参照して詳細に説明する。
【００２４】
（実施の形態１）
本実施の形態では、被写体あるいはビデオカメラの動き検出に応じて光学ズームと電子ズームを使い分け、被写体が画角から外れる撮りこぼしの可能性を最小限に抑えて、かつ映像の記録容量も最小限に抑える撮影装置について説明する。
【００２５】
図５は本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【００２６】
撮影装置１００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ部１１４を備えている。実線は映像データの流れを示し、点線は制御データの流れを示す。
【００２７】
多焦点光学レンズ部１０１は、焦点距離を変更することによって、撮像素子部１０４に結像される撮影画像ＩＣの画角を変更する。焦点距離は、ズーム倍率設定部１０５で設定されたズーム倍率ＺＦに従って焦点距離算出部１０３で算出され、焦点距離制御部１０２を介して多焦点光学レンズ部１０１の焦点距離が設定される。図６は、焦点距離Ｆ、撮像される被写体２００の長さ（画角に相当）Ｌ、被写体２００と多焦点光学レンズ部１０１との距離Ｄ、撮像素子１０４の大きさＳの関係を示し、これらは次の（式１）の関係を持つ。
【００２８】
【数１】
2007094219.tif 000050
【００２９】
焦点距離Ｆと画角Ｌは反比例の関係にあり、たとえば、焦点距離Ｆが３５ｍｍから１４０ｍｍへ４倍長くなった場合、画角Ｌは１／４狭くなり、倍率４倍の拡大画像が撮影できる。
【００３０】
ズーム倍率設定部１０５では、撮影者によってズーム倍率ＺＦが設定される。ズーム倍率ＺＦは、多焦点光学レンズ部１０１の焦点距離が最短で最も画角が広い状態を１倍とする。ズーム倍率設定部１０５で設定されたズーム倍率ＺＦは、焦点距離算出部１０３と記録メディア部１０８とフレーミング変更部１０９に入力する。
【００３１】
被写体動き検出部１０６は被写体２００の動きを検出し、撮影装置動き検出部１０７は撮影装置１００の動きを検出する。被写体２００の動き、あるいは撮影装置１００の動きの少なくとも一方が検出された場合、焦点距離算出部１０３に検出結果が入力され、焦点距離算出部１０３は焦点距離を最短（たとえば３５ｍｍ）に設定し、多焦点光学レンズ部１０１は画角が最も広い光学ズーム１倍の状態に設定される。このような動作の目的は、被写体２００と撮影装置１００の少なくとも一方が動いた場合に、撮影者がフレーミングを撮影意図どおりに制御できなくなり、被写体２００が画角から外れる可能性が高い、と想定して、画角が最も広い光学ズーム１倍に設定して、撮りこぼしを防止するところにある。逆に、被写体２００に動きがなく、かつ撮影装置１００に動きがない場合は、被写体２００が画角から外れて撮りこぼしをする可能性は低いため、焦点距離算出部１０３はズーム倍率設定部１０５から与えられるズーム倍率ＺＦ（たとえば４倍）を焦点距離制御部１０２に出力し、多焦点光学レンズ部１０１は光学ズーム４倍（たとえば３５ｍｍを１倍とした場合、１４０ｍｍ）に設定される。
【００３２】
本発明において、被写体動きの検出方法は任意であるが、たとえば、図７Ａおよび図７Ｂに示すように、時間の異なる２つの画像の差分を求める方法などを利用する。図７Ａは、時間Ｔ０から時間ＴＥの間で被写体２００が右方向に移動した場合であり、撮影装置１００は静止していたとする。時間Ｔ０と時間ＴＥの間で連続する時間Ｔｉ−１と時間Ｔｉを考え、撮影画像をそれぞれ、撮影画像ＩＣｉ−１、撮影画像ＩＣｉとする。時間Ｔｉ−１と時間Ｔｉの間隔は、フレームレートに依存し、通常、１／３０秒である。図７Ｂに示す画像ＩＣＯＰＴは、撮影画像ＩＣｉ−１と撮影画像ＩＣｉを画素単位で差分を求めた結果であり、画素値が異なる画素を斜線で示した。実際はカメラノイズや、背景のわずかな動きなどを含めて様々なノイズが存在するために、差分値に閾値を設けて、閾値を超えた場合に動きありと判定する。また、閾値設定は、画素値だけでなく、画素数に対しても設定し、画素数に対する閾値を超えない場合はノイズと考えて無視する。
【００３３】
上記の説明では、撮影装置１００が静止している仮定をおいた。逆に、被写体２００が静止していて、撮影装置１００が左側へトラッキングした場合、図７Ａおよび図７Ｂと同じ撮影画像が得られる。そこで、撮影装置１００の動きも図７Ａおよび図７Ｂの原理で検出できる。しかし、図８に示すように、撮影装置１００と被写体２００が同時に移動して、時間Ｔｉ−１と時間Ｔｉにおける相対的位置関係が保存され、撮影画像ＩＣｉ−１と撮影画像ＩＣｉが同一になる場合が考えられる。この場合は、図７Ａおよび図７Ｂに示した差分値を求める方法では、撮影装置１００の動き、あるいは被写体２００の動きを検出できない。そこで、図９に示すように、撮影装置１００に姿勢センサ部１１４を内蔵し、撮影装置１００の動きを検出する。図７Ａおよび図７Ｂに示した被写体動き検出方法は一例であり、本発明は任意の被写体動き方法を利用できるが、いずれの方法を適用したとしても、撮影装置１００の動きが独立に検出されれば、被写体２００の動き検出の精度向上につながるため、姿勢センサ部１１４は有効に利用できる。姿勢センサ部１１４には、角速度センサや加速度センサなどを用いる。
【００３４】
記録メディア部１０８は、撮像素子部１０４から出力される撮影画像ＩＣとズーム倍率設定部１０５から出力されるズーム倍率ＺＦを時間とともに保存する。撮影画像ＩＣとズーム倍率ＺＦは記録された時間を参照することで、対応関係がわかる。被写体動き検出部１０６、あるいは撮影装置動き検出部１０７が、被写体２００あるいは撮影装置１００の動きを検出した際、多焦点光学レンズ部１０１は光学ズーム１倍に設定されるため、ズーム倍率ＺＦの設定値に関わらず、光学ズーム１倍の撮影画像ＩＣが記録される。
【００３５】
フレーミング再設定部１０９とフレーミング変更部１１０は、撮影時には動作せず、記録した映像を再生してフレーミングを再設定する際に動作する。そこで、撮影時は、ズーム倍率設定部１０５から与えられたズーム倍率ＺＦがフレーミング変更部１１０を通過して、フレーム領域設定部１１１と電子ズーム処理部１１２に入力される。フレーミング再設定部１０９とフレーミング変更部１１０の動作説明は、撮影時の動作説明の後、再生時の動作説明として後述する。
【００３６】
フレーム領域設定部１１１は、ズーム倍率ＺＦに従って、撮像素子部１０４の出力である撮影画像ＩＣから切り出すフレーム領域ＩＣＦを設定し、電子ズーム処理部１１２は、撮影画像ＩＣからフレーム領域ＩＣＦを切り出して、画像処理による電子ズームでフレーミング画像ＩＤＦを生成し、フレーミング画像表示部１１３で撮影者にフレーミング画像ＩＤＦを表示する。
【００３７】
図１０は、図５の撮影画像ＩＣとフレーミング画像ＩＤＦの詳細を示す。撮影画像ＩＣは、画素数ＰＣ、ライン数ＬＣを有し、撮像素子部１０４の画素数とライン数に一致する。フレーミング画像ＩＤＦは、画素数ＰＤ、ライン数ＬＤを有し、フレーミング画像表示部１１３の画素数とライン数に一致する。点線の交点は多焦点光学レンズ部１０１の光軸位置を表し、撮影画像ＩＣとフレーミング画像ＩＤＦの中心と一致する。ズーム倍率ＺＦは、多焦点光学レンズ部１０１が最も広角の場合を倍率１とするため、ズーム倍率ＺＦに従って画角を狭めて切り出されるフレーム領域ＩＣＦの画素数は（ＰＣ）／（ＺＦ）、ライン数は（ＬＣ）／（ＺＦ）となる。
【００３８】
次にフレーム領域ＩＣＦをフレーミング画像表示部１１３に表示するために、画素数（ＰＣ）／（ＺＦ）を画素数ＰＤに、ライン数（ＬＣ）／（ＺＦ）をライン数ＬＤに変換する電子ズームを施す。画素数ＰＤが画素数（ＰＣ）／（ＺＦ）より大きい場合、あるいは、ライン数ＬＤがライン数（ＬＣ）／（ＺＦ）より大きい場合、電子ズームは画像拡大になる。本発明において、画像拡大方法は任意であり、図１１と図１２に画像拡大方法の例を示す。
【００３９】
図１１は、線形補間法を説明する図である。実線は、被拡大画像（図１０のフレーム領域ＩＣＦに相当）の画素位置を示し、実線の交点が画素を示す。画素Ｐ１は画素値Ｓ１を持ち、画素Ｐ２は画素値Ｓ２を持ち、画素Ｐ３は画素値Ｓ３を持ち、画素Ｐ４は画素値Ｓ４を持つ。点線は拡大画像（図１０のフレーミング画像ＩＤＦに相当）の画素位置を示し、画素ＤＦＰの画素値ＳＤを（式２）の線形補間演算で求める。
【００４０】
【数２】
2007094219.tif 000051
【００４１】
図１２は、データベース参照型の画像拡大方法を説明する図である。この場合、電子ズーム処理部１１２は、図１２に示すように画像特徴解析部３０１、高密化データベース３０２、カテゴリ選定部３０３、および画像生成部３０７を備えている。また、高密化データベース３０２は、特徴カテゴリデータベース３０４、変換テーブルデータベース３０５、および高密化画像特徴量データベース３０６を備えている。
【００４２】
被拡大画像ＩＳ（図１０のフレーム領域ＩＣＦに相当）は、画像特徴解析部３０１で画像特徴量ＦＩＳに変換される。画像特徴量ＦＩＳは、画像のテクスチャ（光沢感や凹凸感などを表す模様やパターンの総称）を表現する特徴量であり、たとえば、図１３に示すように、ウェーブレット変換の係数を要素とする多次元ベクトルで表現する。すなわち、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを得る。これが、画像特徴量ＦＩＳに用いられる。高密化データベース３０２は、画像特徴量ＦＩＳを空間的に密度の高い高密化画像特徴量ＦＩＳＨに変換する。高密化データベース３０２は、高密化のための画像特徴量の変換情報を画像特徴カテゴリごとに保有している。そこで、画像特徴量ＦＩＳのカテゴリが、カテゴリ選定部３０３で選定され、図１２の例では、画像特徴カテゴリ＃２が選択されている。画像特徴カテゴリは、たとえば、被写体の材質の種類ごと（たとえば肌、木、石、生地など）に設定して画像特徴量を高密化すれば、材質のテクスチャを保存でき、拡大画像の画質を高品位に制御できる。カテゴリ選定部３０３で特定された画像特徴カテゴリは、画像特徴カテゴリデータベース３０４を参照して、最も類似するカテゴリを選択し、図１２の例では、画像特徴カテゴリ＃２が選択されている。画像特徴カテゴリデータベース３０４の参照によって、カテゴリ番号（この例では＃２）が決定すると、変換テーブルデータベース３０５で同じカテゴリ番号が選択され、参照すべき高密化画像特徴量のカテゴリ番号（この例では＃１０）が得られる。高密化画像特徴量のカテゴリ番号に従って高密化画像特徴量データベース３０６から高密化画像特徴量が選択され、この例では、高密化画像特徴量＃１０が高密化画像特徴量ＦＩＳＨとして、画像生成部３０７に出力される。画像生成部３０７は画像特徴解析部３０１の処理の逆変換で高密化画像特徴量を拡大画像ＩＬに変換する。画像特徴解析部３０１にウェーブレット変換を用いた場合は、ウェーブレット逆変換を適用する。
【００４３】
以上のように、被写体動き検出部１０６が被写体２００の動きを検出するか、あるいは撮影装置動き検出部１０７が撮影装置１００の動きを検出するか、少なくとも何れか一方が検出されると、被写体２００を取りこぼす可能性が高いと想定して、画角を最も広く取り、外枠領域ＩＣＦを含めて撮影画像ＩＣが記録メディア部１０８に保存される。逆に、被写体２００と撮影装置１００がともに静止している場合は、被写体２００を取りこぼす可能性が低いと想定して、フレーム領域ＩＣＦのみが撮影画像ＩＣとして記録メディア部１０８に保存される。このような動作原理により、撮りこぼしの可能性を最小限に抑えつつ、かつ記録メディア部１０８への記録容量を最大限に削減できる。
【００４４】
上記のように構成された撮影装置１００を用いて撮影者が被写体２００を撮影する場合の動作について説明する。
【００４５】
図１４は、撮影装置１００の動作を説明するフローチャートである。
【００４６】
撮影装置１００は、起動されると初期設定（Ｓ１０１）として、焦点距離制御部１０２が多焦点光学レンズ部１０１の焦点距離を最短に設定し、ズーム倍率ＺＦを１にリセットする。フレーム領域設定部１１１と電子ズーム処理部１１２はズーム倍率ＺＦを１として動作するため、フレーミング画像表示部１１３にズーム倍率ＺＦが１の最も画角の広い画像が表示される（Ｓ１０２）。ズーム倍率設定部１０５が撮影者に解放され（Ｓ１０３）、撮影者は任意のタイミングでズーム倍率ＺＦを変更できる。撮影者が録画ボタンを押すと、被写体動き検出部１０６は、被写体の動きの監視を開始し、撮影装置動き検出部１０７は、撮影装置の動きの監視を開始する（Ｓ１０４）。被写体の動きと撮影装置の動きの少なくとも一方が検出されたら（Ｓ１０４でＹＥＳ）、焦点距離算出部１０３はズーム倍率ＺＦが１となるように焦点距離を算出し、焦点距離制御部１０２が多焦点光学レンズ部１０１を倍率１に相当する広角に設定する（Ｓ１０５）。倍率１の広角画像からズーム倍率ＺＦに相当するフレーム領域ＩＣＦを設定し、電子ズーム処理部１１２はこのフレーム領域ＩＣＦを切り出す（Ｓ１０６）。そして、電子ズーム処理部１１２はフレーム領域ＩＣＦをフレーミング画像表示部１１３の画像サイズに合致するように、画像拡大、あるいは画像縮小を行う（Ｓ１０７）。電子ズーム画像をフレーミング画像表示部１１３に表示し（Ｓ１０８）、撮影画像ＩＣとズーム倍率ＺＦとを記録メディア部１０８へ保存する（Ｓ１０９）。撮影終了の場合（Ｓ１１０でＹＥＳ）は、動作が終了する。撮影が続いている場合（Ｓ１１０でＮＯ）は被写体の動きおよび撮影装置の動きの少なくとも一方を検出するステップ（Ｓ１０４）へ戻る。一方、被写体の動きと撮影装置の動きがともに検出されなかったら（Ｓ１０４でＮＯ）、多焦点光学レンズ部１０１を撮影者が設定したズーム倍率ＺＦに設定する（Ｓ１１２）。撮像素子部１０４の出力の撮影画像ＩＣがフレーミング画像表示部１１３で表示される（Ｓ１０８）。
【００４７】
以上の説明は、撮影時の動作に関するものであったが、これらに加えて、再生時のフレーミング再設定の動作を次に説明する。
【００４８】
フレーミング再設定部１０９は、撮影時に設定したフレーミングを、撮影後に修正する手段であり、フレーム領域ＩＣＦの位置とズーム倍率ＺＦを変更できる。図１５Ａおよび図１５Ｂは、フレーミングの再設定方法を説明する図である。画像ＩＣＴｏは撮影時に記録メディア部１０８に保存された撮影画像であり、外枠領域ＩＣＭを含んでいる。撮影意図は、右方向へ移動する人物の上半身を撮影する、とする。撮影画像ＩＣＴｏが記録される前は、被写体２０１の上半身を捉えるフレーミングであったが、撮影画像ＩＣＴｏが撮影された時点で、被写体２０２の身長が被写体２０１より大きいことがわかり、フレームアウトした。そこで、撮影画像ＩＣＴ１のように、フレーミングを再設定したい、とする。すなわち、フレーム領域ＩＣＦｏの中心位置ＩＣＦＣｏを、フレーム領域ＩＣＦ１の中心位置ＩＣＦＣ１に移動し、かつ画角を広く（ズーム倍率を小さく）する。
【００４９】
フレーム領域の中心位置とズーム倍率の指定方法は、撮影時と同様で、撮影者は記録メディア部１０８に保存された撮影画像を再生し、フレーミング画像表示部１１３でフレーミングを確認しながら、修正したい方向へ撮影装置１００を動かす。同時に、ズーム倍率設定部１０５を調整する。撮影装置１００の動きは姿勢センサ部１１４（図９）で検出し、撮影画像ＩＣにおける光軸位置の変化を読み取る。フレーミングの再設定時には、再生速度を落として（たとえば１／５秒）フレーミングの確認と操作に対して時間の余裕を与える。また、再生速度の変更を撮影者が行っても構わない。変更されたフレーム領域の中心位置ＩＣＦＣ１とズーム倍率ＺＦはフレーミング変更部１１０を介して記録メディア部１０８に保存される。この際、撮影者は、過去のデータを削除して新しい変更データのみを残す「上書きモード」や、過去のデータを残し、別途新しい変更データを記録する「コピーモード」を選択できる。また、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部１１３で確認してから上書きモードを実行する「コピー上書きモード」も利用できる。さらに、変更データを作成した後に外枠領域ＩＣＭのデータを削除するか、残しておくかを撮影者が指示できる。なお、記録メディアの記録容量を節約するには、上書きモードを選択し、過去のデータと変更データの両方で外枠領域を削除することが望ましい。逆に、フレーミングの再設定を繰り返す可能性が残る場合は、過去のデータと変更データの両方で外枠領域を残すことが望ましい。フレーミングの再設定を繰り返す場合は、過去のデータに対して実施するか、変更データに対して追加の変更を実施するか、を撮影者が選択できる。以上のように、撮影時と同じ操作方法でフレーミングを再設定すると、撮影時のフレーミングの記録（撮影装置を上に向けるべきだった）を参考にできるため、再設定の操作がスムースになり、かつ、複数のフレーム画像からなる動画像を一気に修正できるメリットがある。
【００５０】
フレーム領域ＩＣＦｏの大きさは、ズーム倍率ＺＦに従って決まり、フレーム領域ＩＣＦｏに含まれる画素数は、画像ＩＣＴｏ全体の１／（ＺＦ）＾２にある。たとえば、ズーム倍率ＺＦが２倍の場合、１／４になり、ズーム倍率ＺＦが４倍の場合、１／１６になる。外枠領域ＩＣＭに含まれる画素数は、画像ＩＣＴｏ全体からフレーム領域ＩＣＦｏを差し引いた画素数であるから、ズーム倍率ＺＦが２倍の場合、３／４になり、ズーム倍率ＺＦが４倍の場合、１５／１６になる。相対的に見て、利用される可能性の低い外枠領域ＩＣＭが、利用される可能性の高いフレーム領域ＩＣＦよりも多くの画素を含むため、記録メディア部１０８の記録容量をある一定値（たとえば３０ＧＢ）で考えた場合、録画時間を延ばすには、外枠領域の削除が効果的であることが容易に理解できる。たとえば、撮像素子部１０４の画像サイズを２５６０画素×１９２０ラインとし、記録メディア部１０８の記録容量を３０ＧＢとすると、ＲＧＢ２４ビット画像の場合、約８６秒で記録容量の上限に達する。仮に、フレーミング画像表示部１１３の画像サイズを６４０画素×４８０ラインとした場合、フレーム領域ＩＣＦの画像サイズは撮影画像ＩＣに対して画素数、ライン数ともに１／４であり、外枠領域ＩＣＭは１５／１６となる。そこで、被写体２００と撮影装置１００がともに静止している場合、あるいは、撮影後に外枠領域を削除した場合、記録容量が１５／１６に削減され、３０ＧＢの記録上限であれば、録画時間が約１０８０秒（約１８分）まで延びる。
【００５１】
また、電子ズーム処理部１１２で図１１や図１２に例示した画像処理による電子ズームを実行すれば、撮像素子部１０４の画素数とライン数を少なくできる。たとえば、撮像素子部１０４を１２８０画素×９６０ラインにし、電子ズーム処理部１１２で２倍拡大を行えば２５６０画素×１９２０ライン相当のフレーム領域ＩＣＦを得られる。撮像素子部１０４の画素数とライン数がともに１／２に削減されるため、記録メディア部１０８への録画時間も４倍長くなり、たとえば、記録メディア部１０８の記録容量を３０ＧＢとすると、約３３４秒（５分３４秒）となり、外枠領域ＩＣＭを保存しない場合は、７２分に延びる。
【００５２】
なお、図５の説明では、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に光学ズームを１倍に設定したが、本発明は光学ズームの倍率を限定するものではなく、たとえば、１．５倍であっても構わない。動作の本質は、被写体動き、あるいは撮影装置動きの少なくとも一方が検出された際に広角撮影に変更する、ところにあり、被写体の撮りこぼし防止に適する倍率であれば、その数値は任意に設定できる。
【００５３】
以上により、被写体と撮影者の動きを監視し、光学ズームと電子ズームを使い分けることで、被写体の撮りこぼしを最小限に抑え、かつ長時間録画が可能な撮影装置を提供できる。また、フレーミングの再設定は、撮影時と同様に撮影装置を動かし、ズーム倍率を変更するため、新たな操作方法を覚える必要がなく、かつ動画像をスムースに修正できる。
【００５４】
（実施の形態２）
本実施の形態では、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存する撮影装置について説明する。
【００５５】
図１６は本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００５６】
撮影装置４００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ部１１４、圧縮符号化部４０１、および伸長復号化部１１５を備えている。
【００５７】
圧縮符号化部４０１は、フレーム領域設定部１１１で設定されたフレーム領域ＩＣＦと外枠領域ＩＣＭに異なる圧縮率で画像圧縮処理を施して記録メディア部１０８へ出力する。相対的にみて、フレーム領域ＩＣＦは画像表示に利用される可能性が高く、外枠領域は画像表示に利用される可能性が低いため、記録容量の削減を目的に、外枠領域に高い圧縮率を適用し、録画時間を延ばす。圧縮率を高くすることで画質劣化を招くが、外枠領域を設けることで撮りこぼしを防ぐことはできる。たとえば、撮像素子部１０４の画像サイズを２５６０画素×１９２０ラインとし、記録メディア部１０８の記録容量を３０ＧＢとすると、ＲＧＢ２４ビット画像の場合、約８６秒で記録容量の上限に達する。仮に、フレーミング画像表示部１１３の画像サイズを６４０画素×４８０ラインとした場合、フレーム領域ＩＣＦの画像サイズは撮影画像ＩＣに対して画素数、ライン数ともに１／４であり、外枠領域ＩＣＭは１５／１６を占める。そこで、外枠領域ＩＣＭのデータ量を１／２に圧縮し、フレーム領域ＩＣＦのデータ量を３／４に圧縮した場合は、１フレームの記録容量は約７．６ＭＢで、記録メディア部１０８の記録容量を３０ＧＢとすると、録画時間は約１３２秒（２分１２秒）となり、録画時間が約１．５倍延びる。
【００５８】
伸長復号化部４０２は、圧縮符号化された撮影画像ＩＣを伸長復号化し、電子ズーム処理部１１２へ出力する。
【００５９】
以上により、フレーム領域と外枠領域で画像データの圧縮率を切り替えて撮影画像を記録メディアに保存することにより、録画時間を長くする撮影装置を提供できる。なお、フレーム領域および外枠領域を同じ圧縮率で圧縮符号化しても構わないが、上記のように圧縮率を切り替えることによって、効率的に撮影画像を記録メディアに保存することができる。
【００６０】
（実施の形態３）
本実施の形態では、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置について説明する。
【００６１】
図１７は本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。なお、図１６に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００６２】
撮影装置５００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部５０３、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ部１１４、圧縮符号化部５０１、および伸長復号化部５０２を備えている。
【００６３】
被写体動き検出部１０６は、被写体の動き検出結果を焦点距離算出部１０３へ出力するとともに、フレーム領域設定部５０３と圧縮符号化部５０１と伸長復号化部５０２へ被写体の動き検出結果を出力する。被写体動き検出部１０６は、フレーム領域設定部５０３と圧縮符号化部５０１と伸長復号化部５０２への出力において、動きのある／なしの２値情報だけではなく、被写体の動きの度合いを出力する。動きの度合いとは、撮影画像ＩＣの中で被写体動きが検出された画素数の割合と、時間変化に注目した場合、被写体動きが検出された画素の集まりが撮影画像ＩＣの中でどれだけ移動しているか、の２つの観点がある。
【００６４】
図７Ａおよび図７Ｂに示したように、被写体の動きは時間的に前後する２枚の画像（図７Ａおよび図７Ｂでは、時間Ｔｉ−１の画像ＩＣｉ−１と時間Ｔｉの画像ＩＣｉ）の画素値の差分を画素ごとに求め、差分値を持つ画素に動きが発生したと判断する。そこで、差分値の分布を表す画像ＩＣＯＰＴの斜線部分の面積が広いほど、被写体の動きの度合いが大きいと判定する。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ＩＣＦを小さく取り、外枠領域ＩＣＭを大きく取って、撮りこぼし防止の確度を高める。
【００６５】
図１８Ａおよび図１８Ｂは、時間Ｔｉ−１、時間Ｔｉ、時間Ｔｉ＋１に連続する３枚の撮影画像ＩＣｉ−１、撮影画像ＩＣｉ、撮影画像ＩＣｉ＋１を示す。時間Ｔｉ−１と時間Ｔｉの差分が画像ＩＣＯＰＴ１であり、時間Ｔｉと時間Ｔｉ＋１の差分が画像ＩＣＯＰＴ２である。画像ＩＣＯＰＴ１の斜線で示された動きのある画素の重心は点ＣＰ１であり、画像ＩＣＯＰＴ２の斜線で示された動きのある画素の重心は点ＣＰ２であり、被写体の動きが検出された画素の集まりが、移動していることがわかる。すなわち、点ＣＰ１を通る垂直方向の点線ＣＶ１と点ＣＰ２を通る垂直方向の点線ＣＶ２が異なる位置にある。なお、被写体２００は平行移動しているため、点ＣＰ１を通る水平方向の点線ＣＨ１と点ＣＰ２を通る水平方向の点線ＣＨ２は同じ位置にある。点線ＣＶ１と点線ＣＶ２の不一致から被写体の動きが時間Ｔｉ−１から時間Ｔｉ＋１に至るまで連続していることが理解でき、被写体の動きの度合いが大きいと判定される。被写体の動きの度合いが大きいほど、撮影意図どおりにフレーミングを設定できない可能性が高いため、フレーム領域ＩＣＦを小さく取り、外枠領域ＩＣＭを大きく取って、撮りこぼし防止の確度を高める。被写体動きが検出された画素の集まりの重心位置を時間的に連続して監視し、重心位置が動き続けるほど、被写体の動きの度合いが大きいと判定する。
【００６６】
以上のように、被写体の動きの度合いに応じて、圧縮率を固定としてフレーム領域ＩＣＦの大きさを変更する方法を説明したが、同じ要領でフレーム領域ＩＣＦの大きさを固定として画像圧縮の圧縮率を制御しても構わない。すなわち、圧縮符号化部５０１は、入力された動きの度合いが大きい場合は外枠領域ＩＣＭを用いてフレーミングを再設定する可能性が高いため、外枠領域ＩＣＭに施す画像圧縮の圧縮率を低くして、画質レベルを高く保つ。
【００６７】
また、被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ制御と外枠領域ＩＣＭの圧縮率の制御は、同時に実行できる。その際、フレーム領域ＩＣＦの大きさが小さくなるほど、電子ズーム処理部１１２が実行する画像拡大処理の拡大率が大きくなる。そこで、フレーム領域ＩＣＦの大きさが小さくなるほど、フレーム領域ＩＣＦに施す画像圧縮の圧縮率は低くし、画質レベルを維持する。
【００６８】
以上の説明では、被写体の動きを対象に図１７の動作を説明したが、被写体の動きを撮影装置の動きと置き換えることができる。また、被写体の動き、あるいは撮影装置の動きの少なくとも一方が発生した場合に、動きの度合いを求めても構わない。
【００６９】
以上により、被写体の動きと撮影装置の動きの度合いに応じてフレーム領域の大きさ、あるいは圧縮率の少なくとも一方を制御する撮影装置を提供でき、被写体の撮りこぼしを最小限に抑え、かつ録画時間を長くできる。
【００７０】
（実施の形態４）
本実施の形態では、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録容量の残量がなくなったら、外枠領域の保存領域に上書きする撮影装置について説明する。
【００７１】
図１９は本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００７２】
撮影装置６００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部６０４、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部１１１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ部１１４、撮影画像データ部６０１、メモリアドレス調整部６０２、およびメモリ容量管理部６０３を備えている。
【００７３】
撮影画像データ部６０１は、図２０に示すように、フレーム領域ＩＣＦの保存領域と外枠領域ＩＣＭの保存領域を別々に有し、メモリアドレスで識別する。この例では、メモリアドレスの００００から１ＦＦＦをフレーム領域に利用し、メモリアドレスの２０００からＦＦＦＦを外枠領域に利用している。メモリアドレス調整部６０２は、フレーム領域設定部１１１から与えられるフレーム領域ＩＣＦと外枠領域ＩＣＭに応じて、メモリアドレスの割り振りを担当する。メモリ容量管理部６０３は、記録メディア部１０８の記録容量を監視し、残量がなくなった場合、メモリアドレス調整部６０２に指示を出して、フレーム領域ＩＣＦを外枠領域ＩＣＭのメモリアドレス空間に上書きしていく。このような動作によって、相対的に見て、利用される可能性の高いフレーム領域の記録時間を延ばして、録画時間を長くできる。
【００７４】
また、被写体動き検出部１０６と撮影装置動き検出部１０７から動きの度合いをメモリアドレス調整部６０２経由で撮影画像データ部に記録する。そこで、図２０に示すように、すべての外枠領域ＩＣＭは動きの度合いを合わせ持つ。記録容量の残量がなくなって、外枠領域ＩＣＭのメモリ空間にフレーム領域を上書きする際には、動きの度合いの小さなデータから順に上書きする。このように動作させることで、相対的に見て、利用される可能性の少ない動きの少ない外枠領域から上書きし、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。
【００７５】
以上により、フレーム領域と外枠領域を記録メディア上で別々に管理し、記録要領の残量がなくなったら、外枠領域に上書きする撮影装置を提供でき、撮りこぼしを最小限に抑え、かつ録画時間を延ばすことができる。
【００７６】
（実施の形態５）
本実施の形態では、撮影者が撮影したい被写体が画角外にあり、これを撮影者が撮影装置を移動することで被写体を画角内に捉えるカメラワークにおいて、撮影装置が姿勢センサの動きから先読みした移動方向にフレーミング領域を移動して、より短い時間で被写体を捉える撮影装置について説明する。
【００７７】
図２１は本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００７８】
撮影装置７００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部７０１、圧縮符号化部４０１、伸長復号化部４０２、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ部１１４を備えている。
【００７９】
姿勢センサ部１１４は、撮影装置７００の姿勢情報をフレーム領域設定部７０１に出力する。フレーム領域設定部７０１は、姿勢情報を時間的に監視し続けて、撮影装置７００の動きに一定の規則性（たとえば、右方向へのパンニングが２秒間続くなど）が見つかったら、撮影装置７００は将来も同じ動きを続けると予測し、フレーム領域を撮影画像ＩＣ内で撮影装置の移動方向（たとえば、右方向へのパンニング）へ移動し、撮影装置の動きよりも早く被写体を捉える。たとえば、図２２は、右方向へ撮影装置７００をパンニングする例を示す。被写体は人物２０１、人物２０２、人物２０３であり、細い実線の四角が外枠ＩＣＭを示し、太い実線の四角がフレーム領域ＩＣＦを示す。撮影者はフレーム領域ＩＣＦをフレーミングするズーム倍率ＺＦを設定し、電子ズーム処理部１１２は、フレーム領域ＩＣＦを電子ズームしてフレーミング画像表示部１１３に表示する。図２２の上段の１列は、従来例であり、フレーム領域ＩＣＦの中心が光軸に一致している。下段の１列は、フレーム領域ＩＣＦを先読みする一例である。時間Ｔｉ−３に至るまでの累積的な姿勢情報の監視（たとえば、右方向へのパンニングが２秒間続いた）から、連続する右方向へのパンニングを検出した、とする。そこで、時間Ｔｉ−２ではフレーム領域ＩＣＦＴｉ−２が右方向に移動した。この時点で、撮影者は被写体２０３の顔がフレームアウトすることに気づき、時間Ｔｉ−１で撮影装置７００を上方へチルティングし、時間Ｔｉには被写体２０３の顔全体をフレーム領域ＩＣＦに捉えた。撮影者はフレーミング画像表示部１１３によって被写体２０３の顔全体を捉えたことを確認したため、撮影装置７００を移動する必要はなくなり、時間Ｔｉで撮影装置７００の右方向へのパンニングは停止し、同時にフレーム領域ＩＣＦの先読みも停止した。そこで、フレーム領域ＩＣＴｉの中心は光軸に戻った。一方、フレーム領域ＩＣＦの先読みがない上段では、時間Ｔｉ−１で被写体２０３のフレームアウトに気づき、時間Ｔｉでは撮影装置７００のチルティングの途中であり、被写体２０３の顔をフレーム領域ＩＣＦＴｉＦＯは捉え切れていない。つまり、上段では撮影装置７００の動きのみで目的の被写体２０３の顔を追いかけたが、時間Ｔｉではまだ完了しておらず、下段では撮影装置７００の動きに加え、フレーム領域の先読みでより早く目的の被写体２０３の顔を捉えた。このように、撮影装置の動きに加え、フレーム領域が撮影画像ＩＣ内で撮影装置の移動方向に移動すれば、より短い時間で被写体を捉えられ、撮りこぼしを最小限に抑えることができる。
【００８０】
以上のような動きに加え、圧縮符号部４０１はフレーム領域ＩＣＦを低圧縮率で圧縮符号化し、外枠ＩＣＭを高圧縮率で圧縮符号化する。撮影装置７００が移動しているということは、移動方向の先に撮影者にとって重要な被写体が存在することを意味し、これをフレーム領域内で捉えることが撮影意図であるため、撮影意図として重要なフレーム領域は画質劣化の少ない低圧縮率を用い、撮影意図として重要でない外枠ＩＣＭは画質劣化の大きい高圧縮率を用いる。なお、圧縮符号化部４０１と伸長復号部４０２の動作は、図１６と同一である。
【００８１】
撮像装置を素早く移動すると、ブラーと呼ばれるボケが画像に生じ、被写体の詳細が確認できない画質劣化につながる。そこで、ブラーが発生しない範囲で撮影装置を動かし、さらにフレーム領域の先読みで撮影装置の動きをカバーすると、撮りこぼしの最小化と画質を両立できる。たとえば、無人の監視カメラなどでは、関心のある被写体を画角内に納めつつ、被写体の詳細を記録したいという、広角と狭角の両立が必要である。そこで、狭角カメラをパン・チルトで移動し、広角撮影を確保する方式が取られる。本実施の形態は、パン・チルトの最中に、監視カメラ映像を見ているオペレータが注目の被写体を検出し、いち早く、カメラを注目の被写体へ向ける際に、短い時間で目的を達成できる効果を発揮できる。
【００８２】
（実施の形態６）
本実施の形態では、動きに急激な変化が発生した領域へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。
【００８３】
図２３は本発明の実施の形態６に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００８４】
撮影装置８００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部８０１、電子ズーム処理部１１２、フレーミング画像表示部１１３、および姿勢センサ部１１４を備えている。
【００８５】
被写体動き検出部１０６は被写体の動きの度合いをフレーム領域設定部８０１へ出力する。フレーム領域設定部８０１は、被写体の動きの度合いを監視し続け、急激な変化を検出すると、その領域へフレーム領域ＩＣＦを自動的に移動する。急激な動きの変化は、図１８Ａおよび図１８Ｂで説明した動きの発生した画素の集まりの重心位置の変化で判断し、重心位置の変化量が閾値を越えたら、急激な動きが発生したとして、現時点の重心位置（図１８Ａおよび図１８Ｂでは、ＣＰ２）にフレーム領域ＩＣＦの中心位置を移動する。逆に、一定時間に渡り移動し続ける重心位置が、突然停止した際にフレーム領域ＩＣＦの中心位置を停止した重心位置に自動的に移動する。
【００８６】
以上により、突然動きを早めた人物や、突然動きを止めた人物などに自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
【００８７】
なお、本実施の形態を監視カメラに適用する場合は、パンニングとチルティングの自動制御と組み合わせることで、より広い範囲で注目領域にズーミングできる。すなわち、動きが検出された画素の集まりの重心が画角から外れそうになると、フレーム領域ＩＣＦは画角内に収まらず、撮影画像ＩＣの外側に出てしまう。これは動きの激しい被写体が画角から外れそうな状態を意味するため、フレーム領域ＩＣＦが撮影画像ＩＣの外側に外れた方向に撮影装置８００の向きを変更すれば、被写体を画角内に捉えられる。フレーム領域ＩＣＦが撮影画像ＩＣの横方向に外れた場合はパンニングを、フレーム領域ＩＣＦが撮影画像ＩＣの縦方向に外れた場合は、チルティングを自動制御する。
【００８８】
（実施の形態７）
本実施の形態では、特定の色や画像パターン、音などを検出した場合、その検出方向へ自動的にズーム領域を動かしてズーム領域を先読みする撮影装置について説明する。
【００８９】
図２４は本発明の実施の形態７に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００９０】
撮影装置９００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部９０２、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ部１１４、画像特徴検出部９０１、音センサ部９０３、および音特徴検出部９０５を備えている。
【００９１】
画像特徴検出部９０１は、撮影画像ＩＣ中の特定の色や特定の画像パターンを検出する。特定の色とは、たとえば、ＲＧＢ値がともに１００−１２０であるグレーや、Ｒ値が２００以上で、Ｇ値とＢ値が１０以下である赤など、画素値で指定する。画素値の種類は任意であり、ＹＵＶやＨＶＣ、測色値であるＸＹＺやＬＡＢなど、自由に選択できる。特定の画像パターンとは、撮影画像ＩＣを、たとえば５×５画素のブロックに分け、２５画素の画素値を要素として形成した特徴ベクトルなどである。たとえば、特定の文字を検出したい場合は、あらかじめ、文字画像をブロックに分け、特徴ベクトルを求めて、画像特徴検出部９０１に保持しておく。撮影画像ＩＣのブロックごとに文字画像の特徴ベクトルとの内積を求め、内積が閾値を超えたら文字が検出されたとする。画像特徴検出部９０１は、特定の色や画像パターンを検出したら、検出位置の位置情報をフレーム領域設定部９０２に出力する。フレーム領域設定部９０２は、検出位置の中心位置にフレーム領域ＩＣＦの中心位置を移動させる。また、特定の色や画像パターンが同時に複数検出された場合には、フレーム領域設定部９０２は、これらすべてを含むように、フレーム領域ＩＣＦを移動させる。
【００９２】
以上により、特定の色やパターンを検出すると、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
【００９３】
音センサ部９０３は、音源９０４からの音をセンシングする。音源９０４の位置を特定するために、指向性を持つ複数本のマイクロフォンを内蔵し、音量の大小で音源９０４の位置を特定する。音特徴検出部９０５は、音量の変化に対する閾値を持ち、急激に大きな音がした場合、あるいは、急激に音量が落ちた場合、あるいは、特定の周波数パターンを持つ音を検出した場合に音源９０４の位置情報をフレーム領域設定部９０２に出力する。音源９０４の位置情報を受けたフレーム領域設定部９０２は、撮影画像ＩＣのおける音源位置をフレーム領域ＩＣＦの中心位置としてフレーム領域ＩＣＦを設定する。
【００９４】
以上により、突然音量が大きくなったり、音量が小さくなったり、特定の周波数パターンを持つ音が発生するなど、特定のイベントを音の変化や発生で検知して、自動的にズーム領域が割り当てられ、たとえば監視カメラなどで、自動的に重要な領域を詳細に撮影することができる。
【００９５】
（実施の形態８）
本実施の形態では、実施の形態１から実施の形態７で説明した動作の詳細設定を撮影者が調整できる撮影装置について説明する。
【００９６】
図２５は本発明の実施の形態８に係る撮影装置の概観を示し、図２６は動作モードの選択画面を示し、図２７から図３４を用いて各動作モードの条件設定方法を説明する。
【００９７】
図２５に示すように、撮影装置１０００は、動作モード選択・調整ダイヤル部１００１を持ち、これを操作することで、図２６に示す動作モードの選択画面から設定を変更したい動作モードを選択する。動作モードには、仮に、被写体撮りこぼし防止モード１２００、圧縮率可変モード１３００、外枠上書きモード１４００、フレーミング再設定モード１５００、先読みモード１６００と名称を与える。この例では、被写体撮りこぼし防止モード１２００が選択されている。
【００９８】
図２７は、フレーミング画像表示部１１３に表示された被写体撮りこぼし防止モード１２００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。被写体動き検出１２０１をＯＮにすると図５の被写体動き検出部１０６が有効になる。被写体動き検出感度１２０２を高くすると、図７Ａおよび図７Ｂに示した動き検出画素の画素数が相対的に少数でも被写体動きがあったと判定される。被写体動き検出感度１２０２を低くすると、図７Ａおよび図７Ｂに示した動き検出画素の画素数が相対的に多数の場合に被写体動きがあったと判定される。撮影装置動き検出１２０３をＯＮにすると図５の撮影装置動き検出部１０７が有効になる。撮影装置動き検出感度１２０４を高くすると、図９に示した姿勢センサ部１１４の変化量が相対的に小さくても撮影装置に動きがあったと判定される。撮影装置動き検出感度１２０４を低くすると、姿勢センサ部１１４の変化量が相対的に大きい場合に撮影装置に動きがあったと判定される。被写体動き反映度１２０５は、図１７に示した被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ調整の感度を表わす。被写体動き反映度１２０５が高いと、被写体の動きが相対的に遅くてもフレーム領域ＩＣＦのサイズは敏感に変化する。逆に、被写体動き反映度１２０５が低いと、被写体の動きが相対的に早くてもフレーム領域ＩＣＦのサイズは急激に変化しない。
【００９９】
図２８は、フレーミング画像表示部１１３に表示された圧縮率可変モード１３００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。フレーム領域圧縮率１３０１は、図１６の圧縮符号化部４０１がフレーム領域ＩＣＦに施す画像圧縮処理の圧縮率を設定する。外枠圧縮率１３０２は、圧縮符号化部４０１が外枠領域ＩＣＭに施す画像圧縮処理の圧縮率を設定する。この例では、フレーム領域ＩＣＦに低い圧縮率が、外枠領域ＩＣＭに高い圧縮率が設定されて、記録メディア部１０８への記録容量を削減している。被写体動き反映度１３０３は、図１７に示した被写体の動きの度合いに応じたフレーム領域ＩＣＦの大きさ調整の感度を表わす。被写体動き反映度１３０４が高いと、被写体の動きが相対的に遅くてもフレーム領域圧縮率１３０１と外枠圧縮率１３０２の設定値が圧縮符号化部５０１に敏感に適用される。逆に、被写体動き反映度１３０４が低いと、被写体の動きが相対的に早くてもフレーム領域圧縮率１３０１と外枠圧縮率１３０２の設定値が圧縮符号化部５０１に急激には適用されない。フレーム領域サイズ連動圧縮可変制御１３０４をＯＮにすると、フレーム領域ＩＣＦが小さい場合、圧縮率を低くし、フレーム領域ＩＣＦが大きい場合、圧縮率を高くする。図１８Ａおよび図１８Ｂに示した方法で検出された被写体の動き、あるいは図９の姿勢センサ部１１４で検出された撮影装置１００の動きの度合いが大きい場合、フレーム領域ＩＣＦはサイズが小さくなり、外枠領域を大きく取って取りこぼしを最小限に抑える。
【０１００】
図２９は、フレーミング画像表示部１１３に表示された外枠上書きモード１４００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。記録時間順上書き１４０１は、外枠領域ＩＣＭが記録メディア部１０８に記録された順番に従ってフレーム領域ＩＣＦを上書きする。記録時間順上書き１４０１をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、外枠領域ＩＣＭの記録時間を参照して最も古いデータから上書きしていく。被写体動き度合い順上書き１４０２は、図２０の撮影画像データ部６０１に保存された被写体の動き度合いを参照して、被写体の動き度合いの小さいものから順にフレーム領域ＩＣＦを上書きする。被写体動き度合い順上書き１４０２をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、被写体の動き度合いを参照して被写体の動き度合いの小さいデータから上書きしていく。撮影装置動き度合い順上書き１４０３は、図２０の撮影画像データ部６０１に保存された撮影装置の動き度合いを参照して、撮影装置の動き度合いの小さいものから順にフレーム領域ＩＣＦを上書きする。撮影装置動き度合い順上書き１４０３をＯＮにすると、図１９のメモリ容量管理部６０３が記録容量の残量なしをメモリアドレス調整部６０２に通知したとき、撮影装置の動き度合いを参照して撮影装置の動き度合いの小さいデータから上書きしていく。図２９の例では、被写体動き度合い順上書き１４０２と撮影装置動き度合い順上書き１４０３がＯＮとなっているため、被写体と撮影装置の２つを合わせた動き度合いの小さい順に外枠領域ＩＣＭにフレーム領域ＩＣＦが上書きされる。被写体の動き度合いと撮影装置の動き度合いの合わせ方は、たとえば掛け算を用いる。
【０１０１】
図３０は、フレーミング画像表示部１１３に表示されたフレーミング再設定モード１５００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。再生速度１５０１は、撮影画像を記録メディア部１０８から読み出す際のスピードで、これがフレーミング画像表示部１１３でのフレーミング画像ＩＤＦのリフレッシュレートになる。フレーミングの再設定を行う際に、たとえば秒５枚画像を表示するなど、再生速度を変更したい場合に利用する。再設定フレーミングデータ上書きモード１５０２は、フレーミングの再設定を行った結果を撮影時のフレーミングデータに上書きする。すなわち、図５のフレーミング変更部１１０はフレーミングデータのみを書き換え、撮影画像にはアクセスしない。従って、フレーミングの再設定は引き続き可能である。再設定フレーミングデータコピーモード１５０３は、再設定されたフレーミングデータを新たに記録メディア部１０８に保存する。すなわち、記録メディア部１０８で消去されるデータはない。図３０の例では、再設定フレーミングデータ上書きモード１５０２と再設定フレーミングデータコピーモード１５０３がＯＮになっているため、コピーモードで仮修正をし、修正結果を再生してフレーミング画像表示部１１３で確認してから上書きモードが実行される。ファイナライズ１５０４は、フレーミングの再設定を確定する際に、外枠領域ＩＣＭを保存するか、削除するかを選択する。外枠領域ＩＣＭを保存すれば、繰り返しフレーミングを修正できるが、記録メディア部１０８の容量を大きく消費する。外枠領域ＩＣＭを削除すれば、記録メディア部１０８の容量は節約できるが、フレーミングの再設定はできない。
【０１０２】
図３１は、フレーミング画像表示部１１３に表示された先読みモード１６００の設定画面である。各メニューに対して太線の四角ＢＲが設定値として選択されている。撮影装置移動方向１６０１は、図２２で説明したように、姿勢センサ部１１４からの姿勢情報を累積的に監視し、撮影装置７００の移動方向にフレーム領域ＩＣＦを先回りして移動する。被写体動き変化１６０２は、図２３で説明したように、被写体動き検出部１０６からの動き情報を累積的に監視し、急激に動きを早めたり、あるいは急激に動きを止めた被写体を検出し、動き検出の重心位置にフレーム領域ＩＣＦを移動する。色１６０３は、図２４で説明したように、画像特徴検出部９０１に特定の色をＲＧＢ値やＹＵＶ値などで設定しておく。特定の色の指定は、図３２に示すように、カラーパレット１６０６を用いる方法や、数値入力１６０７の方法、図３３に示すように、撮影画像上でエリア１６０８を指定するエリア指定１６０９を用いる。図３１のパターン１６０４は、画像特徴検出部９０１に特定のパターンを設定しておいて、撮影画像に同じパターンが検出されたら、フレーム領域ＩＣＦが検出パターンの位置に移動する。特定パターンの入力は、図３３と同様に、撮影画像上でエリア１６０８を指定するエリア指定１６０９を用いる。音１６０５は、図２４で説明したように、フレーム領域ＩＣＦを、急激な音量の変化が発生した方向や、特定の周波数パターンを持つ音が検出された方向へ移動させる。音特徴検出部９０５は、図３４で設定される条件を保持し、音センサ部９０４からの音情報の音量変化量１６１１、音量変化方向１６１２、音パターン１６１３を検出する。音パターン１６１３は、あらかじめ音特徴検出部９０５が持つメモリに複数種類の人物の声（たとえば、男性、女性、子供、大人など）や、自動車、バス、電車、呼び鈴などを記録しておく。また、音特徴検出部９０５が持つメモリにユーザー定義領域を設けて、自分の声や、家族の声などを録音できる。
【０１０３】
なお、すべてのモードでは、設定値の初期値が撮影装置立ち上げ用のメモリに記録されており、必要に応じて撮影者が設定を変更する。また、変更された設定値は、撮影装置立ち上げ用のメモリに記録され、次回立ち上げ時には撮影者の設定条件で動作を開始できる。
【０１０４】
以上により、実施の形態１から実施の形態７で説明した動作を、機能ごとに複数のモードに分割し、モードごとに設定条件を撮影者が調整できる。そこで、被写体の撮りこぼし防止を確保しつつ、録画時間を優先させたり、画質を優先させたり、自由度の高い動画撮影が可能になる。
【０１０５】
（実施の形態９）
本実施の形態では、光学ズーム画像と電子ズーム画像の表示方法を複数提供する撮影装置について説明する。
【０１０６】
図３５Ａは本発明の実施の形態９に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１０７】
撮影装置１７００は、被写体２００を撮影するための装置であり、多焦点光学レンズ部１０１、焦点距離制御部１０２、焦点距離算出部１０３、撮像素子部１０４、ズーム倍率設定部１０５、被写体動き検出部１０６、撮影装置動き検出部１０７、記録メディア部１０８、フレーミング再設定部１０９、フレーミング変更部１１０、フレーム領域設定部７０１、電子ズーム処理部１１２、フレーミング画像表示部１１３、姿勢センサ部１１４、表示画像生成部１７０１、および表示方法設定部１７０２を備えている。
【０１０８】
表示画像生成部１７０１は、撮像素子部１０４から光学ズーム画像ＩＣＯを得て、電子ズーム処理部１１２から電子ズーム画像ＩＥＣを得る。被写体動き検出部１０６が歩行する被写体２００の動きを捉えて、多焦点光学レンズ部１０１は広角に設定され、例えば図３５Ｂに示す画像ＩＤＷのような広角画像が撮影されている。また、ズーム倍率設定部１０５から拡大撮影のためのズーム倍率ＺＦ（たとえば４倍）が電子ズーム処理部１１２に与えられ、図３５Ｃに示す画像ＩＤＦのような被写体２００の顔を拡大する拡大画像が生成される。さらに、表示画像生成部１７０１は、表示方法設定部１７０２から、光学ズーム画像ＩＣＯのみをフレーミング画像表示部１１３に表示する（ＩＣＯモード）か、電子ズーム画像ＩＥＣのみをフレーミング画像表示部１１３に表示する（ＩＣＥモード）か、光学ズーム画像ＩＣＯと電子ズーム画像ＩＥＣの両方をフレーミング画像表示部１１３に表示する（ＩＣＯＥモード）か、の表示方法の指示を受ける。ＩＣＯモードの場合、撮影者はフレーミング画像表示部１１３で画像ＩＤＷを見ることができ、すなわち、外枠領域ＩＣＭを含めた広角撮影のフレーミングを確認できる。また、ＩＣＥモードの場合、撮影者はフレーミング画像表示部１１３で画像ＩＤＦを見ることができ、すなわち、フレーム領域ＩＣＦの拡大撮影のフレーミングを確認できる。また、ＩＣＯＥモードの場合、撮影者はフレーミング画像表示部１１３で図３５Ｄに示す画像ＩＤＷＦを見ることができ、すなわち、フレーム領域ＩＣＦの拡大撮影のフレーミングと外枠領域ＩＣＭを含めた広角撮影のフレーミングを同時に確認できる。
【０１０９】
以上により、撮影者は、光学ズーム画像と電子ズーム画像を選択して、あるいは両方を同時に表示して、複数のフレーミングを確認できる。撮影者が光学ズーム画像を見ることでフレーミング再設定の余裕度を画像で確認できる。また、光学ズーム画像と電子ズーム画像を同時に見ることで、フレーミング領域ＩＣＦが捉えている画角の外側の様子を確認でき、突発的に発生したイベントを発見できたり、多焦点光学レンズ部１０１の画角内に入ってきた新しい被写体に早い段階で気づくことができ、撮影者は撮りこぼしを抑えつつ、電子ズームでのフレーミングも同時に決めることができる。
【産業上の利用可能性】
【０１１０】
本発明にかかる撮影装置は、被写体の動き、あるいは撮影装置の動きが検出されると光学ズームを広角にして、被写体の撮りこぼしを最小限に抑え、電子ズームで表示画像を生成する。また、被写体と撮影装置にともに動きがない場合は、光学ズームの撮影画像のみを記録メディアに保存し、撮影時間を長くできる。そこで、民生用途のビデオカメラに搭載すれば、スポーツやエンターテイメントの撮影で安心してビデオ撮影ができる。また、監視カメラに搭載すれば、被写体の動きや色、パターン、音などを頼りに監視の目的上、重要な被写体を逃さず捉え、ズーミングで詳細な画像情報を記録できる。
【図面の簡単な説明】
【０１１１】
【図１Ａ】図１Ａは、本発明の背景技術を示す図である。
【図１Ｂ】図１Ｂは、本発明の背景技術を示す図である。
【図１Ｃ】図１Ｃは、本発明の背景技術を示す図である。
【図１Ｄ】図１Ｄは、本発明の背景技術を示す図である。
【図２】図２は、本発明の背景技術を示す図である。
【図３】図３は、本発明の背景技術を示す図である。
【図４Ａ】図４Ａは、本発明の背景技術を示す図である。
【図４Ｂ】図４Ｂは、本発明の背景技術を示す図である。
【図５】図５は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、焦点距離Ｆ、画角Ｌ、撮影距離Ｄ、撮像素子の大きさＳの関係を示す図である。
【図７Ａ】図７Ａは、被写体動きの検出方法の一例を説明する図である。
【図７Ｂ】図７Ｂは、被写体動きの検出方法の一例を説明する図である。
【図８】図８は、時間Ｔｉ−１と時間Ｔｉにおける撮影装置と被写体の相対的位置関係が保存される例を説明する図である。
【図９】図９は、撮影装置の動きを検出する方法を説明する図である。
【図１０】図１０は、図５の撮影画像ＩＣとフレーミング画像ＩＤＦの詳細を示す図である。
【図１１】図１１は、線形補間法を説明する図である。
【図１２】図１２は、データベース参照型の画像拡大方法を説明する図である。
【図１３】図１３は、画像特徴量ＦＩＳをウェーブレット変換の係数で表現する方法を説明する図である。
【図１４】図１４は、撮影装置の動作を説明するフローチャートである。
【図１５Ａ】図１５Ａは、フレーミングの再設定方法を説明する図である。
【図１５Ｂ】図１５Ｂは、フレーミングの再設定方法を説明する図である。
【図１６】図１６は、本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１７】図１７は、本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。
【図１８Ａ】図１８Ａは、被写体の動きの度合いを求める方法を説明する図である。
【図１８Ｂ】図１８Ｂは、被写体の動きの度合いを求める方法を説明する図である。
【図１９】図１９は、本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２０】図２０は、撮影画像データ部がフレーム領域ＩＣＦの保存領域と外枠領域ＩＣＭの保存領域をメモリアドレスで識別する方法を説明する図である。
【図２１】図２１は、本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。
【図２２】図２２は、先読みの方法を右方向へ撮影装置をパンニングする例で説明する図である。
【図２３】図２３は、本発明の実施の形態６に係る撮影装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態７に係る撮影装置の構成を示すブロック図である。
【図２５】図２５は、本発明の実施の形態８に係る撮影装置の概観図である。
【図２６】図２６は、動作モードの選択画面を示す図である。
【図２７】図２７は、被写体撮りこぼし防止モードの設定画面を示す図である。
【図２８】図２８は、圧縮率可変モードの設定画面を示す図である。
【図２９】図２９は、外枠上書きモードの設定画面を示す図である。
【図３０】図３０は、フレーミング再設定モードの設定画面を示す図である。
【図３１】図３１は、先読みモードの設定画面を示す図である。
【図３２】図３２は、画像特徴検出部における特定の色の指定に用いるカラーパレット１６０６を説明する図である。
【図３３】図３３は、画像特徴検出部における特定の色の指定に用いるエリア指定１６０９を説明する図である。
【図３４】図３４は、音特徴検出部における音指定の設定画面を示す図である。
【図３５Ａ】図３５Ａは、本発明の実施の形態９に係る撮影装置の構成を示すブロック図である。
【図３５Ｂ】図３５Ｂは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【図３５Ｃ】図３５Ｃは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【図３５Ｄ】図３５Ｄは、本発明の実施の形態９に係る撮影装置により撮影された画像を示す図である。
【符号の説明】
【０１１２】
１００、４００、５００、６００、７００、８００、９００、１０００、１７００    撮影装置
１０１    多焦点光学レンズ部
１０２    焦点距離制御部
１０３    焦点距離算出部
１０４    撮像素子部
１０５    ズーム倍率設定部
１０６    被写体動き検出部
１０７    撮影装置動き検出部
１０８    記録メディア部
１０９    フレーミング再設定部
１１０    フレーミング変更部
１１１    フレーム領域設定部
１１２    電子ズーム処理部
１１３    フレーミング画像表示部
１１４    姿勢センサ部
２００    被写体
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１Ａ】
2007094219.tif 000052
【図１Ｂ】
2007094219.tif 000053
【図１Ｃ】
2007094219.tif 000054
【図１Ｄ】
2007094219.tif 000055
【図２】
2007094219.tif 000056
【図３】
2007094219.tif 000057
【図４Ａ】
2007094219.tif 000058
【図４Ｂ】
2007094219.tif 000059
【図５】
2007094219.tif 000060
【図６】
2007094219.tif 000061
【図７Ａ】
2007094219.tif 000062
【図７Ｂ】
2007094219.tif 000063
【図８】
2007094219.tif 000064
【図９】
2007094219.tif 000065
【図１０】
2007094219.tif 000066
【図１１】
2007094219.tif 000067
【図１２】
2007094219.tif 000068
【図１３】
2007094219.tif 000069
【図１４】
2007094219.tif 000070
【図１５Ａ】
2007094219.tif 000071
【図１５Ｂ】
2007094219.tif 000072
【図１６】
2007094219.tif 000073
【図１７】
2007094219.tif 000074
【図１８Ａ】
2007094219.tif 000075
【図１８Ｂ】
2007094219.tif 000076
【図１９】
2007094219.tif 000077
【図２０】
2007094219.tif 000078
【図２１】
2007094219.tif 000079
【図２２】
2007094219.tif 000080
【図２３】
2007094219.tif 000081
【図２４】
2007094219.tif 000082
【図２５】
2007094219.tif 000083
【図２６】
2007094219.tif 000084
【図２７】
2007094219.tif 000085
【図２８】
2007094219.tif 000086
【図２９】
2007094219.tif 000087
【図３０】
2007094219.tif 000088
【図３１】
2007094219.tif 000089
【図３２】
2007094219.tif 000090
【図３３】
2007094219.tif 000091
【図３４】
2007094219.tif 000092
【図３５Ａ】
2007094219.tif 000093
【図３５Ｂ】
2007094219.tif 000094
【図３５Ｃ】
2007094219.tif 000095
【図３５Ｄ】
2007094219.tif 000096
【国際調査報告】
2007094219.tif 000097
2007094219.tif 000098