(57)【要約】【課題】  プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影できるようにする。【解決手段】  有効画素領域の全領域画像をファインダに表示する手段と、ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための手段と、所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す手段と、前記指定されたロック画像を前記ロック画像メモリに記憶し、前記探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、前記探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す手段と、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する手段とを有する映像記録装置。【選択図】      図１
2005269121.tif 000002
【特許請求の範囲】
【請求項１】
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、
前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段と、
を有することを特徴とする映像記録装置。
【請求項２】
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段と、
を有することを特徴とする映像記録装置。
【請求項３】
請求項１又は請求項２に於いて、
前記保存制御手段は、前記領域切出手段により切り出された記録領域の画像を所定サイズの画像として記録する、
ことを特徴とする映像記録装置。
【請求項４】
請求項２に於いて、
前記保存制御手段は、前記直前に記録された保存画像に続く各保存画像のサイズを前記先頭の保存画像のサイズに合致させて記録する、
ことを特徴とする映像記録装置。
【請求項５】
請求項１又は請求項２に於いて、
前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の１又は２の縁部が当該有効画素領域からはみ出る場合には、該１又は２の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定する、
ことを特徴とする映像記録装置。
【請求項６】
請求項１又は請求項２に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
を有することを特徴とする映像記録装置。
【請求項７】
請求項１に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
【請求項８】
請求項２に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
【請求項９】
請求項１又は請求項２に於いて、さらに、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
【請求項１０】
請求項１に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
【請求項１１】
請求項２に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
【請求項１２】
請求項１又は請求項２に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
【請求項１３】
請求項１に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び／又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び／又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
【請求項１４】
請求項２に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び／又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び／又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等の映像記録装置に関し、詳しくは、移動する被写体を追跡する機能を備えた映像記録装置に関する。
【背景技術】
【０００２】
撮像視野内の第１の画像をテンプレートとして記録した後、ズーム倍率を変えて撮像装置から第２の画像を取得し、当該ズーム倍率の変更を補償するようにテンプレート画像又は第２の画像の大きさを変更した状態でテンプレートマッチングを行い、その結果に基づいて撮像装置の移動機構を制御して物体を追跡する物体追跡装置が提案されている（特許文献１，参照）。
【０００３】
高解像度静止画モード時には撮像素子の撮像有効領域全体を使用して撮像し、低解像度動画モード時には撮像素子の撮像有効領域中央部の小領域を選択してブロック読み出しすることにより撮像するデジタルカメラが提案されている（特許文献２，参照）。
【０００４】
撮像素子の受光面に像を結像させる光学部にシフトレンズを組み込み、該シフトレンズを光軸と直交する方向へシフトさせることにより撮影方向を速やかに変えるようにした車両用画像読取装置が提案されている（特許文献３，参照）。
また、撮像素子の受光面に像を結像させる光学部にズームレンズ（可変焦点レンズ）を組み込み、該ズームレンズを駆動することにより結像倍率を無段階に変えるようにした車両用画像読取装置が提案されている（特許文献３，参照）。
【０００５】
【特許文献１】特開２００３−２３５０３５号公報。
【特許文献２】特開２００３−１５８６８４号公報。
【特許文献３】特開２００３−１８６０７５号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
デジタルカメラ等の映像記録装置を手で持ち、移動する被写体を良好な構図で捕えつつ撮影することは、プロではない一般人にとって困難である。
本発明は、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、下記［１］〜［７］のように構成される。
［１］構成１：
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、
前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段と、
を有することを特徴とする映像記録装置。
【０００８】
構成１の映像記録装置は、静止画の撮影と動画の撮影の両方に適用可能である。
（ａ）有効画素領域：
ＣＣＤ、ＣＭＯＳ等の撮像素子の有効な受光領域の全域をいう。
（ｂ）ファインダ：
光学式ファインダでもよく、対象物のモニタ機能を備えた液晶画面でもよい。また、一眼レフ方式でもよく、それ以外の実像方式や、ブライト・フレーム方式でもよい。
（ｃ）指定入力手段：
例えば、ファインダ内に枠を表示し、該枠内に所望の被写体が入っている状態で所定のロック動作（例：ロックキーの押下等）を行うことで、該枠内の画像をロック画像として指定する手段である。パターンマッチング時の処理負荷を軽減するために、枠内の画像に代えて、枠内を含む最小の方形領域内の画像をロック画像として指定するようにしてもよい。また、動画撮影時には、ロック画像を指定するための指定入力手段を、撮影動作の開始を指令するための手段として兼用してもよい。
（ｄ）ロック画像メモリ：
追跡対象の被写体画像であるロック画像は、ロック画像メモリに格納される。
ロック画像メモリを構成するハードウエアとしては、フラッシュメモリ、ハードディスク、ＤＲＡＭ等、公知のハードウエアを適宜に用いることができる。また、ロック画像のデータ形式や符号化方式としても、公知のデータ形式や符号化方式を適宜に用いることができる。
（ｅ）探索手法：
ロック画像と特徴が合致する画像領域を処理対象の有効画素領域内から探索する手法としては、形状パターン、色情報の比較、ニューラルネットワーク、ウェーブレットの使用等、公知のパターンマッチングの手法を適宜に採用することができる。また、動画撮影時には、前回のロック画像の重心位置に基づいてその周辺から探索を開始することで、処理の負荷を軽減するようにしてもよい。また、前回のフレーム（有効画素領域の画像）と今回のフレーム（有効画素領域の画像）との差分画像情報を利用してロック画像を抽出するようにしてもよい。
（ｆ）記録領域の画定：
記録領域とは、処理対象の有効画素領域から切り出されて、その画像データが表示用や保存用に記録される領域である。この記録領域は、特徴合致領域が当該記録領域内に於いて所定部位に位置し、且つ、当該記録領域に対して所定面積比を占めるように、画定される。換言すれば、記録領域は、特徴合致領域が所定の構図となるように画定される。例えば、特徴合致領域が記録領域の中央位置で１／４の面積を占めるように画定される。或いは、特徴合致領域が記録領域の左寄り１／３の位置で２／５の面積を占めるように画定される。特徴合致領域の記録領域内での重心位置と、特徴合致領域が記録領域内で占める面積比とは、初期設定或いはユーザ設定で適宜に設定されているものとする。
（ｇ）切り出す：
画定した記録領域を有効画素領域から切り出すためには、撮像素子がブロック読み出し可能な素子であればよい。例えば、ＣＣＤやＣＭＯＳ等を用いることができる。
（ｈ）保存画像メモリ：
記録領域の画像データは、保存画像メモリに記録される。
メモリを構成するハードウエアとしては、フラッシュメモリ、ハードディスク、ＤＲＡＭ等、公知のハードウエアを適宜に用いることができる。また、保存画像のデータ形式や符号化方式としては、公知のデータ形式や符号化方式を適宜に用いることができる。例えば、静止画であれば、ＪＰＥＧ（Joint Photographic Coding Experts Group）を用いることができる。また、動画であれば、ＭＰＥＧ（Moving Picture Experts Group）を用いることができる。また、保存画像メモリのハードウエアは、ロック画像メモリのハードウエアと共通でもよく、異なっていてもよい。
【０００９】
［２］構成２：
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段と、
を有することを特徴とする映像記録装置。
【００１０】
構成２の映像記録装置は、動画の撮影に適用可能である。前記（ａ）〜（ｈ）の定義若しくは解説は、動画の性質に反しない限り、構成２でも成り立つ。
（ｉ）ロック画像の更新：
構成１では、指定入力手段により指定されたロック画像がロック画像メモリに格納されるが、構成２では、さらに、ロック画像メモリに格納されているロック画像が、領域探索手段により探し出された特徴画像領域の画像により更新されて、次画面（次に処理対象とされる画面）での特徴画像領域の探索に用いられる。
（ｊ）先頭の保存画像等：
先頭の保存画像とは、動画の先頭の画像をいう。直前に記録された保存画像に続く保存画像（非先頭の保存画像）は、ＭＰＥＧ（Moving Picture Experts Group）のＰピクチャやＩピクチャのような差分画像等であってもよい。
【００１１】
［３］構成３：
構成１又は２に於いて、
前記保存制御手段は、前記領域切出手段により切り出された記録領域の画像を所定サイズの画像として記録する、
ことを特徴とする映像記録装置。
例えば、３００万画素のＣＣＤの出力を、６４０×４８０≒３１万画素として記録するような場合が想定される。
【００１２】
［４］構成４：
構成２に於いて、
前記保存制御手段は、前記直前に記録された保存画像に続く各保存画像のサイズを前記先頭の保存画像のサイズに合致させて記録する、
ことを特徴とする映像記録装置。
【００１３】
［５］構成５：
構成１又は２に於いて、
前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の１又は２の縁部が当該有効画素領域からはみ出る場合には、該１又は２の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定する、
ことを特徴とする映像記録装置。
構成５は、記録領域が有効画素領域からはみ出てしまう場合に、構図が所望の設定（初期設定或いはユーザ設定による設定）と異なってしまうことを許容して、有効画素領域内に入るように処理する構成である。この処理により、記録領域内における特徴画像領域の位置は、設定された所定部位ではなくなる。
【００１４】
［６］構成６：
構成１又は２に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
を有することを特徴とする映像記録装置。
構成６は、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、ズームレンズ機構を制御して記録領域を適切なサイズに維持する構成である。小さくなりすぎて保存画像がぼけるとは、小さくなったためにデジタル処理で画像サイズを大きくした結果、保存画像がぼけることをいう。
【００１５】
［７］構成７：
構成１に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成７は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、ズームレンズ機構を制御して記録領域を適切なサイズに戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を切り出し、その画像を保存画像として記録する構成である。
即ち、構成６が予防的にズーム倍率を制御するのに対して、構成７は瑕疵を解消するためにズーム倍率を制御するものである。したがって、構成７の「所定の許容範囲」は、構成６の「所定の制御範囲」よりも少なくとも広い。
【００１６】
［８］構成８：
構成２に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成８は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、ズームレンズ機構を制御して記録領域を適切なサイズに戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成６が予防的にズーム倍率を制御するのに対して、構成８は瑕疵を解消するために当該画面についてのズーム倍率を制御するものである。したがって、構成８の「所定の許容範囲」は、構成６の「所定の制御範囲」よりも少なくとも広い。
【００１７】
［９］構成９：
構成１又は構成２に於いて、さらに、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
構成９は、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように、シフトレンズ機構を制御して記録領域を有効画素領域内の適切な位置に維持する構成である。
【００１８】
［１０］構成１０：
構成１に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成１０は、記録領域が有効画素領域の中心から外れすぎた場合（例：記録領域が有効画素領域からはみ出てしまった場合）に、シフトレンズ機構を制御して記録領域を適切な位置（有効画素領域の中心位置）に戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正な位置から記録領域を切り出し、その画像を保存画像として記録する構成である。
即ち、構成９が予防的に記録領域の位置を制御するのに対して、構成１０は瑕疵を解消するために記録領域の位置を制御するものである。したがって、構成１０の「所定の許容範囲」は、構成９の「所定の制御範囲」よりも少なくとも広い。
【００１９】
［１１］構成１１：
構成２に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成１１は、記録領域が有効画素領域の中心から外れすぎた場合（例：記録領域が有効画素領域からはみ出てしまった場合）に、シフトレンズ機構を制御して記録領域を適切な位置（例：有効画素領域の中心位置）に戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正な位置から記録領域を切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成９が予防的に記録領域の位置を制御するのに対して、構成１１は瑕疵を解消するために記録領域の位置を制御するものである。したがって、構成１１の「所定の許容範囲」は、構成９の「所定の制御範囲」よりも少なくとも広い。
【００２０】
［１２］構成１２：
構成１又は構成２に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
構成１２は、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、ズームレンズ機構を制御して記録領域を適切なサイズに維持するとともに、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように、シフトレンズ機構を制御して記録領域を有効画素領域内の適切な位置に維持する構成である。
ズーム制御とシフト制御の何れを主とし、何れを従とするかは、初期設定或いはユーザ設定により、或いは、所定の条件に基づいて、適宜に選択されるものとする。
なお、構成１２では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、１倍である。
【００２１】
［１３］構成１３：
構成１に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び／又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び／又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成１３は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合には、ズームレンズ機構を制御して記録領域を適切なサイズに戻し、記録領域が有効画素領域の中心から外れすぎた場合（例：記録領域が有効画素領域からはみ出てしまった場合）には、シフトレンズ機構を制御して記録領域を適切な位置（有効画素領域の中心位置）に戻し、その後、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を適正な位置から切り出し、その画像を保存画像として記録する構成である。
即ち、構成１２が予防的に記録領域のサイズと位置を制御するのに対して、構成１３は瑕疵を解消するために記録領域のサイズと位置を制御するものである。したがって、構成１３の面積比に関する「所定の許容範囲」は、構成１２の面積比に関する「所定の制御範囲」よりも少なくとも広く、構成１３の変位量に関する「所定の許容範囲」は、構成１２の変位量に関する「所定の制御範囲」よりも少なくとも広い。
なお、構成１３では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、１倍である。
【００２２】
［１４］構成１４：
構成２に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び／又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び／又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成１４は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合には、ズームレンズ機構を制御して記録領域を適切なサイズに戻し、記録領域が有効画素領域の中心から外れすぎた場合（例：記録領域が有効画素領域からはみ出てしまった場合）には、シフトレンズ機構を制御して記録領域を適切な位置（有効画素領域の中心位置）に戻し、その後、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を適正な位置から切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成１２が予防的に記録領域のサイズと位置を制御するのに対して、構成１４は瑕疵を解消するために記録領域のサイズと位置を制御するものである。したがって、構成１４の面積比に関する「所定の許容範囲」は、構成１２の面積比に関する「所定の制御範囲」よりも少なくとも広く、構成１４の変位量に関する「所定の許容範囲」は、構成１２の変位量に関する「所定の制御範囲」よりも少なくとも広い。
なお、構成１４では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、１倍である。
【発明の効果】
【００２３】
構成１の映像記録装置は、有効画素領域の全領域画像をファインダに表示する表示制御手段と、前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段とを有するため、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影することができる。
【００２４】
構成２の映像記録装置は、有効画素領域の全領域画像をファインダに表示する表示制御手段と、前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段とを有するため、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ動画を撮影することができる。
【００２５】
構成５の映像記録装置は、構成１又は構成２の映像記録装置に於いて、前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の１又は２の縁部が当該有効画素領域からはみ出る場合には、該１又は２の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定するため、構成１又は構成２の装置が持つ効果に加えて、さらに、記録領域が有効画素領域からはみ出てしまう場合に、ズームレンズ機構やシフトレンズ機構の光学系を備えない場合でも、記録領域を有効画素領域内に入れることができる効果がある。
【００２６】
構成６の映像記録装置は、構成１又は２の映像記録装置に於いて、さらに、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段とを有するため、構成１又は２の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、記録領域を適切なサイズに維持することができる効果がある。
【００２７】
構成７の映像記録装置は、構成１の映像記録装置に於いて、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録するため、構成１の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、記録領域を適切なサイズに戻して切り出して、その画像を保存画像として記録することができる効果がある。
【００２８】
構成８の映像記録装置は、構成２の映像記録装置に於いて、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録するため、構成２の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、記録領域を適切なサイズに戻して切り出して、その画像を動画の当該画面での保存画像として記録することができる効果がある。
【００２９】
構成９の映像記録装置は、構成１又は構成２の映像記録装置に於いて、さらに、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段とを有するため、構成１又は２の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように適切な位置に維持することができる効果がある。
【００３０】
構成１０の映像記録装置は、構成１の映像記録装置に於いて、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録するため、構成１の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎた場合に適切な位置に戻して切り出して、その画像を保存画像として記録することができる効果がある。
【００３１】
構成１１の映像記録装置は、構成２の映像記録装置に於いて、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録するため、構成２の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎた場合に適切な位置戻して切り出して、その画像を動画の当該画面での保存画像として記録することができる効果がある。
【００３２】
構成１２の映像記録装置は、構成６と構成９の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
構成１３の映像記録装置は、構成７と構成１０の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
構成１４の映像記録装置は、構成８と構成１１の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の具体的構成例を説明する。
図７（ａ）は本発明の映像記録装置の機能を備えたデジタルカメラの構成を示し、図１は該デジタルカメラでの動画撮影手順を示す。また、図２〜図６は、図１内に示す手順の詳細を示す説明図である。
【００３４】
［１］撮影手順の概要：
図１に即して、撮影手順（１）〜（１０）の概要を説明する。
（１）被写体の選択・ロック画像の生成：
ユーザは、デジタルカメラのファインダ（図２右欄参照）を見ながら所望の被写体をロック枠（図２左上欄内の点線円）内に入れる。
所望の被写体がロック枠内に入ると、ユーザはロックキー（不図示；図７（ａ）の入力装置２０の一構成部分）を操作する。これにより、当該被写体がロックされる。即ち、制御装置７０は、ロック枠を含む最小の方形領域（図２左下欄内の方形領域）内の画像をロック画像として切り出して、記憶装置５０内の所定の記憶エリアであるロック画像メモリ５１に格納する。この時、併せて、有効画素領域内に於けるロック画像の重心位置を記憶して、パターンマッチング（後述）での探索領域の開始位置制御に利用するようにしてもよい。記憶装置５０としては、フラッシュメモリ、ＤＲＡＭ、ハードディスク等の公知のハードウエアを用いることができる。
【００３５】
（２）撮影開始：
ユーザは、撮影開始キー（不図示；図７（ａ）の入力装置２０の一構成部分，動画撮影モードではロックキーと兼用でもよい）を操作する。これにより、制御装置７０は、撮影動作のための処理を開始する。
【００３６】
（３）有効画素領域の画像（全領域画像）の生成：
制御装置７０は、撮像装置１０から出力される有効画素領域全域の画像信号を画像処理回路に入力して、公知の画像処理を施す。これにより、有効画素全領域の画像データ（全領域画像の画像データ）が生成される。データ形式や符号化方式等は、適宜に選択できるものとする。例えば、ＭＰＥＧを用いてもよい。この画像データは、記憶装置５０の所定のエリアに一時的に記憶される。
【００３７】
（４）探索処理用の低解像度画像生成：
パターンマッチングの処理負荷軽減のために、制御装置７０は、上記有効画素全領域の画像データに基づいて、低解像度の画像データを領域探索用に生成する。この手法としては、例えば、単純サンプリング法や、平均化処理等、公知の解像度変換処理を用いることができる。他に、例えば、「Motion−ＪＰＥＧ  2000」のウェーブレットという多重解像度技術を用いることもできる。なお、制御装置７０の処理能力が十分に高い場合には、領域探索用の低解像度の画像データを生成せず、上記有効画素全領域の画像データをそのまま用いてもよい。
【００３８】
（５）パターンマッチング・特徴合致領域の抽出・ロック画像の更新：
次に、制御装置７０は、ロック画像メモリ５１に格納されているロック画像データを用いて、上記低解像度画像データから、特徴が合致する領域（正確には、「最も一致度が大きい領域」）を、パターンマッチングで抽出する。このパターンマッチングの手法としては、形状パターンの比較、色情報の比較、ニューラルネットワークの使用、ウェーブレットの使用等、公知のパターンマッチング手法を用いることができる。
また、パターンマッチング時の処理負荷を軽減するために、有効画素領域内に於けるロック画像の位置の近傍から探索を開始するようにしてもよい。そのためには、ロック画像の画像データとともに、その重心位置（有効画素領域内での重心位置）を、ロック画像メモリ５１に記憶しておく必要がある。
また、探索を行うフレームが非先頭画像の場合には、パターンマッチングによるロック画像の抽出に代えて、前回フレーム（直前の画像）との差分画像の情報からロック画像を抽出してもよい。例えば、ＭＰＥＧの動き補償と動き予測ベクトルを利用して被写体を抽出する手法が、「情報処理学会誌・２００２年３月・早稲田大学理工学部・電子情報通信学科・「動き補償と色情報を組み合わせたＭＰＥＧ映像からの人物領域抽出」」に記載されており、このような手法を用いてもよい。
特徴合致領域が抽出されると、制御装置７０は、当該特徴合致領域の画像データで、ロック画像メモリ５１のロック画像データを更新する。この時、重心位置も更新するものとする。こうして更新されたロック画像は、次のフレームでの特徴合致領域の探索に用いられる。このようにロック画像を更新するため、被写体の時間軸上での微小変化（図２に例示する被写体であれば、手足の動きに伴う変動等）を取り入れたロック画像を用いて探索を行うことができ、探索の精度を上げることができる。
【００３９】
（６）記録領域の画定（構図の検討）：
特徴合致領域が抽出されると、制御装置７０は、当該特徴合致領域が記録領域内の所定部位に位置し、且つ、当該特徴合致領域が記録領域内で所定の面積比を占めるように、記録領域を有効画素領域内に画定する。換言すれば、当該特徴合致領域が記録領域内に所定の構図で配置されるように記録領域を画定する。ここで、特徴合致領域が置かれるべき記録領域内の位置と、特徴合致領域が記録領域内で占有すべき面積比とは、初期設定又はユーザ設定により予め決められているものとする。また、記録領域のサイズも、初期設定又はユーザ設定により予め決められているものとする。
図３を参照して説明する。図３の上欄左右の各図に於いて、最外枠は有効画素領域を示し、最内枠は特徴合致領域を示す。また、中間枠は記録領域のサイズを示す。
図３の上左欄に示すように、特徴合致領域が、有効画素領域内の右寄り略中央高さの位置にて抽出されたものとして説明する。
従来（特許文献２：特開２００３−１５８６８４号公報）の動画フレームの作成手法では、有効画素領域内中央から所定サイズの領域（図３の上左欄の中間枠の領域）を切り出して、記録領域としている。したがって、当該動画フレームは、図３の下左欄に示すように、特徴合致領域が記録領域内の右端位置に配置される構図となる。
これに対して、本装置では、記録領域の有効画素領域内の位置を有効画素領域に対して決めるのではなく、特徴合致領域の記録領域内での位置と、特徴合致領域が記録領域内で占める面積比とに基づいて決めている。例えば、図３の上右欄の例では、特徴合致領域の重心を、左右方向では記録領域左辺を起点として５／８の位置、上下方向では上辺を起点として１／２の位置として決めるとともに、特徴合致領域の面積を、サイズが所定値である記録領域の０．２８として決めている。したがって、切り出されるフレームは、図３の下右欄に示すように、特徴合致領域の重心が記録領域左辺を起点として右へ５／８で記録領域上辺を起点として下へ１／２の位置にあり、且つ、記録領域の０．２８の面積を占める構図となる。
制御装置７０は、このように記録領域を画定して切り出し（図４参照）、その画像を当該フレームの保存画像として保存画像メモリ５２に記録する。
【００４０】
（７）補正処理：
図３や図４に示す例では、上記のように画定した記録領域が、有効画素領域内からはみ出ていない。しかし、図５に示すように、特徴合致領域が有効画素領域の端部で抽出された場合には、記録領域を画定しようとしても有効画素領域からはみ出てしまうために画定できない場合が生ずる。
このような場合の補正手法と適用対象フレームを説明する。
【００４１】
(7-1) 構図を犠牲にする手法（デジタル補正）：
図５に示すように、記録領域を本来の位置（図５の中央図の破線枠の位置）からシフトさせて有効画素領域内に入れて、画定する手法。この場合、構図（記録領域内に於ける特徴合致領域の位置）は若干犠牲になる（図５の右図参照）が、全領域画像を再取得することなく当該フレームを作成することができるため、当該フレーム作成のために「（３）全領域画像の取得処理〜（６）記録領域の画定処理」を繰り返す必要がない。
さらに、この補正に於いて、図５内右下図に示すように、カメラを向けるべき方向をファインダに表示して、ユーザの操作を促してもよい。
【００４２】
(7-2) 結像倍率を制御する手法（光学補正１）：
より大きな物体が撮像素子の受光面に結像されるように、結像倍率を小さくする手法である。これにより、有効画素領域には、より広範囲の物体が投影され、その結果、特徴合致領域が所定部位に所定面積比で含まれる記録領域を、有効画素領域からはみ出ることなく画定できるようになる。
結像倍率を制御する手法は、また、被写体が遠方に遠ざかってしまって小さくなりすぎた場合に、適切なサイズで撮像素子の受光面に結像されるように、結像倍率を大きくする手法としても用い得る。これにより、所望の被写体が適正なサイズで受光面に投影されるようになるため、保存画像生成時（後述）にデジタル処理で過度に像を拡大する必要がなくなり、ぼけの無い保存画像を得ることができる。
結像倍率の変更は、図９に示すように、焦点距離の変更により実現できる。
図９に於いて「ｌ１：ｄ１＝ｌ２：ｄ２」が成り立つ。つまり、ＣＣＤ上での大きさｄ２は、「ｄ２＝（ｌ２＊ｄ１）／ｌ１」と表される。
したがって、下記（イ）（ロ）のように言い得る。
（イ）被写体サイズｄ１と焦点距離ｌ２が固定の時、像サイズｄ２が半分のサイズになった場合とは、被写体までの距離ｌ１が２倍になった場合である。言い換えれば、被写体サイズｄ１と焦点距離ｌ２が固定の時、被写体までの距離ｌ１が２倍になると、像サイズｄ２は半分になる。この関係を、図９内下図に示す。
（ロ）被写体サイズｄ１が固定の時に被写体までの距離ｌ１が２倍になっても、像サイズｄ２が変わらないようにするためには、焦点距離ｌ２を２倍にすればよい。
このような関係があるため、例えば、より広範囲の物体を投影するべく結像倍率を１／２にしたい場合には、焦点距離を１／２にすればよい。また、遠方に遠ざかってしまったために受光面上のサイズ（線サイズ）が１／２になってしまった被写体を当初のサイズで表示するためには、図１０に示すように、結像倍率を２倍にするべく、焦点距離を２倍にすればよい。
焦点距離の変更を実現するため、本装置は、図７（ｂ）に示すようなズーム機構７１ａを光学部１１に有するとともに、ズーム機構７１ａの駆動を制御する機能（ズーム制御部７１）を、制御装置７０に有する。図７（ｂ）に於いて、一対の凸レンズ１１１、１１３間の距離を固定し、その間に配した凹レンズ１１２を二点鎖線両矢印のように移動させることで、可変焦点レンズ（ズームレンズ）を実現することができる。
【００４３】
なお、結像倍率を変更すると、追跡対象物体等の投影像のスケールが、ロック画像のスケールと異なってしまうため、これを補償する下記二つの処理が必要となる。
(7-2-1) ロック画像のサイズを上記結像倍率の変更に適合するように変更して、パターンマッチングに支障が生じないようにする処理。ロック画像のサイズを結像倍率の変更に適合するように変更する手法は、特許文献１（特開２００３−２３５０３５号公報）に記載されていて公知であるため、説明は省略する。
(7-2-2) 記録領域のサイズを上記結像倍率の変更に適合するように変更して、縮小後の特徴合致領域が、記録領域内の所定部位に所定面積比で配置されるようにする処理。例えば、結像倍率を１／２にした場合は、特徴合致領域の各辺のサイズが各々１／２となってしまうため、記録領域の各辺のサイズも各々１／２にすればよい。
【００４４】
(7-3) 撮影方向を制御する手法（光学補正２）：
追跡対象物体が有効画素領域内の略中央に投影されるように、撮影方向を変える手法である。撮影方向を変えて、有効画素領域の略中央に追跡対象物体が投影されるようにすると、特徴合致領域（追跡対象物体の投影像）を非端部に含む記録領域も有効画素領域の略中央に画定できるようになり、結果、そのはみ出しを回避できるようになる。
撮影方向の変更は、結像レンズを光軸と直交する方向へシフトさせることにより実現できる。図８を参照して説明する。
図８に於いて、１１０は光軸Ｌと直交する方向へ変位可能に構成された結像レンズ（シフトレンズ）であり、７２ａは結像レンズ１１０をシフトさせるシフト機構である。シフト機構７２ａは、制御装置７０の機能であるシフト制御部７２により駆動制御される。なお、１１は結像レンズ等を有する光学部である。
結像レンズ１１０を光軸Ｌと直交する方向へ距離「Ｓ」だけシフトさせると、撮像素子１２に投影される物体の方向がθだけ変わる。ここで、Ｓとθには、
「Ｓ＝ｋ＊ｓｉｎθ」・・・・・（１）
の関係が成り立つ。なお、ｋは結像レンズ１１０に固有の定数である。
本装置はこのような構成を有するため、シフト制御部７２により結像レンズ１１０のシフト量Ｓを適宜に制御することにより、撮影方向を所望の方向へ変えることができる。即ち、追跡対象物体を撮像素子１２の略中央に投影して、記録領域を有効画素領域の略中央に画定し、そのはみ出しを回避することができる。
【００４５】
(7-4) 補正の適用対象フレーム：
デジタル補正は、先述のように、当該フレームに対して適用される。
これに対して、光学補正１と光学補正２は、当該フレームに対して適用してもよく、次フレームに対して適用してもよい。
光学補正１及び／又は光学補正２を当該フレームに対して適用する場合、つまり、結像倍率及び／又は撮影方向を補正した後の全領域画像に基づいて当該フレームの保存画像を作成する（保存画像の作成は後述）場合には、「（３）全領域画像の取得処理〜（６）記録領域の画定処理」を繰り返す必要があるため、処理時間が長くなる。
一方、光学補正１や光学補正２を次フレームに対して適用する場合には、上記のように処理時間が長くなることはないが、当該フレームを補正できない結果として、保存画像を最適な構図では作成できないという不具合がある。また、ズーム倍率の変更量の算出やシフト方向及びシフト量の算出に用いた画像が現在の画像であり、次フレームの時刻での追跡対象物体の位置や投影像のサイズ等に基づくものではないため、次フレームでの追跡対象物体の位置等を正確に補正するためには、次フレームの時刻での追跡対象物体の位置等を予測する必要が生ずる。図６に、このことを図解する。
図示のように、次フレームでの追跡対象物体が撮像素子１２の受光面上に投影される位置やサイズは、今回を含む過去の数フレームでの投影像の位置やサイズに基づいて予測することが可能である。上記の補正は、このことを考慮して行うこととする。
【００４６】
(7-5) 補正の閾値：
デジタル補正に関しては、記録領域を有効画素領域内に画定できなくなった時点で行えばよい。なお、ユーザにカメラ方向をアシストする表示に関しては、記録領域を有効画素領域内に画定できなくなる可能性が生じた時点で行うようにしてもよい。例えば、記録領域の縁が有効画素領域の縁から所定の値（例：１／６程度）になった時点で、アシスト表示を行うように設定すればよい。
光学補正１と光学補正２に関しては、記録領域を有効画素領域内に画定できなくなった時点で行ってもよく、記録領域を有効画素領域内に画定できなくなる可能性が生じた時点で行うように構成してもよい。前者は、前記構成７，８，１０，１１，１３，１４の許容範囲である。また、後者は、前記構成６，９，１２の制御範囲である。前者のように、前記構成７，８，１０，１１，１３，１４の許容範囲を閾値として用いて制御すると、光学補正（ズーム動作やレンズシフト動作）を行う回数が減るため、バッテリーの消費量を低減できる。一方、後者のように、前記構成６，９，１２の制御範囲を閾値として用いて制御すると、殆どの場合に最適な構図で保存画像を作成することができる。
【００４７】
（８）（９）記録領域の画像（保存画像）の生成と記録：
記録領域が画定されると、当該画定した記録領域を図４や図５のように有効画素領域から切り出して画像（保存画像）を生成し、保存画像メモリ５２に記録する。動画の場合は直前の保存画像に続く保存画像として記録する。なお、ＭＰＥＧ等の符号化方式を用いる場合には、当該符号化方式に適合する形式で記録する。
保存画像のサイズは予め定められているものとする。したがって、切り出した記録領域のサイズが保存画像のサイズと異なる場合には、公知の解像度変換処理（例：単純サンプリング法，平均化処理，線型補間法，荷重平均補間法，等）を施してサイズを先行の保存画像に合わせた後、保存画像メモリ５２に格納する。
【００４８】
（１０）撮影終了：
ユーザの操作入力又はデジタルカメラの設定等で撮影が終了するまで、上記「（３）全領域画像の生成〜（９）保存画像メモリへの記録」を繰り返して実行する。
このようにして、所望の構図での撮影が行われる。
【図面の簡単な説明】
【００４９】
【図１】本発明の映像記録装置の機能を備えたデジタルカメラでの動画撮影手順を示すフローチャート。
【図２】図１内に示す手順「（１）被写体の選択とロック画像の生成」の解説に用いる説明図。
【図３】図１内に示す手順「（６）記録領域画定のための構図の検討」の解説に用いる説明図。
【図４】図１内に示す手順「（６）記録領域画定と切り出し（シフト無し）」の解説に用いる説明図。
【図５】図１内に示す手順「（６）記録領域画定と切り出し（シフト有り）」の解説に用いる説明図。
【図６】図１内に示す手順「（７）補正処理（ズーム倍率・撮影方向の予測）」の解説に用いる説明図。
【図７】（ａ）は本発明の映像記録装置の機能を備えたデジタルカメラの構成を示すブロック図、（ｂ）はズーム機構の構成を示す模式図。
【図８】シフト機構の説明図であり、（ａ）はシフト機構の構成説明図、（ｂ）はシフトレンズの移動方向を光軸直交方向から見た説明図、（ｃ）はシフトレンズの移動方向を光軸方向から見た説明図、（ｄ）はレンズのシフト量と撮影方向の関係を示す説明図。
【図９】ズーム倍率と焦点距離等との関係を示す説明図。
【図１０】ズーム倍率及び焦点距離と撮像素子の受光面上での投影像のサイズとの関係を例示する説明図。
【符号の説明】
【００５０】
１０  撮像装置
１１  光学部
１２  撮像素子（ＣＣＤ，ＣＭＯＳ等）
７１ａ  ズーム機構
７２ａ  シフト機構
【図１】
2005269121.tif 000003
【図２】
2005269121.tif 000004
【図３】
2005269121.tif 000005
【図４】
2005269121.tif 000006
【図５】
2005269121.tif 000007
【図６】
2005269121.tif 000008
【図７】
2005269121.tif 000009
【図８】
2005269121.tif 000010
【図９】
2005269121.tif 000011
【図１０】
2005269121.tif 000012