(57)【要約】【課題】簡素な構成・動作で、画面上の正確な被写体領域を制御・追跡・記録することを可能にし、ユーザーに面倒な操作を強いることがなく、被写体領域の指定及び追跡を実行することができる撮像装置、プログラム及び記録媒体を提供する。【解決手段】撮像装置は、撮像手段の視野内において注目する被写体を指定する手段と、指定された被写体領域を追跡する手段と、被写体領域を、映像信号と関連して記録する手段とを有する。また、現在の映像信号と、一時刻前に撮像された映像信号との類似度を算出する手段や撮像手段の向きを検出する手段をさらに有する。この類似度算出手段や向き検出手段の出力に基づき、追跡手段は、被写体領域を追跡する。撮像装置は、追跡手段が出力した被写体領域を表示する手段や追跡手段が被写体領域が画面から外れたと判定したときに警告を発する手段をさらに有する。記録手段は、被写体領域の追跡結果を記したテキストデータを記録する。【選択図】　　　　図１
2004112550.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して入力される被写体像を映像信号として出力する撮像手段と、
前記撮像手段の視野内において注目する被写体を指定する被写体指定手段と、
前記映像信号を記録する映像記録手段と、
前記被写体指定手段により指定された被写体領域を追跡する追跡手段と、
前記被写体領域を、前記映像信号と関連して記録する付加情報記録手段と、
を有することを特徴とする撮像装置。
【請求項２】
現在の前記映像信号と、一時刻前に撮像された前記映像信号との類似度を算出する類似度算出手段、
をさらに有することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記追跡手段は、
前記類似度算出手段の出力に基づき、前記被写体領域を追跡することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像手段の向きを検出する向き検出手段、
をさらに有することを特徴とする請求項１、２または３記載の撮像装置。
【請求項５】
前記追跡手段は、
前記向き検出手段の出力に基づき、前記被写体領域を追跡することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記追跡手段の動作を開始させる開始手段、
をさらに有することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記被写体指定手段は、
前記追跡手段の動作中は動作を停止することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記追跡手段が出力した前記被写体領域を表示する表示手段、
をさらに有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記追跡手段が前記被写体領域が画面から外れたと判定したときに警告を発する警告手段、
をさらに有することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記付加情報記録手段は、
前記被写体領域の追跡結果を記したテキストデータを記録することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の撮像装置を有するカメラ。
【請求項１２】
光学系を介して入力される被写体像を映像信号として出力する処理と、
撮像手段の視野内において注目する被写体を指定する被写体指定処理と、
前記映像信号を記録する処理と、
前記被写体指定処理により指定された被写体領域を追跡する追跡処理と、
前記被写体領域を、前記映像信号と関連して記録する処理と、を実行させることを特徴とするプログラム。
【請求項１３】
現在の前記映像信号と、一時刻前に撮像された前記映像信号との類似度を算出する類似度算出処理、をさらに実行させることを特徴とする請求項１２記載のプログラム。
【請求項１４】
前記類似度算出処理の出力に基づき、前記被写体領域を追跡する前記追跡処理、をさらに実行させることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記撮像手段の向きを検出する向き検出処理、をさらに実行させることを特徴とする請求項１２、１３または１４記載のプログラム。
【請求項１６】
前記向き検出処理の出力に基づき、前記被写体領域を追跡する前記追跡処理、をさらに実行させることを特徴とする請求項１５記載のプログラム。
【請求項１７】
前記追跡処理の動作を開始させる処理、をさらに実行させることを特徴とする請求項１２から１６のいずれか１項に記載のプログラム。
【請求項１８】
前記被写体指定処理が、前記追跡処理の動作中に動作を停止する処理、をさらに実行させることを特徴とする請求項１２から１７のいずれか１項に記載のプログラム。
【請求項１９】
前記追跡処理により出力された前記被写体領域を表示する処理、をさらに実行させることを特徴とする請求項１２から１８のいずれか１項に記載のプログラム。
【請求項２０】
前記追跡処理により前記被写体領域が画面から外れたと判定されたときに警告を発する処理，　をさらに実行させることを特徴とする請求項１２から１９のいずれか１項に記載のプログラム。
【請求項２１】
前記被写体領域の追跡結果を記したテキストデータを記録する処理、をさらに実行させることを特徴とする請求項１２から２０のいずれか１項に記載のプログラム。
【請求項２２】
請求項１２から２１のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置、カメラ、プログラム及び記録媒体に関し、特に、ビデオカメラ、デジタルスチルカメラ等の撮像装置、プログラム及び記録媒体に関する。
【０００２】
【従来の技術】
映像信号の編集、管理、検索、表示などのアプリケーションのために、これらに付加情報を加え、記録することの重要性が高まっている。
【０００３】
その中でも、注目する被写体の画面上の位置（以下、被写体領域と呼ぶ）を記録することは重要である。後になって該被写体領域を基にユーザーの撮影意図を確認できるし、また、興味のある被写体のみを管理・検索できるなどの利点があるからである。
【０００４】
そこで、従来、視線入力により被写体領域を選択し、その被写体領域情報をフィルムなどの記録媒体に記録するカメラが提案されている（特許文献１、特許文献２、特許文献３参照）。
【０００５】
具体的には、撮影画面内の主要被写体位置を決定し、主要被写体の位置情報を記録媒体に記録する主要被写体情報記録カメラがある（例えば、特許文献１参照）。
【０００６】
また、検出された撮影者の眼の位置情報に基づいて繰り返し主要被写体を検出し、検出された複数の主要被写体の情報をフィルム上またはフィルムパトローネ上の記憶媒体に記録する視線検出カメラもある（例えば、特許文献２参照）。
【０００７】
また、視線検出によって複数の被写体位置エリアのうち何れの被写体位置エリアが選択されたかを判別し、焦点検出領域の選択とは独立して視線によって選択される、被写体位置エリアの情報をフィルム等の記録媒体に記録する視線検出機能付カメラもある（例えば、特許文献３参照）。
【０００８】
さらに、撮影画面内の所定箇所に合焦した撮影動作を行って得られた画像データと、撮影画面上における合焦位置を規定した合焦位置データを記録するデジタルカメラも提案されている（例えば、特許文献４参照）。
【０００９】
すなわち、撮影画面内の所定箇所に合焦した撮影動作を行って得られた画像データと、撮影画面上における合焦位置を規定した合焦位置データを記録するデジタルカメラである。
【００１０】
また、撮像画面上における焦点検出領域を追跡・記録することを特徴とする撮像装置、並びに該処理を実行するプログラム及び該プログラムを格納した記録媒体もある。
【００１１】
【特許文献１】
特開平５−１５８１３２号公報
【特許文献２】
特開平７−３１９０３７号公報
【特許文献３】
特開平８−３２８１２６号公報
【特許文献４】
特開２００１−１２８０３４号公報
【００１２】
【発明が解決しようとする課題】
しかし、上記の従来技術はいずれも、当該被写体領域情報に基づいて特定部位の画質を最適化することを印刷業者（ラボ）に伝達することが主目的であり、先述のアプリケーションを指向したものではなかった。
【００１３】
また、特許文献４記載の発明においては、シャッターボタンを半押ししてフォーカスロック操作を行った後にカメラを動かすと合焦位置が変化するが、当該文献に記載された実施の形態においては、これに対する解決案は何ら記載されていない。したがって、フォーカスロック操作中のカメラの動きにより、誤った合焦位置が記録されてしまうという問題点がある。また、興味対象外の被写体に合焦した場合、ユーザーの撮影意図を後に誤って解釈してしまうなどの問題が生ずる。
【００１４】
本発明は、上述の問題点に鑑みてなされたものであり、簡素な構成・動作で、画面上の正確な被写体領域を制御・追跡・記録することを可能とならしめる撮像装置、カメラ、プログラム及び記録媒体を提供することを第１の目的とする。
【００１５】
被写体領域の追跡に要する処理コスト及び消費電力を軽減することを可能とならしめる撮像装置、カメラ、プログラム及び記録媒体を提供することを第２の目的とする。
【００１６】
ユーザーに面倒な操作を強いることがなく、被写体領域の指定及び追跡を実行することを可能とならしめる撮像装置、カメラ、プログラム及び記録媒体を提供することを第３の目的とする。
【００１７】
簡素な構成で、ユーザーが所望の撮影動作を実行できているかを確認することを可能とならしめる撮像装置、カメラ、プログラム及び記録媒体を提供することを第４の目的とする。
【００１８】
ユーザーが後になって撮影意図・動作を容易に確認することを可能とならしめる撮像装置、カメラ、プログラム及び記録媒体を提供することを第５の目的とする。
【００１９】
【課題を解決するための手段】
請求項１記載の発明によれば、撮像装置は、光学系を介して入力される被写体像を映像信号として出力する撮像手段と、撮像手段の視野内において注目する被写体を指定する被写体指定手段と、映像信号を記録する映像記録手段と、被写体指定手段により指定された被写体領域を追跡する追跡手段と、被写体領域を、映像信号と関連して記録する付加情報記録手段とを有することを特徴とするものである。
【００２０】
請求項２記載の発明によれば、撮像装置は、現在の映像信号と、一時刻前に撮像された映像信号との類似度を算出する類似度算出手段をさらに有する請求項１記載の撮像装置であることを特徴とするものである。
【００２１】
請求項３記載の発明によれば、撮像装置は、追跡手段は、類似度算出手段の出力に基づき、被写体領域を追跡する請求項２記載の撮像装置であることを特徴とするものである。
【００２２】
請求項４記載の発明によれば、撮像装置は、撮像手段の向きを検出する向き検出手段をさらに有する請求項１、２または３記載の撮像装置であることを特徴とするものである。
【００２３】
請求項５記載の発明によれば、撮像装置は、追跡手段は、向き検出手段の出力に基づき、被写体領域を追跡する請求項４記載の撮像装置であることを特徴とするものである。
【００２４】
請求項６記載の発明によれば、撮像装置は、追跡手段の動作を開始させる開始手段をさらに有する請求項１から５のいずれか１項に記載の撮像装置であることを特徴とするものである。
【００２５】
請求項７記載の発明によれば、撮像装置は、被写体指定手段は、追跡手段の動作中は動作を停止する請求項１から６のいずれか１項に記載の撮像装置であることを特徴とするものである。
【００２６】
請求項８記載の発明によれば、撮像装置は、追跡手段が出力した被写体領域を表示する表示手段をさらに有する請求項１から７のいずれか１項に記載の撮像装置であることを特徴とするものである。
【００２７】
請求項９記載の発明によれば、撮像装置は、追跡手段が被写体領域が画面から外れたと判定したときに警告を発する警告手段をさらに有する請求項１から８のいずれか１項に記載の撮像装置であることを特徴とするものである。
【００２８】
請求項１０記載の発明によれば、撮像装置は、付加情報記録手段は、被写体領域の追跡結果を記したテキストデータを記録する請求項１から９のいずれか１項に記載の撮像装置であることを特徴とするものである。
【００２９】
請求項１１記載の発明によれば、カメラは、請求項１から１０のいずれか１項に記載の撮像装置を有することを特徴とするものである。
【００３０】
請求項１２記載の発明によれば、プログラムは、光学系を介して入力される被写体像を映像信号として出力する処理と、撮像手段の視野内において注目する被写体を指定する被写体指定処理と、映像信号を記録する処理と、被写体指定処理により指定された被写体領域を追跡する追跡処理と、被写体領域を、映像信号と関連して記録する処理とを実行させることを特徴とするものである。
【００３１】
請求項１３記載の発明によれば、プログラムは、現在の映像信号と、一時刻前に撮像された映像信号との類似度を算出する類似度算出処理をさらに実行させる請求項１２記載のプログラムであることを特徴とするものである。
【００３２】
請求項１４記載の発明によれば、プログラムは、類似度算出処理の出力に基づき、被写体領域を追跡する追跡処理をさらに実行させる請求項１３記載のプログラムであることを特徴とするものである。
【００３３】
請求項１５記載の発明によれば、プログラムは、撮像手段の向きを検出する向き検出処理、をさらに実行させる請求項１２、１３または１４記載のプログラムであることを特徴とするものである。
【００３４】
請求項１６記載の発明によれば、プログラムは、向き検出処理の出力に基づき、被写体領域を追跡する追跡処理、をさらに実行させる請求項１５記載のプログラムであることを特徴とするものである。
【００３５】
請求項１７記載の発明によれば、プログラムは、追跡処理の動作を開始させる処理をさらに実行させる請求項１２から１６のいずれか１項に記載のプログラムであることを特徴とするものである。
【００３６】
請求項１８記載の発明によれば、プログラムは、被写体指定処理が、追跡処理の動作中に動作を停止する処理、をさらに実行させる請求項１２から１７のいずれか１項に記載のプログラムであることを特徴とするものである。
【００３７】
請求項１９記載の発明によれば、プログラムは、追跡処理により出力された被写体領域を表示する処理をさらに実行させる請求項１２から１８のいずれか１項に記載のプログラムであることを特徴とするものである。
【００３８】
請求項２０記載の発明によれば、プログラムは、追跡処理により被写体領域が画面から外れたと判定されたときに警告を発する処理をさらに実行させる請求項１２から１９のいずれか１項に記載のプログラムであることを特徴とするものである。
【００３９】
請求項２１記載の発明によれば、プログラムは、被写体領域の追跡結果を記したテキストデータを記録する処理をさらに実行させる請求項１２から２０のいずれか１項に記載のプログラムであることを特徴とするものである。
【００４０】
請求項２２記載の発明によれば、記録媒体は、請求項１２から２１のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とするものである。
【００４１】
【発明の実施の形態】
次に、添付図面を参照して本発明による撮像装置、カメラ、プログラム及び記録媒体の実施の形態を詳細に説明する。
【００４２】
デジタルスチルカメラを例に、まず、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態たる第１実施例について説明する。
【００４　３　】
図１は、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態におけるデジタルスチルカメラの構成を示す図である。
【００４　４　】
図１において、デジタルスチルカメラ装置１は、システム制御部２と、撮像部３と、画像処理部４と、ＬＣＤ表示制御部５と、ＬＣＤ６と、ファインダー表示制御部７と、ファインダー表示器８と、記録メディアインターフェイス部９と、記録メディア１０と、ハードキーインターフェイス部１１とから構成される。
【００４　５　】
システム制御部２は、デジタルスチルカメラ装置１全体の制御を行うために設けられた、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ　）、メモリ、タイマー等からなる。
【００４　６　】
撮像部３は、撮像のために設けられた、光学系部品（レンズ及びレンズ駆動モータ）、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ　）、ＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる。
【００４　７　】
画像処理部４は、撮像部３で得られた画像信号に種々の画像処理を施すと共に、撮像部３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してフォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた、画像処理用ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、メモリ等からなる。
【００４　８　】
ＬＣＤ表示制御部５は、画像処理部４で処理された画像信号をＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、ＬＣＤへ表示するために設けられた、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる。
【００４９】
ＬＣＤ６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられる。
【００５０】
ファインダー表示制御部７は、画像処理部４で処理された画像信号をファインダー内部に設置された表示器へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し該表示器へ表示するために設けられた、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる。
【００５１】
ファインダー表示器８は、撮像部３の光学系に入射する像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられた、
【００５２】
記録メディアインターフェイス部９は、記録メディアとのインターフェイスのために設けられた、メモリカードコントローラ等からなる、
【００５３】
記録メディア１０は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられた、フラッシュメモリ等からなっており、デジタルスチルカメラ装置１から着脱可能となっている。
【００５４】
ハードキーインターフェイス部１１は、後述するレリーズＳＷ、図示されていないキー、ダイアル等のユーザーインターフェイスのためのハードウェアの状態を検出するために設けられた、パラレルポート等からなっている。
【００５５】
ここで、レリーズＳＷの構成について図２を用いて説明する。図２には、レリーズＳＷの回路図が示されている。
【００５６】
図２において、ＲＬ１は、レリーズＳＷを半押ししたときオンされる接点示している。ＲＬ２は、レリーズＳＷを完全に押したときにオンされる接点を示している。ＣＯＭは、ＲＬ１・ＲＬ２の双方で共通な接点を示している。
【００５７】
以上の様に、レリーズＳＷは、２　ストロークの動作を検出できる様に構成されている。ＲＬ１、ＲＬ２の接点の状態は、前述したように、ハードキーインターフェイス部１１を通じてシステム制御部２で判別される。
【００５８】
次に、第１の実施例に係る動作を、図３のフローチャートを用いて説明する。
【００５９】
ユーザーは撮影に先立ち、図示されていない種々のキー、ダイヤルを操作し、撮影モード（静止画撮影モード、動画撮影モード）を決定する。ユーザーの操作内容はハードキーインターフェイス部１１を通じてシステム制御部２で判別され（ステップＳ１）、静止画撮影モードでは（ステップＳ１でＮｏ）、以下に説明するように、ステップＳ２以降の処理が実行される。動画撮影モードでは（ステップＳ１でＹｅｓ）、後述するように、図４に示すフローチャートに従って動作する（ステップＳ２３参照）。
【００６０】
図３のステップＳ１においてＮｏ、すなわち、静止画撮影モードの場合、その後、ステップＳ２で、デジタルスチルカメラ装置１において、以下に示す撮影の準備を整える作業が実行される。
【００６１】
すなわち、システム制御部２は、モードに応じた処理パラメタを画像処理部４へ設定する。撮像部３は、画像処理部４からの制御に従い、実際の撮影に先だって、プレビュー画像を表示するための撮像動作を開始する。撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データをＬＣＤ表示制御部５へ送る。
【００６２】
ＬＣＤ表示制御部５では、画像データを信号処理してＬＣＤ６へ表示し、ユーザーへ撮像状態を提示する。
【００６３】
また、ファインダー表示制御部７では、デジタルスチルカメラ１の種々の状態をファインダー表示器８へ表示し、ユーザーへ撮像状態を提示する。
【００６４】
さらに、このステップにおいて、被写体領域の位置が決定される。当該被写体領域は、予め画面中央に固定されており、公知技術である視線検出やハードキーインターフェイス部１１などのユーザーインターフェイスを通じて選択されるなどの形態により決定される。
【００６５】
ステップＳ２における撮影の準備が整った後、ステップＳ４において、システム制御部２が、前述したレリーズＳＷの半押し、すなわち、ＲＬ１接点がオンになったと判定すると（Ｙｅｓ）、ステップＳ５において、焦点検出（ＡＦ）、自動露出（ＡＥ）、オートホワイトバランス（ＡＷＢ）のアルゴリズムプログラムを起動し、画像処理部４から得られる各種評価データを基に、画像処理部４、及び、撮像部３を制御して調整を行う。
ここで、レリーズＳＷの半押し状態の判定は、モード設定と同様にしてハードキーインターフェイス部１１を通じてシステム制御部２で実行される。
【００６６】
上記の処理が終了すると、ステップＳ６において、デジタルスチルカメラ装置１は、撮像部３の撮像範囲において被写体領域の追跡を開始する。すなわち、レリーズＳＷの半押し操作は、被写体領域の追跡動作を開始させる手段として機能する。この動作の具体的な内容については後述する。
【００６７】
なお、後述する被写体領域の追跡動作時には、システム制御部２において処理コスト及び消費電力が少なからず発生する。上述のように、レリーズＳＷの半押し操作している時にのみ、被写体領域の追跡動作を実行することにより、処理コスト及び消費電力を低減させることができる。
【００６８】
また、本実施例では、被写体領域の指定と被写体領域の追跡動作は、排他的に実行される。これにより、ユーザーによる被写体領域の指定と、被写体領域の追跡動作が相互干渉しないので、処理が簡素になる。また、レリーズＳＷの半押し操作中に注目する被写体に視線を向け続けたり、ハードキーインタフェース部１１を操作する必要がないため、撮影動作が非常に簡単になるという利点がある。
【００６９】
被写体領域が追跡されると、ＬＣＤ６又はファインダー表示器８において、図５（ａ）のように、該被写体領域の位置を示すポインタ２１を表示する。また、被写体領域が画面から外れるなど、被写体領域の追跡に失敗した場合には、図５（ｂ）のように、ユーザーにその旨を警告するインジケータ２２を表示する（ステップＳ７）。
【００７０】
システム制御部２は、引き続きハードキーインターフェイス部１１を通じて、レリーズＳＷの状態を監視し（ステップＳ８）、レリーズＳＷが全押し、すなわちＲＬ２接点がオンになったと判定すると（Ｙｅｓ）、以下に示す撮影動作を開始する（ステップＳ９）。
ここで、レリーズＳＷの全押し状態の判定は、レリーズＳＷの半押し状態の検出動作と同様にして、ハードキーインターフェイス部１１を通じてシステム制御部２で実行される。
【００７１】
撮像部３は画像処理部４からの制御に従い、所定の画像を取り込み画像処理部４へ送り、画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。
そして、システム制御部２は、圧縮された画像データ及び追跡された被写体領域を読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部９を通じて記録メディア１０へ記録する（ステップＳ１０）。
被写体領域の記録については、後述する。
【００７２】
以上で画像の撮影及び記録を完了すると、被写体領域の追跡処理を終了する（ステップＳ１２）。
【００７３】
また、ステップＳ８において、ＲＬ２接点がオフであると判定されると（Ｎｏ）、システム制御部２は、ＲＬ１接点の状態を検出する（ステップＳ１１）。ＲＬ１接点がオンであると判定されると（Ｙｅｓ）、ステップＳ６に戻り、ステップＳ１１までの処理を繰り返す。また，ＲＬ１接点が解除されたと判定されると（ステップＳ１１でＮｏ）、ＡＥ、ＡＦ、ＡＷＢの処理及び被写体領域の追跡処理を終了する（ステップＳ１２）。
【００７４】
最後に、各動作を電源オフ検出で終了した場合には、電源をオフして終了する（ステップＳ１３でＹｅｓ）。
【００７５】
ここで、図３のステップＳ１において、動画撮影モードが選択されている場合の動作（ステップＳ３）を、図４のフローチャートに基づいて説明する。
【００７６】
まず、図４のステップＳ２１では、デジタルスチルカメラ装置１において、動画撮影の準備を整える作業が実行される。その動作は、図３のステップＳ２と同様である。
【００７７】
撮影の準備が整った後、レリーズＳＷの半押し、すなわちＲＬ１接点がオンになったと判定すると（ステップＳ２２でＹｅｓ）、前述したように、焦点検出（ＡＦ）、自動露出（ＡＥ）、オートホワイトバランス（ＡＷＢ）の処理を開始する（ステップＳ２３）。この調整動作は、後述するように、レリーズＳＷの半押し（ＲＬ１　接点オン）が検知されるまで、継続的に実行される。
【００７８】
また、ＲＬ１　接点がオフであると判定すると（ステップＳ２２でＮｏ）、後述するステップＳ３５の処理に進む。
【００７９】
システム制御部２は、引き続きハードキーインターフェイス部１１を通じて、レリーズＳＷの状態を監視し、そのままレリーズＳＷが押し込まれると（ＲＬ２接点オンすなわちステップＳ２４でＹｅｓ）、後述するステップＳ２６以降の動画の記録動作を開始し、逆に、レリーズＳＷの半押しが解除されると（ＲＬ１　接点オフすなわちステップＳ２５でＮｏ）、前述のＡＦ、ＡＥ、ＡＷＢ処理を終了する（ステップＳ３４）。
【００８０】
記録動作を開始すると（ステップＳ２６）、システム制御部２は、ハードキーインターフェイス部１１を通じて、レリーズＳＷの状態を監視し、レリーズＳＷの全押し状態（ＲＬ２　接点オン）を検知すると（ステップＳ２７でＹｅｓ）、動画の記録を終了し（ステップＳ３２）、そうでなければステップＳ２８以降の処理を実行する。すなわち、記録動作中のレリーズＳＷの全押しが検知されるまで、記録動作を継続する。
【００８１】
記録動作中に、レリーズＳＷの半押しが検知されると（ＲＬ１　接点オンすなわちステップＳ２８でＹｅｓ）、被写体領域を追跡する動作を開始する。
【００８２】
ステップＳ２９においては、デジタルスチルカメラ装置１は、撮像部３の撮像範囲において被写体領域の追跡を開始する。すなわち、動画記録中のレリーズＳＷの半押し操作は、被写体領域の追跡動作を開始させる手段として機能する。　この動作の具体的な内容については後述する。
【００８３】
なお、後述する被写体領域の追跡動作時には、システム制御部２において処理コスト及び消費電力が少なからず発生する。上述のように、レリーズＳＷの半押し操作している時にのみ、被写体領域の追跡動作を実行することにより、前述した処理コスト及び消費電力を低減させることができる。
【００８４】
また、静止画モードと同様に、被写体領域の指定と被写体領域の追跡動作は、排他的に実行される。これにより、ユーザーによる被写体領域の指定と、被写体領域の追跡動作が相互干渉しないので、処理が簡素になる。また、撮影中に注目する被写体に視線を向け続けたり、ハードキーインタフェース部１１を操作する必要がなく、撮影動作が非常に簡単になるという利点がある。
【００８５】
一方、記録動作中に、前記レリーズＳＷが解除されていた場合には、上述の焦点検出追跡動作を実行しない。
【００８６】
被写体領域が追跡されると、ＬＣＤ６またはファインダー表示器８において、図５（ａ）のように、当該被写体領域の位置を示すポインタ２１を表示する。
【００８７】
また、被写体領域が画面から外れるなど、被写体領域の追跡に失敗した場合には、図５（ｂ）のように、ユーザーにその旨を警告するインジケータ２２を表示する（ステップＳ３０）。
【００８８】
また、焦点検出追跡動作を実行しなかった場合、既定の被写体領域の位置（例えば、画面中央）にポインタ２１を表示するとよい。
【００８９】
上記のステップＳ２７乃至ステップＳ３１の処理は、レリーズＳＷの全押し（ＲＬ２　接点オン）が検知されるまで、若しくは撮影モードの変更操作又は電源オフ操作が検知される（ステップＳ３１でＹｅｓ）まで、繰り返し実行される。
【００９０】
動画の記録を終了した場合（ステップＳ３２）、システム制御部２は、動画データに関連して、被写体領域の追跡履歴を記録メディア１０へ書き込む（ステップＳ３３）。この動作については、後述する。
【００９１】
最後に、撮影モードの変更操作又は電源オフ操作が検知された場合、図４のフローを終了し（ステップＳ３５でＹｅｓ）、さもなければ（ステップＳ３５でＮｏ）　、ステップＳ２２乃至ステップＳ３４の処理が繰り返し実行される。
【００９２】
ここで、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態における被写体領域の追跡動作を、図６のフローチャートに基づいて説明する。
【００９３】
まず、システム制御部２は、被写体領域の追跡処理が初期状態、すなわち、レリーズＳＷの半押し（ＲＬ１　接点オン）が検知されてから初めて追跡処理を実行する場合（ステップＳ４　１）には、撮像部３が現在取得している画像（以下、現画像と呼ぶ）のうち、前述のように図３のステップＳ２で決定された被写体領域に対応する所定の領域（以下、テンプレートと呼ぶ）を切り出し、メモリに記録する（ステップＳ４　２）。
以上で、処理を終了する。
【００９４】
また、初期状態でない場合には（ステップＳ４　１でＮｏ）、前回の処理で記録されたテンプレートを、メモリより読み出し（ステップＳ４３）、現画像において、当該テンプレートとの類似度が高い領域を検出する。
【００９５】
ここで、前述した類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を、図７に基づいて説明する。
【００９６】
図７（ａ）のように、テンプレートの大きさが（２ｄｕ＋１）×（２ｄｖ＋１であるとする。このテンプレート２３を、図７（ｂ）のように現画像２４上で移動させ、テンプレート２３と現画像２４における点（ｍ，ｎ）との正規化相互相関値Ｓを、次式に基づき計算する。
【００９７】
【数１】
2004112550.tif 000003
【００９８】
ここで、（１）式における各記号の意味は以下の通りである。
・Ｉ１　（ｕ，ｖ）：テンプレート上の点（ｕ，ｖ）における画素値
・Ｉ２　（ｕ，ｖ）：現画像上の点（ｕ，ｖ）における画素値
以上の計算に基づき、正規化相互相関値Ｓが最大となる現画像における点（ｍ，ｎ）を求める。
【００９９】
次に、図６のステップＳ４５において、上述のテンプレートマッチングの成否を判定する。ここで、テンプレートマッチング成否の判定基準は、例えば、正規化相互相関値Ｓの閾値θを予め決めておき、Ｓの値がθ以上ならば成功、θ以下ならば失敗とするなどの手法をとればよい。
【０１００】
成功と判定された場合には（ステップＳ４５でＹｅｓ）、ステップＳ４３で求められた点（ｍ，ｎ）を現画像における被写体領域として、システム制御部２に出力すると同時に、現画像の点（ｍ，ｎ）を中心とする大きさ（２ｄｕ＋１）　×（２ｄｖ＋１）の領域を、前記テンプレートとして更新する（ステップＳ４６）。また、失敗と判定された場合には（ステップＳ４５でＮｏ）、テンプレートの更新は行わずに、追跡に失敗したことを示す信号をシステム制御部２に出力する（ステップＳ４７）。以上で、処理を終了する。
【０１０１】
次に、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態における被写体領域の記録について説明する。
【０１０２】
静止画の場合、被写体領域に関するデータは、取得した画像におけるヘッダ情報に記録される。例えば、デジタルスチルカメラの静止画のフォーマットとしてＥｘｉｆ（ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）を採用する場合、そのヘッダ情報中のＳｕｂｊｅｃｔ　Ａｒｅａと呼ばれる、主要となる被写体の位置を記述することができるフィールドに、当該被写体領域の位置を記録することができる。
【０１０３】
また、動画の場合は、図８のように、左から秒単位の時刻、被写体領域の横方向の座標ｕ、被写体領域の縦方向の座標ｖという順に、テキスト情報として記録される。このテキスト情報は、動画と共に、テキストファイルとして、記録メディアに記録される。
【０１０４】
このとき、動画データとテキストファイルは、関連して記録される。例えば、動画ファイルの名前が”Ｖｉｄｅｏ　０１．ａｖｉ”（ａｖｉ　は、Ａｕｄｉｏ　Ｖｉｄｅｏ　Ｉｎｔｅｒｌｅａｖｉｎｇの略）である場合、当該テキストファイルの名前は”Ｖｉｄｅｏ　０１．ｔｘｔ”と、拡張子以前の名前が揃えられた形で記録される。
【０１０５】
以下、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態たる第２の実施例について説明する。
【０１０６】
前述の焦点領域の検出処理を、撮像部３の向きを検出することにより実行しても構わない。この方法は、静止している被写体を、該被写体までの距離に相対して撮像部３をあまり平行移動させずに撮影した場合に、特に有効である。
【０１０７】
図９は、本実施例に係るデジタルスチルカメラの構成を示す図である。図９におけるデジタルスチルカメラ１は、図１のデジタルスチルカメラに姿勢検出センサ１２が追加されたものである。
なお、図中同一符号は、前述した第１の実施例と同一又は相当部分を示す。
【０１０８】
姿勢検出センサ１２は、撮像部３の主軸（通例光軸）の向きを検出するために設けられた、姿勢検出センサ、該センサからの信号を取得するＡ／Ｄ変換器、及び該Ａ／Ｄ変換器により取得されたデータに演算処理を施すＡＬＵ等からなる、姿勢検出部、を示している。
【０１０９】
姿勢検出センサ１２は、例えば、加速度センサ、磁気センサ、角速度センサ（ジャイロ）又はそれらの組み合わせにより構成される。
【０１１０】
第２の実施例における静止画撮影モード及び動画撮影モードの動作は、第１の実施例と同様であり、それぞれ図３、図４のフローチャートに従って動作する。
【０１１１】
ここで、姿勢検出センサの一例として、加速度センサと磁気センサを使用した場合の、被写体領域の追跡動作を、図１０のフローチャートを用いて説明する。
【０１１２】
まず、システム制御部２は、姿勢検出センサの検出信号より、絶対座標系に対する現在の撮像部３の姿勢を算出し、メモリに記録する（ステップＳ５１）。
【０１１３】
ここで、絶対座標系は図１１のように、東向きをＸ軸、重力の向きをＹ軸、北向きをＺ軸とする、右手系ＸＹＺ座標系であるとする。
【０１１４】
加速度センサは、重力加速度を、また、磁気センサは、地磁気を検出するのに使用され、これらのセンサの出力信号により、絶対座標系に対する撮像部３の向きを容易に計算することができる。
【０１１５】
ここで、被写体領域の追跡処理が前述の初期状態である場合には（ステップＳ５２でＹｅｓ）、以上で処理を終了する。
【０１１６】
一方、初期状態でない場合には（ステップＳ５２でＮｏ）、前時刻で記録された被写体領域及び撮像部３の姿勢を、メモリより読み出し（ステップＳ５３）、これらの情報と現在の撮像部３の姿勢を利用して、現在の被写体領域を算出し、メモリに記録する（ステップＳ５４）。
【０１１７】
ここで、現在の被写体領域を算出する方法について説明する。
【０１１８】
まず、図１２に示される２つの座標系を定義する。
カメラ座標系（ｃａｍｅｒａ　ｃｏｏｒｄｉｎａｔｅ　ｓｙｓｔｅｍ）
・ｘ軸：画面右向きを正
・ｙ軸：画面下向きを正
・ｚ軸：光軸、対象に向かう向きを正
・原点０：カメラの光学中心
・ｆ：焦点距離
画像座標系（ｉｍａｇｅ　ｃｏｏｒｄｉｎａｔｅ　ｓｙｓｔｅｍ　）
・ｕ軸：画面右向きを正
・ｖ軸：画面下向きを正
・（　ｕ０，　ｖ０）　：画面中心、すなわち光軸と画面とが交わる画像座標
【０１１９】
カメラ座標系の光学系は、中心射影モデル（ｐｅｒｓｐｅｃｔｉｖｅ　ｐｒｏｊｅｃｔｉｏｎ　ｍｏｄｅｌ）で記述されると仮定する。また、画像座標系は、画素を基本単位とする。
【０１２０】
また、以下の変数を定義する。
ＲＷ，ｔ−１　：前時刻ｔ−１における、絶対座標系に対する撮像部３の姿勢を表す回転行列
ＲＷ，ｔ　：現在の時刻ｔ　の、絶対座標系に対する撮像部３の姿勢を表す回転行列
【０１２１】
上記２つの回転行列より、前時刻から現在にかけての撮像部３の姿勢の変化を示す回転行列Ｒを、次式に基づき計算する。
【０１２２】
【数２】
2004112550.tif 000004
【０１２３】
ここで、ＲＷ，ｔ−１　の右上の添え字Ｔは、行列の転置を表す。
【０１２４】
この回転行列Ｒにより表される姿勢の変化により、前時刻における被写体領域（ｕｔ−１，ｖｔ−１　）は、現在の時刻において、次式に示される点（ｕｔ　，　ｖｔ　）　に移動する。
【０１２５】
【数３】
2004112550.tif 000005
【０１２６】
であり、これらの行列Ａｔ−１　、Ａｔ　は、それぞれ前時刻、現在における、カメラ座標系と画像座標系との関係を示すもので、カメラ内部行列（ｃａｍｅｒａ　ｉｎｔｒｉｎｓｉｃ　ｍａｔｒｉｘ　）と呼ばれる（参考文献：徐剛，　辻三郎：　『３次元ビジョン』，　共立出版　（１９９８））。
【０１２７】
また、ｋｕ　、ｋｖ　は、それぞれｘ軸、ｙ軸を基準とした時のｕ軸、ｖ軸の単位、すなわち画素密度を表す。
【０１２８】
また、ｆｔ−１　、ｆｔ　は、それぞれ前時刻、現在における焦点距離を表す変数である。また、Ｓは（３）式の左辺の第３成分を１にするための定数である。
【０１２９】
一般に、ｋｕ　、ｋｖ　の値は、ＣＣＤの設計仕様より容易に知ることができる。
【０１３０】
また、焦点距離の値は、撮像部３において、レンズ駆動モータの位置をエンコーダにより読み取るなどの方法により、検出することができる。
以上の計算により、現在の被写体領域の位置（ｕｔ　，　ｖｔ　）　が算出される。
【０１３１】
続いて、以上の処理で算出された点（ｕｔ　　，ｖｔ　）　が、画面内にあるか否かを判定し（ステップＳ５５）、画面内にある場合には（Ｙｅｓ）、ステップＳ５３で求められた点（ｕｔ　　，ｖｔ　　）を、現在の被写体領域として、システム制御部２に出力する（ステップＳ５６）。
【０１３２】
また、画面外にあると判定された場合には（ステップＳ５５でＮｏ）、追跡に失敗したことを示す信号をシステム制御部２に出力する（ステップＳ５７）。以上で、処理を終了する。
【０１３３】
以下、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態たる第３の実施例について説明する。
【０１３４】
本発明に係る撮像装置等は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ　）や携帯情報端末により、その機能を実現させることができる。
【０１３５】
近年、各種処理プログラムを読み取ることにより、種々の機能を実現可能なデジタルカメラも登場するようになった。また、向きを回動可能なカメラを具備したノート型ＰＣや、カメラを搭載したＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）及び携帯電話が普及するようになった。
【０１３６】
このような場合は、これらの機器に第１の実施例または第２の実施例で説明した機能を実現する処理プログラムを実行させることにより、その機能を実現させることができる。
【０１３７】
本実施例は、各種媒体やインターネット等の電気通信回線を介して、上記の機器で読み取り可能なプログラムである。動作の内容は、上述の第１の実施例または第２の実施例と同様である。
【０１３８】
以下、カメラを具備したノート型ＰＣにおいて、該プログラムを実行することにより、第１の実施例または第２の実施例で説明した前述の動作を実現する場合の具体例を説明する。
【０１３９】
ＡＦ等の処理は、該カメラの内部で実行される。
【０１４０】
撮影モードの選択、撮影の開始・終了の制御、被写体領域の追跡動作の開始（前述の実施例における、レリーズＳＷの半押し操作に相当）、画像及び被写体領域の表示は、任意のユーザー・インターフェイスを介して行われる。その一例を、以下に記す。
【０１４１】
撮影モードの選択：カーソルキー
撮影の開始・終了の制御：リターンキー
被写体領域の追跡動作の開始：スペースキー
画像及び被写体領域の表示：ＬＣＤに表示
【０１４２】
以下、本発明による撮像装置、カメラ、プログラム及び記録媒体の一実施形態たる第４の実施例について説明する。
【０１４３】
本発明に係る撮像装置は、第３の実施例で述べた機器に、第１の実施例又は第２の実施例で説明した機能を実現する処理プログラムを格納した記録媒体を読み取らせることにより、その機能を実現させることができる。
【０１４４】
例えば、図１３（ａ）に示されるように、当該プログラムを格納したＣＤ−ＲＯＭ２５を、カメラを具備したノート型ＰＣ３０に装着し、適宜当該プログラムを読み取らせ、実行させることにより、その機能を実現させることができる。
【０１４５】
また、図１３（ｂ）に示されるように、当該プログラムを格納したスマートメディア２６を、それを読み取り可能なデジタルスチルカメラ１に装着し、適宜当該プログラムを実行させることにより、その機能を実現させることができる。
【０１４６】
なお、当該プログラムを格納する記録媒体は上記のものに限られず、例えば、ＣＤ−ＲＷやＤＶＤ−ＲＯＭ等の別の媒体であってもよいことはいうまでもない。
【０１４７】
なお、本実施例における動作は、第３の実施例と同様である。
【０１４８】
以上の各実施例は、本発明のほんの一例を説明したにすぎない。すなわち、本発明の権利範囲を上記実施の形態の通りに不当に限定・縮小すべきではなく、下記のように、本発明の構成要素を別の要素に変更した例も、本発明と均等の発明として権利範囲に含まれる。
【０１４９】
例えば、各実施の形態において、２　ストロークの動作を検出できるレリーズＳＷ、及び静止画・動画撮影機能を具備したデジタルスチルカメラを例に挙げて説明したが、静止画撮影専用のデジタルスチルカメラ、及び動画撮影専用のビデオカメラにおいて、上記実施の形態と同様の機能を有するものであっても、本願の権利範囲に含まれる。ここで、該ビデオカメラが、上述の実施の形態で説明したのと同様の動作を実現する為に、被写体領域の追跡動作を開始するボタンを具備すると、さらに好適である。
【０１５０】
また、被写体領域をＬＣＤ６又はファインダー表示器８に表示する形態は、上記の実施の形態に限定されない。例えば、該表示機能を具備しない撮像装置（請求項６を除く請求の範囲に該当）、被写体領域を追跡している時にのみ該表示を行う撮像装置であっても構わない。
【０１５１】
また、被写体領域の記録については、１　秒毎に被写体領域の位置をテキストファイルに記録すると説明したが、各々のフレーム毎に記録する、またある一定数のフレーム毎に記録するなど、別の形態であっても構わない。また、ファイルフォーマットはテキストファイルではなく、ＭＰＥＧ−７（ＭＰＥＧは，Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐの略）等の内容記述ファイルとして記録してもよい。このほか、静止画、動画共に、該被写体領域を画像データの中に、ウォーターマーク（電子透かし）として挿入するといった形態であっても構わない。
【０１５２】
また、第２の実施例において、加速度センサと磁気センサを組み合わせて使用することにより、撮像部の姿勢を検出すると説明したが、ジャイロなどの他の素子を使用しても、同様の動作を実現することが可能である。
【０１５３】
【発明の効果】
請求項１から２２記載の発明によれば、簡素な構成・動作で、画面上の正確な被写体領域を制御・追跡・記録することが可能となり、第１の目的が達成される。
【０１５４】
請求項６から１３、１７から２２記載の発明によれば、被写体領域の追跡に要する処理コスト及び消費電力を軽減することができ、第２の目的が達成される。
【０１５５】
請求項７から１３、１８から２２記載の発明によれば、ユーザーに面倒な操作を強いることがなく、被写体領域の指定及び追跡を実行することができ、第３の目的が達成される。
【０１５６】
請求項８から１３、１９から２２記載の発明によれば、簡素な構成で、ユーザーが所望の撮影動作を実行できているかを確認することができ、第４の目的が達成される。
【０１５７】
請求項１０から１３、２１、２２記載の発明によれば、ユーザーが後になって撮影意図・動作を容易に確認することができ、第５の目的が達成される。
【図面の簡単な説明】
【図１】本発明による撮像装置等の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】本発明による撮像装置等の一実施形態に係るデジタルスチルカメラのレリーズＳＷの構成図である。
【図３】本発明による撮像装置等の一実施形態に係る処理の流れを示すフローチャートである。
【図４】本発明による撮像装置等の一実施形態に係る動画撮影の流れを示すフローチャートである。
【図５】本発明による撮像装置等の一実施形態に係る被写体領域又は警告の表示の説明図である。（ａ）は、被写体領域の位置を示すポインタが表示されている場合であり、（ｂ）は被写体領域の追跡に失敗した場合にその旨を警告するインジケータが表示されている場合である。
【図６】本発明による撮像装置等の一実施形態に係る被写体領域の追跡処理の流れを示すフローチャートである。
【図７】本発明による撮像装置等の一実施形態に係る被写体領域の追跡動作の説明図である。（ａ）は、被写体領域の所定の領域を切出したテンプレートあり、（ｂ）は、テンプレート現画像上で移動させた場合である。
【図８】本発明による撮像装置等の一実施形態に係る被写体領域の記録動作を示す図である。
【図９】本発明による撮像装置等の他の実施形態に係るデジタルスチルカメラの構成図である。
【図１０】本発明による撮像装置等の他の実施形態に係る被写体領域の追跡処理の流れを示すフローチャートである。
【図１１】本発明による撮像装置等の他の実施形態に係る絶対座標系を示す図である。
【図１２】本発明による撮像装置等の他の実施形態に係るカメラ座標系及び画像座標系を示す図である。
【図１３】本発明によるプログラム及び記録媒体等の一実施形態の説明図である。（ａ）には、カメラ付きのノート型ＰＣとＣＤ−ＲＯＭが、（ｂ）には、デジタルスチルカメラとスマートメディアが示されている。
【符号の説明】
１　デジタルスチルカメラ
２　システム制御部
３　撮像部
４　画像処理部
５　ＬＣＤ表示制御部
６　ＬＣＤ
７　ファインダー表示制御部
８　ファインダー表示器
９　記録メディアインターフェイス部
１０　記録メディア
１１　ハードキーインターフェイス部
１２　姿勢検出センサ
２１　ポインタ
２２　インジケータ
２３　テンプレート
２４　現画像
２５　ＣＤ−ＲＯＭ
２６　スマートメディア
３０　ノート型ＰＣ
【図１】
2004112550.tif 000006
【図２】
2004112550.tif 000007
【図３】
2004112550.tif 000008
【図４】
2004112550.tif 000009
【図５】
2004112550.tif 000010
【図６】
2004112550.tif 000011
【図７】
2004112550.tif 000012
【図８】
2004112550.tif 000013
【図９】
2004112550.tif 000014
【図１０】
2004112550.tif 000015
【図１１】
2004112550.tif 000016
【図１２】
2004112550.tif 000017
【図１３】
2004112550.tif 000018