(57)【要約】【課題】  パン／チルト撮影動作時にカメラ移動先の状況を予め記録前に確認できるものとした撮像装置を提供することを目的とする。【解決手段】  撮像装置の動きを検出するジャイロ１１９とカメラの動作状態を判定する動作状態判定部１２７と、任意の拡張領域を切り出す切出回路１０５と、記録用領域と拡張領域の画像データから、拡張表示データを生成するリサイズ回路１０７とを備え、パン／チルト撮影時に検出したカメラの移動方向に所定の画素数分切り出し、表示装置に拡張表示することにより記録範囲外の所定範囲の被写体映像が自動的に表示され、パン／チルト撮影時の撮影失敗を防ぐことができる。【選択図】  図１
2006254116.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
該撮像手段の画素出力を画像情報として読み出す出力手段と、
前記画素出力から、所定の記録用領域とともに一つ以上の任意の拡張領域の画像情報を切出すよう前記出力手段を制御する制御手段と、
前記出力手段から得られる前記記録用領域と前記拡張領域の画像情報から、拡張表示データを生成する拡張表示データ生成手段と、
画像情報から生成された表示データを可視可能に表示する表示手段と、
画像情報を記録する画像記録手段とを備えた、
ことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記所定の記録用領域は、画像記録手段に記録される所定サイズの画角の領域であり、前記拡張領域は、前記制御手段により切出し位置、および切出し画素数が設定され、拡張表示用に使用される領域である、
ことを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記拡張表示データ生成手段は、前記出力手段から得られる前記記録用領域と前記拡張領域の画像情報を結合し、リサイズ処理により前記表示手段用の拡張表示データを作成する、
ことを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記拡張表示データは、前記撮像手段により撮像された被写体の画像データであり、前記記録媒体に記録される記録領域と、前記表示装置にのみ表示され前記記録媒体には記録されない記録外領域から構成される、
ことを特徴とする撮像装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の撮像装置において、
前記拡張表示データ生成手段により作成された前記拡張表示データを表示する拡張表示モードと、前記所定の記録用領域のみの表示データを表示する通常表示モードとを備える、
ことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記拡張表示モードにおいて、前記拡張表示データを表示した表示画面上に、前記記録用領域を示す記録範囲枠を表示する、
ことを特徴とする撮像装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の撮像装置において、
前記拡張領域の設定は、外部からの前記制御手段への指示により、複数の設定画素数より所望の切出し画素数が選択され、かつ複数の設定位置から所望の切出し位置が選択されることによって行なわれる、
ことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記切出し位置の設定モードは少なくとも、ワイド表示モード、上下拡張モード、フル拡張モードを含み、前記ワイド表示モードは、前記拡張領域として前記記録用領域の両側面を所定の画素数分切出すモードであり、前記上下表示モードは前記拡張領域として前記記録用領域の上下を所定の画素数分切り出すモードであり、前記フル表示モードは前記拡張領域として前記記録用領域の周囲を所定の画素数分切出すモードである、
ことを特徴とする撮像装置。
【請求項９】
請求項１ないし請求項６のいずれかに記載の撮像装置において、
撮像装置の動きを検出する動き情報取得手段を備え、該動き情報取得手段により所定のカメラ動作状態の検出が行われたときに、前記拡張領域の切出し画素数および切出し位置の設定がなされる、
ことを特徴とする撮像装置。
【請求項１０】
請求項９記載の撮像装置において
前記動き情報取得手段は、少なくとも２方向の動きを検出する角速度センサから構成される、
ことを特徴とする撮像装置。
【請求項１１】
請求項９記載の撮像装置において、
前記所定のカメラ動作状態は少なくとも、パン／チルト撮影、およびフォロー撮影を含む、カメラ移動を伴う撮影状態の何れかである、
ことを特徴とする撮像装置。
【請求項１２】
請求項９記載の撮像装置において、
前記カメラ動作状態は、前記動き情報取得手段により検出される、カメラの移動方向および移動速度から構成される移動情報により、判定される、
ことを特徴とする撮像装置。
【請求項１３】
請求項９記載の撮像装置において、
前記拡張領域は、前記動き情報取得手段により検出された前記移動方向に所定の画素数分切り出した領域として設定される、
ことを特徴とする撮像装置。
【請求項１４】
請求項１３記載の撮像装置において、
前記拡張領域の画素数は、ユーザが予め選択して設定されるか、或いは前記動き情報取得手段から検出した移動速度に対応して自動的に設定される、
ことを特徴とする撮像装置。
【請求項１５】
被写体を撮像した画素出力を取得する画素出力取得ステップと、
該画素出力取得ステップで得られた画素出力から、所定の記録用領域とともに一つ以上の任意の拡張領域の画像情報を切り出す画像情報切出しステップと、
前記記録用領域と前記拡張領域の画像情報から、拡張表示データを生成する拡張表示データ生成ステップと、
前記画像情報から生成された表示データを表示装置に表示する表示ステップと、
画像情報を信号処理して記録媒体への書き込みを行う書き込みステップとを含む、
ことを特徴とする撮像方法。
【請求項１６】
請求項１５記載の撮像方法において、
前記所定の記録用領域は、画像記録に使用される所定サイズの画角の領域であり、前記拡張領域は、拡張表示用に使用される領域であって、その切出し位置、および切出し画素数が設定可能である、
ことを特徴とする撮像方法。
【請求項１７】
請求項１５記載の撮像方法において、
前記拡張表示データ生成ステップにおいて、前記記録用領域と前記拡張領域の画像情報を結合し、リサイズ処理により拡張表示データを作成する、
ことを特徴とする撮像方法。
【請求項１８】
請求項１５記載の撮像方法において、
前記拡張表示データは、撮像された被写体の表示データであり、前記記録媒体に記録される記録領域と、表示装置にのみ表示され前記記録媒体に記録されない記録外領域から構成される、
ことを特徴とする撮像方法。
【請求項１９】
請求項１５ないし請求項１８のいずれかに記載の撮像方法において、
前記表示ステップにおいて前記拡張表示データを表示する拡張表示モードと、前記表示ステップにおいて前記所定の記録用領域のみの表示データを表示する通常表示モードとを含む、
ことを特徴とする撮像方法。
【請求項２０】
請求項１９記載の撮像方法において、
前記拡張表示モードにおいて、前記拡張表示データを表示した表示画面上に、前記記録用領域を示す記録範囲枠を表示する、
ことを特徴とする撮像方法。
【請求項２１】
請求項１５ないし請求項２０のいずれかに記載の撮像方法において、
前記拡張領域の設定は、外部からの指示により、複数の設定画素数より所望の切出し画素数が選択され、かつ複数の設定位置から所望の切出し位置が選択されることによって行なわれる、
ことを特徴とする撮像方法。
【請求項２２】
請求項２１記載の撮像方法において、
前記切出し位置の設定モードとして、少なくとも、ワイド表示モード、上下表示モード、フル表示モードを含み、前記ワイド表示モードは、前記拡張領域として前記記録用領域の両側面を所定の画素数分切出すモードであり、前記上下表示モードは前記拡張領域として前記記録用領域の上下を所定の画素数分切り出すモードであり、前記フル表示モードは前記拡張領域として前記記録用領域の周囲を所定の画素数分切出すモードである、
ことを特徴とする撮像方法。
【請求項２３】
請求項１５ないし請求項２０のいずれかに記載の撮像方法において、
撮像装置の動きを検出する動き情報取得ステップをさらに含み、該動き情報取得ステップにおいて所定のカメラ動作状態の検出が行われたときに、前記拡張領域の切出し画素数および切出し位置の設定がなされる、
ことを特徴とする撮像方法。
【請求項２４】
請求項２３記載の撮像方法において、
前記動き情報取得ステップは、少なくとも２方向の動きを検出する角速度センサからの動き情報を取得することにより撮像装置の動きを検出する、
ことを特徴とする撮像方法。
【請求項２５】
請求項２３記載の撮像方法において、
前記カメラ動作状態は少なくとも、パン／チルト撮影、およびフォロー撮影を含む、カメラ移動を伴う撮影状態の何れかである、
ことを特徴とする撮像方法。
【請求項２６】
請求項２３記載の撮像方法において、
前記カメラ動作状態は、前記動き情報の取得により検出される、カメラの移動方向および移動速度から構成される移動情報により、判定される、
ことを特徴とする撮像方法。
【請求項２７】
請求項２３記載の撮像方法において、
前記拡張領域は、前記動き情報の取得により検出された前記移動方向に所定の画素数分切り出した領域として設定される、
ことを特徴とする撮像方法。
【請求項２８】
請求項２７記載の撮像方法において、
前記拡張領域の画素数は、ユーザが予め選択して設定されるか、或いは前記動き情報から検出した移動速度に対応して自動的に設定される、
ことを特徴とする撮像方法。
【請求項２９】
請求項１ないし請求項１４のいずれかに記載の撮像装置の機能を実施するための処理プログラムをコンピュータが読み出し可能に格納したことを特徴とする記録媒体。
【請求項３０】
請求項１５ないし請求項２８のいずれかに記載の撮像方法の処理ステップをコンピュータが読み出し可能に格納したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像方法及び装置に関し、より詳細には撮像した被写体映像の表示方法に関する。
【背景技術】
【０００２】
近年、従来のビデオカメラ機器では、静止画画質向上の為ＣＣＤの高画素化／高解像度化が進んでいるが、撮影の際はＣＣＤの全画素のうち、記録に必要な所定の領域のみを切り出し、所定の信号処理及び圧縮等を行った後、記録媒体へ記録される。また、ＬＣＤ等の表示装置にはＣＣＤから出力される被写体映像が表示され、撮影中に記録される被写体を確認することができる(例えば、特許文献１参照。)。
【０００３】
ところで、ビデオカメラ機器の撮影方法としては、カメラを静止させて撮影するフィックス撮影が基本の撮影となるが、パン／チルトのようなカメラを移動させて撮影するカメラワークも基本撮影方法として多用され、また歩いている人物を追従してカメラを移動させ撮影するようなフォロー撮影も一般的な撮影技術として実施されており、また、現在のカメラ機器では、例えば手ブレ補正技術のように、上記のような一般的な撮影を補助し、撮影者を支援する技術がカメラ側に組み込まれており、撮影者は容易に手ブレの無い安定した高画質の画像を撮影することが可能となっている。
【０００４】
また、上記の手ブレ補正はパン／チルトのようなカメラを移動させる撮影時において、補正を制限するような処理を行い、手ブレ補正の効きを弱め、自然な撮影画を得ることができる。さらには、撮像装置の撮影姿勢を検出し、補正制限特性を変化させることにより、より自然なパンニング特性を得る方式もあった(例えば、特許文献２参照。)。
【特許文献１】特開２００１−１６９１７２号公報
【特許文献２】特開２００２−２０７２３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ビデオカメラ機器を使用して撮影を行う際、パン／チルトのようなカメラワーク、或いは歩行者の追従撮影のようなフォロー撮影を行う場合、撮影者はＬＣＤ表示装置のみを注視して撮影することが多く、また、ＬＣＤ表示装置に表示される映像は記録される映像と等価の為、撮影者がカメラ移動先の状況を撮影記録前に知ることが困難で、移動先の状況によっては撮影者の意図しない記録映像となってしまうという課題があった。しかしながら、従来のビデオカメラ機器では、パン／チルト動作移行時、及び復帰時の手ブレ補正への影響については考慮しているが、パン／チルトのようなカメラを移動して撮影する場合での撮影者への支援や補助は全く行われていなかった。
【０００６】
本発明は、前記従来の課題を解決するもので、パン／チルト動作時にカメラ移動先の状況を予め記録前に確認できる撮像装置、および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記従来の課題を解決するために、本発明（請求項１）にかかる撮像装置は、被写体を撮像する撮像手段と、該撮像手段の画素出力を画像情報として読み出す出力手段と、前記画素出力から、所定の記録用領域とともに一つ以上の任意の拡張領域の画像情報を切出すよう前記出力手段を制御する制御手段と、前記出力手段から得られる前記記録用領域と前記拡張領域の画像情報から、拡張表示データを生成する拡張表示データ生成手段と、画像情報から生成された表示データを可視可能に表示する表示手段と、画像情報を記録する画像記録手段とを備えた、ことを特徴とするものである。
【０００８】
また、本発明（請求項２）にかかる撮像装置は、請求項１記載の撮像装置において、前記所定の記録用領域は、画像記録手段に記録される所定サイズの画角の領域であり、前記拡張領域は、前記制御手段により切出し位置、および切出し画素数が設定され、拡張表示用に使用される領域である、ことを特徴とするものである。
【０００９】
また、本発明（請求項３）にかかる撮像装置は、請求項１記載の撮像装置において、前記拡張表示データ生成手段は、前記出力手段から得られる前記記録用領域と前記拡張領域の画像情報を結合し、リサイズ処理により前記表示手段用の拡張表示データを作成する、ことを特徴とするものである。
【００１０】
また、本発明（請求項４）にかかる撮像装置は、請求項１記載の撮像装置において、前記拡張表示データは、前記撮像手段により撮像された被写体の画像データであり、前記記録媒体に記録される記録領域と、前記表示装置にのみ表示され前記記録媒体には記録されない記録外領域から構成される、ことを特徴とするものである。
【００１１】
また、本発明（請求項５）にかかる撮像装置は、請求項１ないし請求項４のいずれかに記載の撮像装置において、前記拡張表示データ生成手段により作成された前記拡張表示データを表示する拡張表示モードと、前記所定の記録用領域のみの表示データを表示する通常表示モードとを備える、ことを特徴とするものである。
【００１２】
また、本発明（請求項６）にかかる撮像装置は、請求項５記載の撮像装置において、前記拡張表示モードにおいて、前記拡張表示データを表示した表示画面上に、前記記録用領域を示す記録範囲枠を表示する、ことを特徴とするものである。
【００１３】
また、本発明（請求項７）にかかる撮像装置は、請求項１ないし請求項６のいずれかに記載の撮像装置において、前記拡張領域の設定は、外部からの前記制御手段への指示により、複数の設定画素数より所望の切出し画素数が選択され、かつ複数の設定位置から所望の切出し位置が選択されることによって行なわれる、ことを特徴とするものである。
【００１４】
また、本発明（請求項８）にかかる撮像装置は、請求項７記載の撮像装置において、前記切出し位置の設定モードは少なくとも、ワイド表示モード、上下拡張モード、フル拡張モードを含み、前記ワイド表示モードは、前記拡張領域として前記記録用領域の両側面を所定の画素数分切出すモードであり、前記上下表示モードは前記拡張領域として前記記録用領域の上下を所定の画素数分切り出すモードであり、前記フル表示モードは前記拡張領域として前記記録用領域の周囲を所定の画素数分切出すモードである、ことを特徴とするものである。
【００１５】
また、本発明（請求項９）にかかる撮像装置は、請求項１ないし請求項６のいずれかに記載の撮像装置において、撮像装置の動きを検出する動き情報取得手段を備え、該動き情報取得手段により所定のカメラ動作状態の検出が行われたときに、前記拡張領域の切出し画素数および切出し位置の設定がなされる、ことを特徴とするものである。
【００１６】
また、本発明（請求項１０）にかかる撮像装置は、請求項９記載の撮像装置において前記動き情報取得手段は、少なくとも２方向の動きを検出する角速度センサから構成される、ことを特徴とするものである。
【００１７】
また、本発明（請求項１１）にかかる撮像装置は、請求項９記載の撮像装置において、前記所定のカメラ動作状態は少なくとも、パン／チルト撮影、およびフォロー撮影を含む、カメラ移動を伴う撮影状態の何れかである、ことを特徴とするものである。
【００１８】
また、本発明（請求項１２）にかかる撮像装置は、請求項９記載の撮像装置において、前記カメラ動作状態は、前記動き情報取得手段により検出される、カメラの移動方向および移動速度から構成される移動情報により、判定される、ことを特徴とするものである。
【００１９】
また、本発明（請求項１３）にかかる撮像装置は、請求項９記載の撮像装置において、前記拡張領域は、前記動き情報取得手段により検出された前記移動方向に所定の画素数分切り出した領域として設定される、ことを特徴とするものである。
【００２０】
また、本発明（請求項１４）にかかる撮像装置は、請求項１３記載の撮像装置において、前記拡張領域の画素数は、ユーザが予め選択して設定されるか、或いは前記動き情報取得手段から検出した移動速度に対応して自動的に設定される、ことを特徴とするものである。
【００２１】
また、本発明（請求項１５）にかかる撮像方法は、被写体を撮像した画素出力を取得する画素出力取得ステップと、該画素出力取得ステップで得られた画素出力から、所定の記録用領域とともに一つ以上の任意の拡張領域の画像情報を切り出す画像情報切出しステップと、前記記録用領域と前記拡張領域の画像情報から、拡張表示データを生成する拡張表示データ生成ステップと、前記画像情報から生成された表示データを表示装置に表示する表示ステップと、画像情報を信号処理して記録媒体への書き込みを行う書き込みステップとを含む、ことを特徴とするものである。
【００２２】
また、本発明（請求項１６）にかかる撮像方法は、請求項１５記載の撮像方法において、前記所定の記録用領域は、画像記録に使用される所定サイズの画角の領域であり、前記拡張領域は、拡張表示用に使用される領域であって、その切出し位置、および切出し画素数が設定可能である、ことを特徴とするものである。
【００２３】
また、本発明（請求項１７）にかかる撮像方法は、請求項１５記載の撮像方法において、前記拡張表示データ生成ステップにおいて、前記記録用領域と前記拡張領域の画像情報を結合し、リサイズ処理により拡張表示データを作成する、ことを特徴とするものである。
【００２４】
また、本発明（請求項１８）にかかる撮像方法は、請求項１５記載の撮像方法において、前記拡張表示データは、撮像された被写体の表示データであり、前記記録媒体に記録される記録領域と、表示装置にのみ表示され前記記録媒体に記録されない記録外領域から構成される、ことを特徴とするものである。
【００２５】
また、本発明（請求項１９）にかかる撮像方法は、請求項１５ないし請求項１８のいずれかに記載の撮像方法において、前記表示ステップにおいて前記拡張表示データを表示する拡張表示モードと、前記表示ステップにおいて前記所定の記録用領域のみの表示データを表示する通常表示モードとを含む、ことを特徴とするものである。
【００２６】
また、本発明（請求項２０）にかかる撮像方法は、請求項１９記載の撮像方法において、前記拡張表示モードにおいて、前記拡張表示データを表示した表示画面上に、前記記録用領域を示す記録範囲枠を表示する、ことを特徴とするものである。
【００２７】
また、本発明（請求項２１）にかかる撮像方法は、請求項１５ないし請求項２０のいずれかに記載の撮像方法において、前記拡張領域の設定は、外部からの指示により、複数の設定画素数より所望の切出し画素数が選択され、かつ複数の設定位置から所望の切出し位置が選択されることによって行なわれる、ことを特徴とするものである。
【００２８】
また、本発明（請求項２２）にかかる撮像方法は、請求項２１記載の撮像方法において、前記切出し位置の設定モードとして、少なくとも、ワイド表示モード、上下表示モード、フル表示モードを含み、前記ワイド表示モードは、前記拡張領域として前記記録用領域の両側面を所定の画素数分切出すモードであり、前記上下表示モードは前記拡張領域として前記記録用領域の上下を所定の画素数分切り出すモードであり、前記フル表示モードは前記拡張領域として前記記録用領域の周囲を所定の画素数分切出すモードである、ことを特徴とするものである。
【００２９】
また、本発明（請求項２３）にかかる撮像方法は、請求項２２記載の撮像方法において、請求項１５ないし請求項２０のいずれかに記載の撮像方法において、撮像装置の動きを検出する動き情報取得ステップをさらに含み、該動き情報取得ステップにおいて所定のカメラ動作状態の検出が行われたときに、前記拡張領域の切出し画素数および切出し位置の設定がなされる、ことを特徴とするものである。
【００３０】
また、本発明（請求項２４）にかかる撮像方法は、請求項２３記載の撮像方法において、前記動き情報取得ステップは、少なくとも２方向の動きを検出する角速度センサからの動き情報を取得することにより撮像装置の動きを検出する、ことを特徴とするものである。
【００３１】
また、本発明（請求項２５）にかかる撮像方法は、請求項２３記載の撮像方法において、前記カメラ動作状態は少なくとも、パン／チルト撮影、およびフォロー撮影を含む、カメラ移動を伴う撮影状態の何れかである、ことを特徴とするものである。
【００３２】
また、本発明（請求項２６）にかかる撮像方法は、請求項２３記載の撮像方法において、前記カメラ動作状態は、前記動き情報の取得により検出される、カメラの移動方向および移動速度から構成される移動情報により、判定される、ことを特徴とするものである。
【００３３】
また、本発明（請求項２７）にかかる撮像方法は、請求項２３記載の撮像方法において、前記拡張領域は、前記動き情報の取得により検出された前記移動方向に所定の画素数分切り出した領域として設定される、ことを特徴とするものである。
【００３４】
また、本発明（請求項２８）にかかる撮像方法は、請求項２７記載の撮像方法において、前記拡張領域の画素数は、ユーザが予め選択して設定されるか、或いは前記動き情報から検出した移動速度に対応して自動的に設定される、ことを特徴とするものである。
【００３５】
また、本発明（請求項２９）にかかる記録媒体は、請求項１ないし請求項１４のいずれかに記載の撮像装置の機能を実施するための処理プログラムをコンピュータが読み出し可能に格納したことを特徴とするものである。
【００３６】
また、本発明（請求項３０）にかかる記録媒体は、請求項１５ないし請求項２８のいずれかに記載の撮像方法の処理ステップをコンピュータが読み出し可能に格納したことを特徴とするものである。
【発明の効果】
【００３７】
本発明の撮像方法及び装置によれば、パン／チルト撮影、フォロー撮影時、ＬＣＤには記録範囲に加えてカメラ移動方向の所定範囲の映像が自動的に表示され、移動方向の視野が広がり、記録前に状況を確認することができるので、パン／チルト撮影、フォロー撮影時の撮影失敗を防ぐことができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施の形態による撮像装置、および撮像方法を図面とともに詳細に説明する。
実施の形態１．
図１は、本発明における撮像装置の構成を示すブロック図である。
【００３９】
図１において、撮像レンズ１０１は撮像レンズ群、アイリス等から構成され、ＣＣＤ１０２は撮像レンズ１０１から入射される被写体像を電気信号として取り出す。レンズ駆動モータ１０３は撮像レンズ１０１を駆動し、ズーム／フォーカス動作を行う。ＣＤＳ／ＡＧＣ／ＡＤＣ１０４はＣＣＤ１０２からの出力をサンプルホールドした後ＡＤ変換を行い、デジタルビデオデータを出力する。切出回路１０５はＣＤＳ／ＡＧＣ／ＡＤＣ１０４の出力データをメモリ１１１に蓄えた後、必要な画像データ領域を切り出す。ＤＳＰ１０６は画像データのノイズ除去、輪郭強調、輝度信号処理、色信号処理を行い、後段と動画／静止画ビデオデータの入出力を行う。リサイズ回路１０７は輝度信号用水平／垂直フィルタ、色信号用水平／垂直フィルタから構成され、画像データの拡大・縮小等を行う。ＯＳＤ１０８は撮像された画像データに文字／画像合成を行い、ＮＴＳＣエンエンコーダ１０９は入力されたデジタルビデオデータをＮＴＳＣ方式のアナログＴＶ信号に変換して出力する。カメラタイミングコントロール１１０はＣＣＤ１０２から信号を取り出す為のＣＣＤ駆動パルスを生成する。メモリ１１１はＳＤＲＡＭにより構成され、ＣＣＤ１０２から入力される画素データを蓄える一時メモリ、及び静止画処理／動画処理用のフレームメモリ用途に使用される。ＬＣＤ表示部１１２はＮＴＳＣエンコーダ１０９から出力されるアナログ信号をＬＣＤパネルに表示する。ここで、前述した切出回路１０５、ＤＳＰ１０６、リサイズ回路１０７、ＯＳＤ１０８、ＮＴＳＣエンコーダ１０９、及びカメラタイミングコントロール１１０は１チップのＬＳＩとして集積化されており（カメラＤＳＰ１２６）、メモリ１１１は共通資源として各回路ブロックで共有利用できる構成となっている。
【００４０】
また、マイク１２２は音声入力用のマイクであり、周囲の音声を集音し、電気信号として出力する。スピーカ１２４は音声出力用のスピーカであり、操作時のビープ音発生や記録データ再生時の音声出力に使用される。オーディオアンプ１２３は音声入力用のオーディオアンプと音声出力用のスピーカアンプから構成され、音声の入出力処理を行う。Ａ／Ｖコーデック１１３は、映像音声データの圧縮／伸張を行う。オーディオＡＤ／ＤＡ１２５は記録時に入力音声のＡＤ変換を、再生時にはＡ／Ｖコーデック１１３から出力されるデジタルデータのＤＡ変換を行う。メモリ１１４はＳＤＲＡＭにより構成され、Ａ／Ｖコーデック１１３のワークメモリ、及びビデオデータ、オーディオデータ、圧縮データの一時格納に使用される。記録媒体１１５は着脱式メモリカード等から構成され、圧縮映像音声データの格納に使用される。カメラマイコン１１６はカメラ信号処理及びシステム全体を制御し、ＣＰＵ１１７はＡ／Ｖコーデック１１３による圧縮／伸張動作と記録媒体１１５の読み書きを制御する。メモリ１１８はＦｌａｓｈＲＯＭとＳＤＲＡＭ等により構成され、ＣＰＵ１１７のワークメモリ／プログラム格納の役割を持つ。ジャイロセンサー１１９は撮像装置の動きを検出し、ジャイロアンプ１２０はジャイロセンサー１１９からの出力を増幅する。ユーザＩ／Ｆ１２１は記録釦、メニュー操作キー等で構成され、ユーザからの操作入力を受け付ける。
【００４１】
次に上述した構成の本実施の形態１による撮像装置の記録再生動作について説明を行う。まず、動作モードが動画記録モードの場合、ＣＣＤ１０２から出力される被写体映像信号はＣＤＳ／ＡＧＣ／ＡＤＣ１０４にてデジタル画像データに変換され、メモリ１１１の一時格納領域に格納される。ここで、総有効画素1600×1200の解像度を持つＣＣＤを使用しており、動画撮影時には有効画素1260×960画素で駆動され、メモリ１１１上の一時格納領域に1260×960画素のデータが出力され順次格納されるものとする。
【００４２】
次に、切出回路１０５により一時格納領域上の画像データのうち動画記録に必要な720×480画素のデータを切出し、後段のＤＳＰに入力し、ノイズ除去処理、輪郭強調処理、色信号処理、輝度信号処理を施した後、記録用データと表示用データを生成する。生成された表示用のデータはＯＳＤ１０８にて時刻情報やＧＵＩを付加し、ＮＴＳＣエンコーダ１０９に入力してアナログＴＶ信号に変換し、ＬＣＤ表示部１１２にて表示される。
【００４３】
一方、記録用のビデオデータはＡ／Ｖコーデック１１３へ入力され、マイク１２２、オーディオアンプ１２３、オーディオＡＤ／ＤＡ１２５を介して入力されるオーディオデータと共にそれぞれ圧縮処理され、ＭＰＥＧ２プログラムストリームが生成され、最終的に記録媒体１１５に記録保存される。
【００４４】
次に、動作モードが静止画記録モードの場合、ユーザによる静止画キャプチャ時にはＣＣＤ１０２の総有効画素1600×1200が出力され、メモリ１１１内に一時記憶される。次に、全ての画素データを切出回路１０５により切出し、ＤＳＰ１０６にて静止画用前処理、色信号処理、輝度信号処理を施した後、動画記録時とは別のＩ／Ｆにて後段のＡ／Ｖコーデックに入力する。Ａ／Ｖコーデックでは、静止画データをＪＰＥＧフォーマットで圧縮処理を行い、記録媒体１１５へ記録保存する。尚、静止画記録画角は1600×1200の他、1280×960、640×480の画角が設定可能であり、設定画角に応じた画像データが切出回路１０５により切り出される。また、静止画撮影待機時にはモニタモードとして、ＣＣＤ１０２から出力される1600×1200画素データから切出回路１０５にて記録領域全体を間引いて720×480画素を切り出し、ＤＳＰ１０６にて色信号処理、輝度信号処理を施した後、表示データを生成する。即ち、記録画角が1600×1200の場合は、ＣＣＤ１０２出力の1600×1200データ全体を間引いて720×480画素を切出し、記録画角が1280×960の場合は、ＣＣＤ１０２出力のうち、1280×960画素の記録用領域全体を間引いて切出し、記録画角が640×480の場合は、640×480画素の記録用領域全体をそのまま切り出す。尚、640×480画素データはリサイズ回路１０７にて720×480画素にリサイズされる。次に、生成された表示用データはＯＳＤ１０８にて時刻情報やＧＵＩを付加し、ＮＴＳＣエンコーダ１０９に入力してアナログＴＶ信号に変換しＬＣＤ表示部１１２に表示され、静止画撮影待機状態での被写体モニタ表示が実現される。
【００４５】
また、動画撮影時には、ジャイロセンサー１１９の出力をジャイロアンプ１２０で増幅し、カメラマイコン１１６にて読み取り、揺れ角から画素移動分を算出し、移動分を相殺するように、ＣＣＤ１０２からの被写体画像データの切出し位置調整を切出回路１０５にて行い、記録用領域を調整することにより手ブレ補正を行っている。
【００４６】
次に動画再生時の動作について説明すると、再生モード時には記録媒体１１５から記録ファイル情報が読み出され、Ａ／Ｖコーデック１１３によるサムネイル生成を行い、サムネイルデータをＤＳＰ１０６に出力する。このサムネイルデータからリサイズ回路１０７とＯＳＤ１０８により生成されたサムネイル表示画面がＬＣＤ表示部１１２に表示される。そしてサムネイル画面よりユーザＩ／Ｆからの特定ファイルの再生開始指示をカメラマイコン１１６が検出すると、記録媒体１１５から該当のＭＰＥＧ２プログラムストリームを読み出しＡ／Ｖコーデック１１３にてデコードを行う。デコードされ出力されたビデオデータとオーディオデータは、それぞれＤＳＰ１０６とオーディオＡＤ／ＤＡ１２５に出力される。ビデオデータはＯＳＤ１０８にてファイル再生情報等の表示を付加され、ＮＴＳＣエンコーダ１０９でアナログＴＶ信号に変換され、ＬＣＤ表示部１１２に表示され、オーディオデータはオーディオＡＤ／ＤＡ１２５にてＤＡ変換され、オーディオアンプ１２３内のスピーカアンプで増幅された後、スピーカ１２４に音声出力される。
【００４７】
また、静止画再生時の動作説明として、動画再生時との相違点のみ説明すると、記録媒体１１５からＪＰＥＧファイルを読み出し、Ａ／Ｖコーデック１１３にてＪＰＥＧデコードし、得られた画像データをＤＳＰ１０６に出力し、リサイズ回路１０７にてリサイズ処理を行い、ＮＴＳＣエンコーダ１０９に出力する点が動画再生時との相違点である。
【００４８】
以上に述べたように、通常時、総有効画素1600×1200の解像度ＣＣＤを使用した場合、動画記録時にはＣＣＤからは最高1260×960画素データが出力され、そのうち720×480画素を切出して動画記録に使用している。また、静止画記録待機時には、ＣＣＤから出力される記録用領域の画素データから記録領域全体を間引いて720×480画素を切り出し、表示用データとしている。
【００４９】
即ち、ＣＣＤの総有効画素のうち、映像記録に使用する画素のみを切り出して使用しており、必要画素以外は使用していないが、特に本実施の形態１では切出回路１０５にて記録に必要な記録用領域に加えて、記録用領域に隣接した、少なくとも１つ以上の拡張領域を切り出す構成にし、さらに両領域の画像データをリサイズ処理回路１０７にて結合、リサイズ処理してＬＣＤ表示用データを作成する構成にしている。
このため、ＬＣＤ表示部１１２に表示される被写体映像と記録媒体１１５に記録した被写体映像は異なることになる。
【００５０】
本実施の形態１で特徴とする上記の動作について、以下に説明を行う。まず、表示モードについて説明すると、本実施の形態１では表示モードとして通常表示モードと拡張表示モードがあり、通常表示モードは記録される被写体像とＬＣＤに表示される被写体像が同等である前述した通常時の表示モードであり、拡張表示モードは、記録される被写体像とＬＣＤに表示される被写体像が異なり、ＬＣＤ表示部にはより広範囲の被写体像が表示される。
【００５１】
また、拡張表示モードが選択された際に、少なくとも切出し位置は、ワイド表示モード、上下表示モード、フル表示モードの３モードから選択可能とし、さらに切出し画素数の設定を、少なくともハイ、ミドル、ローの３段階から選択することができる。
【００５２】
ここで、上記切出し位置、切出し画素数について図２を用いて説明を行う。
図２（ａ）は通常時の切出し位置、画素数の説明図であり、ＣＣＤ出力総画素２０１はＣＣＤから出力される総有効画素であり本実施の形態１では1260×960画素である。また、記録用領域２０２は720×480画素であり通常時の記録用データとして使用される。ＬＣＤ表示用データ２０３は通常表示時におけるＬＣＤ表示用ＹＵＶデータである。図２（ｂ）はワイド表示モードの説明図であり、記録用領域２０２の両側面を拡張領域２０４として切り出す構成になる。
【００５３】
また、図２（ｃ）は上下表示モードの説明図であり、記録用領域２０２の上下を拡張領域２０４として切り出す構成になる。また、図２（ｄ）はフル表示モードの説明図であり、記録用領域２０２の周囲を拡張領域２０４として切り出す構成になる。
【００５４】
また、表１は拡張表示領域の切出し画素数の設定例を示す表であり、表示装置の視覚的要素を鑑み、表の通りハイ、ミドル、ローの３段階に設定可能である。尚、表中のＸ、Ｙは図２中の記号Ｘ及びＹに相当する。
【００５５】
【表１】
2006254116.tif 000003
【００５６】
次に、上述した拡張領域を表示装置に拡張表示する際における、撮像装置の各部の動作について説明する。ユーザがＯＳＤ１０８により生成した図３のようなメニュー画面により拡張表示モードを設定したことをユーザＩ／Ｆ１２１よりカメラマイコン１１６が認識し、順次各部の制御を行う。ここでは、切出し位置をワイド表示モード、切出し画素数をミドルに設定した場合について説明する。
【００５７】
ユーザにより拡張表示モードが設定されると、ＣＣＤ１０２から出力される被写体画像データをカメラＤＳＰ１２６内の切出回路１０５にて通常時は720×480画素のみを切り出す所、さらにユーザが設定した拡張領域（ここでは、180×480画素）を記録用領域の左右両側面２領域切り出す。切り出したデータは夫々ＤＳＰ１０６にて各領域共にノイズ除去処理、色信号処理、輝度信号処理が施され、記録用領域のデータは記録用データとしてＡ／Ｖコーデック１１３に出力され、並行して記録用領域と拡張領域のデータはリサイズ回路１０７に出力される。リサイズ回路１０７では、両領域のデータを結合した1080×480画素データを作成し、リサイズ処理により720×480画素の拡張表示データを生成する。そして、ＯＳＤ１０８にて時刻情報、及び記録範囲を示す記録範囲枠として点線枠表示が重畳された後、ＮＴＳＣエンコーダ１０９にてアナログＴＶ信号に変換され、ＬＣＤ表示装置１１２に表示される。
【００５８】
尚、その他のモード設定時の相違点としては、ワイド表示モードにおける、切出し画素数設定がハイ設定の場合は、リサイズ元画像が1260×480である点、ロー設定の場合は、リサイズ元画像が900×480である点が上述したミドル設定の場合とは異なる。
【００５９】
また、切出し位置が上下表示モードの場合は、記録用領域の上下の拡張領域を切り出す点が異なり、切出し画素数設定がハイ設定の場合は、リサイズ元画像が720×840である点、ミドル設定の場合は、リサイズ元画像が720×720である点、ロー設定の場合は、リサイズ元画像が720×600である点が異なる。
【００６０】
また、切出し位置がフル表示モードの場合は記録用領域の周囲を切り出す点が異なり、切出し画素数設定がハイ設定の場合は、リサイズ元画像が1260×840である点、ミドル設定の場合は、リサイズ元画像が1080×720である点、ロー設定の場合は、リサイズ元画像が900×600である点が異なる。
【００６１】
以上のように、本実施の形態１では、切出回路１０５にて、記録用領域に加えて少なくとも１つ以上の拡張領域を切り出し、リサイズ回路１０７にて記録用領域データと拡張領域データから拡張表示データを作成する構成としたことにより、ＬＣＤには記録範囲に加えて記録範囲外の所定範囲の被写体映像が自動的に表示され、撮影者の視野が広がり、記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００６２】
なお、本実施の形態１では、動画撮影モード時の拡張表示について説明を行ったが、静止画撮影モードにおいても同様に適応でき、静止画画角640×480画素や1260×480画素のようなＣＣＤ総有効画素よりも小さい記録画角設定時の撮影待機状態においても好適に適応でき、静止画撮影時においても撮影者の視野が広がり記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００６３】
また、本実施の形態１では、拡張領域の設定として図２のように切出し位置を、表１のように画素数を設定したが、使用するＣＣＤの解像度、及び表示するＬＣＤの解像度とインチサイズ、動画／静止画撮影モードの違い、記録領域の画角設定により、異なる切出し位置、切出し画素数を設定しても良く、適用する撮像装置システムに最適な設定をすることで、特に視覚的観点で良好な被写体映像が表示でき、撮影者の視野が広がり記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００６４】
また、本実施の形態１では、撮像素子として総有効画素1600×1200であるＣＣＤセンサを使用したが、より高解像度のＣＣＤセンサ、ＣＭＯＳセンサやその他の撮像素子を使用した場合にも好適に適応することができる。
【００６５】
また、本実施の形態１では記録用画像、表示用画像の画角として720×480画素を使用したが、1920×1080画素等のハイビジョン画角のシステムにおいて適応しても良いし、静止画用記録画角を使用しても良い。
【００６６】
また、本実施の形態１では、記録範囲を示す記録範囲枠として点線枠表示を用いたが、色やデザインを考慮し、実線枠や画像枠のような任意の記録範囲枠を使用しても良い。
【００６７】
また、本実施の形態１では、圧縮方式としてＭＰＥＧ２を、記録媒体として着脱可能メモリカードを使用したが、特に限定されることは無く、ＤＶフォーマット、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等のその他の動画圧縮方式でも良いし、記録媒体は磁気テープ、ハードディスクドライブ、ＤＶＤ‐ＲＡＭ、ＤＶＤ‐ＲＷ、光ディスク、光磁気ディスク、半導体メモリ等その他の記録媒体を使用しても良い。
【００６８】
また、本実施の形態１で説明した図１の本撮像装置の各構成部はハードウェア処理に限定されることは無く、ソフトウェア実行可能な処理は同等の処理をソフトウェアで行っても良い。
【００６９】
また、上述した実施の形態１の機能を実現するソフトウェアのプログラムコードを、フレキシブルディスク、ハードディスク等、磁気ディスク、光ディスクや光磁気ディスク、或いは不揮発性のメモリカード等に記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置が記憶媒体に格納されたプログラムコードを読みだして実行しても、本実施の形態１の機能を得ることができる。
【００７０】
実施の形態２．
本発明の実施の形態２による撮像装置について、図１を用いて説明を行う。ここでは、実施の形態１による撮像装置と異なる点についてのみ説明を行い、同様の点については説明を省略する。本実施の形態２による撮像装置と実施の形態１による撮像装置の相違点は、本実施の形態２による撮像装置においては、撮影者によるパン／チルト撮影、フォロー撮影動作を動作状態判定部１２７により判定し、検出した移動方向に所定画素数切り出した領域を拡張領域として設定する点である。
【００７１】
まず、相違点として、拡張領域の切出し位置と切出し画素数について説明する。
図５は本実施の形態２における拡張領域の説明図である。図５（ａ）は右方向にパンニングした場合の拡張領域の切出し位置を示す図であり、ＣＣＤ総有効画素５０１は動画モード時にＣＣＤから出力される総有効画素であり本実施の形態２では1260×960画素である。また、記録用領域５０２は720×480画素であり通常時の記録用データとして使用される。拡張領域５０４はカメラ移動方向５０５に対応して記録用領域５０２の右側から切り出す構成になり、記録用領域と拡張領域を結合しリサイズすることにより、ＬＣＤ表示ＹＵＶデータ５０３を得ることができる。また、図５（ｂ）は左方向にパンニングした場合の拡張領域を示す図であり、移動方向５０５に対応した拡張領域５０４を記録用領域５０２の左側から切り出す構成になる。また、図５（ｃ）は上方向にチルト動作した場合の拡張領域を示す図であり、移動方向５０５に対応した拡張領域５０４を記録用領域５０２の上側から切り出す構成になる。また、図５（ｄ）は下方向にチルト動作した場合の拡張領域を示す図であり、移動方向５０５に対応した拡張領域５０４を記録用領域５０２の下側から切り出す構成になる。また、図６（ａ）、図６（ｂ）、図６（ｃ）、図６（ｄ）は斜め方向にカメラ移動した場合の拡張領域の切出し位置を示す図であり、移動方向５０５に対応した拡張領域５０４を記録用領域５０２の周囲から切り出す構成になる。
【００７２】
また、表２は拡張領域の切出し画素数の設定を示す表であり、表示装置の視覚的要素を鑑み、表の通りハイ、ミドル、ローの３段階に設定可能である。尚、表中のＸ、Ｙは図５、図６中の記号Ｘ、Ｙに対応する。
【００７３】
【表２】
2006254116.tif 000004
【００７４】
次に、本実施の形態２における撮像装置の全体動作について説明する。まず、ＯＳＤ１０８により生成した図４のようなメニュー画面により拡張表示モードを設定したことをユーザＩ／Ｆ１２１より検出し、カメラマイコン１１６が認識すると、順次各部の制御を行う。
【００７５】
ジャイロセンサー１１９では垂直の揺れをピッチ方向、水平の揺れをヨー方向で検出し、２方向の角速度情報を出力する。出力された角速度情報はジャイロアンプ１２０で増幅し、カメラマイコン１１６のＡＤ変換ポートで取り込まれる。ここで、取り込みはカメラマイコン１１６の内蔵タイマ機能により、１秒間のフレーム数の約１０倍に相当する１msec単位で繰り返し取り込んでいる。取り込んだ角速度情報は、動作状態判定部１２７にてフィルタ処理、積分処理、位相補償、ゲイン調整、クリップ処理等を施して、撮影動作を判定する。即ち、パン／チルト撮影／フォロー撮影動作であるか、手ブレ動作であるかを判定することとなる。また、移動方向、移動速度から構成されるカメラ動作情報も動作状態判定部１２７にて得ることができる。上記動作状態判定部１２７が手ブレ動作と判定した場合には、揺れ角から画素移動分を算出し、移動分を相殺するように、ＣＣＤ１０２からの被写体画像データの切出し位置調整を切出回路１０５にて行い、記録用領域を調整することにより手ブレ補正を行う。尚、パン／チルト撮影／フォロー撮影動作を検出した際には、動作移行時、復帰時に上記手ブレ補正の効果を調整して、応答性を高め自然な記録画像となるような制御も行っている。
【００７６】
上記動作状態判定部１２７がパン／チルト撮影／フォロー撮影動作と判定した場合、ＣＣＤ１０２から出力される被写体画像データをカメラＤＳＰ１２６内の切出回路１０５にて通常時は720×480画素のみを切り出す所、さらに検出したパン／チルト方向の拡張領域（ここでは、右方向にパンニングしたとし、切出し画素数をミドル設定（180×480画素）とする。）を記録用領域の右側面から切り出す。切り出したデータは夫々ＤＳＰ１０６にて各領域共にノイズ除去処理、色信号処理、輝度信号処理を施し、記録用領域のデータは記録用データとしてＡ／Ｖコーデック１１３に出力され、並行して記録用領域と拡張領域のデータはリサイズ回路１０７に出力される。リサイズ回路１０７では、両領域のデータを結合した900×480画素データを作成し、リサイズ処理により拡張表示データ720×480画素データを生成する。そして、ＯＳＤ１０８にて時刻情報、記録範囲を示す記録範囲枠として点線枠表示が重畳された後、ＮＴＳＣエンコーダ１０９にてアナログＴＶ信号に変換され、ＬＣＤ表示部１１２に表示される。
【００７７】
なお、上記にて説明した以外の画素数設定が行われた場合、及び、その他方向へのパン／チルト動作が行われた場合でも、上記説明した基本動作が行われ、相違点としては、左パンニング時には記録用領域の左側が切り出され、切り出し画素設定がハイ設定の場合はリサイズ元画像が990×480である点、ロー設定の場合は810×480である点が上述したミドル設定の場合とは異なる。
【００７８】
また、上／下チルト動作時には、上チルト動作の場合は記録用領域の上側が切り出され、下チルト動作の場合は下側が切り出され、切り出し画素設定がハイ設定の場合はリサイズ元画像が720×660である点、ミドル設定の場合は、720×600である点、ロー設定の場合は720×540である点が異なる。
【００７９】
また、斜め動作時には、２軸方向の移動を検出した際に検出した方向側２領域が切り出され、切り出し画素設定がハイ設定の場合は990×660である点、ミドル設定の場合は、900×600である点、ロー設定の場合は810×540である点が異なる。
【００８０】
以上のように、本実施の形態２では、動作判定部１２７により、パン／チルト撮影／フォロー撮影動作を検出した際に、切出回路１０５にて、記録用領域に加えて少なくとも１つ以上の拡張領域を切り出し、リサイズ回路１０７にて記録用領域データと拡張領域データから拡張表示データを作成する構成としたことにより、ＬＣＤ表示部１１２にはパン／チルト動作時に記録範囲に加えて記録範囲外の所定範囲の被写体映像が自動的に表示され、カメラ移動方向に撮影者の視野が広がり、移動方向の記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００８１】
なお、本実施の形態２では、動画撮影モード時の拡張表示について説明を行ったが、静止画撮影モードにおいても同様に適応でき、静止画画角640×480画素や1260×960画素のようなＣＣＤ総有効画素よりも小さい記録画角設定時の撮影待機状態においても好適に適応でき、静止画撮影時においても撮影者の視野が広がり記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００８２】
また、本実施の形態２では、拡張領域の設定として図５、図６のように切出し位置を、表２のように移動方向に切り出す画素数を設定したが、使用するＣＣＤの解像度、及び表示するＬＣＤの解像度とインチサイズ、動画／静止画撮影モードの違い、記録領域の画角設定により、異なる切出し位置、切出し画素数を設定しても良く、また、斜め方向への移動時には、揺れ角により縦横切出し比率を変更しても良く、また、移動速度に応じて、切り出し画素数をハイ／ミドル／ローの設定から自動的に選択するようにしても良く、適用する撮像装置システムに最適な設定をすることで、特に視覚的観点で良好な被写体映像が表示でき、カメラ移動方向の撮影者の視野が広がり、記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００８３】
また、本実施の形態２では、撮像素子として総有効画素1600×1200であるＣＣＤセンサを使用したが、より高解像度のＣＣＤセンサ、ＣＭＯＳセンサやその他の撮像素子を使用した場合にも好適に適応することができる。
【００８４】
また、本実施の形態２では記録用画像、表示用画像の画角として720×480画素を使用したが、1920×1080画素等のハイビジョン画角のシステムにおいて適応しても良いし、静止画用記録画角を使用しても良い。
【００８５】
また、本実施の形態２では、記録範囲を示す記録範囲枠として点線枠表示を用いたが、色やデザインを考慮し、実線枠や画像枠のような記録範囲枠を使用しても良い。
【００８６】
また、本実施の形態２では、動画圧縮方式としてＭＰＥＧ２を、静止画圧縮方式としてＪＰＥＧを、記録媒体として着脱可能メモリカードを使用したが、特に限定されることは無く、動画圧縮方式はＤＶフォーマット、ＭＰＥＧ１、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等のその他の動画圧縮方式でも良いし、静止画圧縮フォーマットはＪＰＥＧ２０００等その他の圧縮方式でも良いし、記録媒体は磁気テープ、ハードディスクドライブ、ＤＶＤ‐ＲＡＭ、ＤＶＤ‐ＲＷ、光磁気ディスク、光ディスク、半導体メモリ等その他の記録媒体を使用しても良い。
【００８７】
また、本実施の形態２で説明した図１の本撮像装置の各構成部はハードウェア処理に限定されることは無く、ソフトウェア実行可能な処理は同等の処理をソフトウェアで行っても良い。
【００８８】
また、上述した実施の形態２の機能を実現するソフトウェアのプログラムコードを、フレキシブルディスク、ハードディスク等、磁気ディスク、光ディスクや光磁気ディスク、或いは不揮発性のメモリカード等に記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置が記憶媒体に格納されたプログラムコードを読みだして実行しても、本実施の形態２の機能を得ることができる。
【００８９】
実施の形態３．
本実施の形態３の撮像方法について、図７のフローチャートを用いて説明を行う。
本実施の形態３は上述の実施の形態１による撮像装置をソフトウェアにて実現する方法であり、記録用領域に加えて少なくとも一つ以上の拡張領域を切り出し、記録用領域データと拡張領域データから拡張表示データを作成し表示する機能をソフトウェアにより実施している。ここで、本実施の形態３を適用させるシステム又は装置には、被写体画像、音声は入出力デバイスにより、デジタルデータとして入力されるものとし、システム又は装置のＣＰＵ／ＭＰＵはシステム内のワークメモリ、ハードディスク等の記録媒体等のシステム資源を自由に使用できるものとする。
【００９０】
まず、通常時の全体処理を図７により説明すると、動画記録時には、入力ステップにて、入力デバイスから撮像装置の動き情報、被写体画像、音声デジタルデータの入力を行い、システム内のメモリに取り込む（Ｓ６０１）。ここで、データフォーマットは、映像データはＣＣＤ  ＲＡＷデータであるとし、総有効画素1600×1200画素のデータが入力され、音声データは１６ｂｉｔ  ＰＣＭデータフォーマット、撮像装置の動き情報は移動方向、移動速度の２つであるとする。次に、画像切出しステップにてシステムメモリ上の被写体データより720×480画素の記録用領域を切り出す（Ｓ６０２）。画像処理／音声処理ステップにて、画像データのノイズ除去、輪郭強調、輝度信号処理、色信号処理を施し、記録用データと、表示用データを作成し、また、音声データのフィルタ処理を行う（Ｓ６０３）。次に、圧縮ステップにて、画像データ、音声データをＭＰＥＧ２フォーマットで圧縮を行い、ＭＰＥＧ２プログラムストリームを生成する（Ｓ６０４）。記録ステップでは、得られたプログラムストリームをシステム内の記録媒体に格納する（Ｓ６０５）。また、表示ステップでは、画像処理ステップで得られた表示用データを表示デバイスに出力し被写体画像の表示を行う（Ｓ６０６）。
【００９１】
次に、動作モードが静止画記録モードの場合、動画モードと異なる点は、画像切出しステップにて切り出す画像データの画角が異なる点と、画像処理ステップにて、静止画用信号処理を行う点と圧縮ステップにてＪＰＥＧフォーマットで圧縮する点である。
尚、静止画記録画角は1600×1200の他、1280×960、640×480の画角が設定可能である。
【００９２】
また、静止画撮影待機時にはモニタモードとして、入力ステップで取得した画像データから記録領域全体を間引いて720×480画素を切り出し、画像処理ステップにて各信号処理を行い、表示用データを作成し、時刻情報、ＧＵＩを重畳した後、表示ステップにて被写体モニタ表示を行う。
【００９３】
次に動画再生時には、圧縮データ読み出しステップにて記録媒体に記録されたＭＰＥＧ２ストリームを読み出し、伸張ステップによりデコードし、ビデオデータ、オーディオデータを得る（Ｓ６０７、Ｓ６０８）。画像出力ステップ／音声出力処理ステップでは、文字データやＧＵＩ等のビデオデータへの付加やオーディオデータへのイコライザ処理を施し、表示ステップにて表示／音声出力を行う（Ｓ６０９、Ｓ６１０）。
【００９４】
静止画再生時は、動画再生時とはＪＰＥＧファイルを読み出し、伸張を行う点が異なり、伸張されたデータを画像出力ステップにて表示ステップでの表示に必要な720×480画素にリサイズする点が異なる。
【００９５】
次に、本実施の形態３で特徴とする拡張表示について説明する。拡張表示に使用する拡張領域は実施の形態１で使用した図２の切出し位置、表１の切出し画素数と同等の設定とするため、各拡張領域の説明は省略する。ユーザにより拡張表示モードが設定された場合の画像切出しステップ（Ｓ６０２）での処理について図８のフローチャートを用いて説明を行う。
【００９６】
まず、ユーザによる表示モードの設定を表示モード判定ステップにて判定する（Ｓ７０１、Ｓ７０２）。モード判定により、拡張領域の切出し位置、切出し画素数の設定を取得し、切出し位置、画素数を設定する（Ｓ７０３、Ｓ７０４）。
ここでは、記録用領域の上下を拡張領域として切り出す上下表示モード、ミドル設定（720×120）が設定されたものとする。
【００９７】
次に、入力ステップから得られる入力画像データから記録用領域と拡張領域を切出し、システム内のメモリに格納する（Ｓ７０５、Ｓ７０７）。
上記ステップから得られた720×480画素の記録用領域と720×120画素×２領域の拡張領域データを用いて、画像処理ステップ（Ｓ６０３）にて、両領域ともに前述の処理を施した後、拡張領域と記録用領域を結合した後リサイズ処理を行い、720×480画素の拡張表示データを生成する。さらに、時刻情報及び記録範囲を示す記録範囲枠として点線枠表示を重畳し、表示ステップ（Ｓ６０６）にて表示デバイスに出力する。
【００９８】
以上のように、本実施の形態３では、画像切出しステップ（Ｓ６０２）にて記録用領域に加えて少なくとも１つ以上の拡張領域を切り出し、画像処理ステップ（Ｓ６０３）にて記録用領域データと拡張領域データからリサイズ処理により拡張表示データを作成するようにしたことにより、表示デバイスには記録範囲に加えて記録範囲外の所定範囲の被写体映像が自動的に表示され、撮影者の視野が広がり、記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【００９９】
なお、本実施の形態３では、動画撮影モード時の拡張表示について説明を行ったが、静止画撮影モードにおいても同様に適応でき、静止画画角640×480画素のようなＣＣＤ総有効画素よりも小さい記録画角設定時の撮影待機状態においても好適に適応でき、静止画撮影時においても撮影者の視野が広がり記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【０１００】
また、本実施の形態３では、拡張領域の設定として切出し位置を図２のように、切出し画素数を表１のように設定したが、使用する外部映像入力デバイスの解像度、及び表示する表示デバイスの解像度、動画／静止画撮影モードの違い、記録領域の画角設定により、異なる切出し位置、切出し画素数を設定しても良く、適用する撮像装置システムに最適な設定をすることで、特に視覚的観点で良好な、被写体映像が表示でき、撮影者の視野が広がり、記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【０１０１】
また、本実施の形態３では、外部から入力する画像データの撮像素子として総有効画素1600×1200であるＣＣＤセンサを使用したが、より高解像度のＣＣＤセンサ、ＣＭＯＳセンサやその他の撮像素子を使用した場合にも好適に適応することができる。
【０１０２】
また、本実施の形態３では記録用画像、表示用画像の画角として720×480画素を使用したが、1920×1080画素等のハイビジョン画角のシステムにおいて適応しても良いし、静止画用記録画角を使用しても良い。
【０１０３】
また、本実施の形態３では、記録範囲を示す記録範囲枠として点線枠表示を用いたが、色やデザインを考慮し、実線枠や画像枠のような記録範囲枠を使用しても良い。
【０１０４】
また、本実施の形態３では、圧縮方式としてＭＰＥＧ２を、記録媒体としてハードディスクドライブを使用したが、特に限定されることは無く、ＤＶフォーマット、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等のその他の動画圧縮方式でも良いし、記録媒体は磁気テープ、ＤＶＤ‐ＲＡＭ、ＤＶＤ‐ＲＷ、光ディスク、光磁気ディスク、半導体メモリ等その他の記録媒体を使用しても良い。
【０１０５】
また、上述した実施の形態３のプログラムコードを、フレキシブルディスク、ハードディスク、光ディスクや光磁気ディスク、或いは不揮発性のメモリカード等に記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置が記憶媒体に格納されたプログラムコードを読みだして実行しても、本実施の形態３の機能を得ることができる。
【０１０６】
実施の形態４．
本実施の形態４の撮像方法は実施の形態２による撮像装置をソフトウェアにて実現する方法であり、撮像素子の移動方向を検出して移動方向に設定した拡張領域を自動的に切り出し、リサイズ処理を施して拡張表示データを作成し表示する機能をソフトウェアにより実施している。ここで、本実施の形態４を適用させるシステム又は装置には、被写体画像、音声は入出力デバイスにより、デジタルデータとして入力されるものとし、システム又は装置のＣＰＵ／ＭＰＵはシステム内のワークメモリ、ハードディスク等の記録媒体等のシステム資源を自由に使用できるものとする。
【０１０７】
また、実施の形態３と共通の部分である、通常時の記録再生動作については説明を省略し、実施の形態３との相違点のみ説明することとする。
相違点としては、図７における入力処理ステップ（Ｓ６０１）においてカメラ動作情報を取得し、画像切出しステップ（Ｓ６０２）にて、カメラ動作情報からパン／チルト動作を検出した場合に、記録用領域に加えて、拡張領域を設定して切り出すことにより、カメラ動作、及び移動方向に対応した拡張表示を自動的に行うことが本実施の形態４で特徴とする点であり、主にこの点について説明を行う。
【０１０８】
ここで、本実施の形態４で使用する拡張領域については、実施の形態２で使用した図５の切出し位置、表２の切出し画素数と同等の設定としているため、各拡張領域の説明は省略する。
ここでは、上方向にチルト動作したものとし、切り出し画素数設定をミドル設定されているものとする。
【０１０９】
まず、画像切出しステップ（Ｓ６０２）について、図９のフローチャートを用いて説明を行う。
カメラ動作情報取得ステップにて、撮像入力デバイスからカメラ動作情報と画像データ、音声データを取得する（Ｓ８０１）。ここで、カメラ動作情報は移動方向、移動速度から構成される。
【０１１０】
次に、拡張表示モードが設定されている場合は、得られたカメラ動作情報から動作判定を行い、パン／チルト撮影／フォロー撮影動作の検出を行う（Ｓ８０２、Ｓ８０３）。ここでは、上方向へのチルト動作が判定されたものとする。次に、切出し位置はカメラ動作情報から、切出し画素数はユーザ設定から設定値を抽出し、拡張領域の切出し設定を行う（Ｓ８０４）。ここでは、検出した移動情報から、切り出し位置は記録用領域の上側、切り出し画素数はミドル設定となる。この設定をもとに、メモリ上の1600×1200画素の画像データから720×480画素の記録用領域と720×120画素の拡張領域を切出し、システム内のメモリに格納する（Ｓ８０５、Ｓ８０７）。
【０１１１】
上記から得られた720×480画素の記録用領域と720×120画素の拡張領域データを用いて、画像処理ステップ（Ｓ６０３）にて、両領域ともに前述した処理が施された後、拡張領域と記録用領域を結合した後リサイズ処理を行い、720×480画素の拡張表示データを生成する。さらに、生成された拡張表示データは、時刻情報及び記録範囲を示す記録範囲枠として点線枠表示が重畳された後、表示ステップ（Ｓ６０６）にて表示デバイスに出力される。
【０１１２】
以上のように、本実施の形態４では、入力ステップ（Ｓ６０１）にて取得したカメラ動作情報に対応して画像切出しステップ（Ｓ６０２）にて記録用領域に加えて少なくとも１つ以上の拡張領域を切り出し、画像処理ステップ（Ｓ６０３）にて記録用領域データと拡張領域データからリサイズ処理により拡張表示データを作成するようにしたことにより、表示デバイスには記録範囲に加えて記録範囲外の所定範囲の被写体映像がカメラ移動方向に自動的に表示され、撮影者の視野が広がり、記録領域周囲の状況を確認することができ、パン／チルト撮影時の撮影失敗を防ぐことができる。
【０１１３】
なお、本実施の形態４では、動画撮影モード時の拡張表示について説明を行ったが、静止画撮影モードにおいても同様に適応でき、静止画画角640×480画素のようなＣＣＤ総有効画素よりも小さい記録画角設定時の撮影待機状態においても好適に適応でき、静止画撮影時においても撮影者の視野が広がり記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【０１１４】
また、本実施形態４では、拡張領域の設定として図５、図６のように切出し位置を、表２のように画素数を設定したが、使用する外部入力デバイスの解像度、及び表示する表示デバイスの解像度、動画／静止画撮影モードの違い、記録領域の画角設定により、異なる切出し位置、切出し画素数を設定しても良く、また、斜め方向への移動時には、揺れ角により縦横切出し比率を変更しても良く、また、カメラ動作情報から検出した速度に応じて切り出し画素数をハイ／ミドル／ローの設定から自動的に選択するようにしても良く、適用する撮像装置システムに最適な設定をすることで、特に視覚的観点で良好な、被写体映像が表示でき、撮影者の視野が広がり、記録領域周囲の状況を確認することができるので、パン／チルト撮影時の撮影失敗を防ぐことができる。
【０１１５】
また、本実施の形態４では、外部から入力する画像データの撮像素子として総有効画素1600×1200であるＣＣＤセンサを使用したが、より高解像度のＣＣＤセンサ、ＣＭＯＳセンサやその他の撮像素子を使用した場合にも好適に適応することができる。
【０１１６】
また、本実施の形態４では記録用画像、表示用画像の画角として720×480画素を使用したが、1920×1080画素等のハイビジョン画角のシステムにおいて適応しても良いし、静止画用記録画角を使用しても良い。
【０１１７】
また、本実施の形態４では、記録範囲を示す記録範囲枠として点線枠表示を用いたが、色やデザインを考慮し、実線枠や画像枠のような記録範囲枠を使用しても良い。
【０１１８】
また、本実施の形態４では、圧縮方式としてＭＰＥＧ２を、記録媒体としてハードディスクドライブを使用したが、特に限定されることは無く、ＤＶフォーマット、ＭＰＥＧ４、ＭｏｔｉｏｎＪＰＥＧ等のその他の動画圧縮方式でも良いし、記録媒体は磁気テープ、ＤＶＤ‐ＲＡＭ、ＤＶＤ‐ＲＷ、光ディスク、光磁気ディスク、半導体メモリ等その他の記録媒体を使用しても良い。
【０１１９】
また、上述した実施の形態４のプログラムコードを、フレキシブルディスク、ハードディスク、光ディスクや光磁気ディスク、或いは不揮発性のメモリカード等に記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置が記憶媒体に格納されたプログラムコードを読みだして実行しても、本実施の形態４の機能を得ることができる。
【産業上の利用可能性】
【０１２０】
本発明にかかる撮像方法及び装置は、表示装置に記録範囲に加えて記録範囲外の所定範囲の被写体映像を自動的に表示することにより、記録領域周囲の状況を確認することができ、撮像装置における被写体表示方法として有用である。
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施の形態１、２における撮像装置の構成図
【図２】本発明の実施の形態１、３における拡張領域の切出し位置の説明図
【図３】本発明の実施の形態１におけるメニュー画面
【図４】本発明の実施の形態２におけるメニュー画面
【図５】本発明の実施の形態２、４における拡張領域の切出し位置の説明図
【図６】本発明の実施の形態２、４における拡張領域の切出し位置の説明図
【図７】本発明の実施の形態３、４における通常記録再生動作を説明するフローチャート図
【図８】本発明の実施の形態３における拡張領域切出処理を説明するフローチャート図
【図９】本発明の実施の形態４における拡張領域切出処理を説明するフローチャート図
【符号の説明】
【０１２２】
１０１  撮像レンズ
１０２  ＣＣＤ
１０３  レンズ駆動モータ
１０４  ＣＤＳ／ＡＧＣ／ＡＤＣ
１０５  切出回路
１０６  ＤＳＰ
１０７  リサイズ回路
１０８  ＯＳＤ
１０９  ＮＴＳＣエンコーダ
１１０  カメラタイミングコントロール
１１１  メモリ
１１２  ＬＣＤ表示部
１１３  Ａ／Ｖコーデック
１１４  メモリ
１１５  記録媒体
１１６  カメラマイコン
１１７  ＣＰＵ
１１８  メモリ
１１９  ジャイロセンサー
１２０  ジャイロアンプ
１２１  ユーザＩ／Ｆ
１２２  マイク
１２３  オーディオアンプ
１２４  スピーカ
１２５  オーディオＡＤ／ＤＡ
１２６  カメラＤＳＰ
１２７  動作状態判定部
２０１  ＣＣＤ総有効画素
２０２  記録用領域
２０３  ＬＣＤ表示ＹＵＶデータ
２０４  拡張領域
３０１、４０１  メニュー画面
３０２、４０２  メニュー項目
３０３、４０３  メニュー決定カーソル
５０１  ＣＣＤ総有効画素
５０２  記録用領域
５０３  ＬＣＤ表示ＹＵＶデータ
５０４  拡張領域
５０５  カメラ移動方向
Ｓ６０１  入力ステップ
Ｓ６０２  画像切出しステップ
Ｓ６０３  画像処理／音声処理ステップ
Ｓ６０４  圧縮ステップ
Ｓ６０５  記録ステップ
Ｓ６０６  表示ステップ
Ｓ６０７  圧縮データ読み出しステップ
Ｓ６０８  伸張ステップ
Ｓ６０９  画像出力／音声出力処理ステップ
Ｓ６１０  表示ステップ
Ｓ７０１  表示モード設定ステップ
Ｓ７０２  表示モード判定ステップ
Ｓ７０３  拡張領域設定判定ステップ
Ｓ７０４  拡張領域設定ステップ
Ｓ７０５  記録用領域、拡張領域切出しステップ
Ｓ７０６  記録用領域切出しステップ
Ｓ７０７  メモリ格納ステップ
Ｓ８０１  カメラ動作情報取得ステップ
Ｓ８０２  表示モード判定ステップ
Ｓ８０３  カメラ動作状態判定ステップ
Ｓ８０４  拡張領域設定ステップ
Ｓ８０５  記録用領域、拡張領域切出しステップ
Ｓ８０６  記録用領域切出しステップ
Ｓ８０７  メモリ格納ステップ
【図１】
2006254116.tif 000005
【図２】
2006254116.tif 000006
【図３】
2006254116.tif 000007
【図４】
2006254116.tif 000008
【図５】
2006254116.tif 000009
【図６】
2006254116.tif 000010
【図７】
2006254116.tif 000011
【図８】
2006254116.tif 000012
【図９】
2006254116.tif 000013