(57)【要約】【課題】記録媒体の記録エリアの確保と、記録された画像の検索を容易にし、通信媒体を介した伝送にも好適な画像情報記録装置と画像情報処理方法の提供を目的とする。【解決手段】撮像装置１０で撮影された画像を信号処理装置１５で信号処理した後、画像処理装置１９で撮影画像の特徴を抽出し、映像信号と共にコンピュータ２０に送って記憶装置２２に記録する。また、撮像装置１０の近傍に日照センサ２６、焦電センサ２７、マイク２８等の各種センサを設け撮影環境を検出して、その検出データも記憶装置２２に記録する。この抽出した特徴や撮影環境データを観点として、各要素について重み付けをして統計し、画像を検索する。また統計によって必要度の低い画像を消去し、または再度圧縮して記録して画像記録エリアを確保する。抽出する特徴やその他の操作指示はモニター２４のグラフィカルユーザインタフェースを介して行う。【選択図】  図１
2010124474.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して電気信号に変換する撮像手段と、
撮影した画像を記録媒体に記録する画像情報記録手段と、
現に撮影した画像および既に撮影し記録した画像の中から、特定の画像を選択する画像選択手段と、
前記画像選択手段により選択された画像を消去する画像消去手段と、
前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、
選択された画像を消去し、または圧縮して再度記録することを特徴とする画像情報記録装置。
【請求項２】
被写体を撮影して電気信号に変換する撮像手段と、
撮影した画像から特徴を抽出する特徴抽出手段と、
撮影した画像と抽出された特徴とを同時に記録媒体に記録する画像情報記録手段とを具備したことを特徴とする画像情報記録装置。
【請求項３】
被写体を撮影して電気信号に変換する撮像手段と、
撮影する時の撮影環境を検出する各種の検出手段と、
撮影した画像と前記検出手段の検出出力とを同時に記録媒体に記録する画像情報記録手段とを具備したことを特徴とする画像情報記録装置。
【請求項４】
被写体を撮影して電気信号に変換する撮像手段と、
撮影した画像から特徴を抽出する特徴抽出手段と、
撮影した画像と抽出された特徴とを同時に記録媒体に記録する画像情報記録手段と、
現に撮影した画像および既に撮影し記録した画像の中から、前記抽出された特徴に基づいて画像を選択する画像選択手段と、
前記画像選択手段により選択された画像を消去する画像消去手段と、
前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、
選択された画像を消去し、または圧縮して再度記録することを特徴とする画像情報記録装置。
【請求項５】
被写体を撮影して電気信号に変換する撮像手段と、
撮影する時の撮影環境を検出する各種の検出手段と、
撮影した画像と前記検出手段の検出出力を同時に記録媒体に記録する画像情報記録手段と、
現に撮影した画像および既に撮影し記録した画像の中から、前記抽出された特徴に基づいて画像を選択する画像選択手段と、
前記画像選択手段により選択された画像を消去する画像消去手段と、
前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、
選択された画像を消去し、または圧縮して再度記録することを特徴とする画像情報記録装置。
【請求項６】
請求項２に記載の画像情報記録装置において、
特徴抽出手段により抽出され、記録された特徴に基づいて、記録されている画像を検索し画像処理をすることを特徴とする画像情報処理方法。
【請求項７】
請求項３に記載の画像情報記録装置において、
前記検出手段により検出され、記録された撮影環境の検出結果に基づいて、記録されている画像を検索し画像処理をすることを特徴とする画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録媒体の記録エリアを有効に確保し、記録されている画像情報の検索や各種画像処理を容易に行うことができる画像情報記録装置と画像情報処理方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラ等による撮影画像の記録は、おもにテープ状記録媒体を用いて時系列で記録されてきた。また、画像以外の情報、例えば日時、タイトル等も画像情報に変換され撮影画像に付加して記録されていた。
【０００３】
しかしながら、テープ状記録媒体を用いた記録では、目的とする画像を再生するためには画像を再生してチェックしながら、テープの送り、巻き戻しをする必要があり、煩雑で時間のかかるものであった。一方、このような問題を有しながらもテープ状記録媒体の膨大な記録容量の特徴により種々な分野で広く用いられている。例えば監視用途においては絶えず記録を続ける必要があり、記録媒体の容量の大きいことが必須である。
【０００４】
この膨大な記録容量の中から必要とする画像を検索することは、たとえ上述したように、日時、タイトル等が記録してあったとしてその箇所を再生するために煩雑な操作と時間が必要であり、また、通信回線を介してこれらの画像を検索し目的とする画像情報を伝送することは膨大な時間とコストを必要とするものであった。
【０００５】
一方、ディスク状記録媒体はそのアクセスの速さにおいて極めて有効であるが、記憶容量が少なく、従って大きな記録容量を得るためには複数枚のディスクを用いて構成する必要があり、このため装置が大きくなり、高価になるという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−００９３１２号公報
【特許文献２】特開平０７−０９５５１７号公報
【特許文献３】特開平０９−１３０７２２号公報
【特許文献４】特開平０５−２５２４３２号公報
【特許文献５】特開平０６−２５３２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って本発明は、長時間の記録が可能であって、記録された画像の検索が容易であり、操作性が良く、通信媒体を介した伝送にも好適な画像情報記録装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記課題に鑑みなされたものであり、請求項１に記載の発明によれば、被写体を撮影して電気信号に変換する撮像手段と、撮影した画像を記録媒体に記録する画像情報記録手段と、現に撮影した画像および既に撮影し記録した画像の中から、特定の画像を選択する画像選択手段と、前記画像選択手段により選択された画像を消去する画像消去手段と、前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、選択された画像を消去し、または圧縮して再度記録する画像情報記録装置を構成する。
【０００９】
請求項２に記載の発明によれば、被写体を撮影して電気信号に変換する撮像手段と、撮影した画像から特徴を抽出する特徴抽出手段と、撮影した画像と抽出された特徴とを同時に記録媒体に記録する画像情報記録手段とを具備した画像情報記録装置を構成する。
【００１０】
請求項３に記載の発明によれば、被写体を撮影して電気信号に変換する撮像手段と、撮影する時の撮影環境を検出する各種の検出手段と、撮影した画像と前記検出手段の検出出力とを同時に記録媒体に記録する画像情報記録手段とを具備した画像情報記録装置を構成する。
【００１１】
請求項４に記載の発明によれば、被写体を撮影して電気信号に変換する撮像手段と、撮影した画像から特徴を抽出する特徴抽出手段と、撮影した画像と抽出された特徴とを同時に記録媒体に記録する画像情報記録手段と、現に撮影した画像および既に撮影し記録した画像の中から、前記抽出された特徴に基づいて画像を選択する画像選択手段と、前記画像選択手段により選択された画像を消去する画像消去手段と、前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、選択された画像を消去し、または圧縮して再度記録する画像情報記録装置を構成する。
【００１２】
請求項５に記載の発明によれば、被写体を撮影して電気信号に変換する撮像手段と、撮影する時の撮影環境を検出する各種の検出手段と、撮影した画像と前記検出手段の検出出力を同時に記録媒体に記録する画像情報記録手段と、現に撮影した画像および既に撮影し記録した画像の中から、前記抽出された特徴に基づいて画像を選択する画像選択手段と、前記画像選択手段により選択された画像を消去する画像消去手段と、前記画像選択手段により選択された画像を圧縮する画像圧縮手段とを具備し、選択された画像を消去し、または圧縮して再度記録する画像情報記録装置を構成する。
【００１３】
請求項６に記載の発明によれば、請求項２に記載の画像情報記録装置において、特徴抽出手段により抽出され、記録された特徴に基づいて、記録されている画像を検索し画像処理をする画像情報処理方法を導入する。
【００１４】
請求項７に記載の発明によれば、請求項３に記載の画像情報記録装置において、検出手段により検出され、記録された撮影環境の検出結果に基づいて、記録されている画像を検索し画像処理をする画像情報処理方法を導入する。
【００１５】
請求項１の記載によれば、使用者が注目する画像の観点に基づいて画像を圧縮し、消去するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００１６】
請求項２の記載によれば、使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００１７】
請求項３の記載によれば、撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００１８】
請求項４の記載によれば、この画像情報記録装置によれば、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００１９】
請求項５の記載によれば、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００２０】
請求項６の記載によれば、抽出された特徴に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。また、請求項７の記載によれば、検出手段による検出結果に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。
【発明の効果】
【００２１】
以上の説明から明らかなように、請求項１の発明によれば、使用者が注目する画像の観点に基づいて画像を圧縮し、または消去するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００２２】
また、請求項２の発明によれば、使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００２３】
また、請求項３の発明によれば、撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００２４】
また、請求項４の発明によれば、この画像情報記録装置によれば、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００２５】
また、請求項５の発明によれば、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００２６】
さらに、請求項６の発明によれば、抽出された特徴に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。また、請求項７の発明によれば、検出手段による検出結果に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係わる画像情報記録装置のシステム構成である。
【図２】撮影された画像情報の処理の流れを示す図である。
【図３】本発明に係わる画像情報記録装置の、ネットワークを用いた遠隔操作システムの構成を示す図である。
【発明を実施するための形態】
【００２８】
本発明は、使用者が注目する観点に基づいて画像の種々な処理が効率よく行えると共に、限られた記録容量を有効に活用して、必要とする画像を数多く記録できる画像情報記録装置と画像情報処理方法を提供するものであって、さらにはこの画像情報記録装置を通信回線を介して遠隔操作するときの画像データ、制御情報の通信時間を短縮して制御の即時性を実現するためのものである。
【００２９】
その画像情報記録装置の構成として、被写体を撮影して電気信号に変換する撮像手段、例えばＣＣＤを用いたビデオカメラや電子スチルカメラと、撮影した画像を記録媒体に記録する画像情報記録手段、例えばＶＴＲと、現に撮影した画像、もしくは記録した画像の中から特定の画像を選択する画像選択手段、例えば所定の認識プログラムを有するＣＰＵと、前記選択された画像を消去する画像消去手段と、前記選択された画像を圧縮する画像圧縮手段、例えばＪＰＥＧの圧縮アルゴリズムを有するＣＰＵ等とを具備していて、所定の基準に準拠して画像を選択して消去し、または圧縮して再度記録し、記録媒体、例えば磁気テープ等の画像記録エリアを確保する。
【００３０】
また、記録した画像から使用者が希望する特徴、例えば物体の動き、色、明るさ等を抽出する手段、例えば所定の特徴を抽出するプログラムを有するＣＰＵや、撮影したときの環境を検知する検出装置、例えば温度センサ、ドアセンサ、マイクロホン等とを有していて、抽出された画像の特徴や検出装置の検出結果を画像と共に記録媒体に記録する。さらに加えて日付、時刻、あるいは撮像の画角や方向の情報を記録してもよい。
【００３１】
上述した構成で画像を記録し、記録エリアが不足してくると記録済の画像に優先順位をつけ重要でないものから順に消去し、または圧縮を行って再度記録する。この優先順位の決定は使用者が意図する観点から画像の特徴の種類や、各検出装置に応じて重み付けがなされ、それらの総合的な統計に基づいて消去、または圧縮される画像が決定される。
【００３２】
例えば目的とする物体の動きに注目した場合、１００フレーム中１０フレームにその物体の動きが記録されていた場合は、残りの９０フレームは不要であり消去してそのエリアは新たな画像の記録に用いられる。また例えば所定の温度範囲のときの画像だけを残したり、所定の時間の画像だけを残す等、種々な条件を設定し、または複数の条件を同時に設定してそれらの間に重み付けをし、計数して画像の消去、圧縮、記録等を行う。
【００３３】
記録媒体の記録エリアがさらに少なくなった場合は、前述した条件のレベルをより厳しくして、必要度の低い順からさらに消去、または圧縮を行い、新しい重要な画像を記録するエリアを確保する。
【００３４】
また、画像と同時に記録した、画像から抽出した特徴や各検出装置の出力に基づいて、所望する検索や分類処理に供することも可能である。尚、上述した画像情報記録装置において、記録されている画像を再生するために、再生する画像を指定する操作入力手段、圧縮された画像を伸長する伸長手段、画像表示手段等が必要であることは言うまでもない。
【００３５】
つぎに、本発明の実施の形態例について図１ないし図３を参照して説明する。図１は本発明に係わる画像情報記録装置のシステム構成であり、図２は撮影された画像情報の処理の流れを示す図であり、図３は本発明に係わる画像情報記録装置の、ネットワークを用いた遠隔操作システムの構成を示す図である。
【００３６】
まず、本発明の画像情報記録装置は図１に示すように構成されている。撮像装置１０は例えばビデオカメラであって、被写体から到達する撮像光をレンズブロック１１のレンズ、絞りを通して固体撮像素子であるＣＣＤ１２上に結像させて視野映像を映像信号に変換した後、信号分離、自動利得調整を行う。信号分離、自動利得調整はＳＨ／ＡＧＣ１３により、映像信号をサンプルホールドすると共に、オートアイリスの制御信号によって所定のゲインとなるように利得制御が行われる。
【００３７】
このようにして得られた映像信号はＡ／Ｄ（アナログデジタル変換装置）１４でデジタル信号に変換され、信号処理装置１５に供給される。信号処理装置１５では供給された信号を輝度、色差、ビデオ信号等の信号に変換し、モニター１８やコンピュータ２０に内蔵するビデオキャプチャー装置２１に供給する。また、信号処理装置１５の出力は画像処理装置１９に入力され、指示に従って特徴抽出等の画像の処理を行う。
【００３８】
また、撮像装置１０のレンズブロック１１は変倍用レンズ１６を駆動することによって撮像する画角を変化させることが可能なズームレンズであり、カメラコントローラ２の駆動命令により、例えばステッピングモータ等を用いたズームモータ１７を回転させ、変倍用レンズ１６を駆動する。このカメラコントローラ２は撮像装置１０のフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタースピード等の露出制御、ホワイトバランス制御、画質制御等を常時行うコントローラであると共に、モードコントローラ１と撮像装置１０との間のインターフェースをとっている。
【００３９】
変倍用レンズ１６の制御に関連するカメラコントローラ２のインターフェース制御として、モードコントローラ１から送られてくる変倍用レンズ１６の駆動要求に対して、要求された位置に変倍用レンズ１６が駆動されるように制御信号をモータのドライバーに出力してズームモータ１７の位置を制御すると共に、現在のズームモータ１７の位置を常時モードコントローラ１に伝達する。
【００４０】
また、撮像装置１０はパン、チルトといった２軸の回転方向に自由度を有する装置、例えばパンチルタ４の上に設置されていて、パンチルタコントローラ３の駆動命令により、ステッピングモータ等を用いたパンモータ５、およびチルトモータ６を回転させ、パンチルタ４は２つの軸方向に駆動される。このパンチルタコントローラ３はモードコントローラ１より送られてくるパンチルタ４のパン、チルトの各々の方向の駆動要求に対して、パンチルタ４が要求された位置に駆動されるように制御信号をモータのドライバーに出力すると共に、現在のパンチルタ４の位置を常時モードコントローラ１に伝達する。
【００４１】
モードコントローラ１はパンチルタ４、撮像装置１０の設定状態、その他外部から入力される情報に従い、システムを制御する。また、モードコントローラ１はコンピュータ２０と接続され、コンピュータ２０からの絶対位置駆動要求に対して、パンチルタ４、レンズブロック１１の変倍用レンズ１６を駆動するようにカメラコントローラ２とパンチルタコントローラ３に指令を伝達し、一方、カメラコントローラ２とパンチルタコントローラ３から送られてくる現在の位置情報をコンピュータ２０に伝達する。
【００４２】
本発明では制御装置２３としてコンピュータ２０の機能を用い、また、操作の入力はコンピュータ２０に接続されたモニター２４のグラフィック表示のグラフィカルユーザインターフェースを用いる。操作領域２４ｃで入力された操作指令に基づいてモードコントローラ１に伝達する各制御データが決定される。操作入力はこの他にポインティングデバイス２５等の外部入力装置を用いてもよい。
【００４３】
また、撮像装置１０で得られた映像の表示や保存のためビデオキャプチャー装置２１がコンピュータ２０に内蔵されている。このビデオキャプチャー装置２１は撮像装置１０より入力されてくる映像信号を、任意の画質でモニター２４の画像表示領域２４ａに表示することが可能であり、また、キャプチャー信号により所定の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、ＪＰＥＧ形式の動画等）に、任意の画質で取り込み、コンピュータ２０内のハードディスク等で構成される記憶装置２２に記憶する。この記憶装置２２は磁気テープあるいは磁気ディスク等を記録媒体としている。磁気テープを用いる場合はランダムアクセスのよい、例えば半導体メモリ等にその画像の磁気テープ上での位置とインデックスを記録することによって、磁気テープ上へのアクセスを容易にする。また、インデックスとは、詳しくは後段で説明するが画像から抽出した特徴や各種センサの出力等である。
【００４４】
さらに、撮像装置１０の近辺に日照センサ２６、人の接近を検知する焦電センサ２７、マイク２８等の各種センサが設けられ、その出力はコンピュータ２０に接続されていて、撮影したときの環境状況を検出し画像と共にその情報を記録する。
【００４５】
モニター２４は、その画面は例えば画像表示領域２４ａとインディックス表示領域２４ｂと操作領域２４ｃに分割されていて、画像表示領域２４ａには撮影した画像や記憶装置２２から読み出した画像、あるいはインディックス表示領域２４ｂに表示されるインディックスと操作領域２４ｃから入力される検索指示により検索された画像等の縮小一覧が表示される。
【００４６】
つぎに、本実施の形態例の画像情報、センサ出力等のデータ処理の流れについて図２を参照して説明する。
【００４７】
カメラで撮影された映像は（Ｓ１０１）、まず画像処理装置１９で動体検出・被写体認識等がなされ、撮影条件、例えば画角、フォーカス、露出、ホワイトバランス等の情報と共にコンピュータ２０の優先度評価に送られる（Ｓ１０５）。ここで前述した重み付けされた条件に基づいて、削除、圧縮される画像の優先度の評価が行われる。また、センサからの情報（Ｓ１０２）も優先度評価に送られ、後述する空間周波数成分分析の結果（Ｓ１０４）と共に、操作者が設定する評価基準に基づいて画像の優先度の評価に供される。
【００４８】
また、カメラで撮影された映像は、ビデオキャプチャに送られ（Ｓ１０３）、前述した空間周波数成分分析（Ｓ１０４）と画像圧縮（Ｓ１１０）に供される。空間周波数成分分析は例えば４フレーム中の１フレームについて計算する。尚、ここでは彩度等他の特徴の分析手段も合わせて導入してもよい。
【００４９】
また、画像記録の優先順位を決定するため、複数の観点から各画像の重要度を得点化し、例えば４フレーム毎に１バイトの得点をつけ、メモリに格納する。観点の例として、記録されてからの経過時間、高空間周波数成分のエネルギ、彩度の分散、動体検出の結果、被写体認識の結果、焦電センサの変化、日照センサの値、マイクロフォンの音量、画像のこれまでの圧縮度等がある。さらに操作者が注目する観点を付加してもよく、また、各観点に重み付けをしてもよい。
【００５０】
上述した各観点の得点を集計し、優先度表を作成し（Ｓ１０６）、この優先度表から度数分布を求め（Ｓ１０７）、さらなる画像記録に必要なエリアを確保できるように閾値を定めて（Ｓ１０８）、消去、再圧縮の画像を決定する（Ｓ１０９）。この決定に基づいて記録装置の対応する画像位置を指示し（Ｓ１１１）、削除、あるいは再圧縮が行われる（Ｓ１１２）。再生時はポインティングデバイスにより表示する画像が選択されると（Ｓ１１３）、記録位置から対応位置を読み出し（Ｓ１１４）、圧縮された画像データを展開して（Ｓ１１５）、結果はモニターに表示される（Ｓ１１６）。
【００５１】
圧縮アルゴリズムとして、例えばＪＰＥＧの拡張方式の１つであるスペクトル選択によるプログレッシブ方式がある。この方式は、解像度を下げて画像を再圧縮する際に、高周波数成分の係数を削除するだけで済み、圧縮伸長の過程を繰り返す必要がないという特徴を有し、また、解像度が異なっても同様のアルゴリズムで伸長できるため、本発明の画像情報記録装置に用いて好適である。
【００５２】
図３は通信回線を介して遠隔操作を行う画像情報記録装置のシステム構成例である。このシステムではサーバコンピュータとしてコンピュータ２０が、クライアントコンピュータとしてコンピュータ３０が設けられていて、これらはインターネット４０を介して接続されている。コンピュータ２０とコンピュータ３０にはそれぞれネットワークインタフェース２９、３９が設けられていてコンピュータ間の接続に供されている。
【００５３】
コンピュータ３０にはネットワークインタフェース３９の他に、送られてきた画像情報を記憶する記憶装置３２、遠隔制御のための制御装置３３等があり、さらにモニター３４が接続されていて、画像の表示や指示入力のためのグラフィカルユーザインタフェースのための領域が設けられている。また、指示入力はポインティングデバイス３５等から入力されてもよい。
【００５４】
尚、本システム構成の他の構成要素とその動作は前述した実施の形態例と同様であり、それらのここでの説明は省略する。
【００５５】
以上詳細に説明したように、本発明はビデオカメラや電子スチルカメラを用い、特に遠隔操作の記録再生によるカメラ画像のタイムシフト、画像データベースの構築および検索、監視、紹介等の用途に好適である。また、本発明を磁気テープ記録媒体に限ることなく磁気ディスク記録媒体、更には光記録再生メディアに適用してもよいことは当然である。
【符号の説明】
【００５６】
１…モードコントローラ、２…カメラコントローラ、３…パンチルタコントローラ、４…パンチルタ、５…パンモータ、６…チルトモータ、１０…撮像装置、１１…レンズブロック、１２…ＣＣＤ、１３…ＳＨ／ＡＧＣ、１４…Ａ／Ｄ、１５…信号処理装置、１６…変倍用レンズ、１７…ズームモータ、１８，２４，３４…モニター、１９…画像処理装置、２０，３０…コンピュータ、２１…ビデオキャプチャー装置、２２，３２…記憶装置、２３，３３…制御装置、２４ａ，３４ａ…画像表示領域、２４ｂ，３４ｂ…インデックス表示領域、２４ｃ，３４ｃ…操作領域、２５，３５…ポインティングデバイス、２６…日照センサ、２７…焦電センサ、２８…マイク、２９，３９…ネットワークインターフェース、４０…インターネット
【図１】
2010124474.tif 000003
【図２】
2010124474.tif 000004
【図３】
2010124474.tif 000005
【手続補正書】
【提出日】平成22年1月7日(2010.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置で撮像された画像を受信し、記録媒体に記録する記録ステップと、
前記記録ステップで記録された画像の中から、前記画像から抽出された特徴に基づいて、画像を選択する画像選択ステップと、
前記記録媒体に記録された画像を圧縮して前記記録媒体に記録する再圧縮記録ステップとを有し、
前記抽出された特徴は、物体の動き、色又は明るさのいずれか１つを含み、
前記再圧縮記録ステップは、前記画像選択ステップで選択された画像を圧縮して前記記録媒体に記録する画像記録方法。
【請求項２】
撮像装置で撮像された画像を受信し、記録媒体に記録する記録ステップと、
前記記録ステップで記録された画像の中から、前記画像から抽出された特徴に基づいて、画像を選択する画像選択ステップと、
前記記録媒体に記録された画像を消去する画像消去ステップとを有し、
前記抽出された特徴は、物体の動き、色又は明るさのいずれか１つを含み、
前記画像消去ステップは、前記画像選択ステップで選択された画像を消去する画像記録方法。
【請求項３】
請求項１又は２に記載の画像記録方法であって、
前記記録ステップは、前記画像から抽出された特徴を受信し、前記記録媒体に記録する画像記録方法。
【請求項４】
請求項１又は２に記載の画像記録方法であって、
さらに、前記画像選択ステップで選択された画像をインデックス表示するインデックス表示ステップとを有する画像記録方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録媒体の記録エリアを有効に確保し、記録されている画像情報の検索や各種画像処理を容易に行うことができる画像記録方法に関する。
【背景技術】
【０００２】
従来、ビデオカメラ等による撮影画像の記録は、おもにテープ状記録媒体を用いて時系列で記録されてきた。また、画像以外の情報、例えば日時、タイトル等も画像情報に変換され撮影画像に付加して記録されていた。
【０００３】
しかしながら、テープ状記録媒体を用いた記録では、目的とする画像を再生するためには画像を再生してチェックしながら、テープの送り、巻き戻しをする必要があり、煩雑で時間のかかるものであった。一方、このような問題を有しながらもテープ状記録媒体の膨大な記録容量の特徴により種々な分野で広く用いられている。例えば監視用途においては絶えず記録を続ける必要があり、記録媒体の容量の大きいことが必須である。
【０００４】
この膨大な記録容量の中から必要とする画像を検索することは、たとえ上述したように、日時、タイトル等が記録してあったとしてその箇所を再生するために煩雑な操作と時間が必要であり、また、通信回線を介してこれらの画像を検索し目的とする画像情報を伝送することは膨大な時間とコストを必要とするものであった。
【０００５】
一方、ディスク状記録媒体はそのアクセスの速さにおいて極めて有効であるが、記憶容量が少なく、従って大きな記録容量を得るためには複数枚のディスクを用いて構成する必要があり、このため装置が大きくなり、高価になるという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０８−００９３１２号公報
【特許文献２】特開平０７−０９５５１７号公報
【特許文献３】特開平０９−１３０７２２号公報
【特許文献４】特開平０５−２５２４３２号公報
【特許文献５】特開平０６−２５３２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って本発明は、長時間の記録が可能であって、記録された画像の検索が容易であり、操作性が良く、通信媒体を介した伝送にも好適な画像記録方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明は上記課題に鑑みなされたものであり、本発明に係る画像記録方法は、撮像装置で撮像された画像を受信し、記録媒体に記録する記録ステップと、前記記録ステップで記録された画像の中から、前記画像から抽出された特徴に基づいて、画像を選択する画像選択ステップと、前記記録媒体に記録された画像を圧縮して前記記録媒体に記録する再圧縮記録ステップとを有する。前記抽出された特徴は、物体の動き、色又は明るさのいずれか１つを含む。前記再圧縮記録ステップは、前記画像選択ステップで選択された画像を圧縮して前記記録媒体に記録する。
構成する。
【０００９】
また、本発明は上記課題に鑑みなされたものであり、本発明に係る画像記録方法は、撮像装置で撮像された画像を受信し、記録媒体に記録する記録ステップと、前記記録ステップで記録された画像の中から、前記画像から抽出された特徴に基づいて、画像を選択する画像選択ステップと、前記記録媒体に記録された画像を消去する画像消去ステップとを有する。前記抽出された特徴は、物体の動き、色又は明るさのいずれか１つを含む。前記画像消去ステップは、前記画像選択ステップで選択された画像を消去する。
【００１０】
本発明では、使用者が注目する画像の観点に基づいて画像を圧縮し、消去するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００１１】
また、使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００１２】
また、撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上する。
【００１３】
また、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに使用者が注目する観点、例えば特定の動き、特定の被写体等に基づいて撮影した画像から特徴を抽出し、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００１４】
また、使用者が注目する観点に基づいて画像を圧縮し、消去し、さらに撮影する時の各種環境状態、例えば日時、天候、各種センサの検出結果等を、その画像と一緒に記録するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【００１５】
また、抽出された特徴に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。また、請求項７の記載によれば、検出手段による検出結果に基づいて、記録されている画像の種々な処理、例えば検索、編集等の処理を効率よく行うことが可能となる。
【発明の効果】
【００１６】
以上の説明から明らかなように、使用者が注目する画像の観点に基づいて画像を圧縮し、または消去するので検索が容易で作業の効率が向上し、また、画像の記録エリアを確保することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係わる画像情報記録装置のシステム構成である。
【図２】撮影された画像情報の処理の流れを示す図である。
【図３】本発明に係わる画像情報記録装置の、ネットワークを用いた遠隔操作システムの構成を示す図である。
【発明を実施するための形態】
【００１８】
本発明は、使用者が注目する観点に基づいて画像の種々な処理が効率よく行えると共に、限られた記録容量を有効に活用して、必要とする画像を数多く記録できる画像情報記録装置と画像情報処理方法を提供するものであって、さらにはこの画像情報記録装置を通信回線を介して遠隔操作するときの画像データ、制御情報の通信時間を短縮して制御の即時性を実現するためのものである。
【００１９】
その画像情報記録装置の構成として、被写体を撮影して電気信号に変換する撮像手段、例えばＣＣＤを用いたビデオカメラや電子スチルカメラと、撮影した画像を記録媒体に記録する画像情報記録手段、例えばＶＴＲと、現に撮影した画像、もしくは記録した画像の中から特定の画像を選択する画像選択手段、例えば所定の認識プログラムを有するＣＰＵと、前記選択された画像を消去する画像消去手段と、前記選択された画像を圧縮する画像圧縮手段、例えばＪＰＥＧの圧縮アルゴリズムを有するＣＰＵ等とを具備していて、所定の基準に準拠して画像を選択して消去し、または圧縮して再度記録し、記録媒体、例えば磁気テープ等の画像記録エリアを確保する。
【００２０】
また、記録した画像から使用者が希望する特徴、例えば物体の動き、色、明るさ等を抽出する手段、例えば所定の特徴を抽出するプログラムを有するＣＰＵや、撮影したときの環境を検知する検出装置、例えば温度センサ、ドアセンサ、マイクロホン等とを有していて、抽出された画像の特徴や検出装置の検出結果を画像と共に記録媒体に記録する。さらに加えて日付、時刻、あるいは撮像の画角や方向の情報を記録してもよい。
【００２１】
上述した構成で画像を記録し、記録エリアが不足してくると記録済の画像に優先順位をつけ重要でないものから順に消去し、または圧縮を行って再度記録する。この優先順位の決定は使用者が意図する観点から画像の特徴の種類や、各検出装置に応じて重み付けがなされ、それらの総合的な統計に基づいて消去、または圧縮される画像が決定される。
【００２２】
例えば目的とする物体の動きに注目した場合、１００フレーム中１０フレームにその物体の動きが記録されていた場合は、残りの９０フレームは不要であり消去してそのエリアは新たな画像の記録に用いられる。また例えば所定の温度範囲のときの画像だけを残したり、所定の時間の画像だけを残す等、種々な条件を設定し、または複数の条件を同時に設定してそれらの間に重み付けをし、計数して画像の消去、圧縮、記録等を行う。
【００２３】
記録媒体の記録エリアがさらに少なくなった場合は、前述した条件のレベルをより厳しくして、必要度の低い順からさらに消去、または圧縮を行い、新しい重要な画像を記録するエリアを確保する。
【００２４】
また、画像と同時に記録した、画像から抽出した特徴や各検出装置の出力に基づいて、所望する検索や分類処理に供することも可能である。尚、上述した画像情報記録装置において、記録されている画像を再生するために、再生する画像を指定する操作入力手段、圧縮された画像を伸長する伸長手段、画像表示手段等が必要であることは言うまでもない。
【００２５】
つぎに、本発明の実施の形態例について図１ないし図３を参照して説明する。図１は本発明に係わる画像情報記録装置のシステム構成であり、図２は撮影された画像情報の処理の流れを示す図であり、図３は本発明に係わる画像情報記録装置の、ネットワークを用いた遠隔操作システムの構成を示す図である。
【００２６】
まず、本発明の画像情報記録装置は図１に示すように構成されている。撮像装置１０は例えばビデオカメラであって、被写体から到達する撮像光をレンズブロック１１のレンズ、絞りを通して固体撮像素子であるＣＣＤ１２上に結像させて視野映像を映像信号に変換した後、信号分離、自動利得調整を行う。信号分離、自動利得調整はＳＨ／ＡＧＣ１３により、映像信号をサンプルホールドすると共に、オートアイリスの制御信号によって所定のゲインとなるように利得制御が行われる。
【００２７】
このようにして得られた映像信号はＡ／Ｄ（アナログデジタル変換装置）１４でデジタル信号に変換され、信号処理装置１５に供給される。信号処理装置１５では供給された信号を輝度、色差、ビデオ信号等の信号に変換し、モニター１８やコンピュータ２０に内蔵するビデオキャプチャー装置２１に供給する。また、信号処理装置１５の出力は画像処理装置１９に入力され、指示に従って特徴抽出等の画像の処理を行う。
【００２８】
また、撮像装置１０のレンズブロック１１は変倍用レンズ１６を駆動することによって撮像する画角を変化させることが可能なズームレンズであり、カメラコントローラ２の駆動命令により、例えばステッピングモータ等を用いたズームモータ１７を回転させ、変倍用レンズ１６を駆動する。このカメラコントローラ２は撮像装置１０のフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタースピード等の露出制御、ホワイトバランス制御、画質制御等を常時行うコントローラであると共に、モードコントローラ１と撮像装置１０との間のインターフェースをとっている。
【００２９】
変倍用レンズ１６の制御に関連するカメラコントローラ２のインターフェース制御として、モードコントローラ１から送られてくる変倍用レンズ１６の駆動要求に対して、要求された位置に変倍用レンズ１６が駆動されるように制御信号をモータのドライバーに出力してズームモータ１７の位置を制御すると共に、現在のズームモータ１７の位置を常時モードコントローラ１に伝達する。
【００３０】
また、撮像装置１０はパン、チルトといった２軸の回転方向に自由度を有する装置、例えばパンチルタ４の上に設置されていて、パンチルタコントローラ３の駆動命令により、ステッピングモータ等を用いたパンモータ５、およびチルトモータ６を回転させ、パンチルタ４は２つの軸方向に駆動される。このパンチルタコントローラ３はモードコントローラ１より送られてくるパンチルタ４のパン、チルトの各々の方向の駆動要求に対して、パンチルタ４が要求された位置に駆動されるように制御信号をモータのドライバーに出力すると共に、現在のパンチルタ４の位置を常時モードコントローラ１に伝達する。
【００３１】
モードコントローラ１はパンチルタ４、撮像装置１０の設定状態、その他外部から入力される情報に従い、システムを制御する。また、モードコントローラ１はコンピュータ２０と接続され、コンピュータ２０からの絶対位置駆動要求に対して、パンチルタ４、レンズブロック１１の変倍用レンズ１６を駆動するようにカメラコントローラ２とパンチルタコントローラ３に指令を伝達し、一方、カメラコントローラ２とパンチルタコントローラ３から送られてくる現在の位置情報をコンピュータ２０に伝達する。
【００３２】
本発明では制御装置２３としてコンピュータ２０の機能を用い、また、操作の入力はコンピュータ２０に接続されたモニター２４のグラフィック表示のグラフィカルユーザインターフェースを用いる。操作領域２４ｃで入力された操作指令に基づいてモードコントローラ１に伝達する各制御データが決定される。操作入力はこの他にポインティングデバイス２５等の外部入力装置を用いてもよい。
【００３３】
また、撮像装置１０で得られた映像の表示や保存のためビデオキャプチャー装置２１がコンピュータ２０に内蔵されている。このビデオキャプチャー装置２１は撮像装置１０より入力されてくる映像信号を、任意の画質でモニター２４の画像表示領域２４ａに表示することが可能であり、また、キャプチャー信号により所定の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、ＪＰＥＧ形式の動画等）に、任意の画質で取り込み、コンピュータ２０内のハードディスク等で構成される記憶装置２２に記憶する。この記憶装置２２は磁気テープあるいは磁気ディスク等を記録媒体としている。磁気テープを用いる場合はランダムアクセスのよい、例えば半導体メモリ等にその画像の磁気テープ上での位置とインデックスを記録することによって、磁気テープ上へのアクセスを容易にする。また、インデックスとは、詳しくは後段で説明するが画像から抽出した特徴や各種センサの出力等である。
【００３４】
さらに、撮像装置１０の近辺に日照センサ２６、人の接近を検知する焦電センサ２７、マイク２８等の各種センサが設けられ、その出力はコンピュータ２０に接続されていて、撮影したときの環境状況を検出し画像と共にその情報を記録する。
【００３５】
モニター２４は、その画面は例えば画像表示領域２４ａとインディックス表示領域２４ｂと操作領域２４ｃに分割されていて、画像表示領域２４ａには撮影した画像や記憶装置２２から読み出した画像、あるいはインディックス表示領域２４ｂに表示されるインディックスと操作領域２４ｃから入力される検索指示により検索された画像等の縮小一覧が表示される。
【００３６】
つぎに、本実施の形態例の画像情報、センサ出力等のデータ処理の流れについて図２を参照して説明する。
【００３７】
カメラで撮影された映像は（Ｓ１０１）、まず画像処理装置１９で動体検出・被写体認識等がなされ、撮影条件、例えば画角、フォーカス、露出、ホワイトバランス等の情報と共にコンピュータ２０の優先度評価に送られる（Ｓ１０５）。ここで前述した重み付けされた条件に基づいて、削除、圧縮される画像の優先度の評価が行われる。また、センサからの情報（Ｓ１０２）も優先度評価に送られ、後述する空間周波数成分分析の結果（Ｓ１０４）と共に、操作者が設定する評価基準に基づいて画像の優先度の評価に供される。
【００３８】
また、カメラで撮影された映像は、ビデオキャプチャに送られ（Ｓ１０３）、前述した空間周波数成分分析（Ｓ１０４）と画像圧縮（Ｓ１１０）に供される。空間周波数成分分析は例えば４フレーム中の１フレームについて計算する。尚、ここでは彩度等他の特徴の分析手段も合わせて導入してもよい。
【００３９】
また、画像記録の優先順位を決定するため、複数の観点から各画像の重要度を得点化し、例えば４フレーム毎に１バイトの得点をつけ、メモリに格納する。観点の例として、記録されてからの経過時間、高空間周波数成分のエネルギ、彩度の分散、動体検出の結果、被写体認識の結果、焦電センサの変化、日照センサの値、マイクロフォンの音量、画像のこれまでの圧縮度等がある。さらに操作者が注目する観点を付加してもよく、また、各観点に重み付けをしてもよい。
【００４０】
上述した各観点の得点を集計し、優先度表を作成し（Ｓ１０６）、この優先度表から度数分布を求め（Ｓ１０７）、さらなる画像記録に必要なエリアを確保できるように閾値を定めて（Ｓ１０８）、消去、再圧縮の画像を決定する（Ｓ１０９）。この決定に基づいて記録装置の対応する画像位置を指示し（Ｓ１１１）、削除、あるいは再圧縮が行われる（Ｓ１１２）。再生時はポインティングデバイスにより表示する画像が選択されると（Ｓ１１３）、記録位置から対応位置を読み出し（Ｓ１１４）、圧縮された画像データを展開して（Ｓ１１５）、結果はモニターに表示される（Ｓ１１６）。
【００４１】
圧縮アルゴリズムとして、例えばＪＰＥＧの拡張方式の１つであるスペクトル選択によるプログレッシブ方式がある。この方式は、解像度を下げて画像を再圧縮する際に、高周波数成分の係数を削除するだけで済み、圧縮伸長の過程を繰り返す必要がないという特徴を有し、また、解像度が異なっても同様のアルゴリズムで伸長できるため、本発明の画像情報記録装置に用いて好適である。
【００４２】
図３は通信回線を介して遠隔操作を行う画像情報記録装置のシステム構成例である。このシステムではサーバコンピュータとしてコンピュータ２０が、クライアントコンピュータとしてコンピュータ３０が設けられていて、これらはインターネット４０を介して接続されている。コンピュータ２０とコンピュータ３０にはそれぞれネットワークインタフェース２９、３９が設けられていてコンピュータ間の接続に供されている。
【００４３】
コンピュータ３０にはネットワークインタフェース３９の他に、送られてきた画像情報を記憶する記憶装置３２、遠隔制御のための制御装置３３等があり、さらにモニター３４が接続されていて、画像の表示や指示入力のためのグラフィカルユーザインタフェースのための領域が設けられている。また、指示入力はポインティングデバイス３５等から入力されてもよい。
【００４４】
尚、本システム構成の他の構成要素とその動作は前述した実施の形態例と同様であり、それらのここでの説明は省略する。
【００４５】
以上詳細に説明したように、本発明はビデオカメラや電子スチルカメラを用い、特に遠隔操作の記録再生によるカメラ画像のタイムシフト、画像データベースの構築および検索、監視、紹介等の用途に好適である。また、本発明を磁気テープ記録媒体に限ることなく磁気ディスク記録媒体、更には光記録再生メディアに適用してもよいことは当然である。
【符号の説明】
【００４６】
１…モードコントローラ、２…カメラコントローラ、３…パンチルタコントローラ、４…パンチルタ、５…パンモータ、６…チルトモータ、１０…撮像装置、１１…レンズブロック、１２…ＣＣＤ、１３…ＳＨ／ＡＧＣ、１４…Ａ／Ｄ、１５…信号処理装置、１６…変倍用レンズ、１７…ズームモータ、１８，２４，３４…モニター、１９…画像処理装置、２０，３０…コンピュータ、２１…ビデオキャプチャー装置、２２，３２…記憶装置、２３，３３…制御装置、２４ａ，３４ａ…画像表示領域、２４ｂ，３４ｂ…インデックス表示領域、２４ｃ，３４ｃ…操作領域、２５，３５…ポインティングデバイス、２６…日照センサ、２７…焦電センサ、２８…マイク、２９，３９…ネットワークインターフェース、４０…インターネット