(57)【要約】【課題】被写体の音声を利用してスナップ映像や監視映像などの映像の種別を判定し、映像の種別に適した映像フォーマットで保存できるようにする。【解決手段】撮影した映像データをサーバーに記録する監視カメラシステムであって、被写体を撮影する撮影手段と、前記被写体が発する音を音声信号として入力できる１つ以上の音声入力手段と、前記音声入力手段で入力された音声信号から、被写体の状態を検出する被写体状態検出手段と、前記サーバーに記録する映像データのフォーマットを変更するフォーマット変更手段と、装置全体の動作を制御する制御手段とを有し、前記制御手段は、前記被写体状態検出手段の検出結果に応じて、記録する映像データのフォーマットを変更するように前記フォーマット変更手段を制御する。【選択図】図２
2014171187.tif 000002
【特許請求の範囲】
【請求項１】
撮影した映像データをサーバーに記録する監視カメラシステムであって、
被写体を撮影する撮影手段と、
前記被写体が発する音を音声信号として入力できる１つ以上の音声入力手段と、
前記音声入力手段で入力された音声信号から、被写体の状態を検出する被写体状態検出手段と、
前記サーバーに記録する映像データのフォーマットを変更するフォーマット変更手段と、
装置全体の動作を制御する制御手段とを有し、
前記制御手段は、前記被写体状態検出手段の検出結果に応じて、記録する映像データのフォーマットを変更するように前記フォーマット変更手段を制御することを特徴とする監視カメラシステム。
【請求項２】
前記被写体状態検出手段は、被写体の音声を入力するとともに、入力された音声データと事前に登録された話者を認識するための音声モデルとを比較し、音声を発する話者を検出することを特徴とする請求項１に記載の監視カメラシステム。
【請求項３】
前記被写体状態検出手段は、被写体の音声を入力するとともに、入力された音声データと言語を認識するための音声モデルとを比較し、発話した言語を検出することを特徴とする請求項１に記載の監視カメラシステム。
【請求項４】
前記被写体状態検出手段は、監視すべき映像と保存すべき映像を検出し、
前記制御手段は、前記被写体状態検出手段の検出結果に応じて、記録する動画及び静止画の符号化方式もしくは解像度もしくは圧縮率のいずれかを変更するように前記フォーマット変更手段を制御することを特徴とする請求項１〜３の何れか１項に記載の監視カメラシステム。
【請求項５】
前記符号化方式は、Ｈ．２６４方式もしくはＭＰＥＧ４方式もしくはＪＰＥＧ方式であって、前記解像度は１９２０×１０８０画素または６４０×４８０画素を含む解像度であることを特徴とする請求項４に記載の監視カメラシステム。
【請求項６】
前記被写体状態検出手段の検出結果に応じた状態情報をサーバーに送信し、サーバーでは前記状態情報に応じて記録する映像データのフォーマットを変更することを特徴とする請求項１〜５の何れか１項に記載の監視カメラシステム。
【請求項７】
前記被写体状態検出手段は、被写体の音声を入力するとともに、入力された音声データから、特定の言語もしくは特定の発話者が検出された頻度に応じて、前記サーバーでは記録する映像データのフォーマットを変更することを特徴とする請求項１〜５の何れか１項に記載の監視カメラシステム。
【請求項８】
前記制御手段は、前記被写体状態検出手段の検出結果に応じて、映像データを記録するサーバーを変更することを特徴とする請求項１〜７の何れか１項に記載の監視カメラシステム。
【請求項９】
前記制御手段は、前記被写体状態検出手段の検出結果に応じて、映像データを記録するフォルダを変更することを特徴とする請求項１〜７の何れか１項に記載の監視カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は監視カメラシステムに関し、特に、遠隔地で撮影された映像データをＬＡＮなどのネットワークで送信する監視カメラシステムに用いて好適な技術に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラなどで撮影した映像をインターネットやＬＡＮなどのネットワークを介して送信し、遠隔地のクライアント（コンピュータ端末）によりモニタリングを可能としたネットワークカメラが多く提案されている。
【０００３】
また、このようなネットワークカメラを、セキュリティを目的として住宅に設置し、留守中などに撮影した映像を警備会社などのクライアントに送信して記録する監視カメラシステムも広く知られた技術である。更に、家庭内の事故防止などを目的として、住宅の屋内に監視カメラを設置する場合も増えてきている。このような住宅に設置された監視カメラを利用すれば、家族などのスナップ映像を撮影することが可能であり、スナップ映像のデータを家庭のパソコンに保存することも可能となる。
【０００４】
一般的に、スナップ映像として保存したい映像は、被写体となる人物が会話などの発声をしている映像であることが多い。このような被写体の音声を利用して、話者や被写体の状態を検出する方法や、これらの検出結果を利用して画像処理を行う方法などが多く提案されている（特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０１０９９５号公報
【特許文献２】特開２００７−１９３８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
監視カメラが撮影した映像データは、監視に適した映像フォーマットで符号化して送信し、クライアントで記録する。具体的には、人物の顔が特定できる画質に適した映像フォーマットで符号化したり、クライアントに送信するためのネットワークの容量に適した映像フォーマットで符号化したりする。
【０００７】
一方、監視カメラが撮影した映像データをスナップ映像として記録する場合は、観賞や編集に適した映像フォーマットで符号化して送信し、クライアントで記録する必要がある。具体的には、高画質に適した映像フォーマットで符号化したり、スナップ写真として印刷できる静止画フォーマットで符号化したりしてから保存する必要がある。
【０００８】
したがって、住宅に設置した監視カメラを利用して、スナップ映像を記録するためには、監視用映像とスナップ用映像の異なる目的の映像データとして、２種類以上の映像フォーマットのデータを同時に記録していく必要がある。このような複数の映像記録のために、クライアントの記憶媒体の容量の増大、クライアントの記録処理の負荷の増大、送信データの増加にともなうネットワークの回線容量の制限などが問題となる。
【０００９】
また、スナップ映像は記録した映像データから抽出する必要がある。そのため、撮影した映像をすべて記録した後に、人手による映像データの選別や編集が必要となり、非常に煩雑な作業が必要になる。
【００１０】
このように、監視カメラを利用したスナップ映像の記録においては、監視用映像とスナップ用映像の同時記録による蓄積媒体の容量増大や、スナップ映像を全記録映像から抽出することが困難であるという問題点があった。
本発明は前述の問題点に鑑み、被写体の音声を利用してスナップ映像や監視映像などの映像の種別を判定し、映像の種別に適した映像フォーマットで保存できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の監視カメラシステムは、撮影した映像データをサーバーに記録する監視カメラシステムであって、被写体を撮影する撮影手段と、前記被写体が発する音を音声信号として入力できる１つ以上の音声入力手段と、前記音声入力手段で入力された音声信号から、被写体の状態を検出する被写体状態検出手段と、前記サーバーに記録する映像データのフォーマットを変更するフォーマット変更手段と、装置全体の動作を制御する制御手段とを有し、前記制御手段は、前記被写体状態検出手段の検出結果に応じて、記録する映像データのフォーマットを変更するように前記フォーマット変更手段を制御することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、被写体の音声を利用してスナップ映像や監視映像などの映像の種別を判定し、映像の種別に適した記録形式で保存するようにしたので、記録時の蓄積媒体の容量を低減することができるとともに、スナップ映像の抽出を簡単に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態を示し、監視カメラシステムの構成例を示すブロック図である。
【図２】第１の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。
【図３】第１の実施形態の監視カメラシステムの音声検出手順の一例を示すフローチャートである。
【図４】第１の実施形態の監視カメラシステムの音声スペクトルを説明する図である。
【図５】第１の実施形態の監視カメラシステムの音声スペクトルを説明する図である。
【図６】第２の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。
【図７】第３の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１は、本発明の実施形態に係る監視カメラシステムの構成例を示すブロック図である。この監視カメラシステムは、ネットワーク１３０を介して接続されたカメラサーバー（装置）１００とクライアント１２０とからなる。
撮像部１０１はズーム、フォーカス、露出などに関する不図示の制御回路を備え、レンズ制御部１０８からの制御データによって光学系を制御して最適な映像を撮影する。
【００１５】
撮像部１０１が撮影した映像データは映像処理部１０３に送信され、符号化部１０４で映像データの符号化を行う。映像データの符号化の方式としてはＪＰＥＧ、Ｈ.２６４、ＭＰＥＧ４などの手法があるが、本実施形態は符号化の方式に依存するものではないので、符号化の方式について詳細な説明を省略する。
【００１６】
撮像部１０１は、所望の位置に回転することを可能にするため、撮像部１０１が搭載された雲台部１０２をモーター１１１で駆動することができる。また、モーター１１１は、雲台制御部１０９の制御によって所望の位置に回転することができる。また、被写体が発する音を音声信号として音声入力するためのマイク１１２を有している。マイク１１２から入力される被写体の音声データは、音声処理部１１３に送信され、被写体はスナップ映像に適しているか否かを判定した後、 符号化部１０４で音声データの符号化を行う。音声データの符号化としてはＧ.７１１などの手法があるが、本実施形態は符号化の方式に依存するものではないので、詳細な説明を省略する。
【００１７】
映像処理部１０３、音声処理部１１３、符号化部１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、レンズ制御部１０８、雲台制御部１０９は内部バスを通じて接続されている。また、通信部１１０を通じてネットワーク１３０に映像データや音声データを送信したり、撮影アングルの要求信号を受信したりする機能を備える。前述したＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７よりなるコンピュータシステムが装置全体の動作を制御する。クライアント１２０は、カメラサーバー１００で撮影した映像データや音声データの再生や記録を行うことが可能であり、記録サーバーとして機能する。また、カメラサーバー１００の撮影アングルを遠隔制御することが可能である。
【００１８】
本実施形態では、被写体の音声信号から会話中や留守中などの被写体の状態を検出する被写体状態検出を行い、検出結果を示す状態情報に応じて映像データの符号化方式を変更することを特徴としている。以下、映像データの符号化方式を変更する処理手順（方法）を、図１の構成図と図２のフローチャートを用いて説明する。図２のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。
【００１９】
Ｓ２０１では、マイク１１２から入力された被写体の音声信号を解析し、所定の時間が無音状態であるか否かを判定する。Ｓ２０１で無音状態であることを判定したら、Ｓ２０６で符号化部１０４によって映像データをＭＰＥＧ４フォーマットの６４０×４８０画素（ＶＧＡサイズ）で符号化する。符号化した映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信し、クライアント１２０では映像データの記録を開始する。
【００２０】
Ｓ２０７では、カメラが設置されている住宅の住人が帰宅したか否かを判定する。帰宅の検出方法については、ドアの解錠音や空調設備の動作音を事前に登録しておき、登録音とマイク１１２から入力される音声を比較する方法などがあるが、本実施形態はこれらの方法に依存するものではない。
【００２１】
ここで、登録音と駆動音の比較方法に関して、音声信号をスペクトルとして比較して音の発生源を特定する処理手順（方法）を、図３のフローチャートと、図４及び図５を用いて説明する。
【００２２】
Ｓ３０１では、マイク１１２から入力された図４（ａ）の駆動音の音声信号（音声入力波形）を一定時間tのデータに変換するため窓関数をかける。
Ｓ３０２では、窓関数をかけたデータをフーリエ変換して周波数毎のパワーである音声スペクトルを求める。
【００２３】
Ｓ３０３では、事前に登録されている登録スペクトル図４（ｂ）を選択する。登録スペクトル図４（ｂ）は、ドアの解錠音のスペクトルや空調設備の動作音のスペクトルで構成されており、ドアの解錠音のスペクトルは周波数範囲ＦｋとレベルＬｋ、空調設備の動作音のスペクトルは周波数範囲ＦａとレベルＬａの特性である。
【００２４】
Ｓ３０４では、Ｓ３０２で求めた音声スペクトル図４（ｃ）と、登録スペクトル図４（ｂ）とを比較して、ドアの解錠音のスペクトルが入力されたか否かを判定する。
ドアの解錠音のスペクトルが検出された場合は、ドア解錠のフラグを「１」に設定して次のステップに進む。
【００２５】
Ｓ３０５では、Ｓ３０２で求めた音声スペクトル図４（ｄ）と、登録スペクトル図４（ｂ）を比較して、空調設備の動作音のスペクトルが入力されたか否かを判定する。空調設備の動作音のスペクトルが検出された場合は、空調動作のフラグを「１」に設定して次のステップに進む。
【００２６】
Ｓ３０６では、ドア解錠のフラグと空調動作のフラグを確認し、どちらも「１」であった場合は帰宅したと判断する。
このように、ドアの解錠音や空調設備などのマイクから入力される音声信号は、周波数スペクトル化して比較することで特性が明確になり、誤判定を防止することが可能になる。
【００２７】
さらに、音声スペクトル図５（ａ）に対して、比較したい周波数帯域だけ抽出するバンドパスフィルタを使用することで、音声スペクトル図５（ｂ）のように監視カメラが設置されている環境音や電話の呼び出し音などのスペクトルを排除することが可能になる。これにより、音声の比較の精度を高めることが可能になる。
【００２８】
以上説明したような帰宅の検出方法などを利用して、Ｓ２０７で住人の帰宅を検出したら、Ｓ２０５で映像データの送信を停止し、クライアント１２０では映像データの記録を停止する。
一方、Ｓ２０１でマイク１１２から入力された被写体の音声信号を解析し、音が入力されたことを認識したら、Ｓ２０２で入力された音は会話であるか否かを検出する。
ここで、会話を検出する方法例として、音声認識を利用する方法を説明する。音声認識は一般的な発声の統計データを使用して行うことができる。多くの発話を記録した学習用データと、マイク１１２からの音声信号との特徴を抽出して比較し、発話した言語を推定する。
【００２９】
監視カメラにこのような音声認識の機能を搭載していれば、子供の名前や、「ただいま」などという特定の言語を発生した場合に、会話音であると判定することができる。また、複数のマイクを利用した指向性の情報や、前述のスペクトルの情報などを利用することで、精度の高い判定が可能になる。
本実施形態においては、このような音声認識のアルゴリズムに依存するものではなく、音声認識の結果を利用して会話をしているか否かを判定するものである。
【００３０】
Ｓ２０２で、被写体の音声が会話であると判定した場合は、Ｓ２０３で 符号化部１０４によって映像データをＨ.２６４フォーマットの１９２０×１０８０画素（ＨＤサイズ）で符号化する。符号化した映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信し、クライアント１２０では映像データの記録を開始する。
Ｓ２０４で音声認識を利用して会話が終了したことを確認したら、Ｓ２０５で映像データの送信を停止し、クライアント１２０での記録を停止する。
【００３１】
以上説明したように、被写体の音声信号から、留守中や会話中などの被写体の状態を判定し、これに応じて映像の符号化方式を変更して記録することが可能になる。符号化方式としては、Ｈ．２６４方式もしくはＭＰＥＧ４方式もしくはＪＰＥＧ方式などを考慮する。
本実施形態では、記録方式の変更例として符号化方式や解像度について説明したが、スナップ映像に望まれる高画質のファクターとなる圧縮率などの変更についても同様の処理が可能である。また、本実施形態では、符号化方式の変更例として動画フォーマットの変更について説明したが、スナップ写真として必要な静止画フォーマットへ変更する、フォーマット変更についても同様の処理が可能である。
【００３２】
＜第２の実施形態＞
第２の実施形態では、被写体の音声信号から会話をしている人数を検出し、会話をしている人数に応じて、記録する映像データのフォーマットをクライアント１２０で変更する処理手順（方法）を、図１の構成図と図６のフローチャートを用いて説明する。図６のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。
【００３３】
Ｓ６０１では、カメラサーバー１００の符号化部１０４において、映像データを監視映像に適したＭＰＥＧ４と、スナップ映像に適したＨ.２６４の２種類の映像フォーマットで符号化する。符号化した２種類の映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信する。
【００３４】
Ｓ６０２では、クライアント１２０が受信したＭＰＥＧ４のフォーマットの映像データの記録を開始する。
Ｓ６０３では、マイク１１２から被写体の音声が入力されるまで待機しており、音声が入力された場合は音声信号を解析し、発声音であるか否かを判定する。Ｓ６０３で発声音があった場合はＳ６０４で会話をしている人数を検出し、音声処理部１１３において人数の情報を音声データに付加する。
【００３５】
ここで、会話をしている人数を検出する方法例として、話者認識を利用する方法を説明する。話者認識は個人がもつ声紋の情報を利用して行うことができる。事前に個人がもつ声紋の情報を登録するために、所定のテキストを登録者が読み上げる。さらに、所定のテキストに応じた発声によって話者の特徴を抽出し、代表的な音声モデルを学習しながら構築していく。このような音声モデルと入力される音声信号を比較して話者を特定することが可能になる。
【００３６】
監視カメラにこのような話者認識の機能を搭載していれば、家族の誰が話しているか、家族以外の訪問者が話しているか、などの話者や話者の人数を特定することができる。また、このような話者認識と映像からの顔認識を組み合わせることで、精度の高い認識を可能にする方法もある。
本実施形態においては、このような話者認識のアルゴリズムに依存するものではなく、話者認識の結果を利用して会話をしている人物や人数を判定するものである。
【００３７】
Ｓ６０５では、クライアント１２０が音声データに付加された人数の情報を確認する。もし３人以上の人数が確認された場合は、Ｓ６０６でＭＰＥＧ４の映像データの送信を停止し、クライアント１２０ではＭＰＥＧ４の映像データの記録を停止する。
Ｓ６０７では、クライアント１２０で受信したＨ.２６４のフォーマットの映像データの記録を開始する。
【００３８】
以上説明したように、本実施形態においては話者認識によって特定の発話者が検出された頻度に応じて、これらの情報をスナップ映像として保存するための優先度として音声データに付加する。クライアント１２０は、これらの優先度の情報によって記録する映像フォーマットを変更することが可能になる。
【００３９】
本実施形態では、記録方式の変更例として会話をしている人数を検出し、これに応じて映像の符号化方式を変更して記録する方法について説明したが、会話の重要度という観点では、会話の時間や音量といったファクターを利用しても同様の処理が可能である。
【００４０】
＜第３の実施形態＞
第３の実施形態では、会話をしている話者を前述の話者認識を利用して検出し、話者に応じて記録する映像フォーマットと記録サーバーを変更する処理手順（方法）を図７のフローチャートを用いて説明する。図７のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。
【００４１】
Ｓ７０１では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して事前に登録された家族の声と比較して話者を特定する。
Ｓ７０１で話者は家族であることを認識したら、Ｓ７０２で、カメラサーバー１００の符号化部１０４において、映像データをＨ.２６４フォーマットの１９２０×１０８０画素で符号化して、住宅内にあるホームサーバー（図示せず）に送信し記録する。
【００４２】
Ｓ７０３では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して家族以外の話者を検出する。Ｓ７０３で家族以外の話者を検出したら、Ｓ７０４で、カメラサーバー１００の符号化部１０４において、映像データをＭＰＥＧ４フォーマットの３２０×２４０画素で符号化し、住宅外の警備会社などに設置されている監視サーバーに送信し記録する。
【００４３】
Ｓ７０５では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して家族だけの声になったことを検出する。Ｓ７０５で家族だけの声を確認したら、Ｓ７０６で、監視サーバーへの映像データの送信を停止する。
【００４４】
以上、説明したように、話者認識で監視すべき映像か否かを判定し、監視する映像は監視用サーバーに送信し、スナップ映像はホームサーバーに送信し、それぞれ最適な映像フォーマットで記録することが可能になる。
【００４５】
本実施形態では記録サーバーの変更について説明したが、記録する場所を変更するという目的においては、映像フォーマットの符号化の変更に応じて、記録するフォルダや記録媒体を変更することも同様の処理で可能である。
【００４６】
話者認識を利用すれば、家族のみでの会話、来訪者との会話などの認識結果をトリガとして符号化方式を変更することが可能になるが、話者認識に限らず、叫び声、笑い声などの声の質やドアや空調などの特徴音を利用することも可能である。このような特徴音の登録についてはスペクトルとして事前に登録し、入力音声のスペクトルと特性を比較することで精度の高い認識が可能になる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１００  カメラサーバー
１０１  撮像部
１０２  雲台部
１０３  映像処理部
１０４  符号化部
１０５  ＣＰＵ
１０６  ＲＯＭ
１０７  ＲＡＭ
１０８  レンズ制御部
１０９  雲台制御部
１１０  通信部
１１１  モーター
１１２  マイク
１１３  音声処理部
１２０  クライアント
１３０  ネットワーク
【図１】
2014171187.tif 000003
【図２】
2014171187.tif 000004
【図３】
2014171187.tif 000005
【図４】
2014171187.tif 000006
【図５】
2014171187.tif 000007
【図６】
2014171187.tif 000008
【図７】
2014171187.tif 000009