(57)【要約】【課題】監視エリアの何処からどんな音が出ているのか視覚的に理解できるようにすることを目的とする。【解決手段】監視領域を撮像する撮像手段と、前記監視領域から発生する音を取得する音入力手段と、前記音入力手段により取得した入力音から音の発生位置を特定する音位置検出手段と、前記音入力手段により取得した入力音から音声認識を行い音認識情報を生成する音認識手段と、前記音位置検出手段が生成した音位置に、前記音認識手段が生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳手段とを備え、音の発生位置をできるだけ早く撮影画像上に表示できるようにする。【選択図】図１
2014212443.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮像する撮像手段と、
前記監視領域から発生する音を取得する音入力手段と、
前記音入力手段により取得した入力音から音の発生位置を特定する音位置検出手段と、
前記音入力手段により取得した入力音から音声認識を行い音認識情報を生成する音認識手段と、
前記音位置検出手段が生成した音位置に、前記音認識手段が生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
監視領域を撮像する撮像手段と、
前記監視領域から発生する音を取得する音入力手段と、
前記音入力手段により取得した入力音から音の発生位置を特定する音位置検出手段と、
前記音入力手段により取得した入力音から音声認識を行い音認識情報を生成する音認識手段と、
前記音位置検出手段が特定した音の発生位置が撮影画像上に存在するか判定し、
前記音位置検出手段が生成した音位置情報と前記音認識手段が生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳手段と、を備え、
前記重畳手段は、前記音認識情報の生成を待たずに前記音位置情報を先に撮影画像に重畳し、
前記音認識情報が生成されると前記音位置情報と前記音認識情報を一緒に撮影画像に重畳することを特徴とする画像処理装置。
【請求項３】
監視領域を撮像する撮像手段と、
前記撮像手段が撮像する領域を変更する雲台制御手段と、
監視領域から発生する音を取得する音入力手段と、
前記音入力手段により取得した入力音から音の発生位置を特定する音位置検出手段と、
前記音入力手段により取得した入力音から音声認識を行い音認識情報を生成する音認識手段と、
前記音位置検出手段が特定した音の発生位置が撮影画像上に存在するか判定し、
前記音位置検出手段が生成した音位置情報と前記音認識手段が生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳手段と、を備え、
前記重畳手段は、音の発生位置が撮影画像上に存在する場合は音認識情報の生成を待たずに音位置情報を先に撮影画像に重畳し音認識情報が生成されると音位置情報と音認識情報を一緒に重畳するとともに、音の発生位置が撮影画像上に存在しない場合は音の発生位置が撮影画像上に存在するように雲台制御手段を経由して雲台制御することを特徴とする画像処理装置。
【請求項４】
前記重畳手段が撮影画像に重畳する音位置情報とは音の発生位置を表すマークまたは文字であり、前記音位置情報には少なくともカメラから音の発生位置を表す座標を持ち、音の発生位置までの距離、または音量レベルを持つことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記重畳手段が撮影画像に重畳する音認識情報とは発生した音を表す文字列であり、前記音認識情報には少なくとも音認識した文字列を持ち、音の発生位置までの距離、または音量レベルを持つことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記撮影画像に重畳される音位置情報と音認識情報は、音量レベルや音位置までの距離によって、重畳表示サイズ、色、または透明度を変更することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記音認識手段にて、入力音を言語化できない場合は記号、文字を音認識情報に使うことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記重畳手段は、認識した文字から順番に表示し、一定文字数以上になったら先頭から消すことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記重畳手段が撮影画像に前記音認識情報を重畳する際、音の発生位置から放射線状に認識文字列を重畳することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記重畳手段が撮影画像に前記音認識情報を重畳する際、動く物体が存在しない領域に認識文字列を重畳することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
【請求項１１】
前記重畳手段は、撮影領域外に音の発生位置がある場合は、撮影画像に吹き出しや矢印を使って前記音位置情報または前記音認識情報を重畳することを特徴とする請求項２〜９の何れか１項に記載の画像処理装置。
【請求項１２】
監視領域を撮像する撮像工程と、
前記監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において生成した音位置に、前記音認識工程において生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳工程と、
を備えることを特徴とする画像処理方法。
【請求項１３】
監視領域を撮像する撮像工程と、
前記監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において特定した音の発生位置が撮影画像上に存在するか判定し、前記音位置検出工程において生成した音位置情報と、前記音認識工程において生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳工程と、を備え、
前記重畳工程は、前記音認識情報の生成を待たずに前記音位置情報を先に撮影画像に重畳し、
前記音認識情報が生成されると前記音位置情報と前記音認識情報を一緒に撮影画像に重畳することを特徴とする画像処理方法。
【請求項１４】
監視領域を撮像する撮像工程と、
前記撮像工程において撮像する領域を変更する雲台制御工程と、
監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において特定した音の発生位置が撮影画像上に存在するか判定し、前記音位置検出工程において生成した音位置情報と、前記音認識工程において生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳工程と、を備え、
前記重畳工程は、音の発生位置が撮影画像上に存在する場合は音認識情報の生成を待たずに音位置情報を先に撮影画像に重畳し音認識情報が生成されると音位置情報と音認識情報を一緒に重畳するとともに、音の発生位置が撮影画像上に存在しない場合は音の発生位置が撮影画像上に存在するように雲台制御工程を経由して雲台制御することを特徴とする画像処理方法。
【請求項１５】
監視領域を撮像する撮像工程と、
前記監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において生成した音位置に、前記音認識工程において生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
監視領域を撮像する撮像工程と、
前記監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において特定した音の発生位置が撮影画像上に存在するか判定し、前記音位置検出工程において生成した音位置情報と、前記音認識工程において生成した音認識情報を撮影画像に重畳し、視覚的に認識できるようにする重畳工程とをコンピュータに実行させ、
前記重畳工程は、前記音認識情報の生成を待たずに前記音位置情報を先に撮影画像に重畳し、
前記音認識情報が生成されると前記音位置情報と前記音認識情報を一緒に撮影画像に重畳するようにコンピュータを制御することを特徴とするプログラム。
【請求項１７】
監視領域を撮像する撮像工程と、
前記撮像工程において撮像する領域を変更する雲台制御工程と、
監視領域から発生する音を取得する音入力工程と、
前記音入力工程において取得した入力音から音の発生位置を特定する音位置検出工程と、
前記音入力工程において取得した入力音から音声認識を行い音認識情報を生成する音認識工程と、
前記音位置検出工程において特定した音の発生位置が撮影画像上に存在するか判定し、前記音位置検出工程において生成した音位置情報と、前記音認識工程において生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳工程とをコンピュータに実行させ、
前記重畳工程は、音の発生位置が撮影画像上に存在する場合は音認識情報の生成を待たずに音位置情報を先に撮影画像に重畳し音認識情報が生成されると音位置情報と音認識情報を一緒に重畳するとともに、音の発生位置が撮影画像上に存在しない場合は音の発生位置が撮影画像上に存在するように雲台制御工程を経由して雲台制御するようにコンピュータを制御することを特徴とするプログラム。
【請求項１８】
請求項１５〜１７の何れか１項に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、特に、音声情報を画像上に重畳するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
近年、インターネットなどIP(Internet Protocol)ネットワークを利用した配信システムが増加してきている。例えば、スキー場や動物園の状況を配信するインターネットサイトに採用されており、他にも店舗・ビル監視などにも採用されている。
【０００３】
具体例として、ＷｅｂＶｉｅｗのようなネットワークを介した配信システムが存在する。また、監視カメラの広角化により１台のカメラでより広い領域の撮影ができるようになり、映像配信だけではなく、音声配信も同時に行うケースが増えてきている。
【０００４】
従来、特に広角カメラを用いて監視対象エリアの映像と音声を同時に視聴していると、異常音がどこから発生したのかわからずその確認のために時間がかかるという問題があった。
【０００５】
この問題に対して、例えば、特許文献１では撮影した画像における音源の位置を算出し、算出した音源の位置を示す表示を、時間の経過に応じた表示態様で画像に組み合わせて表示することが開示されている。
また、特許文献２ではマイクからの音声を認識し、警戒対象の異常音であるか否かを判定し、異常と判定した場合、異常音を警告文字データに変換し画像データに重畳して出力することが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２３２８８８号公報
【特許文献２】特開２００７−２２８４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
リアルタイム性が重視される監視システムでは、異常音が発生した場合に即座に音源位置を確認してそれが何を表しているのか理解することが重要である。しかしながら、前述の特許文献１、特許文献２に開示された従来技術では、時系列で変化する音源位置の表示であったり、異常音と音声認識処理をした後の文字列が表示されたりする。このため、即座にどこからどんな音が発生したのか視覚的に理解することが難しかった。
本発明は前述の問題に鑑み、監視エリアの何処からどんな音が出ているのか視覚的に理解できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、監視領域を撮像する撮像手段と、前記監視領域から発生する音を取得する音入力手段と、前記音入力手段により取得した入力音から音の発生位置を特定する音位置検出手段と、前記音入力手段により取得した入力音から音声認識を行い音認識情報を生成する音認識手段と、前記音位置検出手段が生成した音位置に、前記音認識手段が生成した音認識情報を視覚的に認識できるように撮影画像に重畳する重畳手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影画像上に音の発生位置をできるだけ早く表示し、更に音認識できた内容を順次表示するようにした。これにより、監視エリアの何処からどんな音が出ているのか視覚的に理解できるようにすることができる。
【図面の簡単な説明】
【００１０】
【図１】（Ａ）は第１の実施形態を示しカメラサーバーのソフトウェア構成を示す図、（Ｂ）は第２の実施形態を示しカメラサーバーのソフトウェア構成を示す図である。
【図２】本発明の実施形態にかかわるシステム構成を示す図である。
【図３】カメラサーバーのハードウェア構成の一例を示すブロック図である。
【図４】カメラサーバーの撮影座標と音源座標の関係を示す図である。
【図５】撮影画像への音情報の重畳例を説明する図である。
【図６】第１の実施形態におけるカメラサーバー内の処理シーケンスの一例を示すチャートである。
【図７】第１の実施形態における重畳処理プログラムの処理手順を説明するフローチャートである。
【図８】第２の実施形態における重畳処理プログラムの処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図２は、本発明の実施形態にかかわるシステム構成を示す図である。
カメラサーバー２００ならびにクライアント２２０がネットワーク２３０を介して相互に接続される。
【００１２】
カメラサーバー２００は、雲台制御により撮影画角可変、もしくは撮影画角が固定されているカメラを備え、撮影した画像データをネットワーク２３０を介してクライアント２２０に配信する。同時に、カメラサーバー２００は単数または複数のマイクを用いて撮影領域周辺の音を取得し、音データをネットワーク２３０を介してクライアント２２０に配信する。
【００１３】
クライアント２２０は、カメラサーバー２００にアクセスし、画像または音声を取得する。それぞれの詳細については後述する。
なお、説明の簡略化のためにカメラサーバーは１台としているが、２台以上であっても構わない。また、クライアント２２０以外にもカメラサーバー２００にアクセスして画像の受信や蓄積を行う他のクライアントがあっても構わない。
【００１４】
ネットワーク２３０は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本発明の実施形態においては、各サーバー・クライアント間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故にインターネットからLAN(Local Area Network)にまで適用可能である。
【００１５】
図３は、カメラサーバー２００のハードウェア構成の一例を示すブロック図である。
カメラサーバー２００は、ＣＰＵ３００、１次記憶装置３１０、２次記憶装置３２０、画像キャプチャI/F３３０、雲台制御I/F３４０、音声キャプチャI/F３５０、ネットワークI/F３６０が内部バス３０１を介して相互に接続されている。
【００１６】
ここで、１次記憶装置３１０はＲＡＭに代表される書き込み可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。
【００１７】
２次記憶装置３２０はＦＤＤやＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性を持った記憶装置である。２次記憶装置３２０は、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
【００１８】
カメラサーバー２００の１次記憶装置３１０及び２次記憶装置３２０に置かれる各種プログラム等の詳細については後述する。
画像キャプチャI/F３３０には監視領域を撮像するカメラ３７０が接続され、カメラ３７０が撮影した画像データを所定のフォーマットに変換・圧縮して１次記憶装置３１０に転送する。
【００１９】
雲台制御I/F３４０には雲台３８０が接続され、雲台３８０のパン・チルト機構の制御を行う。撮影画角が固定されているカメラサーバーの場合には雲台制御I/F３４０と雲台３８０は不要である。
音声キャプチャI/F３５０にはマイク３９０が接続され、撮影領域周辺の音を取得して所定のフォーマットに変換・圧縮して１次記憶装置３１０に転送する。
ネットワークI/F３６０は、前述のネットワーク２３０と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント２２０等との通信を担う。
【００２０】
図４は、カメラサーバー２００の撮影座標と音源座標の関係を示す図である。
図４（ａ）は、パン・チルト座標系から成る撮影座標図であり、４００はカメラサーバーの周辺に仮想的に設置した仮想球面である。４０１はカメラサーバーの設置位置、４０２は撮影領域、４０３は雲台のパン角度、４０４は雲台のチルト角度、４０５は撮影領域の中心座標を表している。
【００２１】
図４（ｂ）は、ｘｙｚ軸座標系から成る音源座標図であり、４１１はカメラサーバーの設置位置である。４１２は音源座標Ａ、４１３は雲台のパン角度、４１４は雲台のチルト角度、４１５はカメラ設置位置４１１から音源座標方向へ仮想球面の半径分離れた位置Ｂを表している。
【００２２】
図４（ｃ）は、図４（ａ）と図４（ｂ）とを合わせた座標図である。４２０はカメラサーバーの周辺に仮想的に設置した仮想球面、４２１はカメラサーバーの設置位置、４２２は撮影領域、４２３は雲台のパン角度、４２４は雲台のチルト角度、４２５は撮影領域の中心座標、４２６は撮影領域上の音源位置を表している。
このように、パン角度ゼロをｘ軸、チルト角度ゼロをｙ軸と合わせることにより、撮影領域内に音の発生源があるかどうかが分かる。
【００２３】
図５は、撮影画像への音情報の重畳例を説明する図である。音情報とは、音の発生位置情報と音の認識情報両方を意味する。
図５（ａ）は、音情報を重畳する前の画像例を示す図であり、５００は撮影画像を表している。
図５（ｂ）は、音の発生位置情報を重畳した画像例を示す図であり、撮影画像５１０上に音が発生した位置５１１が重畳して表示されていることを表している。
図５（ｃ）は、音の発生位置情報と認識情報の両方を重畳した画像例を示す図であり、撮影画像５２０上に音が発生した発生位置５２１と音認識した文字列５２２が重畳して表示されていることを表している。
【００２４】
（第１の実施形態）
以下、本発明の第１の実施形態による、画像処理装置について説明する。本実施形態では、本発明がフォーカスしている画像配信についてのみ説明する。
図１（Ａ）は、第１の実施形態におけるカメラサーバー２００のソフトウェア構成図である。
１次記憶装置３１０上には、ＯＳ１００、撮像処理プログラム１１０、音入力処理プログラム１１１、音位置検出プログラム１１２、音認識プログラム１１３、一時記憶部１１４、重畳処理プログラム１１５、及び配信処理プログラム１１６がロードされる。
ＯＳ１００はカメラサーバー全体を制御する基本プログラムである。
【００２５】
撮像処理プログラム１１０は、カメラ３７０で生成された画像データを画像キャプチャI/F３３０を経由して取得し、一時記憶部１１４に保存してから重畳処理プログラム１１５に通知する。
【００２６】
音入力処理プログラム１１１は、音位置を検出するために必要な単数または複数のマイク３９０で生成された音データを音声キャプチャI/F３５０を経由して取得する。そして、一時記憶部１１４に保存してから音位置検出プログラム１１２及び音認識プログラム１１３に通知する。
【００２７】
音位置検出プログラム１１２は、音入力処理プログラム１１１から音データの生成通知を受信すると、マイク３９０への音到達時間から入力音の発生位置を算出し、音の発生位置を特定して音位置情報を生成し、これを重畳処理プログラム１１５に通知する。
【００２８】
音認識プログラム１１３は、音入力処理プログラム１１１から音データの生成通知を受信すると、音データから音声認識処理を行い、認識した文字列などの音認識情報を重畳処理プログラム１１５に通知する。
【００２９】
重畳処理プログラム１１５は、音位置検出プログラム１１２から音位置情報を、音認識プログラム１１３から音認識情報を受信すると、画像に重畳するデータを作成しておく。そして、撮像処理プログラム１１０から画像データの生成通知を受信すると、保存しておいた音位置情報と音認識情報の重畳データを撮影画像に重畳し、一時記憶部１１４に保存してから、配信処理プログラム１１６に通知する。
【００３０】
配信処理プログラム１１６は、各種クライアントからのリクエストに応じ、一時記憶部１１４に保存されている画像データを所定のフォーマットで配信する。この際、配信処理プログラム１１６は、ネットワークI/F３６０を制御し、ネットワーク２３０を介してクライアント２２０へ配信データを送り届ける。各プログラム同士の連携は、必要に応じてＯＳ１００が提供する機能を用いることとする。
【００３１】
本実施形態では、音位置検出プログラム１１２と音認識プログラム１１３は装置内で処理するように説明したが、ネットワークを経由して外部のサーバーにて音位置検出処理や音認識処理を行っても構わない。
【００３２】
図６は、第１の実施形態におけるカメラサーバー内の処理シーケンスの一例を示すチャートである。図５の重畳画像の例と合わせて説明する。
まず、Ｓ６００にて、撮像処理プログラム１１０は画像データを生成し、画像データ生成通知を重畳処理プログラム１１５に送る。重畳処理プログラム１１５は最初、音位置情報や音認識情報を持っていないため、何も重畳せずに重畳画像データ生成通知を配信処理プログラム１１６に送る（Ｓ６０１）。
【００３３】
配信処理プログラム１１６は、通知された画像データをクライアントに配信する。この時、クライアントが受信するデータは、図５（ａ）の重畳前画像となる。
また、音入力処理プログラム１１１は、撮像処理プログラム１１０とは独立して動作しており、Ｓ６０２、Ｓ６０３にて、音データを生成し音位置検出プログラム１１２と音認識プログラム１１３に音データ生成通知を送る。Ｓ６０２、Ｓ６０３では、音位置検出プログラム１１２と音認識プログラム１１３は最初に受信した音データだけでは音位置情報と音認識情報を生成できなかったことを示している。
【００３４】
次に、Ｓ６０４、Ｓ６０６にて、音入力処理プログラム１１１は続きの音データを生成し、先ほどと同様に音位置検出プログラム１１２と音認識プログラム１１３に音データ生成通知を送る。
Ｓ６０５では、音位置検出プログラム１１２は、前回受信したデータと合わせて音位置情報を生成することができ、重畳処理プログラム１１５に音位置情報通知を送信していることを示している。重畳処理プログラム１１５は通知を受信すると、撮影画像に重畳できるように音位置情報を画像データ化する。
【００３５】
次に、Ｓ６０７にて、撮像処理プログラム１１０は画像データを生成し画像データ生成通知を重畳処理プログラム１１５に送る。重畳処理プログラム１１５は画像データ化しておいた音位置情報を撮影画像データに重畳し、配信処理プログラム１１６に重畳画像データの生成通知を送信する（Ｓ６０８）。配信処理プログラム１１６は、通知された画像データをクライアントに配信する。この時、クライアント２２０が受信するデータは図５（ｂ）の音位置情報を重畳した画像になる。
【００３６】
また、Ｓ６０９、Ｓ６１１にて、音入力処理プログラム１１１は次の音データを生成し、先ほどと同様に音位置検出プログラム１１２と音認識プログラム１１３に音データ生成通知を送る。
【００３７】
Ｓ６１０では、音位置検出プログラム１１２は今まで受信したデータと合わせて音位置情報を生成することができ、重畳処理プログラム１１５に音位置情報通知を送信していることを示している。重畳処理プログラム１１５は通知を受信すると、撮影画像に重畳できるように音位置情報を画像データ化する。
【００３８】
Ｓ６１２では、音認識プログラム１１３は今まで受信したデータと合わせて音認識情報を生成することができ、重畳処理プログラム１１５に音認識情報通知を送信していることを示している。重畳処理プログラム１１５は通知を受信すると、撮影画像に重畳できるように音認識情報を画像データ化する。
【００３９】
次に、Ｓ６１３にて、撮像処理プログラム１１０は画像データを生成し画像データ生成通知を重畳処理プログラム１１５に送る。重畳処理プログラム１１５は、画像データ化しておいた音位置情報と音認識情報を画像データに重畳し、配信処理プログラム１１６に重畳画像データの生成通知を送信する（Ｓ６１４）。配信処理プログラム１１６は通知された画像データをクライアントに配信する。この時、クライアント２２０が受信するデータは、図５（ｃ）の音位置情報と音声認識情報を一緒に重畳した画像になる。
【００４０】
本実施形態では、重畳処理プログラム１１５は、音位置情報または音認識情報を受信時に重畳する画像データを作成したが、重畳する画像データを作成するタイミングは撮像処理プログラム１１０から画像データ生成通知を受信した場合でも構わない。
【００４１】
図７は、第１の実施形態における重畳処理プログラム１１５の処理手順を説明するフローチャートである。図５の重畳画像の例と合わせて説明する。
重畳処理プログラム１１５は、電源ＯＮまたは最初にクライアントから画像配信を要求された時に起動する。
【００４２】
重畳処理プログラム１１５は起動すると、プログラム内で持つ音位置情報と音認識情報をクリアする（Ｓ７０１、Ｓ７０２）。そして、他のプログラムからの通知メッセージを受信するためにイベント待ちに入る（Ｓ７０３）。
【００４３】
Ｓ７０３では、撮像処理プログラム１１０からの画像データ生成通知、音位置検出プログラム１１２からの音位置情報通知、及び音認識プログラム１１３からの音認識情報通知を待つ。そして、通知メッセージを受信すると、Ｓ７０４でイベント内容を確認後、それぞれの処理を実施する。
【００４４】
撮像処理プログラム１１０からの画像データ生成通知を受信すると、通知メッセージまたは画像データに含まれている撮影位置情報を保存する（Ｓ７０５）。そして、音位置情報を内部に保存しているかどうかを判定する（Ｓ７０６）。Ｓ７０６にて、音位置情報を保存していない場合は、Ｓ７１１に移る。
【００４５】
Ｓ７０６にて音位置情報を既に保存していた場合は、Ｓ７０５にて保存した撮影位置情報から算出できる撮影範囲内に音の発生位置が存在しているかどうかを判定する（Ｓ７０７）。撮影範囲外の場合はＳ７０６の場合と同じく、Ｓ７１１に移る。
Ｓ７０７にて音の発生位置が撮影範囲内だった場合は、既に作成してある図５（ｂ）の５１１に示すような音位置情報（音の発生位置を表すマークまたは文字）を音源位置に重畳する（Ｓ７０８）。
【００４６】
次に、音認識情報を内部に保存しているかどうかを判定する（Ｓ７０９）。音認識情報を保存していない場合は、Ｓ７１１に移る。
Ｓ７０９にて音認識情報を既に保存していた場合は、既に作成してある図５（ｃ）の文字列５２２に示すような音認識情報を音源位置の傍に重畳する（Ｓ７１０）。
【００４７】
本実施形態では、音認識情報として文字列５２２は音の発生位置５２１の横に表示したが、すぐ横に動く物体があるなどの場合はその領域を避けて動きがない領域に重畳しても構わない。具体的には、動体領域を避けるように音の発生位置から放射線状に認識文字列を表示してもよい。
【００４８】
そして、Ｓ７１１にて音位置情報または音認識情報を重畳した撮影画像データを、配信処理プログラム１１６に重畳画像データ生成通知として送信し、Ｓ７０３のイベント待ちに戻る。
Ｓ７１１にて、Ｓ７０６、Ｓ７０７及びＳ７０９の判定から直接移ってきた場合は、何も重畳していない画像データを重畳画像データとして通知する。
【００４９】
Ｓ７０４にて、音位置検出プログラム１１２からの音位置情報通知を受信すると、Ｓ７２０にて音位置情報を保存する。そして、Ｓ７２１にて音位置情報から図５（ｂ）の５１１のような重畳データを作成する。この際、音位置情報に音量レベルや音の発生位置までの距離が含まれていた場合、重畳データの重畳表示サイズ、色、または透明度を変更しても構わない。
【００５０】
Ｓ７０４にて、音認識プログラム１１３からの音認識情報通知を受信すると、Ｓ７３０にて音認識情報を保存する。そして、Ｓ７３１にて音認識情報から、図５（ｃ）の文字列５２２のような重畳データを作成する。この際、音位置情報と同様に音認識情報に音量レベルや音の発生位置までの距離が含まれていた場合、重畳データの重畳表示サイズ、色、または透明度を変更しても構わない。
【００５１】
また、音認識処理には秒単位の長い時間が掛かる場合があるが、認識した文字から順番に重畳していく方式でも構わない。また、表示領域に限りがあることから、重畳する文字列が一定文字数以上になったら、一定文字数以下になるように先頭の文字から消しても構わない。また、言語化できない音は記号、文字など言語外のデータとして表示しても構わない。
【００５２】
本実施形態では、撮影領域外の音は重畳しなかったが、吹き出しや矢印を使って撮影領域外に音の発生源があることを示しても構わない。
このように、音の発生位置と音の認識情報を個別に処理し、できた範囲で順次重畳していくことで、撮影画像上に音の発生位置をできるだけ早く表示でき、監視エリアの何処からどんな音が出ているのか視覚的に理解することを可能になる。
【００５３】
（第２の実施形態）
以下、本発明の第２の実施形態による、画像処理装置について説明する。
本実施形態では、本発明がフォーカスしている画像配信についてのみ説明する。
図１（Ｂ）は、第２の実施形態におけるカメラサーバー２００のソフトウェア構成図である。
【００５４】
１次記憶装置３１０上には、ＯＳ１０００、撮像処理プログラム１１０、音入力処理プログラム１１１、音位置検出プログラム１１２、音認識プログラム１１３、一時記憶部１１４、重畳処理プログラム１１５、配信処理プログラム１１６がロードされる。さらに、本実施形態においては、雲台制御プログラム１０１０がロードされる。雲台制御プログラム１０１０以外は、図１（Ａ）で説明した構成と同様であるので図１（Ａ）と同じ番号を付してある。
【００５５】
ＯＳ１０００は、カメラサーバー全体を制御する基本プログラムである。
撮像処理プログラム１１０は、カメラ３７０で生成された画像データを画像キャプチャI/F３３０を経由して取得し、一時記憶部１１４に保存してから重畳処理プログラム１１５に通知する。
【００５６】
音入力処理プログラム１１１は、音位置を検出するために必要な単数または複数のマイク３９０で生成された音データを音声キャプチャI/F３５０を経由して取得する。そして、一時記憶部１１４に保存してから音位置検出プログラム１１２及び音認識プログラム１１３に通知する。
【００５７】
音位置検出プログラム１１２は、音入力処理プログラム１１１から音データの生成通知を受信すると、単数または複数のマイク３９０からの音到達時間から音の発生位置を算出し、音位置情報を重畳処理プログラム１１５に通知する。
【００５８】
音認識プログラム１１３は、音入力処理プログラム１１１から音データの生成通知を受信すると、音データから音声認識処理を行い、認識した文字列等の音認識情報を重畳処理プログラム１１５に通知する。
【００５９】
重畳処理プログラム１１５は、音位置検出プログラム１１２から音位置情報を、音認識プログラム１１３から音認識情報を受信すると画像に重畳するデータを作成しておく。そして、撮像処理プログラム１１０から画像データの生成通知を受信すると、通知メッセージまたは画像データに含まれる撮影位置と音位置情報中の音発生位置を確認する。そして、音の発生位置が撮影領域内であれば保存しておいた音位置情報と音認識情報の重畳データを撮影画像に重畳し、一時記憶部１１４に保存してから、配信処理プログラム１１６に通知する。
【００６０】
音の発生位置が撮影領域内でなければ音の発生位置が撮影領域に入るまでの雲台移動量を計算し、雲台制御プログラムに１１７へ雲台移動を要求し、重畳処理を行わずに画像データを配信処理プログラム１１６に通知する。
【００６１】
配信処理プログラム１１６は、各種クライアントからのリクエストに応じ、一時記憶部１14に保存されている画像データを所定のフォーマットで配信する。この際、配信処理プログラム１１６は、ネットワークI/F３６０を制御し、ネットワーク２３０を介して各種クライアントへ配信データを送り届ける。
【００６２】
雲台制御プログラム１０１０は、重畳処理プログラム１１５からのリクエストに応じ、雲台制御I/F３４０を経由して雲台３８０のパン・チルト制御を行い、雲台停止後に通知を返す。各プログラム同士の連携は、必要に応じてＯＳ１０００が提供する機能を用いることとする。
【００６３】
本実施形態では、音位置検出プログラム１１２と音認識プログラム１１３は、装置内で処理するように説明したが、ネットワークを経由して外部のサーバーにて音位置検出処理や音認識処理を行っても構わない。
【００６４】
図８は、第２の実施形態における重畳処理プログラム１１５により実現する動作手順を説明するフローチャートである。図５の重畳画像の例と合わせて説明する。
図８のフローチャートにおいて、図７のフローチャートと同様な処理を行うステップにおいては、同一のステップ番号を付して説明を省略する。
【００６５】
Ｓ７０３では、撮像処理プログラム１１０からの画像データ生成通知、音位置検出プログラム１１２からの音位置情報通知、音認識プログラム１１３からの音認識情報通知、及び雲台制御プログラム１０１０からの雲台停止通知を待つ。そして、通知メッセージを受信すると、Ｓ７０４でイベント内容を確認後、それぞれの処理を実施する。
【００６６】
Ｓ７０５において、撮像処理プログラム１１０からの画像データ生成通知を受信すると、通知メッセージまたは画像データに含まれている撮影位置情報を保存する。
Ｓ８０１において、雲台状態が停止中かどうかを判定する。停止中でない場合はＳ７１１に移る。
Ｓ８０１において、雲台動作が停止中の場合は、音位置情報を内部に保存しているかどうかを判定する（Ｓ７０６）。
【００６７】
Ｓ７０６にて、音位置情報を保存していない場合は、Ｓ７１１に移る。
Ｓ７０６にて、音位置情報を既に保存している場合は、Ｓ７０５にて保存した撮影位置情報から算出できる撮影範囲内に音の発生位置が存在しているかどうかを判定する（Ｓ７０７）。撮影範囲内の場合及び音声認識情報を既に保存していた場合は、前述した図７のフローチャートにおけるＳ７０８〜Ｓ７１１の処理となる。
【００６８】
Ｓ７０７にて、撮影範囲外の場合は、どのぐらい雲台を移動させれば所望の位置に音の発生位置が来るか算出（Ｓ８０２）し、雲台制御プログラム１０１０に雲台移動要求を送る（Ｓ８０３）。そして、雲台状態を移動中にして保存する（Ｓ８０４）。その後、Ｓ７１１に移行する。
【００６９】
本実施形態では、音認識情報としての文字列５２２は音の発生位置５２１の横に表示したが、すぐ横に動く物体があるなどの場合はその領域を避けて動きがない領域に重畳しても構わない。具体的には、動体領域を避けるように音の発生位置から放射線状のどこかに表示してもよい。
【００７０】
そして、Ｓ７１１にて音位置情報または音認識情報を重畳した撮影画像データを、配信処理プログラム１１６に重畳画像データ生成通知として送信し、Ｓ７０３のイベント待ちに戻る。Ｓ７１１にて、Ｓ８０１、Ｓ７０６及びＳ７０９の判定から直接移ってきた場合は、何も重畳していない画像データを重畳画像データとして通知する。
【００７１】
また、本実施形態では、音の発生位置が撮影範囲内に入っていなければ音情報は重畳しないと説明したが、撮影範囲に近ければ何らかの方法で音源が近い旨の情報を重畳するとしてもよい。
【００７２】
Ｓ７０４のイベント検出において、音位置検出プログラム１１２からの音位置情報通知を受信した場合に行なわれる処理は、前述した図７のフローチャートにおけるＳ７２０、Ｓ７２１である。
また、Ｓ７０４にて音認識情報通知を受信した場合の処理は、前述した図７のフローチャートにおけるＳ７３０、Ｓ７３１である。
一方、Ｓ７０４にて、雲台制御プログラム１０１０からの雲台停止通知を受信すると、雲台状態を停止中にする（Ｓ８０５）。
【００７３】
本実施形態では、音の発生位置が撮影範囲内に入っていなければ音情報は重畳しないと説明したが、撮影範囲に近ければ音源が近い旨の情報を重畳するとしてもよい。
また、本実施形態では、撮影領域外の音は重畳しなかったが、吹き出しや矢印を使って撮影領域外に音の発生源があることを示しても構わない。
【００７４】
このように、音の発生位置と音の認識情報を個別に処理し、できた範囲で順次重畳していくことで、撮影画像上に音の発生位置をできるだけ早く表示でき、監視エリアの何処からどんな音が出ているのか視覚的に理解することを可能になる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７６】
１００  ＯＳ
１１０  撮像処理プログラム
１１１  音入力処理プログラム
１１２  音位置検出プログラム
１１３  音認識プログラム
１１４  一時記憶部
１１５  重畳処理プログラム
１１６  配信処理プログラム
【図１】
2014212443.tif 000003
【図２】
2014212443.tif 000004
【図３】
2014212443.tif 000005
【図４】
2014212443.tif 000006
【図５】
2014212443.tif 000007
【図６】
2014212443.tif 000008
【図７】
2014212443.tif 000009
【図８】
2014212443.tif 000010