(57)【要約】【課題】  特定の音として認識した入力音を、プライバシーの侵害を考慮した形態で送信する技術を提供すること。【解決手段】  入力音を取得し、該入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち該特定の音の属性に応じた一方を外部装置に対して送信する。【選択図】  図１
2020042071.tif 000002
【特許請求の範囲】
【請求項１】
入力音を取得する取得手段と、
前記入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち該特定の音の属性に応じた一方を外部装置に対して送信する送信手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記送信手段は、前記特定の音の属性が第１の属性であれば前記入力音を前記外部装置に対して送信し、前記特定の音の属性が第２の属性であれば前記特徴量を前記外部装置に対して送信することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の属性は、前記入力音の送信が許可された音の属性、
前記第２の属性は、前記入力音の送信が許可されていない音の属性、
であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記送信手段は、複数の音のそれぞれに対する前記入力音の尤度のうち、音声に対する尤度が最も高く、該尤度と２番目に高い尤度との差が規定値以上であれば、前記入力音を前記外部装置に対して送信することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
入力音を取得する取得手段と、
前記入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち、音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信手段と
を備えることを特徴とする情報処理装置。
【請求項６】
前記送信手段は、複数の音に対する前記入力音の尤度のうち、音声に対する尤度が最も高い若しくは２番目に高い場合には、前記特徴量を前記外部装置に対して送信することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記送信手段は、複数の音のうち前記入力音に対する尤度が高い順に上位Ｎ個（Ｎは自然数）に音声が含まれている場合には、前記特徴量を前記外部装置に対して送信することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記送信手段は、複数の音のうち前記入力音に対する尤度が規定値以上となる音に音声が含まれている場合には、前記特徴量を前記外部装置に対して送信することを特徴とする請求項５に記載の情報処理装置。
【請求項９】
前記送信手段は、複数の音に対する前記入力音の尤度のうち、最も高い尤度と音声に対する尤度との差が規定値以上の場合には、前記入力音を前記外部装置に対して送信し、該差が規定値未満の場合には、前記特徴量を前記外部装置に対して送信することを特徴とする請求項５に記載の情報処理装置。
【請求項１０】
入力音を取得する取得手段と、
前記入力音は特定の音であると認識した場合、複数の音に対する該入力音の尤度、該入力音、のうち該特定の音の属性もしくは音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信手段と
を備えることを特徴とする情報処理装置。
【請求項１１】
入力音を取得する取得手段と、
前記入力音は特定の音であると認識した場合、該入力音および該認識を行った時刻のうち該特定の音の属性もしくは音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信手段と
を備えることを特徴とする情報処理装置。
【請求項１２】
前記情報処理装置は、前記入力音を収集可能な監視カメラであることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
請求項１乃至９の何れか１項に記載の情報処理装置と通信可能な装置であって、
前記送信手段が送信した入力音を再生する手段と、
前記送信手段が送信した特徴量に基づいて前記入力音と類似する音に係る情報を表示する手段と
を備えることを特徴とする装置。
【請求項１４】
請求項１０に記載の情報処理装置と通信可能な装置であって、
前記送信手段が送信した入力音を再生する手段と、
前記送信手段が送信した複数の音に対する前記入力音の尤度のうち最も高い尤度の音と、２番目に高い尤度の音と、該最も高い尤度と該２番目に高い尤度との差、の組み合わせに対応する確認項目を表示する手段と
を備えることを特徴とする装置。
【請求項１５】
請求項１１に記載の情報処理装置と通信可能な装置であって、
前記送信手段が送信した入力音を再生する手段と、
前記送信手段が送信した時刻を含む区間であって、前記入力音の属性に応じた該区間の映像を再生する手段と
を備えることを特徴とする装置。
【請求項１６】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、入力音を取得する取得工程と、
前記情報処理装置の送信手段が、前記入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち該特定の音の属性に応じた一方を外部装置に対して送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項１７】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、入力音を取得する取得工程と、
前記情報処理装置の送信手段が、前記入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち、音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項１８】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、入力音を取得する取得工程と、
前記情報処理装置の送信手段が、前記入力音は特定の音であると認識した場合、複数の音に対する該入力音の尤度、該入力音、のうち該特定の音の属性もしくは音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項１９】
情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、入力音を取得する取得工程と、
前記情報処理装置の送信手段が、前記入力音は特定の音であると認識した場合、該入力音および該認識を行った時刻のうち該特定の音の属性もしくは音声に対する該入力音の尤度に応じた一方を外部装置に対して送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項２０】
請求項１乃至９の何れか１項に記載の情報処理装置と通信可能な装置が行う方法であって、
前記送信手段が送信した入力音を再生する工程と、
前記送信手段が送信した特徴量に基づいて前記入力音と類似する音に係る情報を表示する工程と
を備えることを特徴とする方法。
【請求項２１】
請求項１０に記載の情報処理装置と通信可能な装置が行う方法であって、
前記送信手段が送信した入力音を再生する工程と、
前記送信手段が送信した複数の音に対する前記入力音の尤度のうち最も高い尤度の音と、２番目に高い尤度の音と、該最も高い尤度と該２番目に高い尤度との差、の組み合わせに対応する確認項目を表示する工程と
を備えることを特徴とする方法。
【請求項２２】
請求項１１に記載の情報処理装置と通信可能な装置が行う方法であって、
前記送信手段が送信した入力音を再生する工程と、
前記送信手段が送信した時刻を含む区間であって、前記入力音の属性に応じた該区間の映像を再生する工程と
を備えることを特徴とする方法。
【請求項２３】
コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置の送信手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識した音の送信技術に関するものである。
【背景技術】
【０００２】
従来の監視装置は、主に映像に基づくものであり、異常事態の認識には画像情報を使用することが多かったが、現在では、音を使って異常事態を認識するものも現れており、例えば、特定の音を認識してイベントを送信する。しかし、音の認識精度は１００％ではないため、特定の音として認識した音を監視ルーム側で人が聞いて確認する手法がとられている。
【０００３】
特許文献１には、日常生活の通常の音を学習し、通常でない音が発生した場合には、映像と音を送信して状態の確認に使用する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第5619529号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
不特定多数の人物が現れる公共の場では、会話の内容を聴取したり記録したりすることはプライバシーの侵害として問題になる。特許文献１に記載の技術は、観察対象は撮影および録音されることを知っており、プライバシーの問題は起こりにくいが、特許文献１に記載の技術を不特定多数の人が出現する公共の場に適用した場合には、プライバシーの問題等の新たな問題が発生する。本発明では、特定の音として認識した入力音を、プライバシーの侵害を考慮した形態で送信する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、入力音を取得する取得手段と、前記入力音は特定の音であると認識した場合、該入力音および該入力音の特徴量のうち該特定の音の属性に応じた一方を外部装置に対して送信する送信手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、特定の音として認識した入力音を、プライバシーの侵害を考慮した形態で送信することができる。
【図面の簡単な説明】
【０００８】
【図１】（Ａ）は音認識装置の機能構成例を示すブロック図、（Ｂ）は音確認装置の機能構成例を示すブロック図。
【図２】（Ａ）は音認識装置の動作のフローチャート、（Ｂ）は音確認装置の動作のフローチャート。
【図３】（Ａ）はテーブル情報の構成例を示す図、（Ｂ）は画面の一例を示す図、（Ｃ）はモデルとサンプル音との対応を示す図、（Ｄ）は画面の一例を示す図。
【図４】音認識装置の機能構成例を示すブロック図。
【図５】音認識装置の動作のフローチャート。
【図６】画面の一例を示す図。
【図７】音確認装置の機能構成例を示すブロック図。
【図８】音確認装置の動作のフローチャート。
【図９】（Ａ）はモデルとサンプル音との対応を示す図、（Ｂ）は画面の一例を示す図。
【図１０】（Ａ）は音認識装置の機能構成例を示すブロック図、（Ｂ）は音確認装置の機能構成例を示すブロック図。
【図１１】（Ａ）は音認識装置の動作のフローチャート、（Ｂ）は音確認装置の動作のフローチャート。
【図１２】（Ａ）は尤度情報の一例を示す図、（Ｂ）はテーブル情報の構成例を示す図。
【図１３】（Ａ）は音認識装置の機能構成例を示すブロック図、（Ｂ）は音確認装置の機能構成例を示すブロック図。
【図１４】（Ａ）は音認識装置の動作のフローチャート、（Ｂ）は音確認装置の動作のフローチャート。
【図１５】（Ａ）はテーブル情報の構成例を示す図、（Ｂ）は映像の再生例を示す図。
【図１６】（Ａ）は音認識装置のハードウェア構成例を示すブロック図、（Ｂ）は音確認装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１０】
［第１の実施形態］
本実施形態では、入力音は特定の音であると認識した場合には該入力音及び該入力音の特徴量のうち該特定の音の属性に応じた一方を外部装置に対して送信する音認識装置について説明する。さらに本実施形態では、該音認識装置から送信された情報に基づいて音を再生して該音を監視員に確認させる音確認装置について説明する。音認識装置と音確認装置とは直接的もしくは間接的に互いに通信可能に構成されている。例えば、音認識装置はネットワークカメラデバイスであって、音確認装置は監視ルームに設置されるモニタリング用ＰＣである。
【００１１】
先ず、音認識装置について説明する。音認識装置は、入力音を収集可能な監視カメラであり、入力音を収集する現場、例えば、不特定多数の人が出現する公共の場に設置される。
【００１２】
先ず、本実施形態に係る音認識装置のハードウェア構成例について、図１６（Ａ）のブロック図を用いて説明する。なお、図１６（Ａ）は、音認識装置の動作に係る以下の説明において主要な構成を図示したものであり、全てを図示したものではない。
【００１３】
ＣＰＵ１６０１は、ＲＡＭ１６０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１６０１は、音認識装置全体の動作制御を行うと共に、音認識装置が行うものとして後述する各処理を実行若しくは制御する。
【００１４】
ＲＡＭ１６０２は、不揮発性メモリ１６０３からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ（インターフェース）１６０６を介して外部（例えば音確認装置）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１６０２は、ＣＰＵ１６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１６０２は、各種のエリアを適宜提供することができる。
【００１５】
不揮発性メモリ１６０３には、ＯＳ（オペレーティングシステム）や、音認識装置が行うものとして後述する各処理をＣＰＵ１６０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。不揮発性メモリ１６０３に保存されているデータには、音認識装置に係る以下の説明において既知の情報として取り扱う情報が含まれている。不揮発性メモリ１６０３に保存されているコンピュータプログラムやデータは、ＣＰＵ１６０１による制御に従って適宜ＲＡＭ１６０２にロードされ、ＣＰＵ１６０１による処理対象となる。
【００１６】
撮像部１６０４は、動画像を撮像し、該動画像を構成する各フレームの画像（撮像画像）を不揮発性メモリ１６０３に対して送出する。なお、撮像部１６０４は動画像を撮像することに限らず、静止画像を連続して撮像するものであっても良く、その場合、撮像部１６０４からは各静止画像が各フレームの撮像画像として不揮発性メモリ１６０３に対して送出される。不揮発性メモリ１６０３に格納された撮像画像は適宜、ＣＰＵ１６０１により通信Ｉ／Ｆ１６０６を介して音確認装置やその他の装置に対して送信される。
【００１７】
音収集部１６０５は、マイクロフォンなどの音を収集するデバイスと、該デバイスにより収集された音をディジタルデータ（以下では、「入力音」と称する）に変換するデバイスと、を有し、入力音は不揮発性メモリ１６０３に対して送出される。
【００１８】
通信Ｉ／Ｆ１６０６は外部装置（例えば音確認装置）との間のデータ通信を行うためのインターフェースとして機能するものである。ＣＰＵ１６０１、ＲＡＭ１６０２、不揮発性メモリ１６０３、撮像部１６０４、音収集部１６０５、通信Ｉ／Ｆ１６０６は何れも、バス１６０７に接続されている。
【００１９】
次に、本実施形態に係る音認識装置の機能構成例について、図１（Ａ）のブロック図を用いて説明する。なお、以下では図１（Ａ）の各機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１６０１が実行することで該機能部の機能が実現される。なお、図１（Ａ）に示した機能部の一部若しくは全部をハードウェアで実装しても良い。
【００２０】
モデルセット１０１は、様々な属性の音を認識するためのモデル（該音の特徴量群）の集合であり、例えば、不揮発性メモリ１６０３に予め登録されている。図１（Ａ）には一例として、銃声モデル、ガラス破壊音モデル、叫び声モデル、抑制音モデル、背景音モデル、を含むモデルセット１０１が示されている。銃声モデルは、銃声（属性が「銃声」の音）を認識するためのモデルである。ガラス破壊音モデルは、ガラスの破壊音（属性が「ガラスの破壊音」の音）を認識するためのモデルである。叫び声モデルは、叫び声（属性が「叫び声」の音）を認識するためのモデルである。抑制音モデルは、抑制音（属性が「抑制音」の音）を認識するためのモデルである。背景音モデルは、背景音（属性が「背景音」の音）を認識するためのモデルである。
【００２１】
音入力部１０２は、音収集部１６０５が取得した入力音を取得する。特徴量抽出部１０３は、音入力部１０２が取得した入力音から特徴量を抽出する。音から該音の特徴量を抽出する技術については周知であるため、該技術に関する説明は省略する。尤度計算部１０４は、特徴量抽出部１０３により入力音から抽出された特徴量の、モデルセット１０１に含まれているそれぞれのモデル（銃声モデル、ガラス破壊音モデル、叫び声モデル、抑制音モデル、背景音モデル）に対する尤度を求める。以下では、入力音の特徴量の、それぞれのモデル（銃声モデル、ガラス破壊音モデル、叫び声モデル、抑制音モデル、背景音モデル）に対する尤度を、入力音の、それぞれの音（銃声、ガラス破壊音、叫び声、抑制音、背景音）に対する尤度と称する場合がある。
【００２２】
結果決定部１０５は、入力音がどの特定の音（「銃声」、「ガラス破壊音」、「叫び声」、「抑制音」、「背景音」の何れか）であるのかを、尤度計算部１０４による尤度の計算結果に基づいて認識する。例えば、結果決定部１０５は、尤度計算部１０４が求めた尤度のうち最も高い尤度（最高尤度Ｌ）を持つモデルを特定する。なお、結果決定部１０５は、最高尤度Ｌと２番目に高い尤度との差が規定値未満であれば、入力音は特定の音ではないと判断する。なお、最高尤度Ｌに閾値を設け、最高尤度Ｌが閾値未満であれば、入力音は特定の音ではないと認識し、最高尤度Ｌが閾値以上であれば、該最高尤度Ｌを求めたモデルを特定することもできる。そして結果決定部１０５は、入力音は、該特定したモデルに対応する属性の音（該特定したモデルが認識する属性の音）と認識する。例えば、銃声モデル、ガラス破壊音モデル、叫び声モデル、抑制音モデル、背景音モデル、のうち、最大尤度Ｌを求めたモデルが背景音モデルであるとする。このとき結果決定部１０５は、入力音は特定の音「背景音」であると認識する。
【００２３】
送信部１０６は、音確認装置（外部装置）に、映像または音に基づいて検知された事象を示すイベントを送信する。特に、送信部１０６は、入力音が特定の音であると認識された場合には、該特定の音の属性を示す音イベントを、音確認装置に対して送信する。さらに送信部１０６は、入力音が特定の音であると認識された場合には、該特定の音の属性が第１の属性であれば入力音を音確認装置に対して送信し、該属性が第２の属性であれば該入力音の特徴量を音確認装置に対して送信する。音確認装置への情報送信は通信Ｉ／Ｆ１６０６を介して行われる。
【００２４】
本実施形態では、不揮発性メモリ１６０３には、図３（Ａ）に例示するテーブル情報が登録されているものとする。図３（Ａ）のテーブル情報では、音認識装置が認識可能な音の属性として、「銃声」、「ガラス破壊音」、「叫び声」、「抑制音」、「背景音」が「音の属性」の項目に定義されている。このうち、属性が「銃声」、「ガラス破壊音」、「叫び声」の音については、これらの属性の音が検知されたことを示す音イベントを音確認装置に送信することが必要であることが、「音イベント」の項目に定義されている（「要」が登録されている）。一方で、属性が「抑制音」、「背景音」の音については、音確認装置に対して音イベントの送信が必要ないことが、「音イベント」の項目に定義されている（「不要」が登録されている）。また、音イベントの通知が必要となる音の属性のうち「銃声」、「ガラス破壊音」のそれぞれに対しては、音送信可／不可フラグの値として「可」（入力音の送信を許可する旨）が登録されている。また図３（Ａ）のテーブル情報では、音イベントの通知が必要となる音の属性のうち「叫び声」に対しては、音送信可／不可フラグの値として「不可」（入力音の送信を許可しない旨）が登録されている。
【００２５】
例えば、認識結果の属性が「叫び声」である場合は、何等かの異常が発生した現場に居合わせた人物による、言語として意味を持たない悲鳴や、危険を知らせる言葉を発した大きな声を検知した場合が含まれる。一方で、大きな声で人物の名前を呼んだり、会話したりする声等が、その音の性質等によっては「叫び声」として認識される可能性もある。そのような場合には、入力音にプライベートな内容が含まれる可能性がある。従って本実施形態では、プライバシー保護の観点から、「叫び声」を入力音の送信を許可しない音の属性の例とする。ただし、本実施形態はこれに限定されない。「叫び声」に限らず、音認識装置および音確認装置が設置される環境に応じ、音声を外部送信すべきでないと判断される種類の音あるいはそれに似た音を、入力音の送信を許可しない音の属性として定義すればよい。
【００２６】
送信部１０６は、入力音の認識結果である特定の音の属性が「銃声」や「ガラス破壊音」である場合には、対応する送信可／不可フラグの値は「可」であるから、入力音を音確認装置に対して送信する。一方、送信部１０６は、入力音の認識結果である特定の音の属性が「叫び声」である場合には、対応する音送信可／不可フラグの値は「不可」であるから、入力音の代わりに、該入力音から特徴量抽出部１０３が抽出した特徴量を音確認装置に対して送信する。
【００２７】
上記の音認識装置の動作について、図２（Ａ）のフローチャートに従って説明する。なお、各ステップにおける処理の詳細については上記の通りであるため、ここでは簡単に説明する。ステップＳ２０１では、音入力部１０２は入力音を取得する。ステップＳ２０２では、特徴量抽出部１０３は、ステップＳ２０１において音入力部１０２が取得した入力音から特徴量を抽出する。ステップＳ２０３では、尤度計算部１０４は、ステップＳ２０２において特徴量抽出部１０３が入力音から抽出した特徴量の、モデルセット１０１に含まれているそれぞれのモデルに対する尤度を求める。ステップＳ２０４では、結果決定部１０５は、入力音が予め定義された属性の音（「銃声」、「ガラス破壊音」、「叫び声」、「抑制音」、「背景音」）の何れであるのかを、ステップＳ２０３において尤度計算部１０４が求めた尤度に基づいて認識する。
【００２８】
ステップＳ２０５では、結果決定部１０５は、ステップＳ２０４で認識（決定）された音（特定の音）が、音イベントの通知が必要となる音であるのか（音イベントとして通知すべきものであるのか）否かの判断を行う。本実施形態では、図３（Ａ）のテーブル情報において、特定の音に対応する「音イベント」の項目に「要」が登録されていれば、該特定の音は音イベントの通知が必要となる音である（音イベントとして通知すべきものである）と判断する。一方、図３（Ａ）のテーブル情報において、特定の音に対応する「音イベント」の項目に「不要」が登録されていれば、特定の音は音イベントの通知が必要ではない音である（音イベントとして通知すべきものではない）と判断する。このように、本実施形態では、音イベントの通知が必要となる特定の音の定義は、予め設定されたものに従うが、適宜設定を変更可能としてもよい。本実施形態では、図３（Ａ）に示す如く、属性が「銃声」、「ガラス破壊音」、「叫び声」の音については音イベントの通知が必要な特定の音である。一方、属性が「抑制音」、「背景音」と認識される音は、音イベントとしての通知が必要でない音である。
【００２９】
このような判断の結果、入力音が音イベントとして通知すべきものであるとして判断された場合、処理はステップＳ２０６に進み、入力音が音イベントとして通知すべきものであると判断されなかった場合、図２（Ａ）のフローチャートに従った処理は終了する。
【００３０】
ステップＳ２０６では、送信部１０６は、ステップＳ２０４における入力音の認識結果である特定の音の属性を示す音イベントを、音確認装置に対して送信する。そしてステップＳ２０７では、送信部１０６は、入力音の認識結果である特定の音の音送信可／不可フラグの値が「可」であるのか、それとも「不可」であるのかを判断する。
【００３１】
このような判断の結果、入力音の認識結果である特定の音の音送信可／不可フラグの値が「可」である場合には、処理はステップＳ２０８に進み、「不可」である場合には、処理はステップＳ２０９に進む。
【００３２】
ステップＳ２０８では、送信部１０６は、入力音を音確認装置に対して送信する。一方、ステップＳ２０９では、送信部１０６は、該入力音からステップＳ２０２において特徴量抽出部１０３が抽出した特徴量を、音確認装置に対して送信する。
【００３３】
なお送信部１０６は、ステップＳ２０８において入力音を送信する際には、該入力音を符号化して送信しても良いし、該入力音に対して様々な処理を施してから送信しても良い。なお、ステップＳ２０８において送信部１０６は、送信したものが入力音であることを示す情報（情報Ａ）を入力音の送信前に送信しても良い。
【００３４】
また送信部１０６は、ステップＳ２０９において特徴量を送信する際には、該特徴量を符号化して送信しても良いし、該特徴量に対して様々な処理を施してから送信しても良い。なお、ステップＳ２０９において送信部１０６は、送信したものが特徴量であることを示す情報（情報Ｂ）を特徴量の送信前に送信しても良い。
【００３５】
なお、送信部１０６が送信する入力音や特徴量は、音イベントを検出した区間（入力音において最高尤度Ｌを求めた区間）の入力音や特徴量であっても良いし、その区間の前後に短い時間のマージンを持たせたものであってもよい。なお、マージンを持たせる場合には、そのマージンの中に「送信可／不可フラグの値が「不可」となる属性の音」の区間が含まれないようにするようにしても良い。
【００３６】
次に、音確認装置について説明する。音確認装置は、監視ルーム等に設置されるものであり、音認識装置から送信された情報（音イベント、入力音、特徴量など）に基づく表示を行う装置である。なお、音確認装置が設置されている空間（監視ルーム等）には表示装置が設けられており、該表示装置には、音認識装置または該音認識装置とは別個の監視カメラから送信された「監視現場（音認識装置が入力音を収集する現場）の映像」が表示される。この表示装置は以下に説明する表示部１６５５であっても良いし、表示部１６５５とは別個の表示装置であっても良い。
【００３７】
先ず、音確認装置のハードウェア構成例について、図１６（Ｂ）のブロック図を用いて説明する。なお、図１６（Ｂ）は、音確認装置の動作に係る以下の説明において主要な構成を図示したものであり、全てを図示したものではない。
【００３８】
ＣＰＵ１６５１は、ＲＡＭ１６５２やＲＯＭ１６５３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１６５１は、音確認装置全体の動作制御を行うと共に、音確認装置が行うものとして後述する各処理を実行若しくは制御する。
【００３９】
ＲＡＭ１６５２は、ＲＯＭ１６５３や外部記憶装置１６５６からロードされたコンピュータプログラムやデータ、通信Ｉ／Ｆ１６５８を介して外部装置（例えば音認識装置）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１６５２は、ＣＰＵ１６５１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１６５２は、各種のエリアを適宜提供することができる。ＲＯＭ１６５３には、音確認装置の起動プログラムや設定データなど、書換不要の情報が格納されている。
【００４０】
操作部１６５４は、キーボード、マウス、タッチパネル画面、等のユーザインターフェースにより構成されており、監視員が操作することで各種の指示をＣＰＵ１６５１に対して入力することができる。
【００４１】
表示部１６５５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ１６５１による処理結果を画像や文字などでもって表示することができる。なお、表示部１６５５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。
【００４２】
外部記憶装置１６５６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１６５６には、ＯＳや、音確認装置が行うものとして後述する各処理をＣＰＵ１６５１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１６５６に保存されているデータには、音確認装置に係る以下の説明において既知の情報として取り扱う情報が含まれている。外部記憶装置１６５６に保存されているコンピュータプログラムやデータは、ＣＰＵ１６５１による制御に従って適宜ＲＡＭ１６５２にロードされ、ＣＰＵ１６５１による処理対象となる。
【００４３】
スピーカ１６５７は、音のデータに基づく該音を出力する。通信Ｉ／Ｆ１６５８は外部装置（例えば音認識装置）との間のデータ通信を行うためのインターフェースとして機能するものである。ＣＰＵ１６５１、ＲＡＭ１６５２、ＲＯＭ１６５３、操作部１６５４、表示部１６５５、外部記憶装置１６５６、スピーカ１６５７、通信Ｉ／Ｆ１６５８は何れも、バス１６５９に接続されている。
【００４４】
音確認装置の機能構成例を図１（Ｂ）に示す。なお、以下では図１（Ｂ）の各機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１６５１が実行することで該機能部の機能が実現される。なお、図１（Ｂ）に示した機能部の一部若しくは全部をハードウェアで実装しても良い。
【００４５】
モデルセット１０７は、モデルセット１０１を含む様々なモデルの集合である。モデルセット１０７には、モデルセット１０１に加え、バックファイヤモデル、花火モデル、子供大声モデル、大人大声モデル、が登録されている。バックファイヤモデルは、バックファイヤの音（属性が「バックファイヤ」の音）を認識するためのモデルである。花火モデルは、花火の音（属性が「花火」の音）を認識するためのモデルである。子供大声モデルは、子供の大声（属性が「子供の大声」の音）を認識するためのモデルである。大人大声モデルは、大人の大声（属性が「大人の大声」の音）を認識するためのモデルである。モデルセット１０７は、モデルセット１０１よりモデルの数やバリエーションが多い。これにより、音認識装置側での認識結果が不確かであったとしても、音確認装置側でその音の内容をより詳細に推定した結果を得ることができる。例えば、音認識装置では「叫び声」のイベントが検出されたが、それは「子供の大声」かもしれない、といった複数の可能性を音確認装置が提示することができる。
【００４６】
図１（Ｂ）の各機能部の動作については、音確認装置の動作のフローチャートを示す図２（Ｂ）に従って説明する。ステップＳ２１１では、受信部１０８は、音認識装置から送信された情報を受信する。ステップＳ２１２では、提示部１０９は、ステップＳ２１１で受信部１０８が受信した音イベントを表示部１６５５に表示（提示）する。
【００４７】
ステップＳ２１３では、受信部１０８は、音認識装置から受信した情報に入力音が含まれているのか、それとも該入力音の特徴量が含まれているのかを判断する。この判断の方法には様々な方法が適用可能である。
【００４８】
例えば、音認識装置から情報Ａを受信した場合、音認識装置から受信した情報には特徴量ではなく入力音が含まれていると判断し、音認識装置から情報Ｂを受信した場合、音認識装置から受信した情報には入力音ではなく特徴量が含まれていると判断する。また例えば、音認識装置から受信した音イベントに対応する送信可／不可フラグの値が「可」であれば、特徴量ではなく入力音を音認識装置から受信したと判断し、該値が「不可」であれば、入力音ではなく特徴量を音認識装置から受信したと判断する。
【００４９】
このような判断の結果、音認識装置から受信した情報に入力音が含まれている場合には、処理はステップＳ２１４に進み、該入力音の特徴量が含まれている場合には、処理はステップＳ２１６に進む。
【００５０】
ステップＳ２１４では、音声再生部１１３は、ステップＳ２１１において受信部１０８が受信した入力音を再生することで、スピーカ１６５７から音として出力させる。なお、ステップＳ２１１で受信部１０８が受信した入力音のデータを外部記憶装置１６５６に保存しておいて、後で監視員の指示に応じて何度でも再生可能とするようにしても良い。
【００５１】
一方、ステップＳ２１６では、尤度計算部１１０は、ステップＳ２１１で受信部１０８が受信した特徴量の、モデルセット１０７におけるそれぞれのモデルに対する尤度を求める。
【００５２】
そしてステップＳ２１８では、候補決定部１１１は、モデルセット１０７におけるモデルのうち、尤度が高い順に複数のモデルを選択モデル（候補）として選択する。なお、選択モデルの選択基準は特定の選択基準に限らず、例えば、尤度が高い順に上位Ｎ個（Ｎは自然数）のモデルを選択モデルとして選択しても良いし、尤度が閾値以上のモデルを選択モデルとして選択しても良い。
【００５３】
ステップＳ２１９では、候補提示部１１２は、選択モデルに対応する音の属性を通知する画面を生成して表示部１６５５に表示させる。例えば、選択モデルとして叫び声モデル及び子供大声モデル（叫び声モデルの尤度＞子供大声モデルの尤度）が選択されたとする。このとき候補提示部１１２は図３（Ｂ）に示す如く、「叫び声」のイベントが検出された（入力音声が叫び声であると認識された）旨、「子供の大声」のイベントが検出された（入力音声が子供大声であると認識された）可能性もある旨、を含む画面を生成する。
【００５４】
選択モデルに対応する音の属性を通知する画面を見た監視員は、映像で子供の映像の有無とその動作を確認することができる。このように本実施形態では音イベントを受信しても、音が受信されていない場合は、音の属性を画面上で明示する。監視員は、認識された音を耳で聞いて確認できなくても、発生した可能性のある音をヒントに映像で異常の有無を確認することができる。例えば、叫び声が発生するような事態が生じたかもしれないが、「子供の大声」が検知された可能性もあると認識した上で、映像を見ることができる。その際、映像では重大なトラブルが起きている様子がなく、子供が遊んでいる様子が写っていることが確認されれば、急いで現地に確認に赴く作業を省くことができる場合がある。
【００５５】
なお、ステップＳ２１９にて候補提示部１１２が生成する画面は図３（Ｂ）に示した画面に限らない。例えば、文字列に加えて若しくは代えてアイコンを表示しても良い。また例えば、図３（Ｃ）に示す如く、モデルセット１０７におけるそれぞれのモデルに対応する属性の音（サンプル音）を外部記憶装置１６５６に登録しておいても良い（黒三角はサンプル音を表している）。そして図３（Ｂ）の画面の代わりに図３（Ｄ）に示す画面を表示部１６５５に表示させ、監視員が操作部１６５４を操作して黒三角のマークを指示すると、対応するサンプル音を再生させても良い。また、「叫び声」のサンプル音と「子供の大声」のサンプル音とを交互に再生しても良い。
【００５６】
また、本実施形態では、入力音を送信するのか、それとも入力音の特徴量を送信するのか、を該入力音の認識結果（特定の音）の属性に応じて判断していたが、尤度に応じて判断しても良い。例えば入力音の認識結果が「叫び声」であって、「叫び声」に対する尤度が非常に高い規定値以上であったり、２番目に高い尤度との差が非常に大きい規定値以上であったりした場合には、通常発声の可能性はないものとして、入力音を送信するようにしても良い。
【００５７】
また、本実施形態では、入力音の認識にモデル（音響モデル）を使った統計的認識手法を用いているが、入力音の認識手法は特定の認識手法に限らず、例えば、特定の特徴の組み合わせをルールで記述した認識手法を採用してもよい。
【００５８】
［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態では、入力音を送信するか特徴量を送信するかの判断に、該入力音の認識結果である特定の音の属性を用いた。入力音が発生した状況によっては、銃声やガラス破壊音として認識した入力音に通常発声の会話（感情の起伏による変動を含まない平静な状態で発声された音声）が重畳している可能性がある。本実施形態ではこのような点に鑑み、入力音を送信するか特徴量を送信するかの判断に、通常発声を認識するためのモデルに対する尤度を参照する。
【００５９】
本実施形態に係る音認識装置の機能構成例について、図４のブロック図を用いて説明する。図４に示した構成は、図１の構成においてモデルセット１０１をモデルセット４０１に置き換えたものである。モデルセット４０１には、モデルセット１０１に加えて、通常発声の会話を認識するためのモデルである通常発声モデルが含まれている。
【００６０】
本実施形態に係る音認識装置の動作について、図５のフローチャートに従って説明する。ステップＳ５０１では、結果決定部１０５は、最高尤度Ｌを求めたモデルに対応する音が音イベントとして通知すべき音であるかを判断する。音イベントとして通知すべき音である場合、ステップ５０２へ進み、そうでない場合は、ステップ５０４へ進む。
【００６１】
ステップＳ５０２では、送信部１０６は、ステップＳ２０４における入力音の認識結果である特定の音の属性を示す音イベントを音確認装置に対して送信する。そしてステップＳ５０３では、結果決定部１０５は、２番目に大きい尤度を求めたモデルが通常発声モデルであるか否かを判断する。この判断の結果、２番目に大きい尤度を求めたモデルが通常発声モデルである場合には、処理はステップＳ２０９に進み、２番目に大きい尤度を求めたモデルが通常発声モデル以外のモデルである場合には、処理はステップＳ２０８に進む。
【００６２】
ステップＳ５０４では、結果決定部１０５は、最高尤度Ｌを求めたモデルが通常発声モデルかどうかの判断を行う。最高尤度Ｌを求めたモデルが通常発声モデルでない場合には何もせず終了する。一方、最高尤度Ｌを求めたモデルが通常発声モデルの場合、ステップＳ５０５で結果決定部１０５は、２番目に高い尤度を求めたモデルに対応する音が、音イベントとして通知すべき音であるか判断する。２番目に高い尤度を求めたモデルに対応する音が、音イベントとして通知すべき音である場合、ステップＳ５０６で送信部１０６は、ステップＳ２０４における入力音の認識結果である特定の音の属性を示す音イベントを、音確認装置に対して送信する。最高尤度Ｌを求めたモデルが通常発声モデルで、２番目に高い尤度を求めたモデルに対応する音が音イベントとして通知すべき音の場合、音認識装置の近くで会話が発生し、遠くで「音イベントとして通知すべき音」かもしれない音が発生している可能性がある。そのため、音イベントを送信するが、音は送信せず音の特徴量を送信する。一方、２番目に高い尤度を求めたモデルに対応する音が、音イベントとして通知すべき音ではない場合、何もせず終了する。
【００６３】
なお、本実施形態では、音イベントを検出した区間（入力音において最高尤度Ｌを求めた区間）の前後に短い時間のマージンを持たせる場合には、そのマージンの中に「通常発声」の区間が含まれないようにするようにしても良い。
【００６４】
また、ステップＳ５０３における判断は、「２番目に高い尤度を求めたモデルが通常発声モデルであるか否か」に限らず、例えば、「尤度が高い順に上位Ｎ個（Ｎは自然数）のモデルの中に通常発声モデルが含まれているか否か」でも良い。この場合、「尤度が高い順に上位Ｎ個のモデルの中に通常発声モデルが含まれている」場合には、処理はステップＳ２０９に進み、「尤度が高い順に上位Ｎ個のモデルの中に通常発声モデルが含まれていない」場合には、処理はステップＳ２０８に進む。またステップＳ５０３における判断は、「最高尤度Ｌと通常発声モデルの尤度との差が規定値未満であるか否か」であっても良い。この場合、「最高尤度Ｌと通常発声モデルの尤度との差が規定値未満」であれば、処理はステップＳ２０９に進み、「最高尤度Ｌと通常発声モデルの尤度との差が規定値以上」であれば、処理はステップＳ２０８に進む。
【００６５】
なお、ステップＳ５０１において、最高尤度Ｌを求めたモデルが通常発声モデルであり、該最高尤度Ｌと２番目に高い尤度との差が規定値以上であれば、音イベントや特徴量を送信しないようにしても良い。また、尤度が規定値以上となるモデルの中に通常発声モデルが含まれている場合には、音イベント及び特徴量を送信するようにしても良い。
【００６６】
本実施形態では、音確認装置が保持するモデルセット１０７にも、通常発声モデルが含まれている。そして音確認装置は音認識装置から音イベント及び特徴量を受信すると、第１の実施形態と同様にして選択モデルを決定するが、選択モデルに通常発声モデルが含まれていたとする。このとき、音確認装置の表示部１６５５には、図６に例示する画面が表示される。図６の画面は、最高尤度Ｌを求めたモデルが銃声モデルであり、２番目に高い尤度を求めたモデルがバックファイヤモデルであり、選択モデルに通常発声モデルが含まれている場合に表示される画面である。この画面では音を確認できない理由も合わせて提示している。このように理由を提示することで、確認装置を利用する監視員は、入力音を再生することによる確認ができなくても、速やかに状況を把握し、優先的に映像の確認を行うなどすることができる。なお、音確認装置のモデルセット１０７に通常発声モデルを加えた場合には、その重複の可能性を再検証するようにしてもよい。なお、通常発声は、発声形態の一例であり、「特定の発声」の一例に過ぎない。
【００６７】
［第３の実施形態］
第１，２の実施形態では、音確認装置が保持するモデルセットは１セットであったが、音の属性ごとにモデルセットを保持するようにしても良い。この場合、例えば、銃声に対応するモデルセットには、さまざまな銃声に対応するモデルが含まれていることになる。これは、銃の口径の大きさや銃の種類でその銃声が異なるため、口径や銃の種類により異なるモデルとして学習していることに起因している。
【００６８】
本実施形態に係る音確認装置の機能構成例について、図７のブロック図を用いて説明する。図７に示した構成は、図１（Ｂ）に示した構成においてモデルセット１０７の代わりに、銃声に対応するモデルセット７０１、ガラス破壊音に対応するモデルセット７０２、叫び声に対応するモデルセット７０３を保持していると共に、選択部７０４を有している。
【００６９】
本実施形態に係る音確認装置の動作について、図８のフローチャートに従って説明する。ステップＳ８０１では、選択部７０４は、保持しているモデルセット７０１〜７０３のうち、ステップＳ２１１において受信した音イベントに対応するモデルセットを選択する。ステップＳ２１６では、この選択されたモデルセットを使用する。
【００７０】
なお、図９（Ａ）に示す如く、モデルセット７０１〜７０３におけるそれぞれのモデルに対応する属性の音（サンプル音）を外部記憶装置１６５６に登録しておいても良い（黒三角はサンプル音を表している）。モデル毎に、「バーン」という重い音や「パン」という軽い音（サンプル音）が対応付けられている。
【００７１】
そして図３（Ｂ）の画面の代わりに図９（Ｂ）に示す画面を表示部１６５５に表示させ、監視員が操作部１６５４を操作して黒三角のマークを指示すると、対応するサンプル音を再生させても良い。図９（Ｂ）では、音確認装置で類似する音の項を提示した例を示しており、この例では「パン」という軽い銃声と、「パン」という掌を打ち合わせた柏手という音の候補が提示されている。この画面では、銃声でなく、人が手を叩いている可能性を提示している。監視員はこれを踏まえて映像を確認する。
【００７２】
［第４の実施形態］
上記の各実施形態では、入力音を送信できない場合には、該入力音の特徴量を送信し、受信側で類似する音の候補を提示することで、元の音を推測できる情報を提示している。本実施形態では、入力音を送信できない場合には、音認識装置において求めた各モデルに対する尤度を送信し、受信側で該尤度から確認項目を選択して提示する。
【００７３】
本実施形態に係る音認識装置の機能構成例について、図１０（Ａ）のブロック図を用いて説明する。図１０（Ａ）の構成は、図１（Ａ）の構成において、送信部１０６を送信部１００１に置き換えたものである。
【００７４】
本実施形態に係る音認識装置の動作について、図１１（Ａ）のフローチャートに従って説明する。ステップＳ１１０１で送信部１００１は、上記のステップＳ２０７における判断や、上記のステップＳ５０１，Ｓ５０３，Ｓ５０４，Ｓ５０５における判断を行う。この判断により送信部１００１は、入力音を送信するのか、各モデルについてステップＳ２０３で求めた尤度を送信するのか、を判断する。このとき、上記のステップＳ２０７における判断や、ステップＳ５０１，Ｓ５０３，Ｓ５０４，Ｓ５０５の判断において「特徴量を送信する」と判断することの代わりに「各モデルに対する尤度を送信する」と判断することになる。
【００７５】
そしてステップＳ１１０１における判断の結果、入力音を送信すると判断した場合には、処理はステップＳ２０８に進み、尤度を送信すると判断した場合には、処理はステップＳ１１０２に進む。
【００７６】
ステップＳ１１０２では、送信部１００１は、各モデルについて、該モデルの識別情報と、該モデルについて求めた尤度と、のセットを生成し、各モデルのセットを含む尤度情報を音確認装置に対して送信する。
【００７７】
次に、本実施形態に係る音確認装置の機能構成例について、図１０（Ｂ）のブロック図を用いて説明する。また、本実施形態に係る音確認装置の動作について、図１１（Ｂ）のフローチャートに従って説明する。
【００７８】
ステップＳ１１０３では、受信部１００２は、音認識装置から送信された情報を受信する。ステップＳ１１０４では、検索部１００４は、ステップＳ１１０３で受信した尤度情報を用いて確認項目ＤＢ１００３から、該尤度情報に対応する確認項目を検索する。
【００７９】
本実施形態に係る尤度情報の一例を図１２（Ａ）に示す。図１２（Ａ）に示す尤度情報には、モデルのモデル名と該モデルに対して求めた尤度と、のセットが尤度が高い順に並べられており、各セットに対して尤度が高い順に順位が１，２，３，…，８と割り当てられている。図１２（Ａ）の尤度情報は、音認識装置において最高尤度Ｌを求めたモデルが叫び声モデル、２番目に高い尤度を求めたモデルが抑制音１モデル、…となった場合に生成されたものである。
【００８０】
確認項目ＤＢ１００３に登録されているテーブル情報の構成例を図１２（Ｂ）に示す。テーブル情報には、最高尤度Ｌを求めたモデル（一位モデル）のモデル名、２番目に高い尤度を求めたモデル（二位モデル）のモデル名、最高尤度Ｌと２番目に高い尤度との差（尤度差）、の組み合わせごとに確認項目が登録されている。尤度差「小」は「尤度差が規定値よりも小さいこと」を表しており、尤度差「大」は「尤度差が規定値よりも大きいこと」を表している。
【００８１】
よってステップＳ１１０４で検索部１００４は、図１２（Ａ）の尤度情報を取得すると、一位モデルのモデル名が「叫び声」、二位モデルのモデル名が「抑制音１」、尤度差が「小」の組み合わせに対応する確認項目を図１２（Ｂ）のテーブル情報から検索する。なお、ここでは、最高尤度Ｌと２番目に高い尤度との差に対する閾値を「５００」としたので、最高尤度Ｌ「−２５８１８０４」と２番目に高い尤度「−２５８２０３０」との差分（差の絶対値）「２２６」＜「５００」であるから尤度差は「小」となる。
【００８２】
そしてステップＳ１１０５では、提示部１００５は、ステップＳ１１０４における検索でテーブル情報から見つけた確認項目を表示部１６５５に表示させる。一位モデルのモデル名が「叫び声」、二位モデルのモデル名が「抑制音１」、尤度差が「小」の組み合わせの場合、笑い声や泣き声などから作られた抑制音１のモデルが２位になっていれば笑い声や泣き声で誤認識した可能性がある。
【００８３】
確認項目ＤＢ１００３に登録されているテーブル情報は、誤認識した例とその尤度情報を用いて作成するようにしてもよい。その場合には、統計分析の手法を用い複数の候補の尤度と誤認識した音の関連性を抽出してもよい。
【００８４】
［第５の実施形態］
本実施形態に係る音認識装置の機能構成例について、図１３（Ａ）のブロック図を用いて説明する。図１３（Ａ）に示した構成は、図１（Ａ）に示した構成において、送信部１０６を送信部１３０１に置き換えたものである。送信部１３０１は、第１の実施形態における「特徴量を送信する条件」が満たされた場合に、「入力音が特定の音として認識された時刻を示す時刻情報」を送信する。また、音の種類によっては継続時間の長いものもある。この場合、音イベントは、開始イベントと終了イベントの２つで構成され、開始時刻と終了時刻の情報をそれぞれ送信する。
【００８５】
本実施形態に係る音認識装置の動作について、図１４（Ａ）のフローチャートに従って説明する。ステップＳ１４０１では、送信部１３０１は、ステップＳ２０５で入力音が特定の音として認識された時刻をＣＰＵ１６０１のタイマから取得し、該取得した時刻を示す時刻情報を送信する。
【００８６】
次に、本実施形態に係る音確認装置の機能構成例について、図１３（Ｂ）のブロック図を用いて説明する。また、本実施形態に係る音確認装置の動作について、図１４（Ｂ）のフローチャートに従って説明する。
【００８７】
ステップＳ１４０２では、受信部１３０２は、音認識装置から送信された情報を受信する。ステップＳ１４０３では、検索部１３０５は、ステップＳ１４０２で受信した情報から音イベントを取得し、該音イベントを用いて確認時間ＤＢ１３０４から、該音イベントに対応する前時間及び後時間を検索する。確認時間ＤＢ１３０４には、図１５（Ａ）に示す如く、音イベントごとに前時間及び後時間が登録されたテーブル情報が格納されている。前時間とは、音イベントに対応する音が認識された時刻から、該音に対応するイベントが発生したであろう開始時刻までの時間である。後時間とは、音イベントに対応する音が認識された時刻から、該音に対応するイベントが終了したであろう終了時刻までの時間である。然るに検索部１３０５は、このテーブル情報を参照して、ステップＳ１４０２で取得した音イベントに対応する前時間及び後時間を検索する。
【００８８】
ステップＳ１４０４で映像再生部１３０６は、音認識装置または音認識装置とは別個の監視カメラから取得した映像において、時刻情報が示す時刻から前時間だけ遡った時刻から「時刻情報が示す時刻から後時間だけ経過した時刻まで」の期間の映像を再生する。再生した映像は表示部１６５５に表示される。
【００８９】
映像再生部１３０６による映像の再生例を図１５（Ｂ）に示す。入力音が叫び声である場合には、前時間及び後時間はそれぞれ、図１５（Ａ）のテーブル情報より「３秒」、「１秒」である。然るに、入力音が叫び声であると認識した時刻（イベント発生時）から３秒過去の時刻から、イベント発生時から１秒後の時刻までの区間の映像が再生対象となる。なお、イベント発生時の映像を提示して３秒前まで高速で巻き戻し、そこから通常速度で再生するようにしてもよい。
【００９０】
なお、イベント発生を開始イベントと終了イベントとした場合、開始イベントを受信した段階で、ステップＳ２１４もしくはステップＳ１４０３を別スレッドで開始し、終了イベントを受信した段階で後時間を付与して音声の再生や画像の再生を終了する。
【００９１】
［第６の実施形態］
上記の各実施形態では、音認識装置は、図１６（Ａ）に示すハードウェア構成を有するものとして説明したが、図１６（Ａ）に示した構成と同等以上の構成を複数の装置で実装しても良い。例えば、動画像若しくは連続して静止画像を撮像するカメラと、音を収集するデバイスと、図１（Ａ）、４，１０（Ａ）、１３（Ａ）の機能個性を実現する情報処理装置と、で音認識装置を実装しても良い。これは音確認装置についても同様で、音確認装置の構成を複数の装置を用いて実装しても良い。
【００９２】
また、上記の各実施形態では、音認識装置や音確認装置がモデルセットを保持しているものとした。しかし、これに限らず、音認識装置や音確認装置がアクセス可能な外部のサーバ装置にモデルセットを登録しておき、音認識装置や音確認装置が必要に応じてサーバ装置にアクセスしてモデルセットを参照するようにしても良い。この場合、音認識装置と音確認装置とでモデルセットを共有することができるため、例えば、モデルセットの編集を行った際に、音認識装置と音確認装置とで同じ編集が施されたモデルセットを使用することができる。また、音認識装置において撮像部１６０４および音収集部１６０５以外の機能の一部若しくは全部を音確認装置が実行するようにしても良い。
【００９３】
また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
【００９４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９５】
１０１：モデルセット  １０２：音入力部  １０３：特徴量抽出部  １０４：尤度計算部  １０５：結果決定部  １０６：送信部
【図１】
2020042071.tif 000003
【図２】
2020042071.tif 000004
【図３】
2020042071.tif 000005
【図４】
2020042071.tif 000006
【図５】
2020042071.tif 000007
【図６】
2020042071.tif 000008
【図７】
2020042071.tif 000009
【図８】
2020042071.tif 000010
【図９】
2020042071.tif 000011
【図１０】
2020042071.tif 000012
【図１１】
2020042071.tif 000013
【図１２】
2020042071.tif 000014
【図１３】
2020042071.tif 000015
【図１４】
2020042071.tif 000016
【図１５】
2020042071.tif 000017
【図１６】
2020042071.tif 000018