(57)【要約】【課題】ユーザが長時間記録データを頭出し再生確認する際にユーザが確認したい箇所以外の頭出し再生箇所が増加すること、およびユーザが確認したい頭出し再生箇所が欠落することを抑制することが可能な再生システムおよび再生方法を提供する。【解決手段】再生システムは、収音領域からの音を収音するマイクアレイ装置と、マイクアレイ装置により収音された音データより生成される指向音データが予め定められた指定領域からの指定領域音データであるか否かを判定する指定領域音データ判定部と、指定領域音データ判定部による判定結果に基づいて複数の指定領域で同一時刻に同一の指定領域音データを検出した場合、指定領域音データが同一音源から発生したものか否かを判定する発話領域判定部と、を備える。【選択図】図２
2017191624.tif 000002
【特許請求の範囲】
【請求項１】
収音領域からの音を収音するマイクアレイ装置と、
前記マイクアレイ装置により収音された音データより生成される指向音データが予め定められた指定領域からの指定領域音データであるか否かを判定する指定領域音データ判定部と、
前記指定領域音データ判定部による判定結果に基づいて複数の前記指定領域で同一時刻に同一の前記指定領域音データを検出した場合、前記指定領域音データが同一音源から発生したものか否かを判定する発話領域判定部と、
を備える、再生システム。
【請求項２】
前記発話領域判定部は、複数の前記指定領域で同一時刻に同一の前記指定領域音データを検出した場合、音量レベルが最も高い前記指定領域音データが検出される指定領域を、発話領域であると判定する、
請求項１に記載の再生システム。
【請求項３】
前記収音領域を複数の小領域に分割し、前記各小領域に指向性を形成した小領域指向音データを生成する小領域指向音データ生成部をさらに備え、
前記発話領域判定部は、前記小領域指向音データを相対的に比較して、最も音量レベルが高い前記小領域指向音データが検出される領域が前記指定領域に含まれるか否かにより、前記指定領域音データか否かを判定する、
請求項２に記載の再生システム。
【請求項４】
前記発話領域判定部は、事前に登録される音源情報に基づいて前記指定領域音データが同一音源から発生したものか否かを判定する、
請求項１に記載の再生システム。
【請求項５】
前記発話領域判定部は、前記指定領域音データ同士の類似度に基づいて前記指定領域音データが同一音源から発生したものか否かを判定する、
請求項１に記載の再生システム。
【請求項６】
撮像装置をさらに備え、
前記マイクアレイ装置は前記撮像装置の撮像領域を含む収音領域からの音を収音する、
請求項１に記載の再生システム。
【請求項７】
前記撮像装置の撮像領域を表示させる表示部と、
前記表示部に表示される撮像領域内に指定領域を指定する領域指定部と、をさらに備え、
前記指定領域音データ判定部は、前記領域指定部により指定された指定領域からの指定領域音データか否かを判定する、
請求項６に記載の再生システム。
【請求項８】
前記発話領域判定部により判定された判定結果に基づいて前記指定領域音データの頭出し再生を行う再生制御部と、
前記発話領域判定部により発話領域であると判定された指定領域の指定領域音データを呼び出して再生するための頭出しデータを生成し制御する頭出しデータ制御部と、
をさらに備える、
請求項１に記載の再生システム。
【請求項９】
前記頭出しデータは、音検知エリア情報と、音検知時間と、を含む、
請求項８に記載の再生システム。
【請求項１０】
表示部をさらに備え、
前記頭出しデータ制御部は、前記指定領域音データの再生中又は再生待機中のいずれかを示す再生マークと、前記指定領域音データの発話日時と、を、前記指定領域毎に分類して前記表示部に表示させる、
請求項８に記載の再生システム。
【請求項１１】
前記表示部に表示された表示対象を任意に指定する表示対象指定部をさらに備え、
前記頭出しデータ制御部は、前記再生マークが前記表示対象指定部により指定された場合に、前記指定領域音データの再生動作と再生待機動作の切り替えを行う、
請求項１０に記載の再生システム。
【請求項１２】
収音領域からの音を収音するマイクアレイ装置を備える再生システムの再生方法であって、
前記マイクアレイ装置により収音された音データより生成される指向音データが予め定められた指定領域からの指定領域音データであるか否かを判定し、
その判定結果に基づいて複数の前記指定領域で同一時刻に同一の前記指定領域音データを検出した場合、前記指定領域音データが同一音源から発生したものか否かを判定する再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源の発生箇所と時間を記録し、頭出し再生をする再生システム及び再生方法に関する。
【背景技術】
【０００２】
近年、カメラやマイクを用いて収録されたデータを扱う機会が増加しており、カメラやマイクを含むカメラシステムやネットワークカメラシステムの需要が増加傾向にある。これらのカメラシステムにおいて、特に防犯用途のものについては、カメラやマイクを用いて長時間の録画および録音が行われる。しかし、長時間撮り貯められたデータを確認する作業は非常に煩雑である。そこで、長時間記録されたデータから、ユーザが確認したい再生箇所を過不足なく抽出し、効率的に再生確認できるシステムが求められている。
【０００３】
例えば特許文献１には、音声区間を検知することで音声の再生箇所を抽出し、動画全体におけるユーザの閲覧所要時間の短縮を図るシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４４５５６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、音声区間の検知は、ＢＧＭや周囲音などの雑音に対して耐性が低く、誤って音声区間以外の区間を検知する恐れがある。また、音声区間の検知では、人の声以外の音源を検知することが難しく、物音の発生を検知漏れする恐れがある。さらに、音声区間の検知では、特定の位置に存在する音源のみを検知することが難しいので、全ての位置に存在する音源が検知対象となる。また、複数の音源が互いの近傍に存在する場合に、複数の音源から特定の音源のみを検知することが難しい。このように、音声区間の検知では、ユーザが確認したい箇所以外の再生箇所が増えたり、ユーザが確認したい箇所が再生箇所から欠落したりすることがある。
【０００６】
本発明の目的は、ユーザが長時間記録データを頭出し再生確認する際にユーザが確認したい箇所以外の頭出し再生箇所が増加すること、およびユーザが確認したい頭出し再生箇所が欠落することを抑制することが可能な再生システムおよび再生方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る再生システムは、
収音領域からの音を収音するマイクアレイ装置と、
前記マイクアレイ装置により収音された音データより生成される指向音データが予め定められた指定領域からの指定領域音データであるか否かを判定する指定領域音データ判定部と、
前記指定領域音データ判定部による判定結果に基づいて複数の前記指定領域で同一時刻に同一の前記指定領域音データを検出した場合、前記指定領域音データが同一音源から発生したものか否かを判定する発話領域判定部と、
を備える。
【０００８】
本発明に係る再生方法は、
収音領域からの音を収音するマイクアレイ装置を備える再生システムの再生方法であって、
前記マイクアレイ装置により収音された音データより生成される指向音データが予め定められた指定領域からの指定領域音データであるか否かを判定し、
その判定結果に基づいて複数の前記指定領域で同一時刻に同一の前記指定領域音データを検出した場合、前記指定領域音データが同一音源から発生したものか否かを判定する。
【発明の効果】
【０００９】
本発明によれば、マイクアレイによって長時間収音されたデータを用いることにより、複数の異なる種類の音源が収録されていても、ユーザが確認したい位置に存在する音源のみを検知し、その音源発生箇所と発声時刻を頭出しデータとして記録し、記録した頭出しデータを基に頭出し再生が可能となる。マイクアレイから収音された音をもとに音の発生を検知することができ、さらに複数の指定領域で同一時刻に音の発生を検出した場合でも、音の発生箇所を絞り込むことができる。これにより、不要な音の発生記録は生成されず、ユーザが確認したい箇所の音の発生記録が生成される。そして、その音の発生記録に沿って録音データを再生することが可能になり、ユーザは効率的に長時間記録データを頭出し再生確認することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態に係る頭出し再生システムが設置されたイメージの一例を示す図
【図２】本実施の形態に係る頭出し再生システムのシステム構成の一例を示すブロック図
【図３】本実施の形態に係る音検知部における頭出しデータ生成の一例を詳細に説明するフローチャートを示す図
【図４】音検知エリア情報の指定方法の一例を示す図
【図５】音検知処理を詳細に説明するイメージを示す図
【図６】分割された全ての小領域毎の音量レベルの一例を示す図
【図７】デスク周辺とラジオ周辺で作成される小領域指向音データを示す図
【図８】頭出しデータ制御部における、図３でのステップＳ６の頭出しデータ分析の一例を詳細に説明するフローチャートを示す図
【図９】実際の音源の発生場所と内容の一例を示す図
【図１０】頭出しデータ作成対象となる音源に対して、指向性形成後の音声データの一例を示す図
【図１１】図１０の音声データより生成される、頭出し候補データの一例を示す図
【図１２】分析後の頭出しデータの一例を示す図
【図１３】図１２に示す頭出しデータを対象として、頭出し再生を行った場合の頭出し再生の一例を示す図
【図１４】再生画面の一例を示す図
【図１５】再生制御部における、再生処理を詳細に説明するフローチャートの一例を示す図
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、本発明に係る再生システム及び再生方法を具体的に開示した実施の形態（以下、本実施の形態）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
図１は、本実施の形態に係る頭出し再生システムが設置されたイメージの一例を示す図である。図１では、例えばカウンターＡ１と、デスクＡ２と、ドアＡ３と、ラジオＡ４とを有する部屋Ａ０を示している。部屋Ａ０には、マイクアレイ装置１１とカメラ装置１２とが設置されている。カメラ装置１２は、本発明の「撮像装置」に対応する。マイクアレイ装置１１は、部屋Ａ０の中の音を収音するための装置であり、部屋Ａ０内に少なくとも１個設置されている。カメラ装置１２は、部屋Ａ０の内部を撮像するための装置であり、部屋Ａ０内に少なくとも１個設置されている。マイクアレイ装置１１およびカメラ装置１２は一体に構成されており、マイクアレイ装置１１の収音の中心とカメラ装置１２の撮像の中心は同軸上となっている。また、本発明はこれに限定されず、例えばマイクアレイ装置１１およびカメラ装置１２が個別に設置されていてもよい。
【００１３】
図２は、本実施の形態に係る頭出し再生システムのシステム構成の一例を示すブロック図である。図２に示すように、頭出し再生システム１００は、マイクアレイ装置１１と、カメラ装置１２と、レコーダ装置２０と、再生制御装置３０と、音検知ＤＢ４０と、スピーカ装置５０と、表示装置６０と、操作部７０とを含む構成である。頭出し再生システム１００は、本発明の「再生システム」に対応する。マイクアレイ装置１１、カメラ装置１２、レコーダ装置２０、再生制御装置３０および音検知ＤＢ４０は、互いにデータ通信可能となるように、ネットワークNWを介して相互接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。
【００１４】
マイクアレイ装置１１は、自装置が設置された音検知対象のエリア（つまり、収音エリア）の音声を無指向状態で収音する。本実施の形態では、カメラ装置１２における撮像エリアと、マイクアレイ装置１１における収音エリアとは同一エリアであるものとして説明する。マイクアレイ装置１１は、例えば中央に開口部が形成されたドーナツ状の筐体１０内にカメラ装置１２とともに収容されている。筐体１０の開口部の周囲には、円周方向に沿って、複数のマイクロホンユニットが同心円状に配置されている。マイクロホンユニット（以下、単にマイクロホンという）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられている。マイクアレイ装置１１は、収音により得られた音データ２２を、ネットワークＮＷを介してレコーダ装置２０と、再生制御装置３０とに送信する。
【００１５】
カメラ装置１２は、自装置が設置された音検知対象のエリア（つまり、撮像エリア）の状況を撮像可能なカメラとして機能する。カメラ装置１２は、例えば全方位画像（つまり、３６０度の方位を有する画像）として撮像可能な魚眼レンズを搭載したカメラである。カメラ装置１２は、撮像により得られた画像データ２３を、ネットワークＮＷを介してレコーダ装置２０と、再生制御装置３０に送信する。
【００１６】
カメラ装置１２は、筐体１０の中央に形成された開口部の内側に組み込まれている。これにより、マイクアレイ装置１１とカメラ装置１２とは同軸上に配置される。このように、マイクアレイ装置１１の筐体１０の中心軸とカメラ装置１２の光軸とが一致することで、軸周方向における収音エリアと撮像エリアとが略同一となる。そのため、収音位置（つまり、マイクアレイ装置１１から見た音源の位置）と、画像位置（つまり、カメラ装置１２から見た被写体の位置）と、を同じ座標系で表現することが可能となる。従って、収音位置と画像位置との対応関係が明確となるので、後述する小領域指向音データ生成部３３がマイクアレイ装置１１により収音された音に対し、ユーザの指定に基づく方向に指向性を形成する際に、ユーザの指定に基づいてカメラ装置１２より得られた方向を示す座標を、マイクアレイ装置１１から見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。
【００１７】
レコーダ装置２０は、マイクアレイ装置１１から送られる音データ２２と、カメラ装置１２から送られる画像データ２３を、記録データ２１として記録する。
【００１８】
記録データ２１は、例えば３０分ごとに分割され、日付と時間をラベルとして付与された状態でレコーダ装置２０に記録される。
【００１９】
再生制御装置３０は、表示装置６０の画面上に表示される画像から、ユーザが操作部７０を用いて後述する領域指定部３６−１により指定される音検知エリア情報４２を、音検知ＤＢ４０（「ＤＢ」は「データベース」の略）に記録する。再生制御装置３０は、音検知エリア情報４２によって指定される音検知エリア（例えば、カウンターＡ１）における音の発生を検知し、音検知ＤＢ４０に音検知時間４３を記録する。本実施の形態では、「音検知時間」として、検知した音の発生開始時刻と発生終了時刻が記録される（詳細は後述の図１１を参照）。再生制御装置３０は、音検知ＤＢ４０に記録されている、音検知エリア情報と、音検知時間を基に、レコーダ装置２０に記録された記録データ２１を再生する。再生制御装置３０は音検知部３１と、再生制御部３２と、小領域指向音データ生成部３３と、頭出しデータ制御部３４と、メモリ部３５と、指定部３６とを含む構成である。
【００２０】
音検知部３１は、マイクアレイ装置１１で収音された音データを基に、音の発生を検知する。音検知部３１が音の発生を検知する範囲を指定する音検知エリア情報は、事前に設定されていてもよいし、後述する領域指定部３６−１によってユーザが直接設定してもよい。音検知部３１は、指定領域音データ判定部３１−１を含む。
【００２１】
指定領域音データ判定部３１−１は、音検知ＤＢ４０に記録されている音検知エリア情報４２を基に、音源位置を判定する。音の発生を検知する方法の詳細と、音源位置を判定する方法の詳細については後述する。
【００２２】
再生制御部３２は、マイクアレイ装置１１で収音された音データ２２と、カメラ装置１２で撮像された画像データ２３を、それぞれ、スピーカ装置５０と、表示装置６０とに出力する。再生制御部３２は、音検知ＤＢ４０に記録される音検知時間４３を基に、マイクアレイ装置１１で収音された音データ２２と、カメラ装置１２で撮像された画像データ２３の、再生開始時刻を制御し、それぞれ、スピーカ装置５０と、表示装置６０とに出力する。
【００２３】
小領域指向音データ生成部３３は、表示装置６０の画面上に表示される画像から、ユーザが操作部７０を使って指定する位置に応じて、その画像を撮像したカメラ装置１２に対応付けられたマイクアレイ装置１１から、指定位置に対応する音源位置を示す座標を算定する。小領域指向音データ生成部３３は、マイクアレイ装置１１から収音された音データ２２を基に、指定する方向に対して指向性を形成する。
【００２４】
音源位置を示す座標は、例えば、マイクアレイ装置１１から音源位置への水平角と、マイクアレイ装置１１から音源位置への垂直角とで示される。なお、音源位置は、表示装置６０の画面上に表示される画像から、ユーザが操作部７０を使って指定する位置に対応する、実際の聴取対象や収音対象などが存在する現場の位置である。
【００２５】
小領域指向音データ生成部３３は、マイクアレイ装置１１で収音された音データ２２に対し指向性を形成し、その指向方向の音を強調することができる。その動作の詳細については後述する。
【００２６】
頭出しデータ制御部３４は、音検知部３１によって記録された音検知エリアと音検知時間をもとに、頭出しデータ４１を生成する。頭出しデータ制御部３４は、発話領域判定部３４−１を含む。発話領域判定部３４−１は、音検知部３１によって記録された音検知エリアと音検知時間をもとに、音の発生領域を絞り込むことができる。音の発生領域を絞り込む方法の詳細については後述する。
【００２７】
メモリ部３５は、例えばＲＡＭ（Random Access Memory）を用いて構成され、再生制御装置３０の各部の動作時のワークメモリとして機能し、さらに、再生制御装置３０の各部の動作時に必要なデータを記憶する。
【００２８】
指定部３６は、ユーザからの各種指定を行う。指定部３６は、領域指定部３６−１と、表示対象指定部３６−２を含む。領域指定部３６−１は、ユーザの操作によって、任意の位置に音検知エリアを指定することができる。表示対象指定部３６−２は、ユーザの操作によって、再生制御部３２に指示を与えることができる。
【００２９】
再生制御装置３０は、例えばＰＣ（Personal Computer）を用いて構成される。再生制御装置３０を構成する、音検知部３１、再生制御部３２、小領域指向音データ生成部３３、頭出しデータ制御部３４、メモリ部３５はそれぞれソフトウェアモジュールとして実装されてもよい。なお、前記モジュールの少なくとも一部が、ハードウェアで実装され、例えば拡張カードとしてＰＣにインストールされ、又はＰＣ内のメインボードに実装されてもよい。なお、再生制御装置３０は、ＰＣで構成される代わりに、携帯電話機、タブレット端末、スマートフォンなどの通信端末で構成されてもよい。
【００３０】
音検知ＤＢ４０は、再生制御装置３０において音の検知を行う際、又は、再生制御装置３０において音源位置の判定を行う際に必要となる音検知エリア情報４２を、頭出しデータ４１として記録する。音検知ＤＢ４０は、再生制御装置３０において再生開始時刻を制御する際に必要となる音検知時間４３を、頭出しデータ４１として記録する。
【００３１】
スピーカ装置５０は、マイクアレイ装置１１から収音される音データ２２を出力する。表示装置６０は、カメラ装置１２から撮像される画像データ２３を表示する。スピーカ装置５０、及び、表示装置６０は、再生制御装置３０と一体に構成されてもよいし、別体に構成されていてもよい。
【００３２】
操作部７０は、ユーザの操作の内容を再生制御装置３０に通知するためのユーザインターフェース（ＵＩ:User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部７０は、例えば表示装置６０の画面に対応して配置され、ユーザの指、又は、スタイラスペンによって操作が可能な、タッチパネル、又は、タッチパッドを用いて構成されてもよい。
【００３３】
次に、本実施の形態の頭出し再生システム１００の動作手順について、図３〜図１５を用いて説明する。
【００３４】
図３は、本実施の形態に係る音検知部３１における頭出しデータ生成の一例を詳細に説明するフローチャートを示す図である。
【００３５】
ユーザは、操作部７０を使用し、表示装置６０上に表示されるＵＩ画面から、音検知の対象となる記録データ２１を指定する（ステップＳ１）。
【００３６】
再生制御装置３０は、ステップＳ１で指定された記録データ２１を、レコーダ装置２０から取得し、メモリ部３５に記憶する（ステップＳ２）。
【００３７】
ユーザは、操作部７０を使用して、表示装置６０に表示されている画像データ２３から、音検知エリアを指定する（ステップＳ３）。ユーザは、指定した音検知エリアに対して、操作部７０を使用して、音検知エリアを区別するためのラベル情報を付加してもよい。ラベル情報は、例えば、カウンター、デスク、ドアなど、ユーザが場所を識別するために付与する名称であってもよい。
【００３８】
図４は、音検知エリア情報４２の指定方法の一例を示す図である。図４に示すように、音検知エリア情報４２の指定方法では、例えば、表示装置６０の画面上には、カウンターＡ１と、デスクＡ２と、ドアＡ３とが表示されている。ユーザは、例えば画面上に表示されるカーソルを操作部７０によってドラッグアンドドロップ操作をすることで、カウンターＡ１に対応する音検知エリアＡ１０と、デスクＡ２に対応する音検知エリアＡ２０と、ドアＡ３に対応する音検知エリアＡ３０とをそれぞれ指定する。図２に示すように、小領域指向音データ生成部３３は、指定された音検知エリアから画面上の画像データに対応する座標情報を算出し、ラベル情報がある場合にはラベル情報と共に、メモリ部３５に記憶する。
【００３９】
なお、本実施の形態では、音検知エリア情報４２をユーザが画面上を指定したエリアから座標情報を算出しているが、それに限定されるものではない。例えば、カメラから得られる画像から、ユーザが指定する対象人物や物体を、人物検知や物体検知により検知し、その検知した周辺座標を算出し音検知エリア情報４２として更新してもよい。
【００４０】
小領域指向音データ生成部３３は、ユーザが指定した画像データ２３の画面を、例えば図５に示すように分割して、任意の数の小領域を生成する。小領域指向音データ生成部３３は、それぞれの小領域に向かう方向に対して、音データ２２に指向性を形成し、それぞれの小領域に対応する小領域音データを作成する。音検知部３１は、それぞれの小領域音データの音量レベルを算出する。音検知部３１は、算出された音量レベル情報を、メモリ３５に記憶する。音検知部３１は、算出された音量レベルの内、ステップＳ３で指定した音検知エリアに対応する小領域の音量レベルが、事前に設定しておいた閾値よりも高ければ、音が発生していると検知する。図３に示すように、音検知部３１は、音が発生していると検知した場合、その音検知時間と算出された音量レベルとを紐付けて、メモリ部３５に記憶する（ステップＳ４）。
【００４１】
図５は、音検知処理を詳細に説明するイメージを示す図である。図５に示す音検知処理のイメージ図では、例えば、表示装置６０の画面上には、カウンターＡ１と、デスクＡ２と、ドアＡ３と、ラジオＡ４とが表示されている。音検知部３１は画面全体である収音領域Ｂ１をＢ１（１，１）からＢ１（ｎ，ｎ）までｎ×ｎ個の小領域に分割する。小領域指向音データ生成部３３は、分割された全ての小領域Ｂ１（１，１）からＢ１（ｎ，ｎ）の方向に対して、音データ２２に指向性を形成する。音検知部３１は、算出されたレベルの内、ステップＳ３で指定した音検知エリアに対応する小領域の音量レベルを、事前に設定しておいた閾値と比較することで、音の発生を判断する。音量レベルの高さは、画面上の色の濃さに反映させて表示されてもよい。例えば、音検知エリアＡ１０に含まれる小領域Ｂ１−１及び音検知エリアＡ２０に含まれる小領域Ｂ１−２では、画面上の色が濃く表示され、音量レベルが高いと示されているため、音検知部３１は、音検知エリアＡ１０で音が発生していると判断する。音検知エリアＡ３０に含まれる小領域Ｂ１−３では、画面上の色が薄く表示され、音量レベルが低いと示されているため、音検知部３１は、音検知エリアＡ３０で音が発生していないと判断する。
【００４２】
図６は、分割された全ての小領域毎の音量レベルの一例を示す図である。小領域Ｂ１（３，３）、Ｂ１（４，３）、Ｂ１（５，３）の１２：０５から１２：１０にかけては、コンニチハと発話され、音量レベルが高く示されている。小領域Ｂ１（３，２）、Ｂ１（４，２）、Ｂ１（５，２）、Ｂ１（２，３）の１２：０５から１２：１０にかけては、上記の小領域Ｂ１（３，３）、Ｂ１（４，２）、Ｂ１（５，２）で発話されたコンニチハが漏れこみ、低い音量レベルが示されている。小領域Ｂ１（１，２）、Ｂ１（２，２）、Ｂ１（１，３）の１２：０５から１２：１０にかけては、発話が漏れこむことなく、音量レベルが０で示されている。
【００４３】
図３に示すように、図２に示す頭出しデータ制御部３４は、メモリ部３５に記憶されている音検知エリア情報と音検知時間情報から頭出しデータ４１を生成し、メモリ部３５に記憶する（ステップＳ５）。頭出しデータ４１の一例としての音検知エリア情報４２は、例えば、カウンターＡ１に対応するラベル名（ラベル情報）と、音検知エリアＡ１０に対応する座標情報によって構成される。頭出しデータ４１の一例としての音検知時間４３は、日付情報と時間情報によって構成される。
【００４４】
図２に示す頭出しデータ制御部３４は、ステップＳ５で生成された頭出しデータ４１に対して分析を行い、音検知ＤＢ４０に記憶する頭出しデータ４１の音検知エリア情報４２と、音検知時間４３を決定する（ステップＳ６）。ここで、音検知エリア以外の場所にある音源から発生する音が音検知エリアに漏れ込む場合がある。もし、音検知エリアだけで音が発生しているか否かを判定すると、実際には音検知エリア以外の場所にある音源から発生する音が漏れ込んでいるのにも関わらず、音検知エリアから発生していると誤検知する。そこで、頭出しデータを生成する際には、このような周辺から漏れ込んでくる音を頭出ししないようにしなければならない。
【００４５】
図８は、頭出しデータ制御部３４における、図３でのステップＳ６の頭出しデータ分析の一例を詳細に説明するフローチャートを示す図である。
【００４６】
頭出しデータ制御部３４は、分析の対象となる音検知時間をメモリ部３５から指定する（ステップＳ６−１）。
【００４７】
頭出しデータ制御部３４は、分析の対象となる音検知エリアを頭出しデータ４１から指定する（ステップＳ６−２）。
【００４８】
頭出しデータ制御部３４は、ステップＳ６−２で指定された分析対象の音検知エリア内にある小領域音声データの１つを分析対象データとして指定する（ステップＳ６−３）。
【００４９】
頭出しデータ制御部３４は、ステップＳ６−２で指定された分析対象の音検知エリア外である周辺エリアにある小領域音声データの１つを比較対象データとして指定する（ステップＳ６−４）。
【００５０】
頭出しデータ制御部３４は、ステップＳ６−３で指定した分析対象データの音量レベルが、ステップＳ６−４で指定した比較対象データの音量レベルより大きいか否かについて判定する（ステップＳ６−５）。判定の結果、分析対象データの音量レベルが比較対象データの音量レベルよりも大きい場合（ステップＳ６−５，ＹＥＳ）、処理はステップＳ６−７へ進む。一方、分析対象データの音量レベルが比較対象データの音量レベルよりも小さい場合（ステップＳ６−５，ＮＯ）、処理はステップＳ６−６へ進む。
【００５１】
頭出しデータ制御部３４は、ステップＳ６−１で指定した該当音検知時間を、頭出し候補データから削除する（ステップＳ６−６）。
【００５２】
頭出しデータ制御部３４は、分析対象エリア外の周辺エリアにある全ての小領域音データを比較対象データとして比較が終了したか否かについて判定する（ステップＳ６−７）。ステップＳ６−７で終了していないと判定される場合（ステップＳ６−７，ＮＯ）、処理はステップＳ６−４に戻る。一方、ステップＳ６−７で終了していると判定される場合（ステップＳ６−７，ＹＥＳ）、処理はステップＳ６−８へ進む。
【００５３】
頭出しデータ制御部３４は、分析対象エリア内にある全ての小領域音声データが、分析対象データとして比較が終了したか否かについて判定する（ステップＳ６−８）。ステップＳ６−８で終了していないと判定される場合（ステップＳ６−８，ＮＯ）、処理はステップＳ６−３に戻る。一方、ステップＳ６−８で終了していると判定される場合（ステップＳ６−８，ＹＥＳ）、処理はステップＳ６−９へ進む。
【００５４】
頭出しデータ制御部３４は、分析対象の全ての音検知エリアに対して分析を終了したか否かについて判定する（ステップＳ６−９）。ステップＳ６−９で終了していないと判定される場合（ステップＳ６−９，ＮＯ）、処理はステップＳ６−２に戻る。一方、ステップＳ６−９で終了していると判定される場合（ステップＳ６−９，ＹＥＳ）、処理はステップＳ６−１０へ進む。
【００５５】
頭出しデータ制御部３４は、分析対象の全ての音検知時間における分析を終了したか否かについて判定する（ステップＳ６−１０）。分析対象の全ての音検知時間を分析した場合（ステップＳ６−１０，ＹＥＳ）、処理は終了する。全ての音検知時間が分析されていない場合（ステップＳ６−１０，ＮＯ）、処理はステップＳ６−１に戻る。
【００５６】
ここから、ステップＳ６−５で行う音検知エリア周辺の音量レベルの比較について詳細に説明する。
【００５７】
発話領域判定部３４−１は、複数の指定領域（例えば、図５のカウンターＡ１０とデスクＡ２０）で同一時刻に同一の指定領域音データを検出した場合、指定領域音データの音量レベルが最も高い指定領域音データが検出される領域を、発話領域として判断する。
【００５８】
図７は、デスク周辺とラジオ周辺で作成される小領域指向音データを示す図である。発話領域判定部３４−１は、小領域指向音データを相対的に比較して、最もレベルが高い小領域指向音データを判定する。指定領域音データ判定部３１−１は、発話領域判定部３４−１で最もレベルが高いと判断された小領域指向音データが、指定領域に含まれるか否かを判定する。例えば図５において、ラジオＡ４からＢＧＭが発生している場合について説明する。図７では、発話領域判定部３４−１は、ＢＧＭがラジオＡ４から発生していることによりラジオＡ４の周辺の領域Ｂ１−４での音量レベルが最も高くなるので、小領域指向音データＢ１（３，ｎ−１）、Ｂ１（４，ｎ−１）が最もレベルが高いと判定する。また、デスクＡ２０においてもＢＧＭが小領域指向音データＢ１（３，３）、Ｂ１（４，３）として検知されるが、音量レベルがラジオＡ４の周辺の領域Ｂ１−４に対して小さいので、発話領域判定部３４−１は、小領域指向音データＢ１（３，３）、Ｂ１（４，３）を指定領域音データとして判定しない。これにより、発話領域判定部３４−１は、ラジオＡ４から発生しているＢＧＭが領域Ｂ１−４での発話であると判定することができる。
【００５９】
以上のように、本実施の形態では、音検知エリア以外の場所にある音源から発生する音が漏れ込んでいる場合でも、音検知エリアから発生していると誤検知して不必要な頭出しデータを生成することがなく、ユーザは必要とする箇所の音声データを再生することができる。
【００６０】
図９は、頭出しデータ作成対象となる、実際の音源の発生場所と内容の一例を示す図である。図９では、音源の発生場所としてカウンターと、デスクと、ドアとが記載されている。また、カウンター、デスクおよびドアの何れかに音源の内容としてイラッシャイマセＣ１１と、コンニチハＣ１２と、イラッシャイマセＣ２１と、アリガトウゴザイマスＣ２２と、バタンＣ３１とが記載されている。また、横軸には各音源Ｃ１１，Ｃ１２，Ｃ２１，Ｃ２２，Ｃ３１が発生した日時が記載されている。
【００６１】
図１０は、頭出しデータ作成対象となる音源に対して、指向性形成後の音声データの一例を示す図である。図１０の音声データの一例と、図９の音源の発生場所と内容の一例を比べると、イラッシャイマセＣ１３と、アリガトウゴザイマスＣ１４と、イラッシャイマセＣ２３と、コンニチハＣ２４とが、実際の音源発生場所以外の場所の指向音声データにも含まれていることがわかる。これは、指向性形成後であっても、周囲の音が漏れこんでいるためである。例えば、デスクで発生したイラッシャイマセＣ２１が、カウンターを対象として指向性形成した音声データに、イラッシャイマセＣ１３として周囲に漏れこんでいる。
【００６２】
図１１は、図１０の音声データより生成される、頭出し候補データの一例を示す図である。このとき、図１１に示す頭出し候補データを全て頭出しデータとすると、図９に示す本来の発生場所と内容とは異なった箇所も再生対象となり、効率的な再生を行うことができない。そのため、頭出し候補データをさらに分析する必要がある。
【００６３】
Ｓ６−２では、例えばイラッシャイマセＣ２１の音量レベルと、イラッシャイマセＣ１３の音量レベルと、の一方を分析対象データとし、他方を比較対象データとして比較することにより、イラッシャイマセＣ１３が周囲の音として漏れこんでいるとして判断される。
【００６４】
同様に、ステップＳ６−５において音検知エリアのレベルと、その周辺エリアのレベルを比較することにより、ステップＳ６−６によって不要な音検知時間の削除が行われる。これによると、例えば図１０に記載されている、イラッシャイマセＣ１３に対して、イラッシャイマセＣ２１を比較した場合、イラッシャイマセＣ１３のレベルが、イラッシャイマセＣ２１のレベルよりも小さくなるため、イラッシャイマセＣ１３に対応する音検知時間が削除される。
【００６５】
こうして本開示では、他の領域からの発話が漏れ聞こえる場合であっても、その発話が指定領域の一つから発話されたものか否かを判定することができる。
【００６６】
仮に図４において、比較的近い位置にあるカウンターＡ１とデスクＡ２のそれぞれのみに指向性を形成し指向音データを生成した場合について考えてみる。ここで一方の発話が他方にも漏れ聞こえる場合、それぞれの指向音データを個別に見ただけでは、カウンターＡ１とデスクＡ２のどちらで発話されているのかがわからない。さらには、カウンターＡ１とデスクＡ２以外の領域での発話が、カウンターＡ１又はデスクＡ２に向けて指向性を形成された指向音データに漏れ聞こえる場合についても、それぞれの指向音データを個別に見ただけでは、カウンターＡ１、デスクＡ２又はそれ以外のどこから発話されているのかはわからない。
【００６７】
そこで本開示ではまず、マイクアレイ装置１１により収音された音データより生成される指向音データ（例えば「コンニチハ」「イラッシャイマセ」など）が、予め定められた指定領域（例えば図４のカウンター領域Ａ１０、デスク領域Ａ２０およびドア領域Ａ３０のいずれか）からの指定領域音データであるか否かを、指定領域音データ判定部３１−１が判定する。次に発話領域判定部３４−１は、複数の指定領域で同一時刻に同一の指定領域音データを検出した場合、音量レベルが最も高い指定領域音データ（例えば図１０のＣ２１）が検出される領域（この場合はデスク領域Ａ２０）を、発話領域であると判定する。これら指定領域音データ判定部３１−１および発話領域判定部３４−１を備えることにより、本開示の頭出し再生システム１００は、一方の指定領域（例えばデスク）での発話が他方の指定領域（例えばカウンター）にも漏れ聞こえる場合であっても、カウンターとデスクのどちらで発話されているのかを判定することができる。
【００６８】
さらに、本開示の頭出し再生システム１００は、例えば図５に示すように、収音領域Ｂ１を複数の小領域（図５ではｎ×ｎ個）に分割し、指定領域音データ判定部３１−１による判定に先立って、図５及び図６に示すように、各小領域に指向性を形成した小領域指向音データＢ１（１，１）・・・Ｂ１（ｎ，ｎ）を生成する小領域指向音データ生成部３３と、をさらに備える。そして、指定領域音データ判定部３１−１は、これら複数の小領域指向音データＢ１（１，１）・・・Ｂ１（ｎ，ｎ）を相対的に比較して、最も音量レベルが高い小領域指向音データが検出される領域が前記指定領域に含まれるか否かにより、指定領域音データであるか否かを判定する。例えば指定領域音データ判定部３１−１は、図６に示すように、小領域指向音データＢ１（３，３）、Ｂ１（４，３）、Ｂ１（５，３）が検出される領域Ｂ１−２が、デスク領域Ａ２０に含まれると判定する。図５に示すように、仮にデスク領域Ａ２０以外の領域での発話（例えばラジオＡ４）がデスク領域Ａ２０に含まれる小領域指向性データＢ１（３，３）、Ｂ１（４，３）、Ｂ１（５，３）より検出されても、図７に示すように、デスク領域Ａ２０以外の領域での小領域指向性データの音量レベル（この場合はＢ１−４）がデスク領域Ａ２０の領域に含まれる小領域指向性データＢ１（３，３）、Ｂ１（４，３）、Ｂ１（５，３）の音量レベルよりも大きい。カウンター領域Ａ１０およびドア領域Ａ３０についても、デスク領域Ａ２０と同様の状況であれば、指定領域音データ判定部３１−１は、この発話がカウンター領域Ａ１０、デスク領域Ａ２０およびドア領域Ａ３０のいずれの指定領域音データではないと判定する。これにより、本実施の形態では。カウンター領域Ａ１０、デスク領域Ａ２０およびドア領域Ａ３０という指定領域以外の領域での発話が、カウンター領域Ａ１０、デスク領域Ａ２０又はドア領域Ａ３０に向けて指向性を形成された指向音データが漏れ聞こえる場合についても、指定領域以外の領域での発話であると判定することができる。
【００６９】
次に、指定領域音データ判定部３１−１による判定の結果、残った指定領域音データを再生する場合について説明する。
【００７０】
図１２は、分析後の頭出しデータの一例を示す図であり、ステップＳ６−５の分析結果からステップＳ６−６処理を行った結果である。図１２と図１１とを比較すると、不要なイラッシャイマセＣ１３、アリガトウゴザイマシタＣ１４、イラッシャイマセＣ２３およびコンニチハＣ２４が削除されている。
【００７１】
図１３は、図１２に示す頭出しデータを対象として、頭出し再生を行った場合の頭出し再生の一例を示す図である。図１３の頭出し再生の一例と、図９に示す本来の発生場所と内容とを比較すると、本実施の形態では、頭出し再生により図９に示す内容と同様に再生を行うことができるので、図１１に示す頭出し候補データの全てを頭出しデータとする場合よりも、効率的な再生を行うことができる。
【００７２】
図３に戻って、頭出しデータ制御部３４は、ステップＳ６の処理の後、分析された頭出しデータを音検知ＤＢ４０へ記録する（ステップＳ７）。
【００７３】
図１４は、再生画面の一例を示す図である。図１４の再生画面の一例では、図１２に示される頭出しデータの、イラッシャイマセＣ１１、コンニチハＣ１２、イラッシャイマセＣ２１、アリガトウゴザイマスＣ２２およびバタンＣ３１に対応する、音時間情報が表示されている。表示対象指定部３６−２は、ユーザが操作部７０を操作し、例えば、音検知時間の隣に表示されている再生ボタンを押下することで、該当時間のデータを再生する指示を再生制御部３２に与えることができる。
【００７４】
図１５は、再生制御部３２における、再生処理を詳細に説明するフローチャートの一例を示す図である。
【００７５】
再生制御部３２は、音検知ＤＢ４０より音検知エリア情報を取得し、表示装置６０に音検知情報を表示させる（ステップＳ１０）。
【００７６】
ユーザは、操作部７０を用いて、頭出し再生させたい音検知エリア情報を選択する（ステップＳ１１）。
【００７７】
再生制御部３２は、ユーザがステップＳ１１で指定した音検知エリア情報に対応する、音検知時間を、音検知ＤＢ４０より取得する（ステップＳ１２）。再生制御部３２は、取得した音検知時間を、表示装置６０に表示させる。
【００７８】
ユーザは、操作部７０を用いて、頭出し再生させたい音検知時間を選択する（ステップＳ１３）。再生制御部３２は、ユーザがステップＳ１３で指定した音検知時間に対応する記録データを、レコーダ装置２０から取得する（ステップＳ１４）。
【００７９】
ユーザは、操作部７０を用いて、頭出し再生の開始を選択する（ステップＳ１５）。再生制御部３２は、小領域指向音データ生成部３３に音検知エリア情報を渡し、指向音データを生成する（ステップＳ１６）。小領域指向音データ生成部３３は、音検知エリア情報をもとに記録データのうちの音声データに対して指向性を形成する。
【００８０】
再生制御部３２は、取得した記録データを、スピーカ装置５０と、表示装置６０とから再生する（ステップＳ１７）。再生される記録データは、ステップＳ１６で指向性を形成した指向音データでも良いし、指向性を形成されないままの記録データでも良い。その後処理は終了する。
【００８１】
以上より、必要な箇所の頭出しデータを生成し制御することで、頭出しデータを元に、ユーザが聞きたい場所を素早く選定し再生することができる。そして、頭出しデータは、音検知エリア情報と、音検知時間と、を含むことにより、聞きたい再生位置を音検知エリア情報と音検知時間から指定することができるので、ユーザが聞きたい場所を素早く選定し再生することができる。さらに、頭出しデータは表示部に表示され、指定部により、表示部に表示される頭出しデータをユーザが指定できるので、ユーザが聞きたい場所を素早く選定し再生することができる。
【００８２】
なお、上記実施の形態では、再生システムとして、頭出し再生対称となるエリアの記録データに対して頭出しデータを作成し頭出し再生を行う頭出し再生システム１００を例示したが、本発明はこれに限定されない。つまり、本発明に係る再生システムは、人物等の対象物の状態を監視するための用途に限定されず、例えば所定のエリアにおける状態を把握するために観測や測定を行う用途にも適用することができる。
【００８３】
また、上記実施の形態では、頭出し候補データから頭出しデータを作成するために音量レベルに基づいた比較分析を行い、音源の発生を判定する方法について例示したが、本発明はこれに限定されず、例えば、事前に登録される音源情報により判定する方法であっても良い。事前に登録される音源情報を用いた判定方法では、複数の指定領域で同一時刻に発生した音を事前に登録される音源情報と比較することにより発生した音を判定することで、同一時刻に発生した音が同一音源であるか否かについて判定することができる。さらに他の例として、発生した音同士の類似度による判定が挙げられる。音同士の類似度による判定では、指定領域で同一時刻に発生した音同士の類似度を算出し、算出された類似度が一定の閾値以上であれば同一であると判定し、算出された類似度が一定の閾値以下であれば同一でないと判定することができる。
【００８４】
その他、上記実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００８５】
本発明は、ユーザが長時間記録データを頭出し再生確認する際にユーザが確認したい箇所以外の頭出し再生箇所が増加すること、およびユーザが確認したい頭出し再生箇所が欠落することを抑制することが可能な再生システムおよび再生方法として有用である。
【符号の説明】
【００８６】
１１  マイクアレイ装置
１２  カメラ装置
３１−１  指定領域音データ判定部
３３  小領域指向音データ生成部
３４  頭出しデータ制御部
３４−１  発話領域判定部
３６−１  領域指定部
３６−２  表示対象指定部
６０  表示装置
１００  頭出し再生システム
【図１】
2017191624.tif 000003
【図２】
2017191624.tif 000004
【図３】
2017191624.tif 000005
【図４】
2017191624.tif 000006
【図５】
2017191624.tif 000007
【図６】
2017191624.tif 000008
【図７】
2017191624.tif 000009
【図８】
2017191624.tif 000010
【図９】
2017191624.tif 000011
【図１０】
2017191624.tif 000012
【図１１】
2017191624.tif 000013
【図１２】
2017191624.tif 000014
【図１３】
2017191624.tif 000015
【図１４】
2017191624.tif 000016
【図１５】
2017191624.tif 000017