(57)【要約】【課題】所定の空間内にける会話の有無を高い精度で認識し、記録を行うことが可能な会話認識記録システムを提供する。【解決手段】本発明に係る会話認識記録システム１は、複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し記録を行う会話認識記録システムにおいて、それぞれの区画で集音された音に音声が含まれるか否かを判定する音声判定部（ステップＳ１０１）と、それぞれの区画周辺で複数の人が存在するか否かを判定する人判定部（ステップＳ１０２）と、前記音声判定部（ステップＳ１０１）において、ある区画で集音された音に音声が含まれると判定され、かつ、前記人判定部（ステップＳ１０２）において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識して記録を行う記録部（ステップＳ１０６、ステップＳ１０７）と、を有することを特徴とする。【選択図】      図３
2019101338.tif 000002
【特許請求の範囲】
【請求項１】
複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し記録を行う会話認識記録システムにおいて、
それぞれの区画で集音された音に音声が含まれるか否かを判定する音声判定部と、
それぞれの区画周辺で複数の人が存在するか否かを判定する人判定部と、
前記音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、前記人判定部において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識して記録を行う記録部と、を有することを特徴とする会話認識記録システム。
【請求項２】
前記音声判定部は、
集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベルと、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルとを算出し、
中心周波数５００Ｈｚのオクターブバンド等価音圧レベルからＡ特性等価音圧レベルを引いた差分が予め設定された閾値以上である場合、集音された音に音声が含まれるか否かを判定することを特徴とする請求項１に記載の会話認識記録システム。
【請求項３】
前記人判定部が、カメラで取得された画像を解析することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする請求項１又は請求項２に記載の会話認識記録システム。
【請求項４】
前記人判定部が、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする請求項１又は請求項２に記載の会話認識記録システム。
【請求項５】
前記人判定部が、人感センサーを利用することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする請求項１又は請求項２に記載の会話認識記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、オフィス内におけるコミュニケーションの活性度の指標として会話の有無を認識し、これを記録する際に用い得る会話認識記録システムに関する。
【背景技術】
【０００２】
建物空間内で発生する会話は人々のコミュニケーション量や知的生産性を測る指標として重要である。ある空間内に人が居るかコミュニケーションが活発に行われているかを判定する手段として、音声を検知することは有効な方法である。このような音声検知方法が確立されていれば、例えば、オフィス内のコミュニケーション活性度の計測を行ったり、或いは、公共施設などの交流ペースの活用度を計測したり、といったことが可能となる。
【０００３】
業務に適したオフィス環境が提供されているかを知る尺度として、例えば、特許文献１（特開２０１６−１１５００３号公報）には、複数の種類の業務が各ユーザによってそれぞれ遂行されるように構成される施設におけるオフィス活動を分析するオフィス活動分析システムにおいて、対話などによる現場の音をセンサーであるマイクによって集音して、マイクで集音した音の音圧レベルがある値を超える場合や音圧レベルが変動する場合に会話が行われていると判断する技術が開示されている。
【特許文献１】特開２０１６−１１５００３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の従来技術においては、音圧レベルの変動から会話を推定するものであり、空間内では暗騒音を含む様々な音が発生することを考慮すると会話検知の精度が低くなる、という問題があった。
【０００５】
さらに、従来技術のように音圧センサーだけでは空間内で発生する音圧レベルは測定できても、それが人の会話であるかそれ以外の音（騒音、電話ベルなど）によるものであるかは判断できず、精度高く、所定空間内で発生する会話の有無を認識することができず、問題であった。
【課題を解決するための手段】
【０００６】
この発明は、上記のような問題を解決するものであって、本発明に係る会話認識記録システムは、複数の区画に分割された空間のそれぞれで会話が発生したか否かを認識し記録を行う会話認識記録システムにおいて、それぞれの区画で集音された音に音声が含まれるか否かを判定する音声判定部と、それぞれの区画周辺で複数の人が存在するか否かを判定する人判定部と、前記音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、前記人判定部において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識して記録を行う記録部と、を有することを特徴とする。
【０００７】
また、本発明に係る会話認識記録システムは、前記音声判定部は、集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベルと、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルとを算出し、中心周波数５００Ｈｚのオクターブバンド等価音圧レベルからＡ特性等価音圧レベルを引いた差分が予め設定された閾値以上である場合、集音された音に音声が含まれるか否かを判定することを特徴とする。
【０００８】
また、本発明に係る会話認識記録システムは、前記人判定部が、カメラで取得された画像を解析することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする。
【０００９】
また、本発明に係る会話認識記録システムは、前記人判定部が、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする。
【００１０】
また、本発明に係る会話認識記録システムは、前記人判定部が、人感センサーを利用することで、ある区画周辺で複数の人が存在するか否かを判定することを特徴とする。
【発明の効果】
【００１１】
本発明に係る会話認識記録システムは、音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、人判定部において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識するものであり、このような本発明に係る会話認識記録システムによれば、所定の空間内にける会話の有無を高い精度で認識し、記録を行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る会話認識記録システム１のオフィス１００への適用例を示す図である。
【図２】本発明の実施形態に係る会話認識記録システム１のブロック図を示す図である。
【図３】本発明の実施形態に係る会話認識記録システム１の設定時間間隔毎の処理アルゴリズムのフローチャートを示す図である。
【図４】音声判定サブルーチンのフローチャートを示す図である。
【図５】人判定サブルーチンのフローチャートを示す図である。
【図６】着目区画とその周辺の区画とを説明する図である。
【図７】本発明の実施形態に係る会話認識記録システム１による記録例を示す図である。
【図８】打合スペースにおける会話の有無に応じた音圧レベルの周波数特性を示す図である。
【図９】打合スペースにおける会話の有無に応じたＬdiffの度数分布を示す図である。
【図１０】閾値ＬTの設定値と判定精度の関係を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面を参照しつつ説明する。図１は本発明の実施形態に係る会話認識記録システム１のオフィス１００への適用例を示す図である。また、図２は本発明の実施形態に係る会話認識記録システム１のブロック図を示す図である。
【００１４】
本実施形態に係る会話認識記録システム１が適用されるオフィス１００における床１０１及び天井１０２の間の空間は、床１０１及び天井１０２の点線で示される区画によって、仮想的に分割されていることを想定している。本実施形態では、４×４の計１６の区画によって分割されている例を示すが、本発明において、区画の分割例がこれに限られるものではない。本実施形態においてはそれぞれ区画を、図示するように、第１区画、第２区画、第３区画、・・・・、第１５区画、第１６区画と称することとする。
【００１５】
それぞれの区画の天井１０２においては、当該区画における音を集音するマイクロホン３０'、 ３０' '、 ３０' ' ' ・・・が設けられている。マイクロホン３０'、 ３０' '、 ３０' ' ' ・・・で集音された音データについては、情報処理装置２０に対して有線又は無線によるデータ通信によって送信される。
【００１６】
例えば、情報処理装置２０としては、ＣＰＵなどの演算を実行する演算部、表示や入力を行うインターフェイス部、有線又は無線によるデータ通信を行う通信部、データ記録を行うＨＤＤ、ＳＳＤなどの記憶部等、を有するパーソナルコンピューターなどの汎用のものを用いることができる。なお、情報処理装置２０としては、パーソナルコンピューターに限らず、タブレット型端末などの他のものを用いるようにしてもよい。
【００１７】
このような情報処理装置２０には、各マイクロホン３０'、 ３０' '、 ３０' ' ' ・・・で集音された音データが入力され、情報処理装置２０ではそれぞれの音データの解析が行われ、当該音データに音声が含まれているか否かが判定される。
【００１８】
また、オフィス１００の壁面には、オフィス１００内の空間を全的的に撮像することが可能なカメラ６０が取り付けられている。カメラ６０で撮像された画像データは、情報処理装置２０に対して有線又は無線によるデータ通信によって送信される。情報処理装置２０では、カメラ６０から送信された画像データの画像解析が行われ、人が存在するか否かが判定される。
【００１９】
以上のように構成される本発明に係る会話認識記録システム１がオフィス１００内における会話を認識し、会話の発生等を記録する処理について図３を参照して説明する。図３は本発明の実施形態に係る会話認識記録システム１の設定時間間隔毎の処理アルゴリズムのフローチャートを示す図である。
【００２０】
また、図３に示すフローチャートは、予め設定された時間間隔幅（タイムスロット）１つに対する処理を示すものであり、設定時間より長い時間にわたって会話認識・会話発生記録を行う場合、図３に示すフローチャートが複数回繰り返して実行されることとなる。
【００２１】
図３において、ステップＳ１００で、会話認識・会話発生記録の処理が開始されると、続くステップＳ１０１では、音声判定のサブルーチンが実行される。ここで、図４を参照して音声判定のサブルーチンを説明する。
【００２２】
図４に示すフローチャートにおいて、ステップＳ２００で処理が開始されると、続いてステップＳ２０１に進み、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【００２３】
続いて、ステップＳ２０２に進み、マイクロホン３０によって取得された音データのうち、第Ｎ区画における設定時間間隔幅の音データを取得する。
【００２４】
ステップＳ２０３では、取得された集音データに対して設定された時間間隔幅の中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）を算出する。
【００２５】
ここで、本明細書においては、予め設定された時間間隔幅（タイムスロット）における中心周波数５００Ｈｚのオクターブバンド等価音圧レベルをＬ500eqといい、Ａ特性等価音圧レベルをＬAeqという。
【００２６】
次のステップＳ２０４では、音データに対して、Ａ特性重み付け補正を実行する。このようなＡ特性重み付け補正については、周知の方法によって実行され得るものである。
【００２７】
ステップＳ２０５では、ステップＳ２０３でＡ特性重み付け補正された集音データに対して設定時間間隔幅のＡ特性等価音圧レベル（ＬAeq）を算出する。
【００２８】
続いて、情報処理装置２０がＡ特性等価音圧レベル（ＬAeq）と中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）を受信すると、ステップＳ２０６では、
Ｌdiff＝Ｌ500eq−ＬAeq                （１）
の演算が実行され、ステップＳ２０６では、
Ｌdiff≧  ＬT                           （２）
の真否が判定される。
【００２９】
ステップＳ２０７の判定結果がＹＥＳであるときには、ステップＳ２０８に進み、当該時間間隔幅における検知結果は「音声検知」とし、ステップＳ２１０で第Ｎ区画では「音声検知」の結果を履歴として記録する。
【００３０】
一方、ステップＳ２０７の判定結果がＮＯであるときには、ステップＳ２０９に進み、当該時間間隔幅における検知結果は「音声非検知」とし、ステップＳ２１０で第Ｎ区画では「音声非検知」の結果を履歴として記録する。
【００３１】
ステップＳ２１１では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ２１１の判定結果がＮＯであれば、ステップＳ２１２に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ２０２に進む。一方、ステップＳ２１１の判定結果がＹＥＳであれば、ステップＳ２１３に進み、元のメインルーチンにリターンする。
【００３２】
元のメインルーチンでは、続いて、ステップＳ１０２に進み、人判定サブルーチンが実行される。ここで、図５を参照して人判定サブルーチンを説明する。
【００３３】
図５に示すフローチャートにおいて、ステップＳ３００において、人判定サブルーチンが開始されると、ステップＳ３０１に進み、予め設定された時間間隔幅（タイムスロット）におけるカメラ６０による撮像データを取得し、ステップＳ３０２で、取得された撮像データの画像解析を実行する。
【００３４】
ステップＳ３０３では、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【００３５】
次のステップＳ３０４では、撮像データの画像解析結果に基づいて、着目する第Ｎ区画とその回りの区画で複数人の画像を認識したか否かを判定する。ここで、図６には、着目区画とその周辺の区画とが図示されている。図６において、アンダーバーが付された数字が、区画の序数を示している。例えば、図６に示すように、着目する区画が第６区画であるものとすると、その周辺の区画とは、点線が通過する第１区画、第２区画、第３区画、第５区画、第７区画、第９区画、第１０区画、第１１区画が該当する。
【００３６】
ステップＳ３０４の判定結果がＹＥＳであるときには、ステップＳ３０５に進み、当該時間間隔幅における検知結果は「複数人検知」とし、ステップＳ３０７で第Ｎ区画では「複数人検知」の結果を履歴として記録する。
【００３７】
一方、ステップＳ３０４の判定結果がＮＯであるときには、ステップＳ３０６に進み、当該時間間隔幅における検知結果は「複数人非検知」とし、ステップＳ３０７で第Ｎ区画では「複数人非検知」の結果を履歴として記録する。
【００３８】
ステップＳ３０８では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ３０８の判定結果がＮＯであれば、ステップＳ３０９に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ３０４に進む。一方、ステップＳ３０８の判定結果がＹＥＳであれば、ステップＳ３１０に進み、元のメインルーチンにリターンする。
【００３９】
なお、本実施形態では、人判定に係る技術には、カメラによって撮像された画像データを画像解析することによって行う構成が採用されているが、人判定においてはその他の技術を用いることもできる。例えば、人判定に係る技術には、ＲＦＩＤタグを利用することで、ある区画周辺で複数の人が存在するか否かを判定するようにしてもよいし、また、人感センサーを利用することで、ある区画周辺で複数の人が存在するか否かを判定するようにしてもよい。さらに、人判定に係る技術には、赤外線センサー、振動センサー、ＣＯ2センサーなどを応用するようにしてもよい。
【００４０】
さて、図３のメインルーチンに戻り、続いて、ステップＳ１０３では、第Ｎ区画として、第１区画がセットされる。ここで、Ｎは１ずつインクリメントされる変数である。
【００４１】
ステップＳ１０４においては、音声判定サブルーチンの結果により、第Ｎ区画で「音声検知」であったか否かが判定される。判定結果がＮＯであれば、ステップＳ１０７に進み、第Ｎ区画＝（会話非発生）として記録が残される。判定結果がＹＥＳであれば、続いて、ステップＳ１０５に進む。
【００４２】
ステップＳ１０５においては、人判定サブルーチンの結果により、第Ｎ区画で「複数人検知」であったか否かが判定される。判定結果がＮＯであれば、ステップＳ１０７に進み、第Ｎ区画＝（会話非発生）として記録が残される。判定結果がＹＥＳであれば、続いて、ステップＳ１０６に進み、第Ｎ区画＝（会話発生）として記録が残される。
【００４３】
ステップＳ１０８では、全区画が終了したか否か（本例では、Ｎ＝１６であるか否か）が判定される。ステップＳ１０８の判定結果がＮＯであれば、ステップＳ１０９に進み、Ｎを「１」インクリメントして、次の区画に進み、ステップＳ１０４に進む。一方、ステップＳ１０８の判定結果がＹＥＳであれば、ステップＳ１１０に進み、処理を終了する。
【００４４】
以上のような本発明に係る会話認識記録システム１で記録される履歴について説明する。図７は本発明の実施形態に係る会話認識記録システム１による記録例を示す図である。図７に示す例では、設定された時間間隔幅（タイムスロット）が３０秒間であり、当該時間間隔幅においてそれぞれの区画で、会話が発生したのか（「会話発生」記録）、或いは、会話が発生しなかったのか（「会話非発生」記録）についての履歴が残される。例えば、１０：３０：００〜１０：３０：３０での時間間隔区幅では、第１区画＝（会話発生）、第２区画＝（会話発生）、第３区画＝（会話発生）、第４区画＝（会話非発生）、・・・・第１６区画＝（会話非発生）のような履歴が取得される。
【００４５】
上記のような本発明に係る会話認識記録システム１では、図１の（Ａ）周辺において会議を行っているスペースにおいては、（会話発生）の履歴が取得されるが、一方で、図１の（Ｂ）において１人が電話対応のみを行っているようなケースでは、（会話非発生）のような履歴が取得される。このように本発明に係る会話認識記録システム１では、空間内における実際の会話を高い確度で認識し履歴を残すことが可能となる。
【００４６】
以上のような、本発明に係る会話認識記録システム１では、音声判定において、ある区画で集音された音に音声が含まれると判定され、かつ、人判定において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識するものであり、このような本発明に係る会話認識記録システム１によれば、所定の空間内にける会話の有無を高い精度で認識し、記録を行うことが可能となる。
【００４７】
次に上記のような本発明に係る会話認識記録システム１における音声検知の判定方法（音声判定のサブルーチン）の技術的根拠を示す。
【００４８】
図８に、オフィス内の打合スペースにおいて会話が行われていた場合と会話が行われていない場合の音圧レベルの周波数特性を示す。図８の周波数特性の測定は１分間オクターブバンド等価音圧レベルを連続測定した。全測定サンプルは５６２２サンプル、その内会話が行われていた場合は１４０６サンプル、会話が行われていない場合は４２１６サンプルであった。図８には、打合スペースで会話が行われていた場合と会話が行われていない場合それぞれにおける測定結果の平均値と平均値±標準偏差を示す。なお、各周波数における音圧レベルはＡ特性により重み付けされた値である。
【００４９】
図８からは、等価音圧レベルを測定した１分間に会話が行われている場合、即ち音声が含まれている場合は５００Ｈｚオクターブバンド音圧レベルが卓越した周波数特性であることがわかる。一方、会話が行われていない場合、即ち音声が含まれていない場合はこのような特徴は示されていない。以上の測定結果は、音声は５００Ｈｚオクターブバンドに主な周波数成分を持つことを示している。
【００５０】
逆に言えば、測定した音の周波数特性において５００Ｈｚオクターブバンド音圧レベルが卓越している場合、その測定した音には音声が含まれている可能性が高いことを示唆する。
【００５１】
ここで、Ａ特性音圧レベルと５００Ｈｚオクターブバンド音圧レベルの関係を考える。仮に、測定した音が５００Ｈｚオクターブバンドにのみ周波数成分を持つとすると、Ａ特性音圧レベルの定義からその差Ｌdiffは３．２ｄＢとなる。
【００５２】
実際には、音声は５００Ｈｚオクターブバンド以外の帯域にも周波数成分を持つため、Ａ特性音圧レベルとＬdiffがちょうど３．２ｄＢとなることはないが、Ｌdiffが３．２ｄＢに近いほど測定した音の５００Ｈｚオクターブバンド音圧レベルが卓越していることを意味する。
【００５３】
図８に示した測定結果からＬdiffを算出し、打合スペースにおいて会話が行われていた場合と会話が行われていない場合それぞれにおけるＬdiffの度数分布を図９に示す。
【００５４】
図９から、会話が行われている場合は、会話が行われていない場合と比較してＬdiffが大きい、即ちＬdiffが３．２ｄＢに近いことが示されている。
【００５５】
Ｌdiffから測定した音に音声が含まれていると判定する閾値ＬTの設定値により、判定精度が変化する。図１０に、閾値ＬTの設定値と判定精度の関係を示す。
【００５６】
ここで示した測定例では、閾値ＬTを−１ｄＢに設定した場合に、会話が行われていること及び会話が行われていないことの判定精度が共に９０％程度であった。
【００５７】
閾値ＬTを大きい値に設定すると、測定した音に音声が含まれているにも関わらず音声が含まれていないと誤判定する確率が高くなる。一方で、閾値ＬTを小さい値に設定すると、測定した音に音声が含まれていないにも関わらず音声が含まれていると誤判定する確率が高くなる。閾値ＬTは音声以外の周囲の騒音等の影響を加味して設定する必要がある。
【００５８】
ここで示した測定例では、１分間の等価音圧レベルを測定しているが、等価音圧レベルの測定時間は１分間に限定されるものではない。等価音圧レベルの測定時間は必要な音声検出頻度により設定するが、一般的には１０秒間から１０分間程度と設定することが適当である。なお、等価音圧レベルの測定時間を長く設定した場合、測定時間内の短い時間にのみ音声が含まれる場合は音声が含まれないものと判定されることがある。
【００５９】
上記のような、技術的な根拠により、本発明に係る会話認識記録システムは音声検出の判定を行うものであり、原理的にみても、複雑なデータ処理等が不要なことが明白である。
【００６０】
このように、本発明に係る会話認識記録システム１における音声判定は、集音された音に基づいて、設定された時間間隔帯におけるＡ特性等価音圧レベル（ＬAeq）と、中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）とを算出し、中心周波数５００Ｈｚのオクターブバンド等価音圧レベル（Ｌ500eq）からＡ特性等価音圧レベル（ＬAeq）を引いた差分が予め設定された閾値以上である場合、集音された音に音声が含まれていると判定するものであり、このような本発明に係る会話認識記録システム１の音声判定によれば、音圧レベルの値や変動幅を用いることなく、高い精度で音声の有無を検知することが可能となる。
【００６１】
また、本発明に係る会話認識記録システム１における音声判定は、高度な信号処理技術や人工知能等を用い、音声が含まれているかを判定することではなく、安価で簡便な装置構成で検知を行うものであり、広い空間内や建物内各所の多点で簡便に音声を検知することが可能となる。
【００６２】
以上、本発明に係る会話認識記録システムは、音声判定部において、ある区画で集音された音に音声が含まれると判定され、かつ、人判定部において、当該区画周辺で複数の人が存在すると判定されると当該区画で会話が発生したものと認識するものであり、このような本発明に係る会話認識記録システムによれば、所定の空間内にける会話の有無を高い精度で認識し、記録を行うことが可能となる。
【００６３】
また、本発明に係る会話認識記録システムによれば、会話量および発生位置をモニタリングすることができ、 それにより、建物内でのコミュニケーションの発生頻度や打合せスペースの利活用状況などを把握することができる。
【００６４】
また、本発明に係る会話認識記録システムによれば、取得した履歴データはオフィスのレイアウト変更などの知的生産性を向上させるための空間設計に活用することができる。
【符号の説明】
【００６５】
１・・・会話認識記録システム
２０・・・情報処理装置
３０・・・マイクロホン
６０・・・カメラ
１００・・・オフィス
１０１・・・床
１０２・・・天井
【図１】
2019101338.tif 000003
【図２】
2019101338.tif 000004
【図３】
2019101338.tif 000005
【図４】
2019101338.tif 000006
【図５】
2019101338.tif 000007
【図６】
2019101338.tif 000008
【図７】
2019101338.tif 000009
【図８】
2019101338.tif 000010
【図９】
2019101338.tif 000011
【図１０】
2019101338.tif 000012