(57)【要約】【課題】視界内に必要な音源がない場合でも、ユーザが必要なタイミングで必要な方向に指向性を変更することのできる音声システムを提供すること。【解決手段】少なくとも一対の音声装置を有しており、音声装置の各々が、相互通信可能な通信手段と、装着者の発話状態を特定する発話状態特定手段と、相手の音声装置の位置および方向を検出する装置位置検出手段と、任意に指向性を調整できる指向性音取得手段と、任意に指向性を調整できる指向性音出力手段と、それぞれの指向性を調整する指向性調整手段と、を有し、発話状態特定手段により発話状態を特定した場合、装置間で発話状態であること送受信し、発話状態を送信した音声装置は音出力手段の指向性を位置検出手段の検出位置に制御、発話状態を受信した音声装置は音取得手段の指向性を前記位置検出手段の検出位置に制御することを特徴とする。【選択図】図１
2016122957.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一対の音声装置を有しており、
前記音声装置の各々が、
相互通信可能な通信手段と、
前記装着者の発話状態を特定する発話状態特定手段と、
相手の前記音声装置の位置および方向を検出する装置位置検出手段と、
任意に指向性を調整できる指向性音取得手段と、
任意に指向性を調整できる指向性音出力手段と、
それぞれの指向性を調整する指向性調整手段と、
を有し、
前記発話状態特定手段により発話状態を特定した場合、前記装置間で発話状態であること送受信し、発話状態を送信した音声装置は前記音出力手段の指向性を前記位置検出手段の検出位置に制御、発話状態を受信した音声装置は前記音取得手段の指向性を前記位置検出手段の検出位置に制御する
ことを特徴とする音声システム。
【請求項２】
前記装置位置検出手段で検出した位置が一定距離以上離れている場合、
前記指向性制御手段は前記指向性音取得手段と前記指向性音出力手段の指向性を装着者方向へ制御し、前記通信手段は前記音取得手段で取得した装着者の音声を送信し、前記通信手段は受信した音声を前記指向性音出力手段から出力すること
を特徴とする請求項１に記載の音声システム。
【請求項３】
前記音声装置の装着者の周囲を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像から人物の顔を検出する顔検出手段と、
顔の特徴情報を抽出する特徴情報抽出手段と、
前記特徴情報抽出手段で抽出された特徴情報から人物を特定する個人認証手段、
を有し、
前記個人認証手段で認証された人物に対して指向性を制御する
ことを特徴とする請求項１に記載の音声システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが必要なタイミングで必要な方向に指向性を変更することのできる音声システムに関する。
【背景技術】
【０００２】
従来、マイクなどから入力された音信号から、特定の範囲の音を強調し処理するシステムが存在する。音源の位置を追従して、選択的に音声処理を行うものがある。
【０００３】
特許文献１では、視線位置を検出し、当該視線位置の被写体にピントを合わせる視線位置ＡＦ機能を持つビデオカメラにおいて、視線位置の方向に収音手段の指向性を合わせる機能を有している。
【０００４】
しかし、特許文献１に示された技術では、常に注目すべき映像を人間が注視し続ける必要があり、ビデオカメラの画角から外れた場合には指向性を合わせることが困難になるとう課題があった。
【０００５】
このような問題を解決するために、利用者の視線を検出し、その視線が周囲のどの物体を注視しているかを監視することで、自動的に必要な音源の位置変化を追従し、ビデオカメラの画角などにとらわれることなく、注目した音源に指向性を合わせる技術が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−２９８６０９号公報
【特許文献２】特開２０１２−２９２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献２に開示された従来技術では、注目した音源が利用者の視界内に入ってなければ指向性を合わせることができない。また、注目している位置に指向性を合わせており、必要でない音声も取得する可能性がある。
【０００８】
そこで、本発明の目的は、視界内に必要な音源がない場合でも、ユーザが必要なタイミングで必要な方向に指向性を変更することのできる音声システムを提供することを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の音声システムは、
少なくとも一対の音声装置を有しており、
前記音声装置の各々が、
相互通信可能な通信手段と、
前記装着者の発話状態を特定する発話状態特定手段と、
相手の前記音声装置の位置および方向を検出する装置位置検出手段と、
任意に指向性を調整できる指向性音取得手段と、
任意に指向性を調整できる指向性音出力手段と、
を有し、
前記発話状態特定手段により発話状態を特定した場合、前記装置間で発話状態であること送受信し、前記位置検出手段の検出位置に音取得手段と音出力手段の指向性を制御することを特徴とする。
【発明の効果】
【００１０】
本発明の音声システムによれば、ユーザが必要なタイミングで必要な方向に指向性を変更することができる。そのため、周囲が騒がしい場合でも必要な音声を取得することができ、円滑な会話を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における音声システムのブロック図
【図２】本発明の第一の実施形態における音声システムのフローチャート図
【図３】本発明の第二の実施形態における音声システムのフローチャート図
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
［実施例］
(第１の実施形態)
図１は本発明の実施形態による音声装置１００の主要構成を示すブロック図である。本実施形態に置いて音声装置１００は、使用者の頭頂部に装着するヘッドマウントディスプレイを例に挙げる。内部バス１５０に対して、システム制御部１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、操作部１０５、記録媒体Ｉ／Ｆ１０６、外部Ｉ／Ｆ１０７、通信部１０９、表示部１１０、指向性調整部１１１、音取得部１１２、音出力部１１３、音解析部１１４、音声認識部１１５、装置位置検出部１１６、撮像部１１７、顔検出部１１８、個人認証部１１９が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。
【００１４】
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。システム制御部１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、音声装置１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、システム制御部１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。
【００１５】
画像処理部１０４は、システム制御部１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、外部Ｉ/Ｆ１０７を介して取得した映像信号、通信部１０９を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ/Ｄ変換処理、Ｄ/Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４を用いずにシステム制御部１０１がプログラムに従って画像処理を施すことも可能である。
【００１６】
操作部１０５は、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、表示部１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１７】
記憶媒体Ｉ/Ｆ１０６は、メモリカードなどの記録媒体１０８が装着可能とされ、システム制御部１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、当該記録媒体１０８に対するデータの書き込みを行う。外部Ｉ/Ｆ１０７は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信部１０９は、外部機器などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
【００１８】
表示部１１０は、システム制御部１０１の制御に基づいて、画像やＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面などを表示する。システム制御部１０１は、プログラムに従い表示制御信号を生成し、表示部１１０に表示するための映像信号を生成して表示部１１０に出力するように音声装置１００の各部を制御する。表示部１０５は出力された映像信号に基づいて映像を表示する。
【００１９】
音取得部１１２は、マイクなどにより周囲の音を収音し、取得した音を音解析部１１４へ送る。  音解析部１１４は、音取得部１１２から送信された音情報を解析し、音声とその他の雑音に分離する。抽出された音声は、音出力部１１３や音声認識部１１５へ送られる。音出力部１１３は、音解析部１１４から受信した音声を外部へ出力する。音取得部１１２や音出力部１１３の音入出力の指向性は指向性調整部１１１で制御される。
【００２０】
音声認識部１１５は、音解析部１１４からの音声を受け取り、音声内容を解析する。認識した結果は、システム制御部１０１に送られる。システム制御部１０１は、音声認識結果を文字データとして、表示部１１０に表示するように音声装置の各部を制御する。
【００２１】
装置位置検出部１１６は、通信部１０９により通信が確立されている他の音声装置の位置を検出する。システム制御部１０１は、位置検出結果に応じて、指向性制御部１１１を制御する。
【００２２】
撮像部１１７は、利用者の周囲を撮影し画像を生成する。撮像部１１７で得られた撮影画像は顔検出部１１８で顔検出処理に使用される。顔検出部１１８においては、画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。すなわち、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。
【００２３】
個人認証部１１９は、顔検出部１１８で検出された顔画像データから特徴情報を抽出し、不揮発性メモリ１０３に記憶されている人物の特徴情報をパターンマッチングで比較し、類似度を算出する。算出された類似度と、予め設定した認証用の閾値を比較し、類似度が閾値以上のときに顔検出部１１８で検出された人物が不揮発性メモリ１０３に記憶された人物であると識別、すなわち個人認証成功の判定を行う。
【００２４】
次に、本発明の実施形態にかかる音声装置１００による処理について、図２のフローチャートを用いて説明する。図２に示す処理は、システム制御部１０１が、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開して実行することにより行われる。
【００２５】
まず、音声装置１００の動作について図２を用いて説明する。ステップＳ１００にて、音声装置１００のシステム制御部１０１は、通信部１０９が別の音声装置と通信状態であるかを判断する。音声装置１００のシステム制御部１０１が通信状態であると判断した場合、ステップＳ１０１に遷移する。音声装置１００のシステム制御部１０１が別の音声装置を通信状態でないと判断した場合、再度ステップＳ１００で別の音声装置と通信状態になるのを待つ。
【００２６】
ステップＳ１０１にて、音声装置１００のシステム制御部１０１は、装置位置検出部１１６を制御し、通信状態にある音声装置の位置を検出する。装置位置検出部１１６は通信部１０９を通じてＧＰＳで現在地を取得し、各音声装置の通信部１１０で送受信することでお互いの現在地を把握するなどの方法で位置情報を検出できる。
【００２７】
ステップＳ１０２にて、音声装置１００のシステム制御部１０１は、ステップＳ１０１の装置位置検出部１１６の検出結果を用いて音声装置間の距離が閾値以内であるかを判断する。音声装置１００のシステム制御部１０１が、音声装置間の距離が閾値以内であると判断した場合、ステップＳ１０３へ動作を移す。また、音声装置１００のシステム制御部１０１が、音声装置間の距離が閾値以上であると判断した場合、ステップＳ１０９へ動作を移す。
【００２８】
ステップＳ１０３にて、音声装置１００のシステム制御部１０１は、音取得部１１２から取得した周囲の音を音解析部１１４で解析する。システム制御部１０１は、音解析部１１４で解析した音の中に装着者自身の音声が含まれている場合、装着者が発話状態にあると判定する。システム制御部１０１が装着者を発話状態であると判断した場合、通信状態にある別の音声装置に通信部１０９を通じて発話状態であることを通知して、ステップＳ１０４に動作を移す。
【００２９】
ステップＳ１０４にて、音声装置１００のシステム制御部１０１は、指向性制御部１１１を制御して、音出力部１１３から出力される音が装置位置検出部１１６で検出された位置に伝わりやすいように音声を増強する。
【００３０】
ステップ１０５にて、音声装置１００のシステム制御部１０１は、音取得部１１２から取得した音の中から音解析部１１４で装着者自身の音声を抽出する。ステップＳ１０６にて、音声装置１００のシステム制御部１０１は、ステップＳ１０５で抽出された音声を音出力部１１３へ送り、指向性制御部１１１で制御された音声レベルで音出力部１１３から検出した装置方向へ音声を出力する。
【００３１】
ステップＳ１０３にて、音声装置１００のシステム制御部１０１が装着者を発話状態でないと判断した場合、ステップＳ１０７へ動作を移す。ステップＳ１０７で、音声装置１００のシステム制御部１０１が別の音声装置からの発話状態通知を通信部１０９から受信したかを判断する。発話状態通知を受信したと判断した場合、ステップＳ１０８へ動作を移す。発話状態通知を受信していない場合、ステップＳ１００へ動作を移す。
【００３２】
ステップＳ１０８にて、音声装置１００のシステム制御部１０１は、装置位置検出部１１６で検出された位置の音声が増強されるように指向性制御部１１１を制御して、音取得部１１２が検出位置の音を取得しやすいようにする。
【００３３】
ステップＳ１０５にて、音声装置１００のシステム制御部１０１は、音取得部１１２から取得した音の中を音解析部１１４で解析し、装置位置検出部１１６から検出した位置からの音声を抽出する。ステップＳ１０６にて、音声装置１００のシステム制御部１０１は、ステップＳ１０５で抽出された音声を音出力部１１３へ送り、装着者自身へ音声を出力する。
【００３４】
ステップＳ１０２にて、音声装置のシステム制御部１０１が音声装置間の距離が閾値以上であると判断した場合、ステップＳ１０９へ動作を移す。ステップＳ１０９で、音声装置１００のシステム制御部１０１は、装着者の音声を取得しやすくなるように音取得部１１２、そして装着者へ音声を伝えやすくするように音出力部１１３の指向性を指向性調整部１１１で制御する。
【００３５】
ステップＳ１１０にて、音声装置１００のシステム制御部１０１は、音取得部１１２で取得した音を音解析部１１４に送り、装着者自身の音声を抽出する。抽出された音声は通信部１０９を介して通信状態にある別の音声装置へ送られる。また、通信部１０９を介して受信した通信状態にある別の音声装置の音声を音出力部１１３より出力する。
【００３６】
ステップＳ１０６やステップＳ１１０にて、音声装置１００のシステム制御部１０１は、音解析部１１４で解析した音声を音声認識部１１５に送り、音声内容を解析してもよい。システム制御部１０１は、解析した音声内容を画像処理部１０４へ送り、音声認識結果を文字画像データに変換する。文字画像データは表示部１１０に表示することができる。
【００３７】
本実施形態によれば、ユーザが必要なタイミングで必要な方向に指向性を変更することができる。そのため、周囲が騒がしい場合でも必要な音声を取得することができ、円滑な会話を行うことができる。
【００３８】
(第２の実施形態)
本発明の実施形態に係る音声装置１００による処理について、図３のフローチャートを参照して以下に説明する。図３に示す処理は、システム制御部１０１が、不揮発性メモリ１０３に記録されたプログラムをメモリ１０２に展開して実行することにより行われる。
【００３９】
なお、音声装置の構成については、第１の実施形態と同様に図１を参照するため、説明は省略する。ステップＳ２００にて、撮像部１１７で装着者の周囲を撮影して画像を生成し、画像を顔検出部１１８へ送り、ステップＳ２０１へ動作を移す。ステップＳ２０１にて、顔検出部１１８は、撮像部１１７で得られた画像データに含まれる被写体から人物の顔の特徴部分を顔画像データとして検出し、画像データ内の顔領域を特定する。
【００４０】
ステップＳ２０２とステップＳ２０３にて、個人認証部１１９は、顔検出部１１８で検出された顔画像データから特徴情報を抽出し、不揮発性メモリ１０３に記憶されている人物の特徴情報をパターンマッチングで比較し、類似度を算出する。算出された類似度と、予め設定した認証用の閾値を比較し、類似度が閾値以上のときに顔検出部１１８で検出された人物が不揮発性メモリ１０３に記憶された人物であると識別、すなわち個人認証成功の判定を行う。  ステップＳ２０３にて、個人認証が成功した場合はステップＳ２０４へ、個人認証が失敗した場合はステップＳ２００へ動作を移す。
【００４１】
ステップＳ２０４にて、ステップＳ２０３で個人認証が成功した場合、個人認証した顔の位置を検出する。そして、ステップＳ２０５にて、個人認証した顔の位置に対して指向調整部１１１を制御する。
【００４２】
このようにすることで、通話相手が音声装置を装着していなくても、個人認証登録されている場合であれば指向性を調整し、円滑な会話を行うことができる。
【００４３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードをコンピュータで読み取り可能にした記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成可能である。
【００４４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４５】
また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実施形態の機能を実現する処理の一部または全部を行う場合にも、かかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４６】
さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【符号の説明】
【００４７】
１００  音声装置、１０１  システム制御部、１０２  メモリ、
１０３  不揮発性メモリ、１０４  画像処理部、１０５  操作部、
１０６  記録媒体Ｉ／Ｆ、１０７  外部Ｉ／Ｆ、１０８  記録媒体、１０９  通信部、
１１０  表示部、１１１  指向性調整部、１１２  音取得部、１１３  音出力部、
１１４  音解析部、１１５  音声認識部、１１６  装置位置検出部、１１７  撮像部、
１１８  顔検出部、１１９  個人認証部、１５０  内部バス
【図１】
2016122957.tif 000003
【図２】
2016122957.tif 000004
【図３】
2016122957.tif 000005