(57)【要約】【課題】マスクを着用している発声者が発する音声が入力されても、高品質な音声信号を生成することができる音声入力装置を提供することである。【解決手段】音声を入力して音声信号に変換する音声入力装置１１であって、撮影された発声者の画像を取得し、口元部分を口元画像として抽出する画像処理部２０と、口元画像からマスクの有無を検出する判定部３０と、収音された音声を取得し、判定部３０がマスクを検出した場合に、取得した音声のうち、所定の周波数帯域のゲインを上げる音声処理部４０と、を備えた構成とする。【選択図】図２
2015135358.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力して音声信号に変換する音声入力装置であって、
撮影された発声者の画像を取得し、口元部分を口元画像として抽出する画像処理部と、
前記口元画像からマスクの有無を検出する判定部と、
収音された音声を取得し、前記判定部がマスクを検出した場合に、取得した音声のうち、所定の周波数帯域のゲインを上げる音声処理部と、を備えたことを特徴とする音声入力装置。
【請求項２】
前記所定の周波数帯域が２〜８ｋＨｚであることを特徴とする請求項１に記載の音声入力装置。
【請求項３】
前記画像処理部は、画像を取得する画像取得部と、前記画像取得部から出力された画像信号から顔部分を抽出する顔認識部と、前記画像取得部から出力された画像信号から前記口元画像を抽出する口元認識部と、を備えたことを特徴とする請求項１又は２に記載の音声入力装置。
【請求項４】
前記音声処理部は、音声を取得する音声取得部と、前記音声取得部から出力された音声信号を複数の周波数帯域に分離する周波数分離部と、前記周波数分離部から出力された各周波数帯域のゲインを調整し、各周波数帯域の音声信号を合成して出力するゲイン調整部と、を備えたことを特徴とする請求項１〜３の何れかに記載の音声入力装置。
【請求項５】
請求項１〜４の何れかに記載の音声入力装置と、収音する収音部と、前記収音部に対して音声を発する発声者の画像を撮影する撮影部と、前記ゲイン調整部から出力された音声信号を音声にして出力する音声出力部と、を備えたことを特徴とする電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を入力して音声信号に変換する音声入力装置及びそれを備えた電話機に関する。
【背景技術】
【０００２】
従来から、音声を入力して音声信号に変換する音声入力装置が携帯電話機、携帯情報端末、スマートフォン等に搭載されている。例えばスマートフォンの場合、音声入力装置によって変換された音声信号は音声通話に用いられたり、文字列に変換する音声認識に用いられたりしている。そして、音声通話や音声認識の品質を向上させるための様々な技術も提案されている。
【０００３】
例えば、特許文献１には、収音する収音手段と、収音手段に対し音声を発する発声者の画像を撮影する撮影手段と、収音される音声に基づく音声認識を行う音声認識手段とを備えた発声内容認識装置が開示されている。この発声内容認識装置は、撮影される画像に発声者の少なくとも一部を示す発声者画像が含まれていない場合に、音声認識手段が音声認識を行うことを制限している。より具体的には、発声者画像が発声者の口元を示す口元画像であり、口元の動きを検出して口元が動いていない場合に音声認識を行うことを制限している。これにより、発声者が収音機の近くにおらず低精度の音声認識が行われることを抑制できるとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２０８７５１号公報
【特許文献２】特開２００７−２４８５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、発声者がマスクを着用している場合には口元画像を検出できず、したがって口元の動きを検出することもできない。また、マスクによって高周波数帯域、特に２〜８ｋＨｚの帯域の音が吸収されてしまい、収音される音声に基づく音声認識の精度が低下するという問題もある。
【０００６】
本発明は、マスクを着用している発声者が発する音声が入力されても、高品質な音声信号を生成することができる音声入力装置を提供することを目的とする。また、その音声入力装置を備えた電話機を提供することも目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明は、音声を入力して音声信号に変換する音声入力装置であって、撮影された発声者の画像を取得し、口元部分を口元画像として抽出する画像処理部と、前記口元画像からマスクの有無を検出する判定部と、収音された音声を取得し、前記判定部がマスクを検出した場合に、取得した音声のうち、所定の周波数帯域のゲインを上げる音声処理部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によると、発声者がマスクを装着している場合には、収音された音声のうち、高周波数帯域（２〜８ｋＨｚ）等の所定の周波数帯域のゲインを上げて出力することにより、各波数帯域の音圧レベルを合わせることができ、高品質な音声信号を生成することができる。その結果、聞き取りやすい音声や高精度な音声認識の実現に繋がる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態のスマートフォンの使用例を示す図である。
【図２】図１のスマートフォンにおける音声入力装置に関連する部分の構成を示すブロック図である。
【図３】通話時のスマートフォンの動作の一例を示すフローチャートである。
【図４】図３のステップＳ１３の処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に本発明の実施形態を図面を参照して説明する。以下では電話機の一例としてスマートフォンを例に説明する。図１は、スマートフォンの使用例を示す図であり、図２は、スマートフォンにおける音声入力装置に関連する部分の構成を示すブロック図である。
【００１１】
図１又は図２に示すように、スマートフォン１０は、音声を入力して音声信号に変換する音声入力装置１１と、収音する収音部１２と、収音部１２に対して音声を発する発声者の画像を撮影する撮影部１３と、音声信号を音声にして出力する音声出力部１４と、タッチ操作可能な表示部１５とを備えている。
【００１２】
収音部１２としては指向性マイクロホン等の収音装置を用いることができる。撮影部１３としてはカメラやビデオカメラなど、画像を順次撮影することができる装置を用いることができる。なお、撮影部１３は制御部（不図示）によって撮影方向を変更できる構成であってもよい。これにより、発声者の顔を撮影できる確率を上げることができる。音声出力部１４としてはスピーカー等の放音装置を用いることができる。表示部１５としてはＥＬ（エレクトロルミネセンス）表示装置や液晶表示装置を用いることができる。
【００１３】
そして、音声入力装置１１は、図２に示すように、撮影部１３から撮影された発声者の画像を取得し、口元部分を口元画像として抽出する画像処理部２０と、口元画像からマスクの有無を検出する判定部３０と、収音部１２から収音された音声を取得し、判定部３０がマスクを検出した場合に、取得した音声のうち、所定の周波数帯域のゲインを上げる音声処理部４０と、顔の要素（輪郭、目、鼻等）の特徴パターンや口元の特徴パターン（マスク装着状態のパターン又はマスク非装着状態のパターン）等を記憶した記憶部５０とを備えている。所定の周波数帯域とは例えば２〜８ｋＨｚであり、詳細については後述する。
【００１４】
画像処理部２０は、撮影部１３で撮影された発声者の画像を取得する画像取得部２１と、画像取得部２１から出力された画像信号から顔部分を抽出する顔認識部２２と、画像取得部２１から出力された画像信号から口元画像を抽出する口元認識部２３とを備えている。
【００１５】
画像取得部２１は、撮影部１３から出力された画像を取得し、ビットマップ等の画像信号に変換して顔認識部２２及び口元認識部２３へ出力するものである。顔認識部２２は、画像信号から顔の要素（輪郭、目、鼻等）の特徴パターンを抽出し、判定部３０へ出力する。口元認識部２３は、画像信号から口元部分を口元画像として抽出し、判定部３０へ出力する。
【００１６】
判定部３０は、顔認識部２２から出力された特徴パターンが記憶部５０に記憶されている特徴パターンの何れかに該当するか判定する。そして該当するパターンが見つかった場合、撮影された画像に顔が写っていると判定する。また、判定部３０は、口元画像認識部２３から出力された口元画像が記憶部５０に記憶されている口元の特徴パターン（マスク装着状態のパターン又はマスク非装着状態のパターン）の何れに該当するかを判定する。そして、マスク装着状態のパターンと一致した場合は発声者がマスクを装着していると判定し、一方、マスク非装着状態のパターンと一致した場合は発声者がマスクを装着していないと判定し、判定結果を音声処理部４０へ出力する。なお、マスクとは少なくとも口元を覆うものを指す。
【００１７】
音声処理部４０は、音声を取得する音声取得部４１と、音声取得部４１から出力された音声信号を複数の周波数帯域に分離する周波数分離部４２と、周波数分離部４２から出力された各周波数帯域のゲインを調整し、各周波数帯域の音声信号を合成して出力するゲイン調整部４３とを備えている。
【００１８】
音声取得部４１は、収音部１２から出力された音声を取得し、音声信号に変換して周波数分離部４２へ出力するものである。周波数分離部４２は、音声信号を複数の周波数帯域に分離し、ゲイン調整部４３へ出力する。例えば、低周波数帯域（０〜２ｋＨｚ）と高周波数帯域（２〜８ｋＨｚ）の２つの帯域に分離することができる。
【００１９】
ゲイン調整部４３は、各周波数帯域のゲインを調整する第１〜第Ｎ（Ｎは２以上の整数）調整部４３１〜４３Ｎを含んでおり、ゲイン調整後の各周波数帯域の音声信号を合成して音声出力部１４へ出力する。例えば、上記の２つの周波数帯域に分離する場合は、第１調整部４３１で低周波数帯域（０〜２ｋＨｚ）のゲインを調整し、第２調整部４３２で高周波数帯域（２〜８ｋＨｚ）のゲインを調整する。具体的なゲインの調整は、所定の周波数帯域のゲインを上げるように調整する。
【００２０】
ここでの所定の周波数帯域とは、発声者がマスクをしている場合に吸音されやすい高周波数帯域（２〜８ｋＨｚ）を指す。一般にマスクには綿などを材料とする布が用いられており、布は０〜２ｋＨｚの周波数帯域をあまり吸音（遮音）せず、２ｋＨｚ以上の周波数帯域を吸音（遮音）しやすいという性質がある。また、８ｋＨｚを越えるような音声は人間にとって不快な音域であるため、ゲインを上げると不快感を増すことになり好ましくない。よって、２〜８ｋＨｚの周波数帯域のゲインを上げることが好ましい。また、現在の電話通信に用いられている周波数帯域が０〜３ｋＨｚであることを考慮すると、２〜３ｋＨｚの周波数帯域のゲインを上げる構成としてもよい。
【００２１】
マスクで吸音されやすい周波数帯域のゲインを上げることで、他の周波数帯域と音圧レベルを合わせることができ、出力される音質の向上に繋がる。なお、ゲイン調整部４３は、必ずしも低周波数帯域（０〜２ｋＨｚ）のゲインを調整できる必要はなく、少なくとも発声者がマスクをしている場合に吸音されやすい高周波数帯域（２〜８ｋＨｚ）のゲインを上げるように調整できるものであればよい。
【００２２】
なお、ゲインを上げる必要のある所定の周波数帯域をさらに複数の周波数帯域に分離して各周波数帯域でゲインを上げる割合を変えてもよい。これにより、さらに細かくゲインを調整でき、各周波数帯域の音圧レベルを精密に合わせることができ、出力される音質がさらに向上する。
【００２３】
このような構成により、音声入力装置１１は、撮影された発声者の画像を取得し、口元部分を口元画像として抽出し、口元画像からマスクの有無を検出する。そして、マスクを検出した場合に、収音された音声のうち、所定の周波数帯域のゲインを上げて出力するように制御する。以下にこの制御動作の一例について詳しく説明する。
【００２４】
図３は、通話時のスマートフォン１０の動作の一例を示すフローチャートである。図１のように、スマートフォン１０が、ユーザー（発声者）によって通話のための操作が行われた場合、ステップＳ１０において、収音部１２が発声者からの音声を収音する。次に、ステップＳ１０からステップＳ１１へ進んで、音声取得部４１が収音部１２から出力された音声を取得し、音声信号に変換して周波数分離部４２へ出力する。
【００２５】
ステップＳ１１からはステップＳ１２へ進んで、周波数分離部４２が音声信号を複数の周波数帯域に分離する。ここでは、一例として低周波数帯域（０〜２ｋＨｚ）と高周波数帯域（２〜８ｋＨｚ）の２つの帯域に分離するものとする。次に、ステップＳ１２からステップＳ１３へ進んで、発声者がマスクを装着しているか否かを判別する。ステップＳ１３の処理の詳細は図４に示す。
【００２６】
図４に示すように、マスクの有無について判別するには、まずステップＳ２０において撮影部１３が画像を撮影する。次に、ステップＳ２０からステップＳ２１へ進んで、画像取得部２１が撮影部１３から出力された画像を取得し、画像信号に変換して顔認識部２２及び口元認識部２３へ出力する。
【００２７】
ステップＳ２１からはステップＳ２２へ進んで、顔認識部２２が画像信号から顔の要素（輪郭、目、鼻等）の特徴パターンを抽出することによって顔部分を抽出し、判定部３０へ出力する。次に、ステップＳ２２からステップＳ２３へ進んで、判定部３０は顔認識部２２から出力された特徴パターンが記憶部５０に記憶されている特徴パターンの何れかに該当するか判定する。ステップＳ２３において該当するパターンが見つかった場合は、撮影された画像に顔が写っていると判定し、ステップＳ２４へ進む。一方、ステップＳ２３において該当するパターンが見つからなかった場合は、撮影された画像に顔が写っていないと判定し、ステップＳ２７へ進む。
【００２８】
ステップＳ２３からステップＳ２４へ進んだ場合、口元認識部２３が画像信号から口元部分を口元画像として抽出し、判定部３０へ出力する。次に、ステップＳ２４からステップＳ２５へ進んで、判定部３０は口元画像認識部２３から出力された口元画像が記憶部５０に記憶されている口元の特徴パターン（マスク装着状態のパターン又はマスク非装着状態のパターン）の何れに該当するかを判定する。ステップＳ２５においてマスク装着状態のパターンと一致した場合は発声者がマスクを装着していると判定し、ステップＳ２６へ進む。一方、ステップＳ２５においてマスク非装着状態のパターンと一致した場合は発声者がマスクを装着していないと判定し、ステップＳ２７へ進む。
【００２９】
そして、ステップＳ２６においては、発声者がマスクを装着しているという判定結果を音声処理部４０へ出力する。一方、ステップＳ２７においては、撮影された画像に顔が写っていない又は発声者がマスクを装着していないという判定結果を音声処理部４０へ出力する。
【００３０】
ステップＳ２６、つまり発声者がマスクを装着しているという判定結果の場合、図３に戻り、ステップＳ１３からステップＳ１４へ進んで、ゲイン調整部４３は各周波数帯域のゲインを調整する。具体的には、第１調整部４３１で低周波数帯域（０〜２ｋＨｚ）のゲインはそのままの状態とし、第２調整部４３２で高周波数帯域（２〜８ｋＨｚ）のゲインを所定量上げる。所定量は、高周波数帯域の音圧レベルを低周波数帯域の音圧レベルに合わせる量とすればよい。
【００３１】
なお、低周波数帯域（０〜２ｋＨｚ）の音圧レベルが所定の閾値より小さい場合には、第１調整部４３１で低周波数帯域（０〜２ｋＨｚ）のゲインを上げ、それに合わせて第２調整部４３２で高周波数帯域（２〜８ｋＨｚ）のゲインを上げるようにしてもよい。
【００３２】
ステップＳ１４からはステップＳ１５へ進んで、ゲイン調整部４３は、ゲイン調整後の各周波数帯域の音声信号を合成し、ステップＳ１６へ進んで音声出力部１４へ出力する。これにより、音声出力部１４であるスピーカーからは、高周波数帯域（２〜８ｋＨｚ）のゲインを上げて聞き取りやすくなった音声が出力される。
【００３３】
一方、ステップＳ２７、つまり撮影された画像に顔が写っていない又は発声者がマスクを装着していないという判定結果の場合、図３に戻り、ステップＳ１３からステップＳ１５へ進む。つまり、高周波数帯域のゲインの調整は行わずに出力することになる。
【００３４】
このように、発声者がマスクを装着している場合には、収音された音声のうち、高周波数帯域（２〜８ｋＨｚ）のゲインを上げて出力することにより、高周波数帯域と低周波数帯域の音圧レベルを合わせることができ、高周波数帯域の音声も聞き取りやすくなり、出力される音質が向上する。
【００３５】
なお、図３のステップＳ１２とステップＳ１３の順序を入れ替え、ステップＳ１３で発声者がマスクを装着していないという判定結果の場合、ステップＳ１６へ進むようにしてもよい。この構成によると、発声者がマスクを装着していない場合や発声者の顔を撮影できなかった場合には、音声を分離、ゲイン調整、合成するという動作を省くことができ、音声出力の遅延をより短くすることができる。
【００３６】
なお、音声認識音声入力装置から出力される音声の利用方法に限定はなく、上述した音声通話の他にも、例えば、音声認識に利用することもできる。音声認識では、まず収音機で発声者の発する音声を収音する。次に、収音した音声の特徴パターンを抽出し、記憶部５０に記憶されている特徴パターンに同じパターンのものがあるか判定する。そして同じパターンが見つかった場合、その特徴パターンに対応する文字列を記憶部５０から読み出し、音声認識結果として出力する。これにより、音声を文字列に変換でき、機器を音声で操作したり、文字を音声で入力したりするために用いることができる。
【００３７】
なお、上記のＡ〜Ｂという数値範囲の表記は、その数値範囲に下限Ａおよび上限Ｂの値が含まれても含まれなくてもどちらでもよい。
【産業上の利用可能性】
【００３８】
本発明は、音声を入力して音声信号に変換する音声入力装置を搭載した機器に広く利用でき、例えば、携帯電話機、携帯情報端末、スマートフォン等に利用することができる。
【符号の説明】
【００３９】
１０  スマートフォン
１１  音声入力装置
１２  収音部
１３  撮影部
１４  音声出力部
２０  画像処理部
２１  画像取得部
２２  顔認識部
２３  口元認識部
３０  判定部
４０  音声処理部
４１  音声取得部
４２  周波数分離部
４３  ゲイン調整部
５０  記憶部
【図２】
2015135358.tif 000003
【図３】
2015135358.tif 000004
【図４】
2015135358.tif 000005
【図１】
2015135358.tif 000006