(57)【特許請求の範囲】
【請求項１】
音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、
音声の入力手段と、
該入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記所定の情報に変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。
【請求項２】
音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を表示する装置であって、
音声の入力手段と、
画像を表示する画面と、
該画面への画像の表示状態を表示パラメータに応じて制御する手段と、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記表示パラメータに変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。
【請求項３】
音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、
音声の入力手段と、
可動体と、
該可動体を動作させる駆動手段と、
該駆動手段の駆動状態を駆動パラメータに応じて制御する手段と、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記駆動パラメータに変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。
【請求項４】
音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段とを備えた情報処理装置において、
入力された音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を画面に表示する方法であって、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出し、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書を参照して、入力された音声が息の音声か否かを判断し、
判断の結果、入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換し、
該物理量の情報をさらに表示パラメータに変換し、
該画面への画像の表示状態を該表示パラメータに応じて制御しており、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なることを特徴とする息検出による画像表示制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マイクロフォンのような音声入力手段により入力された音声が、息の音声であるか否かを検出する機能を備えたパーソナルコンピュータ（以下、パソコンという）、携帯用ゲーム機などの情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法に関する。
【０００２】
【従来の技術】
従来、パソコンのディスプレイ画面上で画像を移動させたり、例えば風船を膨らませる場合のように画像の状態を変化させたりする場合、キーボードのカーソル移動キー、マウスなどの操作により移動させ、またこれらの操作により画像の状態を変化させるようなコマンドを与える方法が一般的である。
【０００３】
また、マイクロフォンから入力されたユーザの言葉を認識し、例えばディスプレイ画面上の仮想世界に棲息する人工生物に、入力された言葉に応じた動作を行わせたり、またはパソコンに接続されているロボットを、入力された言葉に応じて動作させたりするアプリケーション・プログラムが提供されている。
【０００４】
【発明が解決しようとする課題】
しかし、キーボード、マウスなどを操作してディスプレイ画面上の風船に息を吹きかけて飛ばしたり、風船を膨らましたりすることは、現実の息の吹きかけ動作とかけ離れた動作であるためにユーザに違和感を与え、ディスプレイ画面上の仮想世界との間に隔たりを感じさせる。
【０００５】
前述のように、マイクロフォンから入力された言葉で人工生物、ロボットを動作させたりするアプリケーション・プログラムは、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たりを取り除く効果はあるが、言葉ではない息の吹きかけ・吸い込みに応じてディスプレイ画面上の画像を移動、変化させたり、またロボットを動作させたりする機能は備えていない。
【０００６】
本発明はこのような問題点を解決するためになされたものであって、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御することにより、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるパソコン、携帯用ゲーム機などの息検出機能付情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
第１発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、該入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記所定の情報に変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００８】
第２発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を表示する装置であって、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記表示パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００９】
第３発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、可動体と、該可動体を動作させる駆動手段と、該駆動手段の駆動状態を駆動パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記駆動パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【００１０】
第４発明の息検出による画像表示制御方法は、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段とを備えた情報処理装置において、入力された音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を画面に表示する方法であって、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出し、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書を参照して、入力された音声が息の音声か否かを判断し、判断の結果、入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換し、該物理量の情報をさらに表示パラメータに変換し、該画面への画像の表示状態を該表示パラメータに応じて制御しており、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なることを特徴とする。
【００１１】
第１発明では、マイクロフォンのような入力手段により入力された音声を特徴付けている要素である音声パワー、音声素片の特徴量を検出し、辞書に格納されている音声素片及び判断規則を参照して、入力された音声が息の音声であるか否かを判断し、入力された音声が息の音声の場合は、この音声の音声パワー、音声素片の特徴量から定まる音声の性質といった特徴量に基づき、例えば音声パワーを温度、速度、圧力などの他の物理量の情報に変換する。さらに第２発明及び第４発明ではこの物理量の情報を画面上の画像の表示色、移動速度、移動距離などの表示パラメータに変換する。
これにより、ユーザは、自分の息が画面上の画像に直接作用したような感じを得ることができる。
【００１２】
また第３発明では、例えば音声パワーを変換した速度、圧力などの他の物理量の情報を、ロボットのような可動体の移動速度、移動距離、動作状態などの駆動パラメータに変換する。
これにより、ユーザは、自分の息が可動体に直接作用したような感じを得ることができる。
【００１３】
【発明の実施の形態】
図１は本発明の息検出機能付情報処理装置（以下、本発明装置という）のブロック図であって、本発明装置がパソコンに適用された場合を例にして説明する。本形態の装置は音声認識の技術を応用したものである。
図中、１は音声の入力手段としてのマイクロフォンであって、本形態では、ディスプレイ画面11の下辺中央に配されている。
【００１４】
音響処理部２は、マイクロフォン１から入力された音声信号に対して、例えば20〜30msec程度の短い区間ごとに周波数分析、線形予測分析などの変換を行って音声を分析し、これを、例えば数次元〜数十次元程度の特徴ベクトルの系列に変換する。この変換によって、マイクロフォン１から入力された音声信号の特徴量３である、音声パワー31及び音声素片32のデータが得られる。
【００１５】
音声素片認識部４は、連続している音声信号を、音声認識に都合が良い音韻単位または単音節単位の音声素片に分割し、音声素片照合手段42は、この音声素片を、音声辞書41の通常音声41a 、雑音41b 、息吹きかけ音声41c 、及び息吸い込み音声41d の辞書群に格納されている音声素片の音形と照合し、入力音声の各音声素片（フレーム）が、母音、子音といった通常音声であるか、雑音であるか、息吹きかけ音声であるか、または息吸い込み音声であるかの認識を行う。
音声素片認識の結果、各フレームの辞書データとの類似度を付加した音声ラティス５（図２(a) 参照）が得られる。
図２(a) では、通常音声、雑音、息吹きかけ音声、息吸い込み音声の各フレームにおいて、辞書データとの類似度が高いフレームほど濃い色（高密度のハッチング）で示されており、所定レベル以上の類似度を有するフレームがそれぞれの音声である（有効）とする。
【００１６】
息音声認識部６では、息音声認識手段62が、息音声及び息音声以外の音声と認識し得る継続フレーム数、息音声と判断する音声パワーのしきい値、及び後述するように、これらに基づいて息音声であるか否かを判断するアルゴリズム（図４参照）が格納されている判断規則辞書61を参照し、特徴量３として検出した音声パワー31及び音声ラティス５の中から、息音声を認識する。
息音声認識の結果、息音声と認識したフレームの音声ラティス及び音声パワー、即ち息音声の特徴量の時系列データからなる息音声認識結果７（図３参照）が得られる。
【００１７】
物理量変換部８は、息音声認識結果７の特徴量の時系列データに基づいて、音声パワーを温度、速度、距離、圧力などの他の物理量に変換する。本例では音声パワーを温度に変換した寒暖時系列データ９に変換する。
表示制御部10は寒暖時系列データ９を、表示色のような表示パラメータに変換し、ディスプレイ画面11の画像の色を、温度が高くなるほど例えば赤くする。
【００１８】
次に、本発明装置における息音声判定の手順を図２及び図３の音声ラティス・音声パワーの図、及び図４のフローチャートに基づいて説明する。なお、判断規則辞書61の判断規則として、本例では息音声と判断する音声パワーのしきい値を−4000、息音声及び息音声以外の音声と認識し得る継続フレーム数を２とし、息音声の継続フレーム数をカウントする変数をCF1 、息音声以外の継続フレーム数をカウントする変数をCF2 とする。
【００１９】
システムを初期化し（ステップS1）、息音声であるか否かの判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、その音声パワーが−4000以上であるか否かを判断する（ステップS4）。
【００２０】
音声パワーが−4000以上の場合は、類似度が閾値以上（即ち、有効）であるか否かを判断する（ステップS5）。類似度が閾値以上の場合は、息音声の継続フレーム数の変数CF1 を１だけインクリメントし（ステップS6）、息音声の継続フレーム数が２以上になったか否かを判断する（ステップS7）。
【００２１】
息音声の継続フレーム数が２以上になった場合は、息音声以外の継続フレーム数の変数CF2 に０を代入して（ステップS8）、継続フレーム数に該当するフレームを息音声フレームとする（ステップS9）。
一方、継続フレーム数が１の場合はステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
【００２２】
一方、ステップS4の判断の結果、判定対象のフレームの音声パワーが−4000未満の場合、また−4000以上であっても、ステップS5の判断の結果、類似度が閾値に達していない場合は、息音声以外の継続フレーム数の変数CF2 を１だけインクリメントし（ステップS10 ）、息音声以外の継続フレーム数が２以上になったか否かを判断する（ステップS11 ）。
【００２３】
息音声以外の継続フレーム数が２以上になった場合は、息音声の継続フレーム数の変数CF1 に０を代入して（ステップS12 ）、ステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
以上を繰り返し、未処理フレームがなくなって判定処理が終了すると、息音声認識結果７を生成するなどの所定の終了処理を実行して（ステップS13 ）、判定処理を終了する。
【００２４】
物理量変換部８は、以上のようにして得られた息音声認識結果７の音声パワーを、音声パワーのみに基づいて、又は音声の性質（「はーっ」という軟らかい音声、「ふーっ」という硬い音声）と音声パワーとに基づいて、寒暖時系列データ９に変換する。
【００２５】
図５及び図６は変換関数の一例を示した図である。
図５は、音声パワーが−6000から−2000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−2000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２６】
図６は、「はーっ」という軟らかい息音声の場合は（図６(a) ）、図５と同様に、パワーが比較的弱い区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、またパワーが比較的強い区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
一方、「ふーっ」という硬い息音声の場合は（図６(b) ）、音声パワーが−6000から−4000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−4000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２７】
なお、本形態ではマイクロフォンが１つの場合について説明したが、マイクロフォンを複数個用いて息の方向を検出してもよく、またその設置場所も、ディスプレイ画面の下辺中央に限らず、ユーザがディスプレイ画面上の画像に対して息の吹きかけ・吸い込みを可及的に自然な姿勢で行える位置であれば、ディスプレイ上のどこであってもよく、またディスプレイ装置とは別に設置してもよい。
【００２８】
また、本形態ではディスプレイ画面11の画像の表示を制御する場合について説明したが、息音声のパワーを他の物理量に変換し、この物理量を、パソコンに接続されたロボットのような可動体の駆動パラメータに変換し、例えば息の吹きかけ・吸い込みにより花のロボットを揺れさせるといったことも可能である。
【００２９】
さらに、本形態では本発明装置がパソコンの場合について説明したが、本発明装置は、マイクロフォンのような音声入力手段を備えた携帯用パソコン、携帯用ゲーム機、家庭用ゲーム機などであってもよい。
【００３０】
また、本形態では音声認識の技術を応用した場合について説明したが、息音声のパワーのみを検出して他の物理量に変換する簡単な構成の装置であってもよく、その場合はマイクロフォンのような音声入力手段からの息の吹きかけ・吸い込みを装置側に知らせるためのボタンのような指示手段を設けてもよい。
【００３１】
【実施例】
以下に、本発明装置を利用してディスプレイ画面上の画像の表示状態を変化させる具体例を挙げる。
息の吹きかけの音声パワーを温度の時系列データに変換する場合では、木炭を吹くと赤くなっていく、熱い飲み物の湯気が少なくなっていく、ろうそくの炎・ランプの灯が消えるなどが可能である。
【００３２】
また、息の吹きかけの音声パワーを速度、移動距離、移動方向に変換した場合では、風船を飛ばす、水面に波紋を広げる、絵の具のような液体をスプレー状に散布する、絵の具に息を吹きかけて絵を描く、エージェントに息を吹きかけてレースさせる、消しゴムのくずを払うなどが可能である。
【００３３】
さらに、息の音声パワーを呼吸量に変換した場合では、風船を膨らます、風船を萎ます、キーボードで音程を指定して管楽器のような楽器を演奏する、肺活量を測定するなどが可能である。
【００３４】
【発明の効果】
以上のように、本発明の息検出機能付情報処理装置及び息検出による画像表示制御方法は、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御するので、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明装置のブロック図である。
【図２】息吹きかけの音声ラティス・音声パワーの図である。
【図３】息音声認識結果の音声ラティス・音声パワーの図である。
【図４】息音声判定のフローチャートである。
【図５】音声パワーから寒暖変化への変換関数の例（その１）を示す図である。
【図６】音声パワーから寒暖変化への変換関数の例（その２）を示す図である。
【符号の説明】
１  マイクロフォン
２  音響処理部
３  特徴量
31  音声パワー
32  音声素片
４  音声素片認識部
41  音声素片辞書
41a 通常音声
41b 雑音
41c 息吹きかけ音声
41d 息吸い込み音声
５  音声ラティス
６  息音声認識部
61  判断規則辞書
61a 息吹きかけ
61b 息吸い込み
62  息音声認識手段
７  息音声認識結果
８  物理量変換部
９  寒暖時系列データ
10  表示制御部
11  ディスプレイ画面
【図１】
0004030162.tif 000002
【図２】
0004030162.tif 000003
【図３】
0004030162.tif 000004
【図４】
0004030162.tif 000005
【図５】
0004030162.tif 000006
【図６】
0004030162.tif 000007