(57)【要約】  本発明は、適応的ハプティック信号発生装置に関し、受信されるオーディオ信号を周波数領域に変換して分析する周波数分析部、周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する周波数イコライザー部、抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および抽出されたハプティックイベント信号の発生回数を周波数別にカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる制御部を含み、様々なオーディオ入力コンテンツの種類に関係なくオーディオ信号からハプティック信号にリアルタイムで変換する時、ユーザが所望するハプティック信号を発生させる適中率を高めることができる。
2022501699.tif 000002
【特許請求の範囲】
【請求項１】
受信されるオーディオ信号を周波数領域に変換して分析する周波数分析部、
前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する周波数イコライザー部、
前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、
前記ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および
前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる制御部
を含むことを特徴とする適応的ハプティック信号発生装置。
【請求項２】
前記制御部は、
前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、前記特定閾値を増加させることを特徴とする、請求項１に記載の適応的ハプティック信号発生装置。
【請求項３】
受信されたオーディオ信号の特定周波数区間をフィルタリングするフィルタ部、
前記フィルタリングされたオーディオ信号を抑制または増幅させるアンプ部、
前記アンプ部により抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、
前記ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および
前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させる制御部
を含むことを特徴とする適応的ハプティック信号発生装置。
【請求項４】
受信されるオーディオ信号を周波数領域に変換して分析するステップ、
前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅するステップ、
前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するステップ、および
前記ハプティックイベント信号に相応するハプティック信号を発生させるステップ
を含み、
前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントするステップ、および
前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させるステップ
をさらに含むことを特徴とする適応的ハプティック信号発生方法。
【請求項５】
前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、前記特定閾値を増加させるステップをさらに含むことを特徴とする、請求項４に記載の適応的ハプティック信号発生方法。
【請求項６】
受信されたオーディオ信号の特定周波数区間をフィルタリングするステップ、
前記フィルタリングされたオーディオ信号を抑制または増幅させるステップ、
前記抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するステップ、および
前記ハプティックイベント信号に相応するハプティック信号を発生させるステップ
を含み、
前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントするステップ、および
前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させるステップ
をさらに含むことを特徴とする適応的ハプティック信号発生方法。
【請求項７】
請求項４〜６のいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、適応的ハプティック信号発生装置に関し、より詳しくは、様々なオーディオ入力コンテンツの種類に関係なくオーディオ信号からハプティック信号にリアルタイムで変換する時、ユーザが所望するハプティック信号を発生させる適中率を高めることができる適応的ハプティック信号発生装置に関する。
【背景技術】
【０００２】
ハプティック技術を支援する製品は、ユーザに触覚という情報を追加することに伴い、より多い現場感および没入を可能にする。しかし、既存の触覚情報が含まれていないコンテンツを用いてハプティック技術を実現するためには、コンテンツの再生時に特定の時間と目的に合わせて振動パターンが事前に該当コンテンツに植えられなければならないため、非常に多くの時間と努力および費用が必要となる。それに対する解決のために、既存のオーディオ信号がある場合、該オーディオ信号をハプティック信号に自動で変換するハプティック技術が必要な実情である。
【０００３】
既存の技術を察すると、最も代表的には、オーディオ信号をハプティック信号に変換する時、オーディオ信号を時間領域あるいは周波数領域において分析し、それをフィルタを用いて特定領域に集中する信号を引き、それをハプティックに連結した。この場合、音を単にハプティックに変換する形態のアルゴリズムであるため、全ての音のイベントがハプティックイベントに連結されるしかない。
【０００４】
また、入力として与えられるコンテンツの種類が様々であり、それを特定し難いのが事実であるため、適中率を引き上げるためには、既存の方法によっては限界があるしかない。したがって、事前に定められていないオーディオ信号からハプティック信号への変換時、ユーザが所望する適中率をより高く引き上げるには限界が依然として残っており、コンテンツに応じてそれぞれ異なる値の設定値を有することも問題として残っている。
【０００５】
先行技術１として、特許文献１（Ｌｏｗ−ｆｒｅｑｕｅｎｃｙ  ｅｆｆｅｃｔｓ  ｈａｐｔｉｃ  ｃｏｎｖｅｒｓｉｏｎ  ｓｙｓｔｅｍ）は、ユーザにハプティック信号を提供した後、ハプティック効果パラメータに対するユーザ調整値（ａｄｊｕｓｔｍｅｎｔ）を受信してハプティック信号を調整する技術である。先行技術１は、ハプティック効果パラメータをユーザが調整値を入力して修正する方式であって、ユーザが手作業で作業しなければならない不便があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＵＳ登録特許第９３５４７０４号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする第１課題は、様々なオーディオ入力コンテンツの種類に関係なくオーディオ信号からハプティック信号にリアルタイムで変換する時、ユーザが所望するハプティック信号を発生させる適中率を高めることができる適応的ハプティック信号発生装置を提供することにある。
【０００８】
本発明が解決しようとする第２課題は、受信されるオーディオ信号の固有の大きさに応じてそれぞれ異なる閾値を適応的に設定してハプティック信号を発生させることができる適応的ハプティック信号発生方法を提供することにある。
【０００９】
また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、前記第１課題を達成するために、受信されるオーディオ信号を周波数領域に変換して分析する周波数分析部、前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する周波数イコライザー部、前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、前記ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる制御部を含むことを特徴とする適応的ハプティック信号発生装置を提供する。
【００１１】
また、前記制御部は、前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、前記特定閾値を増加させてもよい。
【００１２】
本発明の一実施形態によれば、受信されたオーディオ信号の特定周波数区間をフィルタリングするフィルタ部、前記フィルタリングされたオーディオ信号を抑制または増幅させるアンプ部、前記アンプ部により抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、前記ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させる制御部を含むことを特徴とする適応的ハプティック信号発生装置を提供することができる。
【００１３】
本発明は、前記第２課題を達成するために、受信されるオーディオ信号を周波数領域に変換して分析するステップ、前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅するステップ、前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するステップ、および前記ハプティックイベント信号に相応するハプティック信号を発生させるステップを含み、前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントするステップ、および前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させるステップをさらに含むことを特徴とする適応的ハプティック信号発生方法を提供する。
【００１４】
また、前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、前記特定閾値を増加させるステップをさらに含んでもよい。
【００１５】
本発明の一実施形態によれば、受信されたオーディオ信号の特定周波数区間をフィルタリングするステップ、前記フィルタリングされたオーディオ信号を抑制または増幅させるステップ、前記抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するステップ、および前記ハプティックイベント信号に相応するハプティック信号を発生させるステップを含み、前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントするステップ、および前記ハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させるステップをさらに含むことを特徴とする適応的ハプティック信号発生方法を提供することができる。
【００１６】
前記他の技術的課題を解決するために、本発明は、前記適応的ハプティック信号発生方法をコンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００１７】
本発明によれば、様々なオーディオ入力コンテンツの種類に関係なくオーディオ信号からハプティック信号にリアルタイムで変換する時、ユーザが所望するハプティック信号を発生させる適中率を高めることができる。
【００１８】
また、本発明によれば、受信されるオーディオ信号の固有の大きさに応じてそれぞれ異なる閾値を適応的に設定してハプティック信号を発生させることができる。
【００１９】
なお、本発明によれば、所望しないハプティック信号の発生を抑制する一方、ユーザが所望するハプティック信号の発生率を高めることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の好ましい一実施形態による適応的ハプティック信号発生装置の構成図である。
【図２】本発明の好ましい他の実施形態による適応的ハプティック信号発生装置の構成図である。
【図３】本発明の好ましい一実施形態による適応的ハプティック信号発生方法のフローチャートである。
【図４】本発明の好ましい他の実施形態による適応的ハプティック信号発生方法のフローチャートである。
【図５】本発明の実施形態により周波数領域において特定周波数区間を抑制した場合を示すものである。
【発明を実施するための形態】
【００２１】
本発明は、前記課題を達成するために、受信されるオーディオ信号を周波数領域に変換して分析する周波数分析部、前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する周波数イコライザー部、前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出するハプティックイベント抽出部、前記ハプティックイベント信号に相応するハプティック信号を発生させるハプティック信号発生部、および前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる制御部を含むことを特徴とする適応的ハプティック信号発生装置を提供する。
【００２２】
以下、添付図面を参照して本発明が属する技術分野における通常の知識を有した者が本発明を容易に実施できる好ましい実施形態を詳しく説明する。但し、これらの実施形態は本発明をより具体的に説明するためのものであって、本発明の範囲がこれによって制限されないということは当業界の通常の知識を有する者に明らかであろう。
【００２３】
本発明が解決しようとする課題の解決方案を明らかにするための発明の構成を本発明の好ましい実施形態に基づいて添付図面を参照して詳しく説明するが、図面の構成要素に参照番号を付する際、同一の構成要素に対しては他の図面上に表示する時にも同一の参照番号を付し、当該図面に関する説明の時、必要な場合、他の図面の構成要素を引用できることを予め明らかにしておく。さらに、本発明の好ましい実施形態に対する動作原理を詳しく説明するにおいて、本発明と関連した公知の機能あるいは構成に関する具体的な説明、そしてそれ以外の諸事項が本発明の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明は省略する。
【００２４】
図１は、本発明の好ましい一実施形態による適応的ハプティック信号発生装置の構成図である。
【００２５】
図１を参照すれば、本実施形態による適応的ハプティック信号発生装置は、周波数分析部１１０、周波数イコライザー部１２０、ハプティックイベント抽出部１３０、ハプティック信号発生部１４０および制御部１５０で構成される。
【００２６】
周波数分析部１１０は、受信されるオーディオ信号を周波数領域に変換して分析する。周波数領域に変換する時、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を用いてオーディオ信号を周波数帯域別に変換することができる。
【００２７】
周波数イコライザー部１２０は、前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する。
【００２８】
周波数イコライザー部１２０は、低域を切り出す低域フィルタ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）と高域を切り出す高域フィルタ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）、特定の周波数だけを無くし残りの部分はそのまま通過するバンドパスフィルタ（Ｂａｎｄ  Ｐａｓｓ  Ｆｉｌｔｅｒ）、特定周波数だけを選択して無くすバンドリジェクトフィルタ（Ｂａｎｄ  Ｒｅｊｅｃｔ  Ｆｉｌｔｅｒ）として含んでもよく、それらを組み合わせて使用してもよい。
【００２９】
ハプティックイベント抽出部１３０は、前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出する。
【００３０】
ハプティックイベント信号は、受信されたオーディオ信号の強さ（ｉｎｔｅｎｓｉｔｙ）、ピッチ（ｐｉｔｃｈ）、リズム（ｒｈｙｔｈｍ）、エネルギー（ｅｎｅｒｇｙ）、時間的対比（ｔｅｍｐｏｒａｌ  ｃｏｎｔｒａｓｔ）、メロディー（ｍｅｌｏｄｙ）、ハーモニー（ｈａｒｍｏｎｙ）、音色（ｔｉｍｂｒｅ）のうち少なくとも一つ以上を考慮して抽出される。
【００３１】
ハプティック信号発生部１４０は、前記ハプティックイベント信号に相応するハプティック信号を発生させる。
【００３２】
一実施形態として、前記オーディオ信号をピッチシフト（ｐｉｔｃｈ  ｓｈｉｆｔｉｎｇ）することによって、オーディオ信号の元のピッチをアクチュエータのようなハプティック出力装置の目的ピッチ範囲内の目的ピッチにシフトすることができる。また、オーディオ信号の元のピッチを目的ピッチにシフトすることによって、オーディオ信号の一つ以上の元の周波数は一つ以上の目的周波数にシフトできる。
【００３３】
制御部１５０は、ハプティックイベント抽出部１３０により抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる。
【００３４】
制御部１５０がハプティックイベント信号の発生回数を周波数別にカウントする時、該周波数の相応する電力の大きさが一定大きさ以下である場合はカウントから除外できる。
【００３５】
一方、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数以外の他の周波数に対しては抑制できる。
【００３６】
制御部１５０は、ハプティックイベント抽出部１３０により抽出されたハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、ハプティックイベント抽出部１３０の特定閾値を増加させることができる。前記特定閾値を増加させれば、ハプティック信号の発生頻度を下げる効果がある。
【００３７】
また、制御部１５０は、一定回数以上発生したハプティックイベント信号に相応する周波数を分析して周波数イコライザー部１２０の特定周波数区間をさらに細かく区分することができる。例えば、初期設定された特定周波数区間が２００Ｈｚ〜１，５００Ｈｚである時、ハプティックイベント信号が発生した周波数が４００Ｈｚ、６００Ｈｚ、７００Ｈｚ、８００Ｈｚ、１，２００Ｈｚであれば、前記特定周波数区間を４００Ｈｚ〜１，２００Ｈｚに限定することが好ましい。
【００３８】
制御部１５０が、リアルタイムで受信されるオーディオ信号からハプティックイベント信号を抽出し、抽出されるハプティックイベント信号に相応する周波数の増幅ゲインを増加させ、その他の周波数の増幅ゲインを減少させることによって、オーディオ信号の特性に応じて適応的にハプティック信号を発生できるようになる。
【００３９】
制御部１５０を介して、周波数分析部１１０とハプティックイベント抽出部１３０に必要であったマニュアルチューニングをある程度自動化することができる。また、基本的にゲームのような特定周波数を有するオーディオ信号に対する頻度が高い場合、より高い適中率を有する出力を有するようになる。
【００４０】
オーディオ信号は実生活において様々な形態で存在するため、特定形態を指定することは事実上不可能であるので、受信されるオーディオ信号を適応的に学習するようにし、この学習結果に応じてオーディオを分析する制御部１５０を制御してハプティックイベント適中率を向上させることができる。
【００４１】
図２は、本発明の好ましい他の実施形態による適応的ハプティック信号発生装置の構成図である。
【００４２】
図２を参照すれば、本実施形態による適応的ハプティック信号発生装置は、フィルタ部２１０、アンプ部２２０、ハプティックイベント抽出部２３０、ハプティック信号発生部２４０および制御部２５０で構成される。
【００４３】
フィルタ部２１０は、受信されたオーディオ信号の特定周波数区間をフィルタリングする。
【００４４】
フィルタ部２１０は、フィルタ１からフィルタＮまでＮ個のフィルタで構成されてフィルタバンクを構成することができる。各フィルタは、既に設定された周波数帯域をフィルタリングするバンドパスフィルタで構成されることが好ましい。フィルタそれぞれの周波数帯域は制御部２５０の制御により区間変更されてもよく、フィルタの増幅ゲインが変更されてもよい。必要に応じて、ノイズが激しい低帯域周波数は抑制することが好ましい。
【００４５】
アンプ部２２０は、前記フィルタリングされたオーディオ信号を抑制または増幅させる。
【００４６】
アンプ部２２０は、アンプ１からアンプＮまでＮ個のアンプで構成されてアンプバンクを構成することができる。各アンプはフィルタ部２１０の各フィルタに対応し、対応するフィルタから受信された信号を増幅または抑制してハプティックイベント抽出部２３０に出力する。
【００４７】
アンプ部２２０が増幅または抑制する各アンプのゲインは、制御部２５０の制御により変更される。
【００４８】
ハプティックイベント抽出部２３０は、アンプ部２２０により抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出する。
【００４９】
ハプティックイベント信号は、受信されたオーディオ信号の強さ（ｉｎｔｅｎｓｉｔｙ）、ピッチ（ｐｉｔｃｈ）、リズム（ｒｈｙｔｈｍ）、エネルギー（ｅｎｅｒｇｙ）、時間的対比（ｔｅｍｐｏｒａｌ  ｃｏｎｔｒａｓｔ）、メロディー（ｍｅｌｏｄｙ）、ハーモニー（ｈａｒｍｏｎｙ）、音色（ｔｉｍｂｒｅ）のうち少なくとも一つ以上を考慮して抽出される。
【００５０】
ハプティック信号発生部２４０は、前記ハプティックイベント信号に相応するハプティック信号を発生させる。
【００５１】
一実施形態として、前記オーディオ信号をピッチシフト（ｐｉｔｃｈ  ｓｈｉｆｔｉｎｇ）することによって、オーディオ信号の元のピッチはアクチュエータのようなハプティック出力装置の目的ピッチ範囲内の目的ピッチにシフトできる。また、オーディオ信号の元のピッチを目的ピッチにシフトすることによって、オーディオ信号の一つ以上の元の周波数は一つ以上の目的周波数にシフトできる。
【００５２】
制御部２５０は、前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントし、前記カウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させる。
【００５３】
制御部２５０がハプティックイベント信号の発生回数を周波数別にカウントする時、該周波数の相応する電力の大きさが一定大きさ以下である場合はカウントから除外できる。
【００５４】
制御部２５０は、ハプティックイベント抽出部２３０により抽出されたハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、ハプティックイベント抽出部２３０の特定閾値を増加させることができる。
【００５５】
また、制御部２５０は、一定回数以上発生したハプティックイベント信号に相応する周波数を分析してフィルタ部２１０の特定周波数区間をさらに細かく区分することができる。例えば、フィルタ３の初期設定された周波数区間が１，０００Ｈｚ〜１，５００Ｈｚである時、ハプティックイベント信号が発生した周波数が１，１００Ｈｚ、１，１５０Ｈｚ、１，１８０Ｈｚ、１，２００Ｈｚであれば、前記特定周波数区間を１，１００Ｈｚ〜１，２００Ｈｚに限定することができる。
【００５６】
図３は、本発明の好ましい一実施形態による適応的ハプティック信号発生方法のフローチャートである。
【００５７】
図３を参照すれば、本実施形態による適応的ハプティック信号発生方法は、図１に示された適応的ハプティック信号発生装置において時系列的に処理されるステップで構成される。したがって、以下で省略された内容であっても図１に示された適応的ハプティック信号発生装置に関して以上で記述された内容は、本実施形態による適応的ハプティック信号発生方法にも適用される。
【００５８】
３００ステップにおいて、適応的ハプティック信号発生装置は、受信されるオーディオ信号を周波数領域に変換して分析する。
【００５９】
３１０ステップにおいて、適応的ハプティック信号発生装置は、前記周波数領域に変換されたオーディオ信号の特定周波数区間を抑制または増幅する。
【００６０】
３２０ステップにおいて、適応的ハプティック信号発生装置は、前記抑制または増幅された周波数領域中、特定閾値以上である場合に対応するハプティックイベント信号を抽出する。
【００６１】
３３０ステップにおいて、適応的ハプティック信号発生装置は、前記ハプティックイベント信号に相応するハプティック信号を発生させる。
【００６２】
３４０ステップにおいて、適応的ハプティック信号発生装置は、３２０ステップにおいて抽出されたハプティックイベント信号の発生回数を周波数別にカウントする。
【００６３】
３５０ステップにおいて、適応的ハプティック信号発生装置は、３４０ステップにおいてハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数の周波数ゲインを増加させる。増加した周波数ゲインは、３１０ステップにおいて特定周波数区間を増幅するのに用いられる。
【００６４】
本発明の一実施形態による適応的ハプティック信号発生方法は、初期設定によってハプティックイベント信号が出力されれば、該ハプティックイベント信号に対応する周波数値と信号の大きさを格納し、持続的に特定周波数値または特定周波数帯域においてハプティックイベント信号が発生すれば、該特定周波数値または帯域の信号を強化するかまたはその他の周波数値または帯域を抑制することによって、ハプティック信号の適中率を高めることができる。
【００６５】
３６０ステップにおいて、適応的ハプティック信号発生装置は、３４０ステップにおいてハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、３２０ステップにおいて用いられる特定閾値を増加させる。
【００６６】
一実施形態として、３４０ステップにおいて発生するハプティックイベント信号が一定回数以上発生して過度に頻繁に発生すると判断されれば、オーディオ信号をハプティック信号に変換する特定閾値を高めることが好ましい。他の実施形態として、受信するオーディオ信号の大きさに応じて適応的にオーディオ信号をハプティック信号に変換する特定閾値を調整することによってハプティック信号の発生率を調整することができる。
【００６７】
図４は、本発明の好ましい他の実施形態による適応的ハプティック信号発生方法のフローチャートである。
【００６８】
図４を参照すれば、本実施形態による適応的ハプティック信号発生方法は、図２に示された適応的ハプティック信号発生装置において時系列的に処理されるステップで構成される。したがって、以下で省略された内容であっても図２に示された適応的ハプティック信号発生装置に関して以上で記述された内容は、本実施形態による適応的ハプティック信号発生方法にも適用される。
【００６９】
４００ステップにおいて、適応的ハプティック信号発生装置は、受信されたオーディオ信号の特定周波数区間をフィルタリングする。
【００７０】
４１０ステップにおいて、適応的ハプティック信号発生装置は、前記フィルタリングされたオーディオ信号を抑制または増幅させる。
【００７１】
４２０ステップにおいて、適応的ハプティック信号発生装置は、前記抑制または増幅されたオーディオ信号中、特定閾値以上である場合に対応するハプティックイベント信号を抽出する。
【００７２】
４３０ステップにおいて、適応的ハプティック信号発生装置は、前記ハプティックイベント信号に相応するハプティック信号を発生させる。
【００７３】
４４０ステップにおいて、適応的ハプティック信号発生装置は、前記抽出されたハプティックイベント信号の発生回数を周波数別にカウントする。
【００７４】
４５０ステップにおいて、適応的ハプティック信号発生装置は、４４０ステップにおいてハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生したハプティックイベント信号に相応する周波数のアンプゲインを増加させる。増加したアンプゲインは、４１０ステップにおいて特定周波数のアンプを増幅するのに用いられる。
【００７５】
本発明の一実施形態による適応的ハプティック信号発生方法は、初期設定によってハプティックイベント信号が出力されれば、該ハプティックイベント信号に対応する周波数値と信号の大きさを格納し、持続的に特定周波数値または特定周波数帯域においてハプティックイベント信号が発生すれば、該特定周波数値または帯域の信号を強化するかまたはその他の周波数値または帯域を抑制することによって、ハプティック信号の適中率を高めることができる。
【００７６】
４６０ステップにおいて、適応的ハプティック信号発生装置は、４４０ステップにおいてハプティックイベント信号の発生回数をカウントした結果、一定回数以上発生すれば、４２０ステップにおいて用いられる特定閾値を増加させる。
【００７７】
一実施形態として、３４０ステップにおいて発生するハプティックイベント信号が一定回数以上発生して過度に頻繁に発生すると判断されれば、オーディオ信号をハプティック信号に変換する特定閾値を高めることが好ましい。他の実施形態として、受信するオーディオ信号の大きさに応じて適応的にオーディオ信号をハプティック信号に変換する特定閾値を調整することによってハプティック信号の発生率を調整することができる。
【００７８】
図１〜図４に示された適応的ハプティック信号発生装置および方法は、与えられるオーディオコンテンツに対して学習をし、該学習結果を反映して最終ハプティック出力として出すフィードバックシステムを有しているため、人が集中しようとする音の領域をより細かく取り扱うことができる。また、本発明は、基本的には、初期には性能の差が出ないだろうが、学習された結果値が出ることによって、性能の適中率が順次大きくなる形態で動作するという効果がある。
【００７９】
図５は、本発明の実施形態により周波数領域において特定周波数区間を抑制した場合を示すものである。
【００８０】
図５に示されたグラフのＸ軸は周波数インデックスであり、Ｙ軸は周波数インデックスに対応するログスケールの大きさである。
【００８１】
図１の周波数分析部１１０は、受信されるオーディオ信号を周波数領域に変換する時に高速フーリエ変換（ＦＦＴ、Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を用いてオーディオ信号を周波数帯域別に変換することができる。
【００８２】
この時、周波数分析部１１０がＦＦＴを行うためには、サンプリングされた入力データをバッファに入れた後に出力し、バッファに入れられる入力データの数をＮＦＦＴ、サンプリング周波数をＦｓとする時、次のように周波数インデックスと周波数の関係を算出することができる。
【００８３】
【数１】
2022501699.tif 000003
【００８４】
ここで、周波数インデックスは、サンプリング周波数／２に決定される。
【００８５】
図５は、Ｆｓ＝２４ｋＨｚであり、ＮＦＦＴが５１２である場合に、各周波数インデックスに対応する大きさをログスケールで算出したものである。
【００８６】
本発明に係る周波数イコライザー部１２０は、制御部１５０からゲインのフィードバックを受け、約２ｋＨｚ〜５．６ｋＨｚ（周波数インデックス約４０〜１２０に対応）の間ではゲインを以前と同一に維持し、残りの周波数区間に対しては周波数大きさを抑制している。
【００８７】
一方、他の実施形態として、図５の約２ｋＨｚ〜５．６ｋＨｚの間では周波数のゲインを増加させ、他の周波数区間に対してはゲインを減らすことによって、特定周波数区間を他の周波数区間と対比してより明確に区別するようにすることができる。
【００８８】
本発明の実施形態は、様々なコンピュータ手段を介して行われるプログラム命令の形態で実現され、コンピュータ読み取り可能な媒体に記録される。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記ハードウェア装置は本発明の動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。
【００８９】
以上のように、本発明は具体的な構成要素などのような特定事項と限定された実施形態および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施形態に限定されるものではなく、本発明が属する技術分野における通常の知識を有した者であれば、このような記載から様々な修正および変形が可能である。
【００９０】
したがって、本発明の思想は説明された実施形態に限定して定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等または等価的な変形がある全てのものは本発明の思想の範疇に属すると言える。
【図１】
2022501699.tif 000004
【図２】
2022501699.tif 000005
【図３】
2022501699.tif 000006
【図４】
2022501699.tif 000007
【図５】
2022501699.tif 000008
【国際調査報告】
2022501699.tif 000009
2022501699.tif 000010
2022501699.tif 000011
2022501699.tif 000012