(57)【要約】  耳介の画像が撮像される。耳介の画像に基づいて、音が耳介においてどのように変換されるかの特徴を示す非線形伝達関数が決定される。ある信号が、耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す出力である。ここで、１つまたは複数のオーディオキューは、非線形伝達関数に基づいている。
2019536395.tif 000002
【特許請求の範囲】
【請求項１】
耳介の画像を撮像する段階と、
前記耳介の前記画像に基づいて、音が前記耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する段階と、
トランスデューサが、前記耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力する段階であって、前記１つまたは複数のオーディオキューは、前記非線形伝達関数に基づいている、出力する段階と
を備える方法。
【請求項２】
前記耳介の前記画像を撮像する段階は、前記耳介から所与の直線距離をおいてモバイルデバイスを位置決めする段階と、前記耳介から前記所与の直線距離から前記画像を撮像する段階とを含む、請求項１に記載の方法。
【請求項３】
前記音が前記耳介においてどのように変換されるかの特徴を示す前記非線形伝達関数を決定する段階は、前記画像に基づいて前記耳介の１つまたは複数の特徴の特性を抽出する段階と、前記特性に基づいて前記非線形伝達関数を決定する段階とを含む、請求項１に記載の方法。
【請求項４】
前記耳介の前記画像を撮像する段階は、イヤカップ内の画像センサが前記耳介の前記画像を撮像する段階を含む、請求項１に記載の方法。
【請求項５】
音が前記耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する段階は、
前記耳介の前記画像を他方の耳介の複数の他の画像と比較する段階であって、前記他方の耳介の各画像が、対応する非線形伝達関数と関連付けられる、比較する段階と、
前記比較に基づいて、前記複数の他の画像のうち、前記耳介の前記画像に最も近い１つを決定する段階と、
前記非線形伝達関数を、前記複数の他の画像のうちの前記１つと関連付けられる前記対応する非線形伝達関数として特定する段階と
を含む、請求項１に記載の方法。
【請求項６】
前記１つまたは複数のオーディオキューは、前記音の前記空間的位置特定と関連付けられる仰角、距離および速度のうちの１つまたは複数を示す、請求項１に記載の方法。
【請求項７】
前記トランスデューサが１つまたは複数のオーディオキューを出力する段階は、前記非線形伝達関数で信号を変調して、前記音の空間的位置特定のための前記１つまたは複数のオーディオキューを定義する変調信号を生成する段階を含む、請求項１に記載の方法。
【請求項８】
耳介の画像を撮像する段階は、モバイルデバイスによって、複数の向きにおける耳介の複数の画像を撮像する段階を含み、前記複数の向きにおける前記複数の画像は、少なくとも、前記耳介の特徴の間の相対距離と、前記耳介の特徴の深さとを示す、請求項１に記載の方法。
【請求項９】
前記耳介の前記複数の画像を撮像する段階は、前記モバイルデバイスを動かして、または、頭を動かして、複数の異なる向きにおける前記耳介を撮像する段階を含む、請求項８に記載の方法。
【請求項１０】
運動センサが前記モバイルデバイスの向きを受信する段階を更に備え、前記非線形伝達関数を決定する段階は、回転行列が前記モバイルデバイスの前記向きに基づいて前記複数の画像のうちの１つの画像を回転させる段階を含む、請求項８に記載の方法。
【請求項１１】
耳介の前記複数の画像は、前記耳介の複数の外形を含む、請求項８に記載の方法。
【請求項１２】
前記非線形伝達関数を決定する段階は、前記複数の画像を合成して前記耳介の多次元画像を形成する段階を含む、請求項１１に記載の方法。
【請求項１３】
前記複数の向きに保持される前記モバイルデバイスによって、前記耳介の複数の画像を撮像する段階は、前記モバイルデバイスによって、頭の左耳および右耳を通過し、かつ、前記頭を真っ二つに分割する、平面における所与の画像を撮像する段階を含む、請求項８に記載の方法。
【請求項１４】
メモリに記憶され、かつ、プロセッサにより実行可能である、プログラムコードを備える１つまたは複数の非一時的コンピュータ可読媒体であって、前記プログラムコードは、
耳介の画像を撮像することと、
前記耳介の前記画像に基づいて、音が前記耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定することと、
トランスデューサが、前記耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力することであって、前記１つまたは複数のオーディオキューは、前記非線形伝達関数に基づいている、出力することと
を行うためのものである、１つまたは複数の非一時的コンピュータ可読媒体。
【請求項１５】
前記耳介の前記画像を撮像するための前記プログラムコードは、前記耳介から所与の直線距離をおいてモバイルデバイスを位置決めすることと、前記耳介から前記所与の直線距離から前記画像を撮像することとを含む、請求項１４に記載の１つまたは複数の非一時的機械可読媒体。
【請求項１６】
前記耳介の前記画像を撮像するための前記プログラムコードは、イヤカップ内の画像センサが前記耳介の前記画像を撮像することを含む、請求項１４に記載の１つまたは複数の非一時的機械可読媒体。
【請求項１７】
音が前記耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定するための前記プログラムコードは、
前記耳介の前記画像を他方の耳介の複数の他の画像と比較することであって、前記他方の耳介の各画像が、対応する非線形伝達関数と関連付けられる、比較することと、
前記比較に基づいて、前記複数の他の画像のうち、前記耳介の前記画像に最も近い１つを決定することと、
前記非線形伝達関数を、前記複数の他の画像のうちの前記１つと関連付けられる前記対応する非線形伝達関数として特定することと
を含む、請求項１４に記載の１つまたは複数の非一時的機械可読媒体。
【請求項１８】
前記耳介の前記複数の画像を撮像するための前記プログラムコードは、前記モバイルデバイスを動かすこと、または、頭を動かすことを含む、請求項１４に記載の１つまたは複数の非一時的機械可読媒体。
【請求項１９】
耳介の前記複数の画像は、前記耳介の複数の外形を含む、請求項１４に記載の１つまたは複数の非一時的機械可読媒体。
【請求項２０】
オーディオデバイスと、
メモリに記憶され、かつ、プロセッサにより実行可能である、コンピュータ命令と
を備えるシステムであって、前記コンピュータ命令は、
前記オーディオデバイスが耳介の画像を撮像する機能と、
前記耳介の前記画像に基づいて、音が前記耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する機能と、
前記オーディオデバイスのトランスデューサが、前記耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力する機能であって、前記１つまたは複数のオーディオキューは、前記非線形伝達関数に基づいている、出力する機能と
を実行するためのものである、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、米国特許法第１１９条（ｅ）の定めにより、２０１６年１１月１４日に出願された「Ｓｐａｔｉａｌｌｙ  Ａｍｂｉｅｎｔ  Ａｗａｒｅ  Ａｕｄｉｏ  Ｈｅａｄｓｅｔ」と題する米国特許仮出願第６２／４２１，３８０号、２０１６年１１月２０日に出願された「Ｈｅａｄ  Ａｎａｔｏｍｙ  Ｍｅａｓｕｒｅｍｅｎｔ  ａｎｄ  ＨＲＴＦ  Ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ」と題する米国特許仮出願第６２／４２４，５１２号、２０１７年３月８日に出願された「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｔｏ  Ｃａｐｔｕｒｅ  ａｎｄ  Ｃｈａｒａｃｔｅｒｉｚｅ  Ｈｕｍａｎ  Ａｕｄｉｔｏｒｙ  Ａｎａｔｏｍｙ  Ｕｓｉｎｇ  Ｍｏｂｉｌｅ  Ｄｅｖｉｃｅ」と題する米国特許仮出願第６２／４６８，９３３号、２０１６年１１月１３日に出願された「Ｐｅｒｓｏｎａｌｉｚｅｄ  Ａｕｄｉｏ  Ｒｅｐｒｏｄｕｃｔｉｏｎ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ」と題する米国特許仮出願第６２／４２１，２８５号、および、２０１７年３月２日に出願された「Ｍｅｔｈｏｄ  ａｎｄ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｈｕｍａｎ  Ａｕｄｉｔｏｒｙ  Ａｎａｔｏｍｙ  Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｉｎ  Ｒｅａｌ  Ｔｉｍｅ」と題する米国特許仮出願第６２／４６６，２６８号の優先権の利益を主張するものであり、これら各々の内容全体が参照により本明細書に組み込まれる。
【０００２】
本開示は、＿に出願された「Ｍｅｔｈｏｄ，  Ｓｙｓｔｅｍ，  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｍｅａｓｕｒｉｎｇ  Ｈｅａｄ  Ｓｉｚｅ  Ｕｓｉｎｇ  ａ  Ｍａｇｎｅｔｉｃ  Ｓｅｎｓｏｒ  Ｍｏｕｎｔｅｄ  ｏｎ  ａ  Ｐｅｒｓｏｎａｌ  Ａｕｄｉｏ  Ｄｅｌｉｖｅｒｙ  Ｄｅｖｉｃｅ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６  ０００４  ＯＲＧ  ＵＳ１、＿に出願された「Ｓｐａｔｉａｌｌｙ  Ａｍｂｉｅｎｔ  Ａｗａｒｅ  Ｐｅｒｓｏｎａｌ  Ａｕｄｉｏ  Ｄｅｌｉｖｅｒｙ  Ｄｅｖｉｃｅ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６  ００３  ＯＲＧ  ＵＳ１、＿に出願された「Ｉｍａｇｅ  ａｎｄ  Ａｕｄｉｏ  Ｂａｓｅｄ  Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ａ  Ｈｕｍａｎ  Ａｕｄｉｔｏｒｙ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｐｅｒｓｏｎａｌｉｚｅｄ  Ａｕｄｉｏ  Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６  ０００２  ＯＲＧ  ＵＳ１、および、＿に出願された「Ａｕｄｉｏ  Ｂａｓｅｄ  Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ  ｏｆ  ａ  Ｈｕｍａｎ  Ａｕｄｉｔｏｒｙ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｐｅｒｓｏｎａｌｉｚｅｄ  Ａｕｄｉｏ  Ｒｅｐｒｏｄｕｃｔｉｏｎ」と題する米国特許出願第＿号、代理人整理番号１５４．２０１６  ０００７  ＯＲＧ  ＵＳ１にも関連しており、これら各々の内容全体が参照により本明細書に組み込まれる。
【０００３】
本開示は、コンシューマグッズ、より具体的には、ヘッドフォン、ヒアラブル、スピーカ、イヤバッドおよび補聴器などの個人向けオーディオ供給デバイスを用いた個別化された音声再生を目的として人の人間の聴覚系の特徴を示すための方法、システム、製品、機能、サービスおよび他の要素に関連する。
【背景技術】
【０００４】
人間の聴覚系は、外耳、中耳および内耳を含む。人間の聴覚系は、外耳、中耳および内耳を用いて音を聞くことができる。例えば、室内ラウドスピーカなどの音源が音を出力し得る。外耳の耳介が音を受信し、音を外耳の外耳道に導く。次に、外耳の外耳道は、音を中耳に導く。人間の聴覚系の中耳は、音を内耳液に伝達して神経インパルスに変換する。次に、脳が神経インパルスを読み取って、音が聞こえる。更に、人間の聴覚系は、音が発せられている方向を感知することができる。音源の方向の感知は、人体構造との相互作用に基づいて行われる。この相互作用には、頭、肩および耳介に反射および／または反響する音、および、頭、肩および耳介を回折する音が含まれる。この相互作用によって、音が発せられている方向を感知するために脳が解読するオーディオキューが生成される。
【０００５】
現在では、ヘッドフォン、ヒアラブル、イヤバッド、スピーカまたは補聴器などの個人向けオーディオ供給デバイスを着用して音を聴くことがより一般的になりつつある。個人向けオーディオ供給デバイスは、音、例えば、音楽を外耳の外耳道に出力する。例えば、あるユーザが、音を外耳道に出力するイヤカップを耳介に固定して着用する。或いは、骨伝導ヘッドセットが中耳の骨を振動させて、音を人間の聴覚系に伝える。個人向けオーディオ供給デバイスは、音を正確に再生する。しかし、音源からの音と違って、個人向けオーディオ供給デバイスからの音は、音が発せられている方向を正確に感知できるように人体構造と相互作用することはない。耳介にイヤカップを固定すると、個人用オーディオ供給デバイスからの音は耳介と相互作用することができず、骨伝導は耳介を完全に迂回し得る。方向を示すオーディオキューが生成されない結果、その人は、音が発せられている方向を感知することができない。
【図面の簡単な説明】
【０００６】
以下の説明、添付の請求項、および添付の図面に関連して、ここに開示される技術の特徴、態様および利点をより深く理解することができる。
【０００７】
【図１】音の空間的位置特定に使用される様々なパラメータを視覚化したものの例を示している。
【０００８】
【図２】音の空間的位置特定における人体構造の態様を示している。
【０００９】
【図３】人体構造が両耳間のオーディオキューに与える影響の例を示している。
【００１０】
【図４】人体構造の耳介の詳細図を示している。
【００１１】
【図５】音声再生を個別化するための例示的なシステムを示している。
【００１２】
【図６Ａ】音声再生を個別化するための例示的なシステムにおける処理エンジンの例示的な構成を示している。
【図６Ｂ】音声再生を個別化するための例示的なシステムにおける処理エンジンの例示的な構成を示している。
【００１３】
【図７】音声再生を個別化するための、音をベースにした方法と関連付けられる機能の例示的なフローチャートである。
【００１４】
【図８】音を検出するための例示的なイヤカップを示している。
【００１５】
【図９】非線形伝達関数の例を示している。
【００１６】
【図１０Ａ】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【図１０Ｂ】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【図１０Ｃ】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【００１７】
【図１１】音声再生を個別化するための、画像をベースにした方法と関連付けられる機能の例示的なフローチャートである。
【００１８】
【図１２】耳介の画像を撮像するよう構成されている例示的なイヤカップを示している。
【００１９】
【図１３】耳介からイヤカップを動かして耳介の画像を撮像する例を示している。
【００２０】
【図１４Ａ】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【図１４Ｂ】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【００２１】
【図１５】音声再生を個別化するための、音および画像をベースにした方法と関連付けられる機能のフローチャートである。
【００２２】
【図１６】非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【００２３】
【図１７】音声再生を個別化するための別のシステムを示している。
【００２４】
【図１８】音声再生を個別化するための、画像をベースにした方法と関連付けられる機能の例示的なフローチャートを示している。
【００２５】
【図１９】音声再生を個別化するための、画像をベースにした方法と関連付けられる機能の別の例示的なフローチャートを示している。
【００２６】
【図２０Ａ】耳介に対するモバイルデバイスの例示的な向きを示している。
【図２０Ｂ】耳介に対するモバイルデバイスの例示的な向きを示している。
【図２０Ｃ】耳介に対するモバイルデバイスの例示的な向きを示している。
【００２７】
図面は例示的な実施形態を示すことを目的としているが、これらの実施形態が図面に示されている構成および手段に限定されるわけではないことが解る。
【発明を実施するための形態】
【００２８】
ある音源が音を出力し得る。音が発せられる方向が、１つまたは複数のオーディオキューを用いて人間の聴覚系により特定され得る。オーディオキューは、音の空間的位置、例えば、音が発せられている場所を示す音（例えば、反射および反響）であってよい。オーディオキューは、人間の聴覚系に到達する前に、音と、環境中の物体と、人体構造との相互作用から生成され得る。例えば、物体からの反響および反射がオーディオキューを生成し得る。更にまたは或いは、頭の形状、頭のサイズ、肩の形状、肩のサイズ、および外耳（耳介）の構造といった人体構造の態様がオーディオキューを生成し得る。各人が異なる人体構造を有し得る。この点で、ある人が音の位置を空間的に特定するために使用するオーディオキューが、別の人にとっては異なっていてよい。
【００２９】
図１は、音源１０２が出力した音の位置を空間的に特定することを容易にするパラメータを視覚化したものの例１００である。１つまたは複数のパラメータが、リスナー１０４の位置と音源１０２との関係を表し得る。パラメータには、方位角１０６、仰角１０８、距離１１０および速度１１２が含まれ得る。方位角１０６は、リスナー１０４と音源１０２との間の水平面における角度であってよい。仰角１０８は、リスナー１０４と音源１０２との間の垂直面における角度であってよい。距離１１０は、リスナー１０４と音源１０２との隔たりであってよい。速度１１２は、音源１０２の移動速度であってよい。位置を示す他のパラメータが、音源１０２の位置を表すために使用されてもよい。
【００３０】
図２は、音の位置特定に使用される人体構造の態様２０２から２０８を示している。人体構造との音の相互作用に基づいて、オーディオキューが生成され得る。オーディオキューは、音が発せられる空間的位置を示し得る。図示されている人体構造は、胴２０２、耳２０６を含めた頭２０４、および、耳介２０８を含む。
【００３１】
胴２０２からの音の反射は、音が発せられている場所、例えば、音源からの仰角および距離を示すオーディオキューを生成し得る。これらの反射は、胴の影響としてモデル化される。耳の対称性および両耳２０６間の距離Ｄを含む頭２０４の全体形状が、音が発せられている場所からの方位角および仰角に関するオーディオキューを生成し得る。これは頭の影響としてモデル化される。最後に、音が耳介２０８の形状、サイズおよび構造とどのように相互作用するかが、音が発せられている場所からの仰角、距離および速度に関するオーディオキューを生成し得る。
【００３２】
図３は、方位角を示すオーディオキューがどのように生成されるかを示している。音源３０４から一定の距離をあけた所に人３０２が位置付けられ得る。音源３０４は音３０６を出力し得る。次に、その人は、左耳３０８および右耳３１０において音３０６を感知する。
【００３３】
両耳間時間差（ＩＴＤ）は、２つの耳３０８、３１０の間の到達時間の差を表す。音源３０４が生成した音３０６、ｘ（ｔ）が左耳３０８へ到達するのに要する時間はＴＬであり、右耳３１０へ到達するのに要する時間はＴＲである。ＩＴＤはＴＬとＴＲとの差を表す。同様に、任意の時間ｔにおいて、左耳３０８における音圧レベルＸＬ（ｔ）は、右耳３１０において得られる音圧レベルＸＲ（ｔ）とは異なる。この強度差は、両耳間レベル差（ＩＬＤ）オーディオキューで表される。頭の形状およびサイズが異なると、これらのオーディオキュー（ＩＴＤおよびＩＬＤ）は異なっていてよい。頭がより大きいと、すなわち、左耳３０８と右耳３１０との間の距離がより長いと、頭がより小さい場合よりも大きな時間差および強度差が生じる。
【００３４】
ＩＴＤオーディオキューおよびＩＬＤオーディオキューは、リスナーと音源との間の方位角に正比例し得る。この点で、音源の方位角が感知され得る。しかしながら、音源の仰角、距離および速度の観点から見ると、ＩＴＤおよびＩＬＤでは、音の方向の位置を更に特定するのに不十分であるかもしれない。
【００３５】
図４は、耳介４００の解剖学的構造の詳細図、および、音がどのように変換され得るかを示している。耳介４００は様々な特徴を有し得る。これらの特徴には、耳介４００の高さ、幅、形状および深さが含まれ得る。更に、これらの特徴には、数ある特徴の中でも、耳輪４０２、窩４０４、耳甲介舟４０６、耳甲介腔４０８、耳珠４１０、耳切痕４１２、対耳輪４１４および対耳珠４１６が含まれ得る。これらの特徴は、１つまたは複数の空洞を形成する。１つまたは複数の空洞の内部では、音が共鳴および／または反射し得る。例えば、耳介の構造に起因して、音源からの音の振幅が周波数により増加したり減少したりする。こうした増加および／または減少は、耳介４００の特徴と関連付けられる反射および／または反響に起因し得る。音の変換によってオーディオキューが生成され得る。次に、これらのオーディオキューは、仰角、距離および速度の観点から音源の位置を更に特定するために使用され得る。
【００３６】
ヘッドフォン、ヒアラブル、スピーカおよび補聴器などの個人用オーディオ供給デバイスは、人間の聴覚系に音を直接出力し得る。例えば、ヘッドフォンのイヤカップが耳介に配置されてよく、イヤカップ内のトランスデューサが人間の聴覚系の外耳道に音を出力してよい。しかしながら、イヤカップは耳介を覆っていてもよいし、部分的に覆っていてもよい。その結果、任意の音の空間的位置特定が正常に機能しないことがある。音が発せられている方向を感知するためのオーディオキューを生成するよう、耳介がそのような音と相互作用することはないかもしれない。骨伝導ヘッドセットの形態の個人用オーディオ供給システムについても同様の問題が存在し得る。骨伝導ヘッドセットは外耳（耳介）を完全に迂回できるので、耳介がオーディオキューを生成しない。
【００３７】
この場合は、仰角、距離および速度の観点から空間的位置特定が容易になるよう、オーディオキューが人為的に生成され得る。例えば、頭部伝達関数（ＨＲＴＦ）とも呼ばれる非線形伝達関数によって、オーディオキューの生成が容易になり得る。非線形伝達関数は、耳介との相互作用に基づいて、音が人間の聴覚系によりどのように受信されるかの特徴を示し得る。非線形伝達関数は、音源の方位角、仰角、距離および／または速度を決定するためのオーディオキューを人為的に生成するために使用され得る。
【００３８】
人はそれぞれ、耳介と同様、頭のサイズおよび胴に違いを有し得る。その結果、あるユーザに関する非線形伝達関数を別のユーザに使用することはできない。別のユーザに使用すると、音源が感知されるはずの場所とは異なる空間的位置から発せられていると感知されるようにオーディオキューが生成されることになるであろう。
【００３９】
本明細書に記載されている実施形態は、個人に関する非線形伝達関数の生成が容易になるよう個人の耳介の特徴を示すための方法、システムおよび装置を対象にしている。非線形伝達関数は、個人について音が耳介によりどのように変換されるかを定義し得る。次に、非線形伝達関数は、個人用オーディオ供給デバイスが出力した音および出力しなかった音の両方の位置を空間的に特定するためのオーディオキューを人為的に生成するために使用され得る。空間的位置特定によって、個人は、一定の方向、例えば、方位角、仰角、距離および／または速度から発せられる音を感知し得る。これにより、音楽鑑賞、仮想現実および拡張仮想現実などのアプリケーションにおける個人用オーディオ供給デバイスの個人体験が向上する。
【００４０】
図５は、音声再生を個別化するための例示的なシステム５００を示している。システム５００は、個人用オーディオ供給デバイス５０２および処理エンジン５０４を含み得る。
【００４１】
個人用オーディオ供給デバイス５０２は、音声を再生するためのヘッドフォン、ヒアラブルまたは補聴器であってよい。  個人用オーディオ供給デバイス５０２は、耳介５０８に着用されるイヤカップ５０６を有し得る。耳介５０８はイヤカップ５０６が着用されると外部から見えないかもしれないが、例示を目的として、耳介５０８は見えるものとして示されている。イヤカップ５０６は、１つまたは複数のトランスデューサ５１０および１つまたは複数のセンサ５１２を有し得る。１つまたは複数のトランスデューサ５１０は、音を表す電気信号の変換に基づいて可聴音を出力するスピーカであってよい。センサ５１２は、数ある中でも、マイク、画像センサおよび／または運動センサの形態を取ってよい。１つまたは複数のトランスデューサ５１０、および／または、１つまたは複数のセンサ５１２は、個人用オーディオ供給デバイスのイヤカップの内部に位置決めされ得る。処理エンジンは、１つまたは複数のトランスデューサおよび／またはセンサと関連付けられる信号を処理し得る。
【００４２】
図６Ａおよび図６Ｂは、空間的位置特定のための例示的なシステムにおける処理エンジンの例示的な構成を示している。処理エンジンは、数ある構成の中でも、プロセッサまたはサーバの形態を取ってよい。
【００４３】
図６Ａは、プロセッサ６０２の形態の処理エンジンを有する個人用オーディオ供給デバイス６００の構成を示している。プロセッサ６０２は、メモリなどの記憶装置に記憶されているコンピュータ命令を実行して１つまたは複数のセンサ６０４および１つまたは複数のトランスデューサ６０６と関連付けられる信号を処理する、個人用オーディオ供給デバイス６００のローカルな中央処理装置（ＣＰＵ）であってよい。プロセッサ６０２が個人用オーディオ供給デバイス６００と一体化される場合は、プロセッサ６０２がローカルであってよい。
【００４４】
図６Ｂは、個人用オーディオ供給デバイス６１０、および、ネットワーク６１４を介して連結されているサーバ６１２の形態の処理エンジンの構成を示している。サーバ６１２は、ネットワークベースのコンピューティングシステムであってよい。サーバ６１２は、１つまたは複数のセンサ６０４および１つまたは複数のトランスデューサ６０６と関連付けられる信号を処理し得る。サーバ６１２は、ネットワーク６１４を介して個人用オーディオ供給デバイスからアクセス可能であってよい。ネットワーク６１４は、有線ネットワークまたは無線ネットワークの形態を取ってよい。個人用オーディオ供給デバイス６１０は、トランスデューサおよび／またはセンサと関連付けられる信号の処理が容易になるよう、例えば、Ｗｉ−Ｆｉまたはイーサネット（登録商標）を介して、サーバ６１２と信号６１８を通信するための通信回路６１６を有し得る。
【００４５】
ローカルプロセッサを有するシステムは、サーバを有するシステムと比較すれば、トランスデューサおよび／またはセンサと関連付けられる信号を処理することと関連付けられるレイテンシが少ないかもしれない。サーバへの通信と関連付けられる遅延がないので、レイテンシは少ないかもしれない。個人用オーディオ供給デバイスは電池式であってよい。ローカルプロセッサで信号を処理すると、バッテリ電源の充電または交換が必要となる前に個人用オーディオ供給デバイスが動作し得る時間が減少し得る。１つまたは複数のトランスデューサ、および／または、１つまたは複数のセンサが出力した音と関連付けられる信号の処理によって、バッテリからの電源が消費され得る。そうでなければ、バッテリからの電源は、個人用オーディオ供給デバイスが音を出力するために使用されるであろう。
【００４６】
空間的位置特定のためのシステムは、他の形態も取ってよい。例えば、処理エンジンは、サーバおよび個人用オーディオ供給デバイスのローカルなＣＰＵの形態を取ってよい。すなわち、信号の処理は、個人用オーディオ供給デバイスにおいてプロセッサによりローカルに実行されてよく、サーバにおいて遠隔的に実行されてよい。更に他の変形例も適用可能である。
【００４７】
図７は、音声再生を個別化するための、音をベースにした方法と関連付けられる機能のフローチャート７００である。これらの機能は、個人用オーディオ供給デバイスおよび処理エンジンを含む例示的なシステムにより実行され得る。
【００４８】
簡単に言うと、７０２では、耳介に着用されるイヤカップ内の１つまたは複数のトランスデューサにより第１の音が出力され得る。７０４では、イヤカップ内の１つまたは複数のマイクの各々が、対応する第２の音を検出し得る。１つまたは複数のマイクの各々が検出する、対応する第２の音は、第１の音と、イヤカップが着用される耳介との相互作用に基づいていてよい。７０６では、第１の音と、１つまたは複数のマイクの各々が検出した対応する音とに基づいて、第１の音が耳介を介してどのように変換されるかの特徴を示す非線形伝達関数が決定される。７０８では、決定された非線形伝達関数に基づいて、第３の音について１つまたは複数のオーディオキューを示す信号が生成され得る。７１０では、第３の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号がイヤカップ内の１つまたは複数のトランスデューサにより出力される。
【００４９】
本明細書で開示される方法および他のプロセスは、１つまたは複数の動作、機能または行為を含み得る。ブロックは順番に示されているが、これらのブロックは、平行して、および／または、本明細書で説明されているものとは異なる順序で実行されてもよい。また、所望の実装に基づいて、これらの様々なブロックを組み合わせてより少ないブロックにしてよく、更なるブロックに分割してよく、および／または、除去してよい。
【００５０】
更に、本明細書で開示される方法、並びに、他のプロセスおよび方法として、フローチャートは、本実施形態の１つの適用可能な実装の機能および動作を示している。この点で、各ブロックがプログラムコードの一部、セグメントまたはモジュールを表し得る。プログラムコードは、プロセスにおける特定の論理機能または段階を実装するための、プロセッサにより実行可能な１つまたは複数の命令を含む。プログラムコードは、任意のタイプのコンピュータ可読媒体、例えば、ディスクまたはハードドライブを含む記憶デバイスなどに記憶され得る。コンピュータ可読媒体は、非一時的コンピュータ可読媒体、例えば、レジスタメモリ、プロセッサキャッシュおよびランダムアクセスメモリ（ＲＡＭ）のように短期間にわたってデータを記憶するコンピュータ可読媒体などを含み得る。コンピュータ可読媒体は、例えば、リードオンリメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）のような、二次記憶装置または永続的長期記憶装置などの非一時的媒体を含んでもよい。コンピュータ可読媒体は、任意の他の揮発性記憶システムまたは不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体とみなされてもよいし、有形の記憶デバイスとみなされてもよい。更に、図中のブロックはそれぞれ、プロセスにおいて特定の論理機能を実行するために配線されている回路を表し得る。
【００５１】
ある個人が個人用オーディオ供給デバイスを着用し得る。個人用オーディオ供給デバイスは、個人が耳介に着用するイヤカップを有し得る。７０２では、耳介に着用されるイヤカップ内の１つまたは複数のトランスデューサにより第１の音が出力され得る。第１の音を示す信号が処理エンジンにより１つまたは複数のトランスデューサに提供されてよく、当該信号に基づいて、イヤカップ内の１つまたは複数のトランスデューサが第１の音を出力してよい。第１の音は様々な形態を取ってよい。例えば、第１の音は、人間の可聴域、すなわち２０Ｈｚ〜２０ｋＨｚにおいて周波数が変化する、チャープ信号の形態を取ってよい。２０Ｈｚ〜２０ｋＨｚに帯域制限されている他の音が使用されてもよい。
【００５２】
第１の音が出力される際、第１の音が耳介の特徴の内部で反射および共鳴することで、音声散乱が生じる。７０４では、イヤカップ内の１つまたは複数のセンサの各センサが、対応する第２の音を検出し得る。各センサがマイクであってよい。１つまたは複数のマイクの各々が検出する、対応する第２の音は、第１の音と耳介との相互作用により生じる、イヤカップが着用される耳介の、センサの位置における周波数応答であってよい。トランスデューサが出力した第１の音は、１つまたは複数のマイクの各々の検出した対応する第２の音が耳介の特徴を一意的に示すように選択されたかもしれない。
【００５３】
図８は、対応する第２の音を検出するための例示的なイヤカップ８００を示している。イヤカップ８００は、各マイクが検出した音声散乱が耳介８０４の特徴を一意的に示すように耳介８０４の周囲の特定の位置に位置付けられる１つまたは複数のマイク８０２を有し得る。例えば、イヤカップ８００は、窩、耳甲介舟、耳甲介腔および耳切痕など、耳介の４つの特定の特徴に位置付けられる４つのマイク８０２を有し得る。各マイクが、対応する第２の音を検出し得る。検出した対応する第２の音は、マイクの位置における耳介の周波数応答を示し得る。１つまたは複数のマイクの各々が検出した対応する第２の音は、処理エンジンに送信され得る。
【００５４】
７０６では、第１の音と、１つまたは複数のマイクの各々の検出した対応する第２の音とに基づいて、第１の音が耳介を介してどのように変換されるかの特徴を示す非線形伝達関数が決定される。
【００５５】
図９は、見つからないオーディオキューを生成するための非線形伝達関数の例９００を示している。横軸９０２が、耳介において聞こえる、例えば、Ｈｚ単位での周波数を表し得る一方で、縦軸９０４は、例えば、ｄＢ単位での周波数応答を表し得る。非線形伝達関数は、耳介が音をどのように変換するかの特徴を示し得る。例えば、図９に示されている非線形伝達関数は、音源の複数の異なる仰角における耳介の周波数応答を示す波形を定義し得る。例えば、各波形が音源の特定の仰角と関連付けられ得る。更に、各波形が音源の同じ方位角と関連付けられ得る。この点で、音が所与の仰角および方位角から発せられると、当該所与の仰角および方位角に関する波形が、その特定のユーザの耳介の周波数応答を定義し得る。更に、領域９０６は耳介の周波数応答におけるノッチを表してよく、領域９０８は耳介の周波数応答におけるピークを表してよい。
【００５６】
図１０Ａから図１０Ｃは、非線形伝達関数を決定することと関連付けられる例示的な構成を示している。
【００５７】
段階７０４で第２の音が検出される個人とは異なる複数の個人の各々に関する直接測定が、学習プロセスにおいて実行され得る。複数の個人の各々に関する直接測定は、複数の非線形伝達関数を決定することになり得る。
【００５８】
図１０Ａは、直接測定により非線形伝達関数を決定することと関連付けられる例示的な構成１０００を示している。個人１００６の耳介１００４にマイク１００２が配置され得る。個人１００６は、７０４で第２の音が検出される個人とは異なっていてよい。次に、個人１００６の周囲で音源１００８が動かされ得る。音源１００８は、個人の周囲で、方位角、仰角、距離および／または速度の面で複数の空間的位置に動かされてよく、その例が位置Ａ、Ｂ、およびＣとして示されている。各位置において、音源１００８は、インパルスの形態を取り得る音を出力してよい。更にまたは或いは、音源は、人間の可聴域、すなわち２０Ｈｚ〜２０ｋＨｚにおいて周波数が変化する、チャープ信号であってよい。２０Ｈｚ〜２０ｋＨｚに帯域制限されている他の音が使用されてもよい。耳介１００４内のマイク１００２により測定される、複数の空間的位置に関する耳介１００４の周波数応答が、耳介１００４に関する非線形伝達関数を示し得る。場合によっては、複数の非線形伝達関数が決定され得る。複数の非線形伝達関数の各々が、所与の方位角に関する仰角に対する耳介の周波数応答、所与の方位角に関する距離に対する耳介の周波数応答、および／または、所与の方位角に関する速度に対する耳介の周波数応答のうちの１つまたは複数を表し得る。別の個人の耳介１００２について実行される直接測定により異なる非線形伝達関数がもたらされるよう、非線形伝達関数は個人１００６に特有のものであってよい。この点で、複数の個人に関する非線形伝達関数は、決定されて、例えば、データベースに記憶され得る。
【００５９】
図１０Ｂは、段階７０６で非線形伝達関数を決定するための例示的な構成１０５０を示している。非線形伝達関数は、学習プロセスで決定する複数の非線形伝達関数に基づいていてよい。
【００６０】
例示的な構成１０５０は、データベース１０５２およびコンパレータ１０５４を含み得る。データベース１０５２およびコンパレータ１０５４は、個人用オーディオ供給デバイス、サーバ、または、何らかの他のデバイスに存在し得る。データベース１０５２は、学習プロセスで決定した複数の非線形伝達関数を記憶し得る。データベース１０５２内のエントリ１０５６が、学習プロセスにおいて、複数の非線形伝達関数のそれぞれの非線形伝達関数１０５８を定義し得る。データベースは複数のエントリ１：Ｎを有し得る。例示的な構成は、基準センサ出力１０６２を含んでもよい。
【００６１】
基準センサ出力１０６２は、オーディオキューが生成される個人に関する耳介の１つまたは複数の周波数応答を示し得る。例えば、基準センサ出力１０６２は、段階７０４で１つまたは複数のマイクの各々が検出する、対応する第２の音であってよい。イヤカップが４つのマイクを有する場合は、基準センサ出力１０６２は、これら４つのマイクの位置に対応する、検出した対応する第２の音を少なくとも４つ含み得る。コンパレータ１０５４は、エントリ１：Ｎのうち基準センサ出力１０６２に近い（例えば、それと同様の）非線形伝達関数を特定するために、各非線形伝達関数１０５８の周波数応答を、基準センサ出力１０６２と関連付けられる、１つまたは複数のマイクが検出した対応する第２の音と比較するよう構成され得る。
【００６２】
例えば、基準センサ出力１０６２との一致度が高い周波数応答を有する非線形伝達関数１０６４を特定するために、非線形伝達関数１０５８と関連付けられる耳介の周波数応答が、段階７０４と関連付けられる、１つまたは複数のマイクの各々の検出した対応する第２の音（基準センサ出力１０６２）と比較され得る。一致の度合いは、数ある基準の中でも、非線形伝達関数１０５８と関連付けられる耳介の周波数応答のうちの１つまたは複数と、１つまたは複数のマイクの各々の検出した対応する第２の音との隔たりに基づいていてよい。コンパレータ１０５４は、この度合い（例えば、最も高い一致度）と関連付けられる非線形伝達関数１０６４を出力し得る。例えば、非線形伝達関数１０６４は、基準センサ出力１０６２との一致度が最も高い周波数応答を有する非線形伝達関数１０５８であってよい。この点で、非線形伝達関数１０６４を決定するために、個人の耳介に対する直接測定を実行する必要はないかもしれない。代わりに、非線形伝達関数１０６４は、学習プロセスで決定され、データベース１０５２に記憶され、かつ、非線形伝達関数１０６４を決定するためにリアルタイムで使用される、複数の非線形伝達関数に基づいていてよい。
【００６３】
別の例を挙げると、７０６で第２の音が検出される個人に関する非線形伝達関数１０６４は、学習プロセスで決定した複数の非線形伝達関数のうちの１つまたは複数の合成に基づいていてよい。例えば、複数の非線形伝達関数のうちの１つまたは複数が、７０４で第２の音が検出される個人に関する非線形伝達関数を決定するために重み付けされ得る。重み付けは、段階７０６の基準センサ出力１０６２と関連付けられる周波数応答と、複数の非線形伝達関数のうちの非線形伝達関数１０５８の周波数応答との類別、例えば、一致の度合いまたは類似性に基づいていてよい。例えば、一致度がより高いと重み付けがより大きくなり得る一方で、一致度がより低いと重み付けがより小さくなり得る。次に、重み付けされた非線形伝達関数が合成、例えば、合計されて、段階７０６と関連付けられる非線形伝達関数１０６４が形成され得る。
【００６４】
図１０Ｃは、段階７０４で非線形伝達関数を決定するための別の例示的な構成１０８０を示している。学習プロセスで決定した、複数の非線形伝達関数およびこれらと関連付けられる複数のセンサ出力は、入力１０８４および出力１０８６を持つ関数１０８２を定義するために、数値解析手法によりパラメータ化され得る。関数１０８２への入力１０８４はセンサ出力であってよく、関数１０８２の出力１０８６は当該センサ出力に関する非線形伝達関数であってよい。関数は様々な形態を取ってよい。
【００６５】
例えば、関数１０８２は、ニューラルネットワークなどの周知のデータ適合技法を用いて学習フェーズで決定した、複数の非線形伝達関数に適合させられているモデルの形態を取ってよい。センサ出力が当該モデルに入力されてよく、当該モデルは、センサ出力に関する非線形伝達関数を出力してよい。センサ出力は、段階７０４と関連付けられる、１つまたは複数のマイクの各々が検出する、対応する第２の音であってよい。出力は、段階７０６と関連付けられる非線形伝達関数であってよい。
【００６６】
幾つかの例を挙げると、段階７０６と関連付けられる非線形伝達関数は、例えば、メモリに記憶され得る。この点で、非線形伝達関数を決定するためのプロセスをユーザに合わせて個別化してよく、当該プロセスを下記のように一度だけ決定して使用する必要があるかもしれない。
【００６７】
７０８では、決定された非線形伝達関数に基づいて、第３の音について１つまたは複数のオーディオキューを示す信号が生成され得る。例えば、特定した非線形伝達関数が、第３の音と関連付けられる音声信号で変調されて、１つまたは複数のオーディオキューを示す信号が形成され得る。非線形伝達関数は、１つまたは複数のオーディオキューを示す信号を生成するために、時間領域において音声信号に畳み込まれる、または、周波数領域において第１信号と乗算される、インパルス応答であってよい。音声信号は、耳介と相互作用しない個人用オーディオ供給デバイスの外部の音源から出力される、音楽、音声または音といった第３の音を表し得る。その結果、第３の音の空間的位置と関連付けられるオーディオキューは見つからないかもしれない。非線形伝達関数による音声信号の変調によって、１つまたは複数のオーディオキューを示す信号の形態の、見つからないこれらのオーディオキューが人為的に生成されることになり得る。
【００６８】
ここで、音の位置を空間的に特定するための変調プロセスがより詳しく説明され得る。方向が、空間的に位置を特定される第３の音と関連付けられ得る。例えば、第３の音と関連付けられるメタデータが、第３の音が感知される所与の方位角および仰角を定義し得る。方向と関連付けられる非線形伝達関数の周波数応答が、第３の音と関連付けられる音声信号で変調されて、第３の音の空間的位置特定を容易にする１つまたは複数のオーディオキューを示す信号が生成され得る。例えば、非線形伝達関数は、音が所与の方位角および仰角から発せられるとき、耳介の周波数応答を示す波形を定義し得る。これらの波形が、第３の音と関連付けられる音声信号で変調されて、１つまたは複数のオーディオキューを示す信号が生成され得る。オーディオキューによって、ユーザは、所与の方位角および仰角から発せられる第３の音を感知できるかもしれない。
【００６９】
７１０では、耳介を介した第３の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号がイヤカップの１つまたは複数のトランスデューサにより出力される。例えば、１つまたは複数のオーディオキューを示す信号は、イヤカップのトランスデューサに入力され得る。トランスデューサは、信号を、１つまたは複数のオーディオキューを示す音に変換し得る。オーディオキューによって、音声信号と関連付けられる音の空間的位置特定が容易になり得る。
【００７０】
幾つかの例を挙げると、第３の音と関連付けられる音声信号は、１つまたは複数のオーディオキューを示す信号で混合されてもよい。次に、混合された信号は、トランスデューサに入力されて、音として出力され得る。混合された信号によって、ユーザは第３の音を聞くことができるだけではなく、１つまたは複数のオーディオキューを感知することもできるかもしれないので、第３の音の空間的位置特定が容易になる。１つまたは複数のオーディオキューを示す信号は、第３の音と関連付けられる音声信号と様々な割合で混合され得る。
【００７１】
幾つかの例を挙げると、トランスデューサは、複数の信号と関連付けられる音を出力し得る。ここでは、各信号と関連付けられる音の位置が空間的に特定される。例えば、第１信号が第１非線形伝達関数で変調され、第２信号が第２伝達関数で変調されて、第１信号および第２信号に関するオーディオキューを示す信号が生成され得る。図７に従って各非線形伝達関数が決定され得る。第１信号および第２信号を変調することにより生成された信号は、トランスデューサに入力され得る。トランスデューサは、第１信号および第２信号と関連付けられる音がそれぞれ空間的に位置を特定されるように音を出力し得る。他の変形例も適用可能である。
【００７２】
図７は、個人の単一の耳介、例えば、左耳介または右耳介にオーディオキューを提供するための機能を表している。空間的位置特定が容易になるよう、オーディオキューは他方の耳介にも提供する必要があるかもしれない。空間的位置特定を容易にするには、単一の耳介、例えば、左耳介または右耳介と関連付けられる、他方の耳介に関する非線形伝達関数を決定する必要があるかもしれない。
【００７３】
一例を挙げると、この決定は、左耳介および右耳介と関連付けられる非線形伝達関数が同様であることを想定して行われ得る。この想定は、左耳介および右耳介が対称であることに基づいている。その結果、同じ非線形伝達関数が、各耳に音を出力するために使用され得る。段階７０８および段階７１０と同様の方法で各耳に出力される、１つまたは複数のオーディオキューを示す信号を耳ごとに生成するために、同じ非線形伝達関数が使用され得る。
【００７４】
別の例を挙げると、この決定は、左耳介および右耳介と関連付けられる非線形伝達関数が相関関係にあることを想定して行われ得る。この相関関係に基づいて、一方の耳介に関する非線形伝達関数は、他方の耳介に関する非線形伝達関数を決定するために使用され得る。例えば、学習フェーズでは、個人の左耳介および右耳介に関する非線形伝達関数が決定され、関連付けられ得る。７０６で決定する非線形伝達関数は、学習フェーズで決定する、個人の左耳介の非線形伝達関数に基づいていてよい。右耳介の非線形伝達関数は、学習フェーズで個人について決定する、関連付けられる非線形伝達関数であってよい。段階７０８および段階７１０と同様の方法で耳に出力される、１つまたは複数のオーディオキューを示す信号を生成するために、対応する非線形伝達関数が使用され得る。
【００７５】
更に別の例を挙げると、非線形伝達関数はバイノーラル方式で決定され得る。すなわち、両方の耳介の特徴が個別に示される。例えば、図５で示されているイヤカップは、耳介ごとに非線形伝達関数をそれぞれ決定するために、一方の耳介に配置された後、別の耳介に動かされ得る。別の例を挙げると、一方の耳介から他方の耳介にイヤカップを動かさなければならない代わりに、個人用オーディオ供給デバイスは、耳ごとに非線形伝達関数を決定することが容易になるよう、それぞれが１つまたは複数のトランスデューサおよびマイクを含む、２つのイヤカップを有し得る。この場合は、段階７０８および段階７１０と同様の方法で耳に出力される、１つまたは複数のオーディオキューを示す信号を生成するために、対応する非線形伝達関数が使用され得る。
【００７６】
耳介の画像と非線形伝達関数との間には関係が存在し得る。この点で、耳介の周波数応答を、音が耳介の方に向けられてマイクにより検出された結果として使用するのではなく、耳介の非線形伝達関数を決定するために耳介の画像を使用し得る。
【００７７】
図１１は、画像に基づいて、耳介の伝達関数を決定することと関連付けられる機能のフローチャート１１００を示している。
【００７８】
簡単に言うと、１１０２では、イヤカップ内の画像センサが耳介の画像を撮像し得る。１１０４では、当該画像に基づいて、耳介の１つまたは複数の特徴の特性が特定される。１１０６では、特定した１つまたは複数の特徴の特性に基づいて、音が耳介においてどのように受信（例えば、変換および／または変調）されるかの特徴を示す非線形伝達関数が決定される。１１０８では、決定された非線形伝達関数に基づいて、所与の音について１つまたは複数のオーディオキューを示す信号が生成され得る。１１１０では、所与の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号がトランスデューサにより出力され得る。
【００７９】
図１２は、耳介の画像を撮像するよう構成されている例示的なイヤカップ１２００を示している。イヤカップ１２００は、１つまたは複数の画像センサ１２０２を有し得る。画像センサ１２０２は、耳介の画像を出力し得る。画像センサ１２０２は、耳介１２０６の画像が遮られずに得られるよう、トランスデューサ１２０４の周囲に位置決めされ得る。
【００８０】
画像は、ある指標に基づいて様々なやり方で撮像され得る。一例を挙げると、指標はボタン押しの形態を取ってよい。イヤカップは、押されると画像センサに耳介の画像を撮像させるボタン（または、何らかの他の入力機構）を有し得る。この点で、ユーザは耳介の前側にイヤカップを配置し、画像センサに耳介の画像を撮像させるボタンを押してよい。別の例を挙げると、指標はイヤカップの移動であってよい。移動によって信号が画像センサに送信されることで、次に、画像センサが耳介の画像を撮像し、撮像した画像を処理エンジンに送信する。
【００８１】
移動は、イヤカップ１２００における運動センサおよび／または方位センサなどのセンサ１２０８により検出され得る。例えば、運動センサ１２０８は、イヤカップの加速度を測定する加速度計、または、イヤカップの向きの変化の指標となるものを提供するジャイロスコープであってよい。運動センサ１２０８は、イヤカップが動かされると信号を出力するよう構成されてよく、イヤカップが動かされないと信号を出力しないよう構成されてよい。他の変形例も適用可能である。
【００８２】
図１３は、耳介１３０４からイヤカップ１３０２を動かして耳介の画像を撮像させる例１３００を示している。イヤカップ１３０２は通常、各耳介１３０４に固定され得る。ヘッドバンド１３０６が各イヤカップを接続し得る。各イヤカップ１３０２が耳介１３０４に固定された状態を保つよう、ヘッドバンド１３０６は、頭１３０８に配置されるとイヤカップ１３０２に張力を付加し得る。イヤカップ１３０２は、耳介１３０４と反対の方向にイヤカップ１３０２を引っ張ることにより耳介１３０４から動かされ得る。イヤカップ１３０２は、耳介１３０４にイヤカップ１３０２を固定するためにヘッドバンド１３０６が付加する張力よりも大きな力をイヤカップ１３０２に付加することにより動かされ得る。図示の通り、動かされていない他方のイヤカップが耳介１３０４において安定した状態を保つよう、移動は自然な直線運動Ｌであってよい。イヤカップ１３０２を引っ張ることができる距離は、ヘッドバンド１３０６に対する張力に応じて、１〜３インチ（約２５〜７６ｍｍ）の範囲であってよい。
【００８３】
運動センサは、イヤカップの移動の検出に基づいて、耳介の画像を撮像するための信号を画像センサに送信し得る。一例を挙げると、信号は、移動が検出されると同時に送信され得る。別の例を挙げると、信号は、移動が検出されてから所定の時間が経った後に送信され得る。例えば、移動を示す信号が検出されるとタイマが開始されてよく、所定の時間が経った後に信号が画像センサに送信されてよい。所定の時間は、イヤカップと耳介との間の空隙によって耳介に環境光が当たることが可能となるようイヤカップを動かすのに十分な時間であってよい。環境光によって、撮像した画像の画質が向上し得る。
【００８４】
更に別の例を挙げると、信号は、イヤカップが耳介から一定の距離にあるときに送信され得る。イヤカップは、２つの物体間の近接度を、どちらの物体にも物理的に触れることなく検出するための近接センサを有し得る。幾つかの例を挙げると、近接センサは、運動センサ１２０８の一部または別個のセンサであってよい。近接センサは、イヤカップと耳介との間の距離を出力し得る。この距離はモニタリングされてよく、距離が一定の距離より長いかまたはそれに等しいとき、運動センサは画像センサに信号を送信してよい。
【００８５】
近接センサが耳介の画像を撮像するための信号を送信するとき、画像センサの特性が耳介とイヤカップとの間の距離を規定し得る。一例を挙げると、距離は、画像センサが当該距離から耳介の詳細を撮像する能力に基づいていてよい。別の例を挙げると、距離は、耳介に焦点を合わせることができる画像センサに基づいていてよい。更に別の例を挙げると、距離は、画像センサの焦点距離および視野角に基づいていてよい。別の例を挙げると、距離は、イヤカップと耳介との間の空隙によって耳介に十分な環境光が当たることを可能とするのに十分な距離であってよい。環境光によって、撮像した画像の画質が向上し得る。
【００８６】
記載の通り、画像センサは、耳介の画像を撮像するための信号の受信に応じて、画像を撮像し得る。画像センサは、処理エンジンに画像を提供し得る。
【００８７】
１１０４では、画像から耳介の１つまたは複数の特徴の特性が決定される。耳介の特徴を特定して画像から当該特徴を抽出した後に当該特徴の特性を決定することを含め、耳介の特徴の特性を決定するために、処理エンジンにより様々な画像処理技法が使用され得る。これらの特性には、以下に限定されるわけではないが、耳介の全体的なサイズおよび形状（例えば、長さ、幅、半径）と、数ある特徴の中でも、耳輪、窩、耳甲介舟、耳甲介腔、耳珠、耳切痕、対耳輪および／または対耳珠のサイズおよび形状（例えば、長さ、幅、半径）と、数ある特徴の中でも、耳輪、窩、耳甲介舟、耳甲介腔、耳珠、耳切痕、対耳輪のうちの２つまたはそれより多くの間の相対距離とが含まれ得る。
【００８８】
段階１１０６では、特定した１つまたは複数の特徴の特性に基づいて、第１の音が耳介を介してどのように変換されるかの特徴を示す非線形伝達関数が決定される。非線形伝達関数は、図１０Ａから図１０Ｃとの関連で記載されているプロセスと同様の方法で決定され得る。
【００８９】
段階１１０２で耳介の画像が撮像される個人とは異なる複数の個人の各々に関する直接測定が、学習プロセスにおいて実行され得る。複数の個人の各々に関する直接測定は、複数の非線形伝達関数を決定することになり得る。各非線形伝達関数が、耳介の画像などのセンサ出力と関連付けられ得る。
【００９０】
図１４Ａは、センサ出力を決定するための例示的な構成１４００を示している。センサ出力は、画像センサ１４０４が撮像する、個人１４０６に関する耳介１４０２の画像の形態を取ってよい。非線形伝達関数は、耳介の画像と関連付けられ得る。
【００９１】
図１４Ｂは、段階１１０６で非線形伝達関数を決定するための例示的な構成１４５０を示しており、個人に関する直接測定を実行する必要はない。非線形伝達関数は、学習プロセスで決定する、複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像に基づいていてよい。
【００９２】
例示的な構成１４５０は、データベース１４５２およびコンパレータ１４５４を含み得る。データベース１４５２およびコンパレータ１４５４は、個人用オーディオ供給デバイス、サーバ、または、何らかの他のデバイスに存在し得る。データベース１４５２は、学習プロセスで決定した、複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像を記憶し得る。データベース１４５２内のエントリ１４５６が、学習プロセスで決定した、複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像の、それぞれの非線形伝達関数１４５８およびこれと関連付けられる耳介の画像１４６０を定義し得る。データベースは複数のエントリ１：Ｎを有し得る。
【００９３】
コンパレータ１４６０は、エントリ１：Ｎのうち基準センサ出力１４６２に最も近いセンサ出力１４６０を特定するために、それぞれの非線形伝達関数１４５８と関連付けられる耳介１４６０の各画像を基準センサ出力１４６２と比較するよう構成され得る。基準センサ出力１４６２は、段階１１０２で撮像する耳介の画像であってよい。更に、耳介の画像１４６０は、基準センサ出力１４６２を決定する方法と同様の方法で決定する耳介の画像であってよい。
【００９４】
コンパレータ１４５４が実行する比較は、基準センサ出力１４６２と関連付けられる耳介の特徴の特性を、耳介の画像１４６０と関連付けられる耳介の１つまたは複数の特徴の、対応する特性と比較することに基づいていてよい。コンパレータ１４５４は、非線形伝達関数１４６４を出力し得る。非線形伝達関数１４６４は、基準センサ出力１４６２に近い（例えば、一致度が最も高い）、耳介の画像１４６０と関連付けられる非線形伝達関数１４５８であってよい。一致の度合いは、基準センサ出力１４６２と関連付けられる耳介の特徴の特性と、数ある基準の中でも、耳介の画像１４６０と関連付けられる耳介の１つまたは複数の特徴の、対応する特性との隔たりに基づいていてよい。
【００９５】
この点で、段階１１０６で非線形伝達関数を決定するために個人の耳介に対する直接測定を実行する必要はないかもしれない。代わりに、非線形伝達関数は、学習プロセスで決定され、データベース１４５２に記憶され、かつ、非線形伝達関数１４６４を決定するためにリアルタイムで使用される、複数の非線形伝達関数に基づいていてよい。
【００９６】
別の例を挙げると、段階１１０６における非線形伝達関数は、データベース１４５２に記憶されている複数の非線形伝達関数のうちの１つまたは複数の合成に基づいて決定され得る。例えば、複数の非線形伝達関数のうちの１つまたは複数が、段階１１０６で非線形伝達関数を決定するために重み付けされ得る。重み付けは、１１０２で撮像する耳介の画像と、複数の非線形伝達関数のうちの１つの非線形伝達関数と関連付けられる耳介の画像との一致の度合いに基づいていてよい。例えば、段階１１０２で撮像する画像における耳介の１つまたは複数の特徴の特性が、複数の非線形伝達関数のうちの１つの非線形伝達関数と関連付けられる耳介の画像における耳介の１つまたは複数の特徴の、対応する特性と比較され得る。一致度がより高いと重み付けがより大きくなり得る一方で、一致度がより低いと重み付けがより小さくなり得る。次に、重み付けされた非線形伝達関数が合成されて、段階１１０６で決定する非線形伝達関数が形成され得る。
【００９７】
更に別の例を挙げると、段階１１０６における非線形伝達関数は、図１０Ｃに示されているものと同様の関数に基づいていてよい。複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像は、関数への入力を、段階１１０２で撮像する耳介の画像とすること、および、関数の出力を、段階１１０２で撮像する耳介の画像について決定する非線形伝達関数とすること、ができるような関数を定義するために、数値解析手法によりパラメータ化され得る。関数は様々な形態を取ってよい。
【００９８】
例えば、関数は、ニューラルネットワークなどの周知のデータ適合技法を用いて学習フェーズで決定した、耳介の画像と関連付けられる非線形伝達関数の各々に適合させられているモデルの形態を取ってよい。段階１１０２で撮像した耳介の画像は、当該モデルに入力されてよく、当該モデルは、段階１１０２で撮像した耳介の画像に関する非線形伝達関数を出力してよい。
【００９９】
幾つかの例を挙げると、段階１１０６と関連付けられる非線形伝達関数は、例えば、メモリに記憶され得る。この点で、非線形伝達関数を決定するためのプロセスをユーザに合わせて個別化してよく、当該プロセスを下記のように一度だけ決定して使用する必要があるかもしれない。
【０１００】
１１０８では、決定された非線形伝達関数に基づいて、所与の音について１つまたは複数のオーディオキューを示す信号が生成され得る。１つまたは複数のオーディオキューは、図７の段階７０８との関連で記載されているものと同様の方法で生成され得る。
【０１０１】
１１１０では、耳介を介した所与の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号が出力され得る。１つまたは複数のオーディオキューは、図７の段階７１０との関連で記載されているものと同様の方法で、トランスデューサにより出力され得る。
【０１０２】
図１１の機能に基づいて、１つまたは複数のオーディオキューが耳介に出力され得る。個人が２つの耳介を有し得る。他方の耳介に関する非線形伝達関数が決定されてもよい。非線形伝達関数はバイノーラル方式で決定され得る。すなわち、両方の耳介の特徴が個別に示される。或いは、両方の耳介が同様であり、かつ、一方の耳介の伝達関数が他方の耳介と同じであってよいことが想定され得る。更に或いは、両方の耳介が同様であり、かつ、一方の耳介の非線形伝達関数が他方の耳介の伝達関数と相関関係にあってよいことが想定され得る。
【０１０３】
幾つかの例を挙げると、耳介の画像を撮像しているときのイヤカップは、直線的に動かしてよいだけではなく、複数の次元において回転させることもできる。運動センサはこの回転を検出し、それを処理エンジンに提供し得る。次に、学習プロセスで決定した複数の非線形特徴と関連付けられる、所与の平面に対して平行な耳介の複数の画像との比較が容易になるよう、処理エンジンは回転行列を適用して、撮像した画像を当該所与の平面に対して平行になるよう回転させてよい。更にまたは或いは、当該比較が容易になるよう、学習プロセスで決定した複数の非線形特徴と関連付けられる耳介の複数の画像を回転させてよい。
【０１０４】
非線形伝達関数は、１つまたは複数のマイクを有するイヤカップ、および／または、画像センサを有するイヤカップを用いて決定され得る。しかしながら、非線形伝達関数は、１つまたは複数のマイクを含む一方のイヤカップと、１つまたは複数の画像センサを含むもう一方のイヤカップとを有するヘッドフォンを用いて決定されてもよい。プロセスには、図７および図１１の機能を組み合わせることが伴い得る。
【０１０５】
図１５は、この組み合わせと関連付けられる機能のフローチャート１５００である。簡単に言うと、１５０２では、耳介の画像が第１イヤカップにより撮像される。１５０４では、第１の音が第２イヤカップのトランスデューサにより出力される。１５０６では、第２イヤカップ内の１つまたは複数のマイクの各々により、対応する第２の音が検出される。あるマイクに関する、対応する第２の音は、第１の音と、イヤカップが着用される、当該マイクの位置における耳介との相互作用に基づいて検出され得る。１５０８では、撮像した画像と、１つまたは複数のマイクの各々が検出した対応する第２の音とに基づいて、音が耳介を介してどのように変換されるかの特徴を示す非線形伝達関数が決定される。１５１０では、決定された非線形伝達関数に基づいて、第３の音の位置を空間的に特定するための１つまたは複数のオーディオキューを示す信号が生成され得る。１５１２では、第３の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号が第１イヤカップまたは第２イヤカップのトランスデューサにより出力される。
【０１０６】
１５０２に戻って参照すると、耳介の画像が撮像される。画像は、図１１の段階１１０２に記載されているものと同様の方法でヘッドフォンのイヤカップのうちの一方における画像センサを用いて撮像され得る。幾つかの例を挙げると、画像は、ヘッドフォンのイヤカップが耳介から動かされると撮像され得る。幾つかの例を挙げると、イヤカップは、イヤカップの移動、および、イヤカップと耳介との間の距離を決定するために、運動センサおよび近接センサをそれぞれ有し得る。撮像した画像は処理エンジンに送信され得る。
【０１０７】
１５０４では、第１の音が第２イヤカップにより出力される。処理エンジンは、第２イヤカップ内のトランスデューサに第１の音を出力させ得る。第１の音は、画像が撮像されている間、画像が撮像される前、または、画像が撮像された後に再生され得る。第１の音は、チャープ信号、インパルス、または、帯域制限音を含む様々な形態を取ってよい。
【０１０８】
１５０６では、第１の音の出力に基づいて、イヤカップ内の１つまたは複数のマイクの各々により、対応する第２の音が検出される。イヤカップ内の１つまたは複数のマイクはそれぞれ、第１の音と、マイクの位置における耳介との相互作用に基づいて、対応する第２の音を検出し得る。マイクごとに検出する、対応する第２の音は、音声散乱であってよい。第１の音は、耳介により反射、共鳴および／または変調され、この音声散乱は、対応する第２の音としてイヤカップ内のマイクにより検出される。第１の音は可聴域にあってよい。その結果、第１の音の出力の開始は、非線形伝達関数の決定が既に開始していることをユーザに示してよく、第１の音の出力の終了は、非線形伝達関数の決定がほぼ完了していることを示してよい。このように、第１の音は、非線形伝達関数を決定することと関連付けられる進捗に関するフィードバックをユーザに提供してもよい。
【０１０９】
１つまたは複数のマイクの各々が検出した対応する第２の音は、処理エンジンに送信され得る。１５０８では、撮像した画像と、１つまたは複数のマイクの各々が検出した対応する第２の音とに基づいて、耳介が音をどのように変換するかの特徴を示す非線形伝達関数が決定され得る。非線形伝達関数は処理エンジンにより決定され得る。非線形伝達関数は様々なやり方で決定され得る。
【０１１０】
非線形伝達関数を決定するために段階１５０２で画像が撮像され、かつ、段階１５０６で第２の音が検出される個人とは異なる複数の個人の各々について、図１０Ａに示されているものと同様の直接測定が学習プロセスで実行され得る。更に、耳介の画像が個人ごとに決定されてよく、個人ごとに非線形伝達関数と関連付けられてよい。耳介の画像は、図１４Ａ、および、段階１５０２で耳介の画像が撮像される方法と同様の方法で撮像され得る。この点で、学習プロセスには、複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像を決定することが伴い得る。
【０１１１】
図１６は、段階１５０８で非線形伝達関数を決定するための例示的な構成１６５０を示している。１５０８における非線形伝達関数は、学習プロセスで決定する複数の非線形伝達関数および耳介の複数の画像に基づいていてよい。
【０１１２】
例示的な構成１６５０は、データベース１６５２およびコンパレータ１６５４を含み得る。データベース１６５２およびコンパレータ１６５４は、個人用オーディオ供給デバイス、サーバ、または、何らかの他のデバイスに存在し得る。データベース１６５２は、学習プロセスで決定した、複数の非線形伝達関数およびこれらと関連付けられる耳介の複数の画像を記憶し得る。データベース１６５２内のエントリ１６５６が、学習プロセスにおいて決定した、複数の非線形伝達関数のそれぞれの非線形伝達関数１６５８およびこれらと関連付けられる耳介の画像１６６０を定義し得る。データベースは複数のエントリ１：Ｎを有し得る。
【０１１３】
基準センサ出力１６６２は、オーディオキューが生成される個人に関するセンサ出力、例えば、段階１５０６と関連付けられる、１つまたは複数のマイクが検出する、対応する第２の音、および、段階１５０２と関連付けられる耳介の画像であってよい。コンパレータ１６５４は、それぞれの非線形伝達関数１６５８と関連付けられる耳介の画像１６６０を、基準センサ出力１６６２と関連付けられる耳介の画像と比較するよう構成され得る。この比較には第１相関スコアが割り当てられ得る。更に、コンパレータ１６５４は、それぞれの非線形伝達関数１６５８の周波数応答を、基準センサ出力１６６２と関連付けられる、１つまたは複数のマイクの各々が検出した対応する第２の音と比較するよう構成され得る。この比較には第２相関スコアが割り当てられ得る。
【０１１４】
同じ非線形伝達関数に関する、それぞれの相関スコアが合成、例えば、合計されて、合成スコアが形成され得る。コンパレータ１６５４は、複数の非線形伝達関数のうち、最も高い合成スコアを有する非線形伝達関数１６５８を、段階１５０８と関連付けられる非線形伝達関数１６６４として出力し得る。この点で、１５０２で撮像した耳介の画像と相関関係がある、耳介の画像と関連付けられる非線形伝達関数と、段階１５０６で１つまたは複数のマイクが検出した対応する第２の音と相関関係がある非線形伝達関数の周波数応答とが、段階１５０８で決定する非線形伝達関数であってよい。
【０１１５】
別の例を挙げると、段階１５０８で決定する非線形伝達関数は、複数の非線形伝達関数のうちの１つまたは複数の合成に基づいていてよい。例えば、段階１５０８で非線形伝達関数を決定するために、複数の非線形伝達関数のうちの１つまたは複数が重み付けされ得る。複数の非線形伝達関数のうちの１つの非線形伝達関数の重み付けは、当該複数の非線形伝達関数のうちの当該非線形伝達関数と関連付けられる第１相関スコアおよび第２相関スコアに基づいていてよい。例えば、相関スコアがより高いと重み付けがより大きくなり得る一方で、相関スコアがより低いと重み付けがより小さくなり得る。次に、重み付けされた非線形伝達関数が合成されて、段階１５０８で決定する非線形伝達関数が形成され得る。
【０１１６】
更に別の例を挙げると、段階１５０８における非線形伝達関数は、図９に示されているものと同様の関数に基づいていてよい。関数への入力を、段階１５０６で１つまたは複数のマイクが検出する、対応する第２の音、および、１５０２で撮像する耳介の画像とすること、並びに、関数の出力を、決定される非線形伝達関数とすること、ができるような関数を定義するために、複数の非線形伝達関数の各非線形伝達関数、および、対応する耳介の画像が、数値解析手法によりパラメータ化され得る。関数は様々な形態を取ってよい。
【０１１７】
例えば、関数は、ニューラルネットワークなどの周知のデータ適合技法を用いて学習フェーズで決定した、非線形伝達関数の各々および耳介の画像に適合させられているモデルの形態を取ってよい。１５０６で１つまたは複数のマイクが検出した対応する第２の音と、１５０２で撮像した耳介の画像とは、当該モデルに入力されてよく、当該モデルは非線形伝達関数を出力してよい。
【０１１８】
幾つかの例を挙げると、段階１５０６と関連付けられる非線形伝達関数は、例えば、メモリに記憶され得る。この点で、非線形伝達関数を決定するためのプロセスをユーザに合わせて個別化してよく、当該プロセスを下記のように一度だけ決定して使用する必要があるかもしれない。
【０１１９】
１５１０では、決定された非線形伝達関数に基づいて、第３の音の位置を空間的に特定するための１つまたは複数のオーディオキューを示す信号が生成され得る。１つまたは複数のオーディオキューは、図７の段階７０８との関連で記載されているものと同様の方法で出力され得る。
【０１２０】
１５１２では、耳介を介した第３の音の空間的位置特定が容易になるよう、１つまたは複数のオーディオキューを示す信号が出力され得る。１つまたは複数のオーディオキューは、図７の段階７１０との関連で記載されているものと同様の方法で、第１イヤカップまたは第２イヤカップのトランスデューサにより出力され得る。
【０１２１】
図１５の機能に基づいて、個人の単一の耳介に関する非線形伝達関数が決定される。他方の耳介に関する非線形伝達関数が決定されてもよい。非線形伝達関数はバイノーラル方式で決定され得る。すなわち、両方の耳介の特徴が個別に示される。或いは、両方の耳介が同様であり、かつ、一方の耳介の伝達関数が他方の耳介と同じであってよいことが想定され得る。
【０１２２】
上記の例では、ヘッドフォンが、画像センサ、運動センサおよび／または近接センサを含む一方のイヤカップと、トランスデューサおよびマイクを含むもう一方のイヤカップとを有し得る。各イヤカップが非線形伝達関数を決定するために使用される。しかしながら、単一のイヤカップが、非線形伝達関数を決定するための画像センサ、運動センサおよび／または近接センサ、並びに、トランスデューサおよびマイクの両方で構成され得る。
【０１２３】
幾つかの例を挙げると、画像センサを有するイヤカップの代わりに、電話、タブレット、ハンドヘルドのコンピューティングデバイス、腕時計などといったモバイルデバイスが、耳介が音をどのように変換するかの特徴を示す非線形伝達関数を決定するために使用され得る。
【０１２４】
図１７は、音声再生を個別化するための別のシステム１７００を示している。システム１７００は、モバイルデバイス１７０２および処理エンジン１７０４を含み得る。モバイルデバイス１７０２は、複数のセンサを有し得る。センサは、数ある中でも、画像センサ、運動センサおよび／または近接センサを含み得る。モバイルデバイスは、モバイルデバイスのユーザ１７０８のユーザの正中面１７０６に対して向けられ得る。ユーザの正中面１７０６は、ユーザの頭を真っ二つに、すなわち、左右にスライスする平面である。
【０１２５】
処理エンジン１７０４は、複数のセンサと関連付けられる信号を処理し得る。処理エンジン１７０４は、非線形伝達関数を決定し得る。幾つかの例を挙げると、処理エンジン１７０４は、モバイルデバイス１７０２にローカルなプロセッサであってよい。プロセッサは、メモリなどの記憶装置に記憶されているコンピュータ命令を実行する中央処理装置（ＣＰＵ）であってよい。プロセッサは、複数のセンサと関連付けられる信号を処理し得る。他の例を挙げると、処理エンジン１７０４は、モバイルデバイス１７０２から遠く離れていてよい。例えば、処理エンジン１７０４は、有線ネットワークまたは無線ネットワークを介してモバイルデバイスからアクセス可能なサーバであってよい。サーバは、複数のセンサと関連付けられる信号を処理し得る。モバイルデバイス１７０２は、複数のセンサと関連付けられる信号の処理が容易になるよう、サーバと通信するための回路を有し得る。図６Ａおよび図６Ｂにおけるシステムとの関連で記載されている遠隔サーバと比べて、モバイルデバイスのローカルプロセッサには、レイテンシおよびバッテリ消費に関して同様の問題が存在し得る。場合によっては、処理エンジン１７０４は、ローカルプロセッサおよび遠隔サーバを含み得る。
【０１２６】
図１８は、モバイルデバイスを用いて耳介の非線形伝達関数を決定することと関連付けられる機能のフローチャート１８００を示している。
【０１２７】
簡単に言うと、１８０２では、耳介の画像がモバイルデバイスにより撮像され得る。１８０４では、撮像した画像に基づいて、耳介の１つまたは複数の特徴の特性が特定される。１８０６では、特定した特性に基づいて、音が耳介においてどのように受信（例えば、変換および／または変調）されるかの特徴を示す非線形伝達関数が決定される。１８０８では、非線形伝達関数が個人用オーディオ供給システムに提供される。１８１０では、耳介を介した音の空間的位置特定が容易になるよう、決定された非線形伝達関数に基づいて、１つまたは複数のオーディオキューを示す信号が出力され得る。
【０１２８】
１８０２に戻って参照すると、耳介の画像がモバイルデバイスにより撮像され得る。モバイルデバイスの画像センサが耳介の方に向いているよう、あるユーザがモバイルデバイスを耳の方に向けて保持し得る。モバイルデバイスが耳介から、近接センサが示す一定の距離にあるとき、モバイルデバイスは画像センサを介して画像を自動的に撮像し得る。或いは、モバイルデバイスが耳介から一定の距離をおいて保持されるとき、ユーザはモバイルデバイス上のボタンを押して画像を撮像し得る。撮像した画像は処理エンジンに送信され得る。
【０１２９】
更にまたは或いは、モバイルデバイスは耳介に対して一定の角度をなして向けられ得る。向きは、ユーザの正中面に対するモバイルデバイスの（１つまたは複数の方向への）回転であってよい。センサ、例えば、運動センサおよび／または方位センサは、画像が撮像されるとモバイルデバイスのこの向きを検出し、処理エンジンにこの向きを提供し得る。
【０１３０】
１８０４では、撮像した画像に基づいて、耳介の１つまたは複数の特徴の特性が特定される。これら１つまたは複数の特徴の特性を特定するために、様々な画像処理方法が使用され得る。幾つかの例を挙げると、処理システムは、回転行列を適用してこれらの特徴の特性を特定する前に画像が撮像されたときに検出された向きに基づいて画像を回転させてもよい。
【０１３１】
１８０６では、特定した特性に基づいて、音が耳介においてどのように受信（例えば、変換および／または変調）されるかの特徴を示す非線形伝達関数が決定される。図１１の段階１１０６との関連で、このプロセスに関する詳細を説明する。１８０２で撮像した画像における耳介の１つまたは複数の特徴の特性が、学習プロセスで決定した非線形伝達関数と関連付けられる耳介の複数の画像と関連付けられる耳介の１つまたは複数の特徴の特性と比較され得る。最も高い一致度と関連付けられる非線形伝達関数が、図１４Ｂおよび図１０Ｃと同様の方法で既に説明した、決定される非線形伝達関数であってよい。
【０１３２】
１８０８では、非線形伝達関数が個人用オーディオ供給システムに提供される。個人用オーディオ供給システムは、個人用オーディオ供給デバイスを有する、図６Ａおよび図６Ｂに示されているシステム、または、何らかの他のシステムであってよい。モバイルデバイスは、音を出力するためのトランスデューサを有し得る。幾つかの例を挙げると、個人用オーディオ供給システムは、図１７に示されているのと同じシステムであってよい。この場合は、図１７のシステムが既に非線形伝達関数を有しているので、段階１８０８を実行する必要がない。
【０１３３】
１８１０では、耳介を介した音の空間的位置特定が容易になるよう、決定された非線形伝達関数に基づいて、１つまたは複数のオーディオキューを示す信号が出力され得る。１つまたは複数のオーディオキューは、図７の段階７０８との関連で記載されているものと同様の方法で生成されてよく、図７の段階７１０との関連で記載されているものと同様の方法で出力されてよい。
【０１３４】
図１９は、モバイルデバイスを用いて耳介の非線形伝達関数を決定することと関連付けられる機能の別のフローチャート１９００である。このフローチャートでは、非線形伝達関数の決定において耳介の多次元の特徴が考慮され得る。
【０１３５】
簡単に言うと、１９０２では、耳介の複数の画像がモバイルデバイスにより撮像され得る。モバイルデバイスが一定のやり方で耳介に対して向けられると、各画像が撮像され得る。１９０４では、撮像した画像に基づいて、耳介の１つまたは複数の特徴の特性が特定される。１９０６では、特定した特性に基づいて、音が耳介においてどのように変換されるかの特徴を示す非線形伝達関数が決定される。１９０８では、非線形伝達関数が個人用オーディオ供給システムに提供される。１９１０では、耳介を介した音の空間的位置特定が容易になるよう、決定された非線形伝達関数に基づいて、１つまたは複数のオーディオキューが出力され得る。
【０１３６】
１９０２に戻って参照すると、耳介の複数の画像がモバイルデバイスにより撮像され得る。これら複数の画像は、複数の異なる向きにおける耳介の複数の画像であってよい。モバイルデバイスが一定のやり方で正中面に対して向けられると、各画像が撮像され得る。
【０１３７】
図２０Ａから図２０Ｃは、モバイルデバイスの幾つかの例示的な向きを示している。モバイルデバイスは、耳介の画像を撮像するよう正中面に対して向けられ得る。
【０１３８】
図２０Ａは、モバイルデバイス２００２がユーザの正中面２００４に対して平行に向けられる、例示的な向き２０００を示している。ユーザの正中面２００４は、人の頭を両耳の間で対称的に分割し得る。モバイルデバイス２００２の画像センサ２００６が耳介２００８の前側の画像を撮像する。
【０１３９】
図２０Ｂは、モバイルデバイス２００２が耳介の画像を撮像するよう平面２０１２に対して平行に向けられる、例示的な向き２０１０を示している。平面２０１２は、ユーザの左耳および右耳を通過する平面であり、ユーザの頭を真っ二つに、すなわち、前後に分割する。モバイルデバイスは、平面２０１２の後ろ半分に対して平行に向けられ得る。モバイルデバイスの画像センサは、耳介２００８の後ろ側の外形の画像を撮像する。
【０１４０】
図２０Ｃは、モバイルデバイス２００２が耳介の画像を撮像するよう平面２０１２の前半分に対して平行に向けられる、例示的な向き２０２０を示している。モバイルデバイスは、平面２０１２の前半分に対して平行に向けられ得る。モバイルデバイスの画像センサは、耳介２００８の前側の外形の画像を撮像する。
【０１４１】
複数の異なる向きにおける耳介の複数の画像を撮像するために、ユーザがモバイルデバイスを保持し、それを動かしてよい。複数の異なる向きにおける耳介を撮像するには、モバイルデバイスを複数の異なる向きに動かす代わりに、ユーザがモバイルデバイスを静止状態に保持して頭の向きを変えてもよい。或いは、複数の異なる向きにおける耳介の画像を撮像するには、モバイルデバイスを動かすだけでなく、頭の向きを変えてもよい。
【０１４２】
撮像した各向きの画像は、処理エンジンに送信され得る。１９０４では、撮像した画像に基づいて、耳介の１つまたは複数の特徴の特性が特定される。一例を挙げると、複数の向きで撮像した画像は、例えば、ノイズを除去するために後処理されてよい、および／または、耳介の特徴の多次元画像、例えば、三次元画像を形成するために合成されてよい。次に、多次元画像は、耳介の特徴の特性を特定するために分析され得る。別の例を挙げると、撮像した画像に基づいて、耳介の特徴の深さを含む、当該特徴の特性を特定するために、各画像が別個に分析され得る。撮像した画像は、他のやり方でも処理され得る。
【０１４３】
１９０６では、特定した特性に基づいて、音が耳介によりどのように変換されるかの特徴を示す非線形伝達関数が決定される。学習プロセスで決定した複数の非線形伝達関数の各々が、対応する耳介の複数の画像と関連付けられ得る。対応する複数の画像は、段階１９０２で耳介の複数の画像が撮像される方法と同様の方法で撮像され得る。非線形伝達関数は、段階１９０２で撮像した画像が示す耳介の特徴と、学習プロセスで決定した複数の非線形伝達関数のうちの１つの非線形伝達関数と関連付けられる、対応する耳介の複数の画像とを比較することに基づいていてよい。図１４Ｂおよび図１１の段階１１０６との関連で、詳細について大まかに説明する。違いは、耳介の画像１４６０が、対応する複数の画像の形態を取るところにある。当該複数の非線形伝達関数のうち、１９０２で撮像する耳介の複数の画像と密接な相関関係がある、対応する耳介の複数の画像を有する非線形伝達関数は、段階１９０６で決定する非線形伝達関数であってよい。
【０１４４】
非線形伝達関数は他のやり方で決定され得る。他のやり方には、学習プロセスで決定した複数の非線形伝達関数の合成に基づくことが含まれ得る。或いは、非線形伝達関数は、１８０２で撮像した複数の画像を入力としてみなし、かつ、決定された非線形伝達関数を出力する、機能に基づいていてよい。この機能は、複数の非線形伝達関数、および、これらと関連付けられる、複数の異なる向きで撮像した複数の画像についてトレーニングされるモデルであってよい。
【０１４５】
１９０８では、非線形伝達関数が個人用オーディオ供給システムに提供される。個人用オーディオ供給システムは、個人用オーディオ供給デバイスを有する、図５に示されているシステム、または、何らかの他のシステムであってよい。幾つかの例を挙げると、個人用オーディオ供給システムは、図１７に示されているのと同じシステムであってよい。この場合は、図１７のシステムが既に非線形伝達関数を決定しているので、この段階が実行されないかもしれない。
【０１４６】
１９１０では、耳介を介した音の空間的位置特定が容易になるよう、決定された非線形伝達関数に基づいて、１つまたは複数のオーディオキューを示す信号が出力され得る。１つまたは複数のオーディオキューは、図７の段階７０８との関連で記載されているものと同様の方法で生成されてよく、図７の段階７１０との関連で記載されているものと同様の方法で出力されてよい。
【０１４７】
以上では、非線形伝達関数を決定するために複数の異なる向きにおける耳介の１つまたは複数の画像を撮像するモバイルデバイスについて説明した。しかしながら、画像を撮像する代わりに、モバイルデバイスは、複数の異なる向きにおける個別の画像ではなく、一連の画像、例えば、映像の形態の１つまたは複数の画像を撮像し得る。例えば、モバイルデバイスは、複数の異なる角度から耳介を撮像するために、ユーザがモバイルデバイスを複数の異なる向きに動かす映像、および／または、頭の向きが変わる映像を撮像し得る。次に、耳介に関する非線形伝達関数を決定するための、耳介の１つまたは複数の特徴の特性が、画像処理技法を用いて当該映像から抽出されてよく、耳介に関する非線形伝達関数を決定するために使用されてよい。他の変形例も適用可能である。
【０１４８】
上記の説明では、数ある中でも、様々な例示的なシステム、方法、装置および製品を開示している。当該製品には、数ある構成要素の中でも、ハードウェアで実行されるファームウェアおよび／またはソフトウェアが含まれる。そのような例は例示に過ぎず、限定とみなされるべきではないことが解る。例えば、ファームウェア、ハードウェアおよび／またはソフトウェアの態様または構成要素のうちの何れかまたは全てが、ハードウェアだけで、ソフトウェアだけで、ファームウェアだけで、または、ハードウェア、ソフトウェアおよび／もしくはファームウェアの任意の組み合わせで具現化され得ると考えられる。従って、提供されている例は、そのようなシステム、方法、装置および／または製品を実装する唯一のやり方ではない。
【０１４９】
更に、本明細書では「例」および／または「実施形態」に言及することで、この例および／または実施形態との関連で記載されている特定の特徴、構造または特性が、発明の少なくとも１つの例および／または実施形態に含まれ得ることを意味する。本明細書中の様々な箇所に出現するこの言い回しは、必ずしも全てが同じ例および／または実施形態を指しているとは限らないし、他の例および／または実施形態を互いに排除し合う別個のまたは代替的な例および／または実施形態であるというわけでもない。故に、当業者であれば明示的かつ黙示的に理解する、本明細書で説明されている例および／または実施形態は、他の例および／または実施形態と組み合わされ得る。
【０１５０】
本明細書は概して、ネットワークに連結されているデータ処理デバイスの動作に直接的または間接的に似ている、例示的な環境、システム、手順、段階、論理ブロック、処理、および他の記号表現の観点から提示されている。プロセスに関するこれらの説明および表現は通常、当業者が自らの研究の本質を他の当業者へ最も効果的に伝えるために使用される。本開示を十分に理解できるよう、数々の具体的な詳細が記載されている。しかしながら、当業者であれば、本開示の幾つかの実施形態が幾つかの具体的な詳細なくして実施され得ることが解る。他の事例では、実施形態の態様を不必要に不明瞭にすることを避けるべく、周知の方法、手順、構成要素および回路については詳しく説明されていない。従って、本開示の範囲は、実施形態の上述の説明ではなく、添付の請求項により定義される。
【０１５１】
添付の請求項のうちの何れかが純粋にソフトウェアおよび／またはファームウェアの実装をカバーするものと解釈される場合は、少なくとも１つの例における要素のうちの少なくとも１つが、メモリ、ＤＶＤ、ＣＤ、ブルーレイ（登録商標）などといった、ソフトウェアおよび／またはファームウェアを記憶する有形の非一時的媒体を含むものと、ここで明確に定義される。
【０１５２】
［例示的な実施形態］  例示的な実施形態は以下を含む。
【０１５３】
実施形態１：耳介の画像を撮像する段階と、当該耳介の当該画像に基づいて、音が当該耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する段階と、トランスデューサが、当該耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力する段階であって、当該１つまたは複数のオーディオキューは、当該非線形伝達関数に基づいている、出力する段階とを備える方法。
【０１５４】
実施形態２：  当該耳介の当該画像を撮像する段階は、当該耳介から所与の直線距離をおいてモバイルデバイスを位置決めする段階と、当該耳介から当該所与の直線距離から当該画像を撮像する段階とを含む、実施形態１に記載の方法。
【０１５５】
実施形態３：当該音が当該耳介においてどのように変換されるかの特徴を示す当該非線形伝達関数を決定する段階は、当該画像に基づいて当該耳介の１つまたは複数の特徴の特性を抽出する段階と、当該特性に基づいて当該非線形伝達関数を決定する段階とを含む、実施形態１または２に記載の方法。
【０１５６】
実施形態４：当該耳介の当該画像を撮像する段階は、イヤカップ内の画像センサが、当該耳介の当該画像を撮像する段階を含む、実施形態１から３の何れかに記載の方法。
【０１５７】
実施形態５：音が当該耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する段階は、当該耳介の当該画像を他方の耳介の複数の他の画像と比較する段階であって、当該他方の耳介の各画像が、対応する非線形伝達関数と関連付けられる、比較する段階と、当該比較に基づいて、当該複数の他の画像のうち、当該耳介の当該画像に最も近い１つを決定する段階と、当該非線形伝達関数を、当該複数の他の画像のうちの当該１つと関連付けられる当該対応する非線形伝達関数として特定する段階とを含む、実施形態１から４の何れかに記載の方法。
【０１５８】
実施形態６：当該１つまたは複数のオーディオキューは、当該音の当該空間的位置特定と関連付けられる仰角、距離および速度のうちの１つまたは複数を示す、実施形態１から５の何れかに記載の方法。
【０１５９】
実施形態７：当該トランスデューサが、１つまたは複数のオーディオキューを出力する段階は、当該非線形伝達関数で信号を変調して、当該音の空間的位置特定のための当該１つまたは複数のオーディオキューを定義する変調信号を生成する段階を含む、実施形態１から６の何れかに記載の方法。
【０１６０】
実施形態８：耳介の画像を撮像する段階は、モバイルデバイスによって、複数の向きにおける耳介の複数の画像を撮像する段階を含み、当該複数の向きにおける当該複数の画像は、少なくとも、当該耳介の特徴の間の相対距離と、当該耳介の特徴の深さとを示す、実施形態１から７の何れかに記載の方法。
【０１６１】
実施形態９：当該耳介の当該複数の画像を撮像する段階は、複数の異なる向きにおける当該耳介を撮像するために、当該モバイルデバイスを動かす段階、または、頭を動かす段階を含む、実施形態１から８の何れかに記載の方法。
【０１６２】
実施形態１０：運動センサが、当該モバイルデバイスの向きを受信する段階を更に備え、当該非線形伝達関数を決定する段階は、回転行列が、当該モバイルデバイスの当該向きに基づいて当該複数の画像のうちの１つの画像を回転させる段階を含む、実施形態１から９の何れかに記載の方法。
【０１６３】
実施形態１１：耳介の当該複数の画像は、当該耳介の複数の外形を含む、実施形態１から１０の何れかに記載の方法。
【０１６４】
実施形態１２：当該非線形伝達関数を決定する段階は、当該複数の画像を合成して当該耳介の多次元画像を形成する段階を含む、実施形態１から１１の何れかに記載の方法。
【０１６５】
実施形態１３：当該複数の向きに保持される当該モバイルデバイスによって、当該耳介の複数の画像を撮像する段階は、当該モバイルデバイスによって、頭の左耳および右耳を通過し、かつ、当該頭を真っ二つに分割する、平面における所与の画像を撮像する段階を含む、実施形態１から１２の何れかに記載の方法。
【０１６６】
実施形態１４：メモリに記憶され、かつ、プロセッサにより実行可能である、プログラムコードを備える１つまたは複数の非一時的コンピュータ可読媒体であって、当該プログラムコードは、耳介の画像を撮像することと、当該耳介の当該画像に基づいて、音が当該耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定することと、トランスデューサが、当該耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力することであって、当該１つまたは複数のオーディオキューは、当該非線形伝達関数に基づいている、出力することとを行うためのものである、１つまたは複数の非一時的コンピュータ可読媒体。
【０１６７】
実施形態１５：当該耳介の当該画像を撮像するための当該プログラムコードは、当該耳介から所与の直線距離をおいてモバイルデバイスを位置決めすることと、当該耳介から当該所与の直線距離から当該画像を撮像することとを含む、実施形態１４に記載の１つまたは複数の非一時的機械可読媒体。
【０１６８】
実施形態１６：当該耳介の当該画像を撮像するための当該プログラムコードは、イヤカップ内の画像センサが、当該耳介の当該画像を撮像することを含む、実施形態１４または１５に記載の１つまたは複数の非一時的機械可読媒体。
【０１６９】
実施形態１７：音が当該耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定するための当該プログラムコードは、当該耳介の当該画像を他方の耳介の複数の他の画像と比較することであって、当該他方の耳介の各画像が、対応する非線形伝達関数と関連付けられる、比較することと、当該比較に基づいて、当該複数の他の画像のうち、当該耳介の当該画像に最も近い１つを決定することと、当該非線形伝達関数を、当該複数の他の画像のうちの当該１つと関連付けられる当該対応する非線形伝達関数として特定することとを含む、実施形態１４から１６の何れかに記載の１つまたは複数の非一時的機械可読媒体。
【０１７０】
実施形態１８：当該耳介の当該複数の画像を撮像するための当該プログラムコードは、当該モバイルデバイスを動かすこと、または、頭を動かすことを含む、実施形態１４から１７の何れかに記載の１つまたは複数の非一時的機械可読媒体。
【０１７１】
実施形態１９：耳介の当該複数の画像は、当該耳介の複数の外形を含む、実施形態１４から１８の何れかに記載の１つまたは複数の非一時的機械可読媒体。
【０１７２】
実施形態２０：オーディオデバイスと、メモリに記憶され、かつ、プロセッサにより実行可能である、コンピュータ命令とを備えるシステムであって、当該コンピュータ命令は、当該オーディオデバイスが耳介の画像を撮像する機能と、当該耳介の当該画像に基づいて、音が当該耳介においてどのように変換されるかの特徴を示す非線形伝達関数を決定する機能と、当該オーディオデバイスのトランスデューサが、当該耳介を介した音の空間的位置特定を容易にするための１つまたは複数のオーディオキューを示す信号を出力する機能であって、当該１つまたは複数のオーディオキューは、当該非線形伝達関数に基づいている、出力する機能とを実行するためのものである、システム。
【図１】
2019536395.tif 000003
【図２】
2019536395.tif 000004
【図３】
2019536395.tif 000005
【図４】
2019536395.tif 000006
【図５】
2019536395.tif 000007
【図６Ａ】
2019536395.tif 000008
【図６Ｂ】
2019536395.tif 000009
【図７】
2019536395.tif 000010
【図８】
2019536395.tif 000011
【図９】
2019536395.tif 000012
【図１０Ａ】
2019536395.tif 000013
【図１０Ｂ】
2019536395.tif 000014
【図１０Ｃ】
2019536395.tif 000015
【図１１】
2019536395.tif 000016
【図１２】
2019536395.tif 000017
【図１３】
2019536395.tif 000018
【図１４Ａ】
2019536395.tif 000019
【図１４Ｂ】
2019536395.tif 000020
【図１５】
2019536395.tif 000021
【図１６】
2019536395.tif 000022
【図１７】
2019536395.tif 000023
【図１８】
2019536395.tif 000024
【図１９】
2019536395.tif 000025
【図２０Ａ】
2019536395.tif 000026
【図２０Ｂ】
2019536395.tif 000027
【図２０Ｃ】
2019536395.tif 000028
【国際調査報告】
2019536395.tif 000029
2019536395.tif 000030