(57)【要約】方法は、ポータブルデバイス（例えば、スマートフォン）のセンサを利用して、コンテンツ情報（例えば、音声及び画像）と状況情報の両方を感知する。デバイス処理は、両方に依存するのが望ましい。例えば、いくつかの実施形態は、感知したコンテンツ及び状況の分類に基づいて、何らかのプロセッサ集約的な動作（例えば、コンテンツ認識）を起動する。状況は、そのような動作から生成された情報を記憶する位置を制御することができ、又は例えば、感知された発話が録音されていることを示す警告信号を制御することができる。いくつかの構成は、１つのデバイスによって収集されたセンサデータを、他のデバイスによるアクセス及び処理のために、クラウドリポジトリに掲示する。複数のデバイスは、各々が有し得る（例えば、位置、処理能力、ソーシャルネットワークリソースなどにおける）利点を利用するために、データの収集及び処理を協調して行うことができる。【選択図】図１
2015501438.tif 000002
【特許請求の範囲】
【請求項１】
受け取った音声及び／又は映像情報に第１の分類手順を適用して、複数の可能なタイプの中から前記受け取った情報のタイプを識別するステップと、
受け取った第２の情報に第２の分類手順を適用して、複数の可能なシナリオの中からシナリオを識別するステップであって、前記受け取った第２の情報が、前記受け取った音声又は映像情報とは異なる、ステップと、
前記第１及び第２の分類手順からの出力に基づいて、１つ又は複数の認識モジュールを起動するステップと
を含む方法。
【請求項２】
前記第１及び第２の分類手順が、時間、場所、及び音声情報を参照して、時間地理聴覚シナリオを識別し、前記方法が、前記識別された時間地理聴覚シナリオに基づいて、前記１つ又は複数の認識モジュールを起動するステップを含む、請求項１に記載の方法。
【請求項３】
顔認識モジュールを起動するステップを含む、請求項１に記載の方法。
【請求項４】
受け取った音声情報に第１の分類手順を適用して、前記受け取った音声情報を、発話を含むものであると識別するステップと、
発話認識モジュールを起動して、前記音声情報を処理するステップと、
前記音声情報が取り込まれた位置に少なくとも部分的に基づいて、前記発話認識モジュールからの出力を記憶すべき記憶媒体を識別するステップと
を含む、請求項１に記載の方法。
【請求項５】
前記第１及び第２の分類手順からの出力に基づいて、複数の異なる認識モジュールを起動するステップを含む、請求項１に記載の方法。
【請求項６】
１つ又は複数の認識モジュールを識別して起動するルールモジュールに、前記第１及び第２の分類手順からの出力を適用するステップを含む、請求項１に記載の方法。
【請求項７】
前記受け取った第２の情報が、前記第１の分類手順から出力された情報を含む、請求項１に記載の方法。
【請求項８】
前記受け取った第２の情報が、ソーシャルネットワーク情報を含む、請求項１に記載の方法。
【請求項９】
前記受け取った第２の情報が、近辺にいる１人又は複数の人たちについての情報を含む、請求項１に記載の方法。
【請求項１０】
受け取った音声及び／又は映像情報に第１の分類手順を適用して、第１のタイプ及び第２のタイプの、２つの可能なタイプの中から前記受け取った情報のタイプを識別するステップと、
前記受け取った情報が前記第１のタイプと識別された場合、前記受け取った情報に複数の認識技術の第１の組み合わせを適用するステップと、
前記受け取った情報が前記第２のタイプと識別された場合、前記受け取った情報に複数の認識技術の第２の組み合わせを適用するステップと
を含み、
前記認識技術の少なくとも一方が、透かし又はフィンガプリントに基づく認識技術であり、前記第１及び第２の組み合わせが、すべて異なる、
方法。
【請求項１１】
前記第１の分類手順を適用して、第１のタイプ、第２のタイプ、及び第３のタイプの、３つの可能なタイプの中から前記受け取った情報の前記タイプを識別するステップと、
前記受け取った情報が前記第３のタイプと識別された場合、前記受け取った情報に複数の認識技術の第３の組み合わせを適用するステップと
を含み、
前記第１のタイプ、第２のタイプ、及び第３のタイプが、すべて異なる、
請求項１０に記載の方法。
【請求項１２】
ユーザのデバイスにおいて受け取った音声に適用される音声分類プロセスに基づいて、音声を、発話を含むものであると識別するステップと、
前記識別に少なくとも部分的に基づいて、発話認識モジュールを起動するステップと、
前記デバイスの近くの別の人の存在を判定するステップと、
前記判定の結果に少なくとも部分的に基づいて、警告信号を起動するステップと
を含む方法。
【請求項１３】
前記別の人が前記ユーザに馴染みのない人である場合、前記警告信号を起動するステップを含む、請求項１２に記載の方法。
【請求項１４】
前記ユーザと前記別の人との関係に基づいて、前記警告信号の押し付けがましさを制御するステップを含む、
請求項１２に記載の方法。
【請求項１５】
ユーザのデバイスの近くに人が存在することを判定するステップと、
前記判定に少なくとも部分的に基づいて、前記ユーザのデバイスによって取り込まれた画像に顔認識手順を適用するステップと
を含む方法。
【請求項１６】
１つ又は複数の電磁気信号を参照して、前記人が存在することを決定するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記判定するステップが、前記ユーザのデバイスの近くに前記ユーザが知っている人が存在することを判定するサブステップを含む、請求項１５に記載の方法。
【請求項１８】
感知された無線信号を参照して、前記人を識別しようと試みるステップと、前記試みの結果に少なくとも部分的に基づいて、前記顔認識手順を適用するステップとを含む、請求項１６に記載の方法。
【請求項１９】
前記人と前記ユーザとのソーシャルネットワーク関係を判定するステップと、前記ソーシャルネットワーク関係の前記判定の結果に少なくとも部分的に基づいて、前記顔認識手順を適用するステップとを含む、請求項１５に記載の方法。
【請求項２０】
コンピュータ制御システムが、第１の状態から第２の状態へのユーザの状況の変化を感知するステップであって、前記第２の状態が、前記第１の状態よりも大きな音声レベルを含む、ステップと、
前記感知された変化に少なくとも部分的に基づいて、音声コンテンツ認識動作に対するユーザの関心について質問し、前記質問に応答するユーザ入力又は前記ユーザ入力の欠如に従って、音声コンテンツ認識に着手するステップと、
前記ユーザ入力又は前記ユーザ入力の欠如に関する情報を記憶するステップと、
時間をかけて前記質問に対する前記ユーザの応答から学習し、音声環境が前記第１の状態から前記第２の状態に変化したときに、ユーザの関心について質問することなく、コンテンツ認識に自動的に着手するステップと
を含む方法。
【請求項２１】
前記学習するステップが、前記システムが音声コンテンツ認識動作に対するユーザの関心について質問すべき、前記第１の状態と第２の状態との間の音声レベルの閾値の変更を決定するサブステップをさらに含む、請求項２０に記載の方法。
【請求項２２】
顔認識のための画像データを提供するカメラの軸が、閾値量を超えるまで水平からそれたことを検出したときに、顔認識モジュールの動作を中断するステップを含む方法。
【請求項２３】
焦点距離を示すカメラシステムからのデータに少なくとも部分的に基づいて、顔認識モジュールの動作を制御するステップを含む方法。
【請求項２４】
ユーザ携帯デバイスのマイクロフォンを使用して、第１のデバイスによって放射されるサブリミナル信号を感知するステップと、前記感知された信号に関するデータを、前記ユーザ携帯デバイス以外のデバイスによってアクセスするために、リモート記憶域サイトに掲示するステップとを含む方法。
【請求項２５】
前記第１のデバイスが、別のユーザによって運ばれるポータブルデバイスを含む、請求項２４に記載の方法。
【請求項２６】
前記感知された信号が、前記第１のデバイスについての識別情報及び状況情報を含む情報を運び、前記方法が、前記ユーザ携帯デバイスについての識別情報及び状況情報を含む追加情報と一緒に、前記情報を前記リモート記憶域サイトに掲示するステップを含む、請求項２４に記載の方法。
【請求項２７】
第１のユーザによって運ばれる第１のデバイスが、第２のユーザによって運ばれる第２のデバイスと無線で通信して、画像又は音声処理タスクに着手するのにどちらのデバイスがより適しているかを決定するステップと、
前記決定されたデバイスを使用して前記タスクに着手するステップと、
前記タスクの結果を他方のデバイスと共有するステップと
を含む方法。
【請求項２８】
前記タスクが、顔認識を含む、請求項２７に記載の方法。
【請求項２９】
それぞれ第１及び第２のユーザによって運ばれる第１及び第２のデバイスが、前記ユーザによって占められる環境から、それぞれ第１及び第２の情報を感知するステップと、
前記デバイスの各々が、感知した前記情報を処理するステップと、
前記デバイスの各々が、前記処理からの出力データを他方のデバイスから利用可能にするステップと
を含む方法。
【請求項３０】
前記第１のデバイスが、第２のデバイスによって生成された出力データを受け取り、前記第２のデバイスから受け取ったこの出力データを、前記第１のデバイス自体の処理によって出力されたデータの代わりに使用する、請求項２９に記載の方法。
【請求項３１】
前記第１のデバイスが、前記第２の情報を処理する際に前記第２のデバイスによっては使用されないソーシャルネットワーク情報を使用して、前記第１の情報を処理するステップを含む、請求項２９に記載の方法。
【請求項３２】
それぞれ第１及び第２のユーザによって運ばれる第１及び第２のデバイスが、前記ユーザによって占められる環境から、それぞれ第１及び第２の情報を感知するステップと、
前記第１のデバイスが、前記第１の情報を前記第２のデバイスから利用可能にするステップと、
前記第２のデバイスが、前記第１のデバイスから利用可能ではないソーシャルネットワーク情報と一緒に、前記第１の情報を処理して、出力情報を生成するステップと
を含む方法。
【請求項３３】
前記第２のデバイスが、前記出力情報を前記第１のデバイスから利用可能にするステップを含む、請求項３２に記載の方法。
【請求項３４】
デバイスカメラからの画像データに基づいて、ユーザの両目が配置された軸線を感知するステップと、
前記感知された軸線に少なくとも部分的に基づいて、前記デバイス上のディスプレイを制御するステップと
を含む方法。
【請求項３５】
ユーザのデバイスによって取り込まれた音声データを使用して、音シーンを会議と特徴付けるステップと、
前記会議についての入力をネットワーク接続されたスケジューリングカレンダに提示して、前記会議が行われている部屋が、前記カレンダ上で使用中と示されるようにするステップと
を含む方法。
【請求項３６】
前記会議についての時間間隔を前記カレンダに提示して、前記部屋が、前記カレンダ上でその間隔の間は使用中と示されるようにするステップをさらに含む、請求項３５に記載の方法。
【請求項３７】
ユーザのデバイスによって収集された情報に少なくとも部分的に基づいて、前記時間間隔を推定するステップを含む、請求項３６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートフォンのセンサロジックに関する。
【関連出願の相互参照】
【０００２】
米国において、本出願は、２０１１年９月２３日に出願された米国特許仮出願第６１／５３８５７８号、及び２０１１年１０月３日に出願された米国特許仮出願第６１／５４２７３７号の優先権を主張する。
【背景技術】
【０００３】
米国特許出願公開第２０１１０２１２７１７号、第２０１１０１６１０７６号、及び第２０１２０２０８５９２号において、本発明の譲受人は、状況に従って応答する様々なスマートフォン構成について詳述した。本明細書は、これらの教示をいくつかの点で拡充する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｒｕｉ  Ｃａｉ、Ｌｉｅ  Ｌｕ、Ａｌａｎ  Ｈａｎｊａｌｉｃ、Ｈｏｎｇ−Ｊｉａｎｇ  Ｚｈａｎｇ、Ｌｉａｎ−Ｈｏｎｇ  Ｃａｉ、「Ａ  ｆｌｅｘｉｂｌｅ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｋｅｙ  ａｕｄｉｏ  ｅｆｆｅｃｔｓ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ａｕｄｉｔｏｒｙ  ｃｏｎｔｅｘｔ  ｉｎｆｅｒｅｎｃｅ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ａｕｄｉｏ，ｓｐｅｅｃｈ，ａｎｄ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．１４、ｎｏ．１３、２００６年５月、（ＭＳＲＡ  ｇｒｏｕｐ）
【非特許文献２】Ｊａｌｉｌ  Ｓｈｉｒａｚｉ、Ｓｈａｈｒｏｋｈ  Ｇｈａｅｍｍａｇｈａｍｉ、「Ｉｍｐｒｏｖｅｍｅｎｔ  ｔｏ  ｓｐｅｅｃｈ−ｍｕｓｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｕｓｉｎｇ  ｓｉｎｕｓｏｉｄａｌ  ｍｏｄｅｌ  ｂａｓｅｄ  ｆｅａｔｕｒｅｓ」、Ｍｕｌｔｉｍｅｄ  Ｔｏｏｌｓ  Ａｐｐｌ、ｖｏｌ．５０、４１５〜４３５ページ、２０１０年（Ｉｓｌａｍｉｃ  Ａｚａｄ  Ｕｎｉｖｅｒｓｉｔｙ、Ｉｒａｎ；Ｓｈａｒｉｆ  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙ、Ｉｒａｎ）
【非特許文献３】Ｚｈｏｎｇ−Ｈｕａ  Ｆｕ、Ｊｈｉｎｇ−Ｆａ  Ｗａｎｇ、Ｌｅｉ  Ｘｉｅ、「Ｎｏｉｓｅ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｓｐｅｅｃｈ−ｍｕｓｉｃ  ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｉｎ  ｒｅａｌ−ｔｉｍｅ  ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ」、Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ、２００９  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  （ＩＣＭＥ  ２００９）、５７４〜５７７ページ、２００９年、（Ｎｏｒｔｈｗｅｓｔｅｒｎ  Ｐｏｌｙｔｅｃｈ  Ｕｎｉｖ．、Ｃｈｉｎａ；Ｎａｔｉｏｎａｌ  Ｃｈｅｎｇ  Ｋｕｎｇ  Ｕｎｉｖｅｒｓｉｔｙ、Ｔａｉｗａｎ）
【非特許文献４】Ｅｂｒｕ  Ｄｏｇａｎ他、「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｍｉｘｅｄ−ｔｙｐｅ  ａｕｄｉｏ  ｂｙ  ｕｓｉｎｇ  ＭＰＥＧ−７  ｆｅａｔｕｒｅｓ」、２００９  Ｆｉｒｓｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｄｖａｎｃｅｓ  ｉｎ  Ｍｕｌｔｉｍｅｄｉａ、２００９年、（ＡＳＥＬＳＡＮ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｉｎｄｕｓｔｒｉｅｓ  Ｉｎｃ．；Ｂａｓｋｅｎｔ  Ｕｎｉｖ．；Ｍｉｄｄｌｅ  Ｅａｓｔ  Ｔｅｃｈｎｉｃａｌ  Ｕｎｉｖ．、Ｔｕｒｋｅｙ）
【非特許文献５】Ｅｒｌｉｎｇ  Ｗｏｌｄ、Ｔｈｏｒｎ  Ｂｌｕｍ、Ｄｏｕｇｌａｓ  Ｋｅｉｓｌａｒ、Ｊａｍｅｓ  Ｗｈｅａｔｏｎ、「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｓｅａｒｃｈ  ａｎｄ  ｒｅｔｒｉｅｖａｌ  ｏｆ  ａｕｄｉｏ」、ＩＥＥＥ  Ｍｕｌｔｉｍｅｄｉａ  Ｍａｇａｚｉｎｅ、ｖｏｌ．３、ｎｏ．３、２７〜３６ページ、１９９６年、（Ｍｕｓｃｌｅ  Ｆｉｓｈ）
【非特許文献６】Ｊｏｎａｔｈａｎ  Ｆｏｏｔｅ、「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｒｅｔｒｉｅｖａｌ  ｏｆ  ｍｕｓｉｃ  ａｎｄ  ａｕｄｉｏ」、Ｍｕｌｔｉｍｅｄｉａ  ｓｔｏｒａｇｅ  ａｎｄ  ａｒｃｈｉｖｉｎｇ  ｓｙｓｔｅｍｓ  ＩＩ、Ｐｒｏｃ．  Ｏｆ  ＳＰＩＥ、ｖｏｌ．３２２９、１３８〜１４７ページ、１９９７年、（Ｎａｔｉｏｎａｌ  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｓｉｎｇａｐｏｒｅ）
【非特許文献７】Ｔｏｎｇ  Ｚｈａｎｇ、Ｃ．−Ｃ．Ｊ．Ｋｕｏ、「Ａｕｄｉｏ−ｇｕｉｄｅｄ  ａｕｄｉｏｖｉｓｕａｌ  ｄａｔａ  ｓｅｇｍｅｎｔａｔｉｏｎ，ｉｎｄｅｘｉｎｇ，ａｎｄ  ｒｅｔｒｉｅｖａｌ」、Ｉｎ  Ｐｒｏｃ．  Ｏｆ  ＳＰＩＥ  ｓｔｏｒａｇｅ  ａｎｄ  ｒｅｔｒｉｅｖａｌ  ｆｏｒ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ  ＶＩＩ、１９９９年、（Ｉｎｔｅｇｒａｔｅｄ  Ｍｅｄｉａ  Ｓｙｓｔｅｍ  Ｃｅｎｔｅｒ、ＵＳＣ）
【非特許文献８】Ｚｈｕ  Ｌｉｕ、Ｙａｏ  Ｗａｎｇ、Ｔｓｕｈａｎ  Ｃｈｅｎ、「Ａｕｄｉｏ  ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｉｏｎ  ａｎｄ  ａｎａｌｙｓｉｓ  ｆｏｒ  ｓｃｅｎｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、Ｊｏｕｒｎａｌ  ｏｆ  ＶＬＳＩ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ、６１〜７９ページ、１９９８年、（Ｐｏｌｙｔｅｃｈｎｉｃ  Ｕｎｉｖｅｒｓｉｔｙ）
【非特許文献９】Ｌｉｅ  Ｌｕ、Ｓｔａｎ  Ｚ．Ｌｉ、Ｈｏｎｇ−Ｊｉａｎｇ  Ｚｈａｎｇ、「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ａｕｄｉｏ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅｓ」、ＩＣＭＥ  ２００１、（ＭＳＲＡ）
【非特許文献１０】Ｌｉｅ  Ｌｕ、Ｈａｏ  Ｊｉａｎｇ、Ｈｏｎｇｊｉａｎｇ  Ｚｈａｎｇ、「Ａ  ｒｏｂｕｓｔ  ａｕｄｉｏ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｍｅｔｈｏｄ」、ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ、２００１年、（ＭＳＲＡ）
【非特許文献１１】Ｌｉｅ  Ｌｕ、Ａｌａｎ  Ｈａｎｊａｌｉｃ、「Ｔｅｘｔ−ｌｉｋｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｇｅｎｅｒａｌ  ａｕｄｉｏ  ｆｏｒ  ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｒｅｔｒｉｅｖａｌ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ、ｖｏｌ．１１、ｎｏ．４、２００９年６月
【非特許文献１２】Ｅｒｉｃ  Ｓｃｈｅｉｒｅｒ、Ｍａｌｃｏｌｍ  Ｓｌａｎｅｙ、「Ｃｏｎｓｔｒｕｃｔｉｏｎ  ａｎｄ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ａ  ｒｏｂｕｓｔ  ｍｕｌｔｉｆｅａｔｕｒｅ  ｓｐｅｅｃｈ／ｍｕｓｉｃ  ｄｉｓｃｒｉｍｉｎａｔｏｒ」、ＩＣＡＳＳＰ  １９９７、（ΜＩＴ  Ｍｅｄｉａ  Ｌａｂ）
【非特許文献１３】Ｄｏｎｇ−Ｃｈｕｌ  Ｐａｒｋ、「Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｕｓｉｎｇ  Ｆｕｚｚｙ  ｃ−ｍｅａｎｓ  ｗｉｔｈ  ｄｉｖｅｒｇｅｎｃｅ−ｂａｓｅｄ  ｋｅｒｎｅｌ」、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ、ｖｏｌ．３０、ｉｓｓｕｅ  ９、２００９年、（Ｍｙｏｎｇ  Ｊｉ  Ｕｎｉｖｅｒｓｉｔｙ、Ｒｅｐｕｂｌｉｃ  ｏｆ  Ｋｏｒｅａ）
【非特許文献１４】Ｍｉｋｋｏ  Ｐｅｒｔｔｕｎｅｎ、Ｍａｘ  Ｖａｎ  Ｋｌｅｅｋ、Ｏｒａ  Ｌａｓｓｉｌａ、Ｊｕｋｋａ  Ｒｉｅｋｋｉ、「Ａｕｄｉｔｏｒｙ  ｃｏｎｔｅｘｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ＳＶＭｓ」、Ｔｈｅ  ｓｅｃｏｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｏｂｉｌｅ  Ｕｂｉｑｕｉｔｏｕｓ  Ｃｏｍｐｕｔｉｎｇ，Ｓｙｓｔｅｍｓ，Ｓｅｒｖｉｃｅｓ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｉｅｓ  （Ｕｂｉｃｏｍｍ  ２００８）、２００８年、（Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｏｕｌｕ、Ｆｉｎｌａｎｄ；ＣＳＡＩＬ、ＭＩＴ；Ｎｏｋｉａ  Ｒｅｓｅａｒｃｈ  Ｃｅｎｔｅｒ  Ｃａｍｂｒｉｄｇｅ、ＭＡ）
【非特許文献１５】Ｍｉｋｋｏ  Ｐｅｒｔｔｕｎｅｎ、Ｍａｘ  Ｖａｎ  Ｋｌｅｅｋ、Ｏｒａ  Ｌａｓｓｉｌａ、ａｎｄ  Ｊｕｋｋａ  Ｒｉｅｋｋｉ、「Ａｎ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｏｆ  ａｕｄｉｔｏｒｙ  ｃｏｎｔｅｘｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｍｏｂｉｌｅ  ｄｅｖｉｃｅｓ」、Ｔｅｎｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｏｂｉｌｅ  Ｄａｔａ  Ｍａｎａｇｅｍｅｎｔ：Ｓｙｓｔｅｍｓ，Ｓｅｒｖｉｃｅｓ  ａｎｄ  Ｍｉｄｄｌｅｗａｒｅ、２００９年、（Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｏｕｌｕ、Ｆｉｎｌａｎｄ；ＣＳＡＩＬ、ΜＩＴ；Ｎｏｋｉａ  Ｒｅｓｅａｒｃｈ  Ｃｅｎｔｅｒ  Ｃａｍｂｒｉｄｇｅ、ＭＡ）
【非特許文献１６】Ｒｅｎｅ  Ｔｅｉｘｅｉｒａ、Ｔｏｓｈｉｈｉｋｏ  Ｙａｍａｓａｋｉ、Ｋｉｙｏｈａｒｕ  Ａｉｚａｗａ、「Ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  ｅｍｏｔｉｏｎａｌ  ｃｏｎｔｅｎｔ  ｏｆ  ｖｉｄｅｏ  ｃｌｉｐｓ  ｂｙ  ｌｏｗ−ｌｅｖｅｌ  ａｕｄｉｏｖｉｓｕａｌ  ｆｅａｔｕｒｅｓ」、Ｍｕｌｔｉｍｅｄｉａ  Ｔｏｏｌｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ、１〜２９ページ、２０１年１月、（Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｔｏｋｙｏ）
【非特許文献１７】Ｌｅｉ  Ｘｉｅ、Ｚｈｏｎｇ−Ｈｕａ  Ｆｕ、Ｗｅｉ  Ｆｅｎｇ、Ｙｏｎｇ  Ｌｕｏ、「Ｐｉｔｃｈ−ｄｅｎｓｉｔｙ−ｂａｓｅｄ  ｆｅａｔｕｒｅｓ  ａｎｄ  ａｎ  ＳＶＭ  ｂｉｎａｒｙ  ｔｒｅｅ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｍｕｌｔｉ−ｃｌａｓｓ  ａｕｄｉｏ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｉｎ  ｂｒｏａｄｃａｓｔ  ｎｅｗｓ」、Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ、ｖｏｌ．１７、１０１〜１１２ページ、２０１１年、（Ｎｏｒｔｈｗｅｓｔｅｒｎ  Ｐｏｌｙｔｅｃｈｎｉｃ  Ｕｎｉｖｅｒｓｉｔｙ、Ｃｈｉｎａ）
【非特許文献１８】Ｌｉｅ  Ｌｕ、Ａｌａｎ  Ｈａｎｊａｌｉｃ、「Ｔｅｘｔ−ｌｉｋｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｇｅｎｅｒａｌ  ａｕｄｉｏ  ｆｏｒ  ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｒｅｔｒｉｅｖａｌ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ、ｖｏｌ．１１、ｎｏ．４、６５８〜６９９ページ、２００９年、（ＭＳＲＡ；Ｄｅｌｆｔ  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｔｅｃｈｎｏｌｏｇｙ、Ｎｅｔｈｅｒｌａｎｄｓ）
【非特許文献１９】Ｃｈｅｎ他、Ｍｉｘｅｄ  Ｔｙｐｅ  Ａｕｄｉｏ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ、２００６  ＩＥＥＥ  Ｉｎｔ’ｌ  Ｃｏｎｆ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ、７８１〜７８４ページ
【非特許文献２０】Ｈａｒｂ他、Ｒｏｂｕｓｔ  Ｓｐｅｅｃｈ  Ｍｕｓｉｃ  Ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  Ｕｓｉｎｇ  Ｓｐｅｃｔｒｕｍ’ｓ  Ｆｉｒｓｔ  Ｏｒｄｅｒ  Ｓｔａｔｉｓｔｉｃｓ  ａｎｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ、７ｔｈ  Ｉｎｔ’ｌ  Ｓｙｍｐ．  ｏｎ  Ｓｉｇｎａｌ  Ｐｒｏｃ．  ａｎｄ  ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ、２００３年
【発明の概要】
【０００５】
一態様によれば、本発明の技術によるシステム及び方法は、スマートフォンを使用して、聴覚情報及び／又は視覚情報を感知し、聴覚情報及び／又は視覚情報を第１の分類器モジュールに提供する。第１の分類器モジュールは、入力された聴覚−視覚刺激を、タイプ（例えば、音楽、発話、無音、ビデオ画像、自然風景、顔など）によって特徴付ける。第２の分類器モジュールは、時間、曜日、位置、カレンダデータ、時計の目覚ましステータス、運動センサ、フェイスブック（Ｆａｃｅｂｏｏｋ）ステータスなどの（第１の分類器モジュールからの出力を含み得る）他の状況情報を処理し、デバイス状態タイプ、又はシナリオを特徴付けるデータを出力する。その後、制御ルールモジュールが、２つの分類器モジュールからの出力に従って、１つ又は複数のコンテンツ認識モジュールに制御信号を送出する。
【０００６】
制御信号は、異なる認識モジュールを簡単に有効又は無効にすることができる。加えて、認識モジュールが有効にされた場合、制御信号は、モジュールがその認識機能を実行する、頻度若しくはスケジュール、又は他のパラメータ（複数可）を設定することができる。
【０００７】
そのような構成は、状況に不必要又は不適切な動作を試みないことによって、バッテリ電力を節約する。さらに、そのような構成は、アイドル中の認識動作には処理リソースが割かれないので、他のスマートフォン動作の助けとなる。
【０００８】
本発明の技術の上記及び他の特徴及び利点は、添付の図面を参照しながら進められる、以下の詳細な説明からより容易に明らかとなろう。
【図面の簡単な説明】
【０００９】
【図１】本発明の技術のいくつかの態様を含む例示的な一実施形態を示す図である。
【図２】図１の実施形態において使用できるコンテンツ認識モジュールのいくつかを示す図である。
【図３】本発明の技術の態様を利用するプロセスのブロック図である。
【図４】本発明の技術の態様を利用する装置のブロック図である。
【図５】異なる音声認識エージェントが、音声分類データに基づいてどのように起動されるのかを、一実施形態について説明するイベントコントローラテーブルである。
【図６】異なる音声認識エージェントが、音声分類データに基づいてどのように起動されるのかを、一実施形態について説明するフローチャートである。
【図７】異なる画像認識エージェントが、光センサ及び運動センサからの出力並びに画像分類データに基づいてどのように起動されるのかを、一実施形態について説明するイベントコントローラテーブルである。
【図８】異なる画像認識エージェントが、光センサ及び運動センサからの出力並びに画像分類データに基づいてどのように起動されるのかを、一実施形態について説明するフローチャートである。
【発明を実施するための形態】
【００１０】
図１を参照すると、本発明の技術のいくつかの態様を含む例示的な一実施形態１０は、１つ又は複数のマイクロフォン１２、カメラ１４、音声−映像分類器モジュール１６、第２の分類器モジュール１８、制御ルールモジュール２０、及びコンテンツ認識モジュール２２を含む。これらの構成要素はすべて、スマートフォン内に含むことができる。代替として、これらの構成要素は、（クラウドを含む）異なる位置及び／又は異なるデバイスに分散させることができる。
【００１１】
１つの適切なスマートフォンは、アップル（Ａｐｐｌｅ）ｉＰｈｏｎｅ  ４デバイスであり、このデバイスは、２つのカメラ（１つは前向き、１つは後向き）と、２つのマイクロフォンとを含む。別のデバイスとして、ＨＴＣ  ＥＶＯ  ３Ｄがあり、このデバイスは、ステレオカメラ（ともに後向き）を含む。
【００１２】
音声−映像分類器モジュール（複数可）１６は、マイクロフォン（複数可）及び／又はカメラ（複数可）によって取り込まれたデータを処理し、そのような音声−映像コンテンツをタイプによって分類する。
【００１３】
当業者が熟知しているように（また、ウィキペディア（Ｗｉｋｉｐｅｄｉａ）の記事「Ｓｔａｔｉｓｔｉｃａｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ」において説明されているように）、分類は、１組のカテゴリ（部分母集団）のうちのどれに新しい観察対象が属するかを識別する問題である。個々の観察対象は、分析して、変数、特徴などとして様々に知られる１組の定量化可能な属性に当てはめることができる。これらの属性は、分類的なもの（例えば、血液型の場合の「Ａ」、「Ｂ」、「ＡＢ」、又は「Ｏ」）、順序的なもの（例えば、「大」、「中」、又は「小」）などとすることができる。よく知られた（しかし時には難しい）分類問題は、電子メールをスパムと識別するか、それとも非スパムと識別するかである。分類を実施するアルゴリズム又は手順は、分類器として知られている。
【００１４】
従来、分類は、どのカテゴリのメンバであるかが知られている観察対象（又はインスタンス）を含む、データのトレーニングセットに基づいて実行される。分類は、この意味において、管理された機械学習、すなわち、正しく識別された観察対象からなるトレーニングセットが利用可能な学習の一例と考えられる。それに対応する管理されていない手順は、クラスタリング（又はクラスタ分析）として知られており、内在する類似性の何らかの尺度（例えば、多次元ベクトル空間内のベクトルと考えられるインスタンスの間の距離）に基づいて、データをカテゴリに分類することを含む。本出願の目的では、分類は、クラスタリングを含むと考えられる。
【００１５】
１つの例示的な分類器モジュール１６は、音声分類器であり、音声分類器は、入力刺激を、発話、音楽、背景音／不確定音、又は無音に分類する。最初の３つに対して、モジュールは、音声の音量も、大音量、中音量、又は小音量に分類する。
【００１６】
例示的な音声分類技法は、後のセクションにおいて詳述される。
【００１７】
簡単な一実施形態は、音声分類器の出力に従って、以下のように、異なるコンテンツ認識モジュールを起動する。
【表１】
2015501438.tif 000003
【００１８】
すなわち、音声分類器モジュールが、感知した音声を「無音」又は「小音量の背景音」に分類した場合、個々のコンテンツ認識モジュールは、３つすべてが、「オフ」になるように制御される。感知した音声が音楽に分類された場合、システムは、ニールセン（Ｎｉｅｌｓｅｎ）音声透かし検出器及びグレイスノート（Ｇｒａｃｅｎｏｔｅ）フィンガプリントエンジンを起動するが、ニュアンス（Ｎｕａｎｃｅ）発話認識エンジンはオフのままにしておく。
【００１９】
感知した音声が発話に分類された場合、音声透かし検出器が、発話認識エンジンと同様に起動されるが、フィンガプリント演算は、実行されない。
【００２０】
音声分類器が、大音量又は中音量の音響的背景を識別したが、そのタイプをさらに分類できなかった場合、音声透かし検出器、フィンガプリントエンジン、及び発話認識エンジンが、すべて起動される。
【００２１】
したがって、コンテンツ分類器によって示されるコンテンツのタイプに基づいて、認識技術の異なる組み合わせが入力コンテンツに適用されることが理解されよう。
【００２２】
（個々の認識モジュールはどれも、当業者には馴染み深いものである。手短に復習しておくと、ニールセンは、視聴率調査などのために、ニールセンが番組を識別する助けとなるように、米国内のテレビ放送のほぼすべてを、放送源及び時刻データを符号化した音声透かしとともに符号化している。ニールセンは、放送から復号した放送源／時刻データを番組名及び他の識別子と関連付けるデータベースを管理している。そのような透かし技術は、例えば、米国特許第６９６８５６４号及び第７００６５５５号で詳述されている。グレイスノートは、音楽認識を可能にするために、音声フィンガプリント技術を使用する。特徴データが、フィンガプリントエンジンによって音声から取り出され、参照フィンガプリントデータを格納するデータベースに問い合わせを行うために使用される。検索結果が見つかった場合、関連する歌識別データがデータベースから返される。グレイスノートは、フィリップス（Ｐｈｉｌｉｐｓ）によって最初に開発された、例えば、米国特許出願公開第２００６００７５２３７号及び第２００６００４１７５３号で詳述されている、フィンガプリント技術を使用する。ニュアンスは、一般向けの発話認識技術を提供する。そのスピーチマジック（ＳｐｅｅｃｈＭａｇｉｃ）ＳＤＫ及び／又はナチュラリスピーキング（ＮａｔｕｒａｌｌｙＳｐｅａｋｉｎｇ）ＳＤＫは、発話認識機能を提供するために、本発明の技術の実施形態に組み込むことができる）。
【００２３】
第２の分類器モジュール１８は、状況情報に従って、デバイス状態タイプデータ、又はシナリオ識別データを出力する。この状況情報は、音声及び／又は映像環境の分類（すなわち、図１の破線によって示されるように、音声−映像分類器モジュール（複数可）１６による分類）を含むことができ、一般に、他の情報も含む。
【００２４】
この他の状況情報は、限定することなく、一日の時刻、曜日、位置、カレンダデータ、時計の目覚ましステータス、運動及び向きセンサデータ、（例えば、フェイスブックからの）ソーシャルネットワーク情報などを含むことができる。
【００２５】
第２の分類器モジュールによって決定されるような、いくつかのデバイス状態タイプ（すなわち、「就業時間後でオフィスを出ている」及び「就業時間中でオフィスにいる」）を含むように表Ｉの情報を拡張した表ＩＩについて検討する。
【表２】
2015501438.tif 000004
【００２６】
表ＩＩの最初の５行は、表Ｉと同一であることが理解されよう。それらの行は、就業時間後にユーザがオフィスを出ているときに、主な音声環境が与えられた場合に、異なるモジュールをどのように制御するかを詳述している。
【００２７】
後半の１組の行は異なる。これらは、就業時間中にユーザがオフィスにいるときのデバイス状態タイプに対応する。見て分かるように、この状況では（すなわち、発話又は大音量の背景音が感知されたときに）、発話認識エンジンだけしか起動されず他のモジュールは、音声環境にかかわらず、アイドルのままである。
【００２８】
ユーザが「就業時間中でオフィスにいる」のか、それとも「就業時間後でオフィスを出ている」のかを判定するために、第２の分類器モジュール１８は、一日の時刻データ及びＧＰＳデータなどの入力を、参照データと関連させて使用する。この参照データは、特定のスマートフォンユーザのために、就業時間に分類すべき一日の時刻（例えば、月曜日〜金曜日の午前８時〜午後５時）、及びオフィス所在地に分類すべき位置（例えば、緯度４５．４５１８°、経度−１２２．７９３２°、＋／−０．００１２°）を定める。
【００２９】
この構成は、ユーザが仕事中は、歌又はテレビ番組を認識しようと試みないことによって、バッテリ電力を節約することが理解されよう。この構成は、アイドル中の認識動作には処理リソースが割かれないので、仕事中にスマートフォンが実行するように命令されることがある他のタスクの助けにもなる。
【００３０】
より一般的には、スマートフォンは、この簡単な例の要因以外の他の要因も考慮する。表ＩＩＩＡは、第２の分類器モジュール１８によって分類される、より詳細なシナリオを示している。
【表３】
2015501438.tif 000005
【００３１】
状況のこの同時発生は、第２の分類器モジュールによって、「シナリオ１」に分類される。シナリオ１は、ユーザがおそらくは就寝中のシナリオ（平日の午前６：３０前であり、目覚ましが午前６：３０に設定されており、スマートフォンが静かな暗い環境において静止している）に対応する。シナリオ１に関連付けられた制御ルール２０は、コンテンツ認識モジュールのすべてを非アクティブにしておく。
【００３２】
以下のシナリオは、第２の分類器モジュールによって分類される、他のシナリオを示している。
【表４】
2015501438.tif 000006
【表５】
2015501438.tif 000007
【表６】
2015501438.tif 000008
【表７】
2015501438.tif 000009
【表８】
2015501438.tif 000010
【表９】
2015501438.tif 000011
【表１０】
2015501438.tif 000012
【００３３】
シナリオ２（表ＩＩＩＢ）は、起床後、自宅を出るまでのユーザに対応する。ルールは、ユーザがテレビで朝のニュース番組を見ている、ラジオを聴いている、又は配偶者と話をしているであろう、この時間帯に適した命令を含む。テレビで論じられている事柄についての追加のウェブコンテンツにユーザがリンクできるように、特に、ニールセン透かし検出器がアクティブである。ラジオから流れてくる魅力的な歌をユーザが特定できるように、フィンガプリントエンジンもアクティブである。帰宅時にケチャップと、グレープと、アルミホイルと、郵便切手とを買ってくるようにという配偶者の口頭の指図が、後の参照用に録音されるように、音声認識も有効にすることができる。
【００３４】
ユーザのスマートフォンは、顔認識を含む、様々な映像コンテンツ認識機能も含む。制御ルールは、シナリオ２において、顔認識を無効にすることを指定するが、その理由は、こんな早い時間に自宅で出会う人の顔を思い出すようユーザを促す必要があるとは予想されないからである。
【００３５】
シナリオ３（表ＩＩＩＣ）は、仕事に向かうために自動車を運転しているユーザに対応する。この環境ではテレビ音声は予想されないので、ニールセン透かし検出器は、無効にされる。しかし、歌認識及びトークラジオからのニュースの録音は、役立つことがあるので、フィンガプリントエンジン及び発話認識エンジンは、有効にされる。今回も、顔認識は無効にされる。
【００３６】
異なるユーザは、仕事に向かうために、自動車を運転する代わりに、バスに乗ることがある。このユーザのための第２のシナリオの制御ルールは、異なることがある。カーラジオがなく、歌認識は不必要であるので、フィンガプリントエンジンは、無効にされる。しかし、ユーザは、時々バスの中で面白い会話を立ち聞きすることがあるので、何かユーモラスな対話を同僚にも聞かせることができるように、発話認識が有効にされる。時には、ユーザは、認識すべき人であるが、この異なる環境では名前を思い出せない人、例えば、子供が所属するサッカーチームのチームメートの親とバスの中で会う。こうした事態に備えるために、スマートフォンの顔認識機能が、メモリ内にロードされ、動作の準備を整えるが、ユーザが合図を送るまでは、カメラ画像のフレームを処理しない。（合図は、ユーザがスマートフォンを所定の姿勢に保って、「ｗｈｏ」という単語を言うことを含むことができる）。
【００３７】
第２の分類器モジュールがシナリオ４として識別する、表ＩＩＩＤにおいて詳述されるセンサ情報の同時発生は、ユーザが自分のデスクで午前中の仕事をしている状況に対応する。スマートフォンは、静かな仕事環境において、ある面上に、明らかに前面を上に向けて横たえられている。対応する制御ルールは、すべての認識モジュールが無効にされることを指定する。しかし、音声分類器が、中音量若しくは大音量の背景音、又は発話への、音声環境の変化を示した場合、ルールは、スマートフォンに発話認識モジュールを有効にさせる。こうすることで、ユーザが与えられたどのような要求若しくは情報についても、又はユーザが発したどのような指図についても、後で参照できるように、録音された記録をユーザに提供する。
【００３８】
発話認識は、仕事環境を含む、いくつかの状況において、プライバシ問題を引き起こすことがある。したがって、制御ルールは、仕事中に起動された場合には、３０秒おきに可聴「ビープ音」を鳴らして、録音が行われていることを他の人たちに警告することを発話認識モジュールに行わせる。対照的に、先に説明されたシナリオにおいては、「ビープ音」警告は鳴らされず、その理由は、自宅又は自動車内では、第三者の内密の発話が録音されることは通常は予想されず、バスの中で立ち聞きされた発話がプライバシに係わると予想される可能性は低いからである。
【００３９】
説明される第２の分類器モジュール１８によって処理される状況についての別のデータは、近辺の人々の人数及び身元である。「近辺」とは、ある人のセルフォンが発するブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））信号の到達範囲内、典型的には３０フィート以内とすることができる。この範囲内での相対距離は、ブルートゥース信号の強度によって評価することができ、強い信号は、例えば、１０フィート以内（すなわち「近い」）の位置を表す。身元は、少なくとも親しい人々については、その人たちの既知のデバイスのブルートゥースＩＤを参照することによって識別することができる。ユーザ、家族の各人、同僚、及び他の知人が所有するデバイスのブルートゥースＩＤは、よく知っている人々を他の人々から区別する助けとなるように、制御ルールとともに記憶することができる。
【００４０】
先のシナリオに手短に戻ると、ルールは、ユーザが明らかに１人である（すなわち、強いブルートゥース信号が感知されない、若しくは近くを走る自動車内の見知らぬ他人などからの一過性の信号にすぎない）場合、又はユーザが家族の人しかいないところにいる場合、有効であれば、発話認識を、警告ビープ音を鳴らさずに実行することを定める。しかし、発話認識が有効なときに、見知らぬ強いブルートゥース信号が感知された場合、システムは、定期的な警告ビープ音を鳴らすように命じることができる。
【００４１】
（ユーザの子供が、未認識のブルートゥース識別子を有する新しいデバイスを有するために、ユーザのスマートフォンが、自宅で発話認識警告ビープ音を鳴らす場合、ユーザのスマートフォンは、それまで未認識であったこのブルートゥース識別子をユーザが保存できるようにするユーザインターフェース画面を提示することができる。このＵＩは、ユーザが、その識別子を家族の一員に対応するものとして指定すること、又はより具体的な識別情報（例えば、名前及び／若しくは続柄）を識別子に関連付けることを可能にする。そのような構成によって、妥当性を欠く場合にはビープ音を鳴らさないようにして、そのような状況が将来再び起きた場合にビープ音を回避することが容易になる）。
【００４２】
仕事中の会議に相当するシナリオ５は、音声分類器が中音量の背景音を報告し、スマートフォンの位置が会議室であることを除いて、状況的にはシナリオ４に類似している。発話認識モジュールが有効にされるが、企業のデータ保有方針は、会議記録を企業のサーバ上でのみ維持し、保有期間（例えば１２か月）が経過した後に、会議記録を削除できるようにすることを求めている。制御モジュール２０は、この企業方針に従って、録音された発話データを、コピーを残さずに、直ちに保存のために企業の録音データベースに送信する。記録中であることを思い出させる礼儀的なリマインダとして、警告ビープ音が鳴らされる。しかし、近辺の人たちは全員が、「友人」であると認識されている（すなわち、その人たちのブルートゥース識別子は、既知の同僚に対応している）ので、ビープ音の煩わしさを減らすために、ルールは、スマートフォンに、３０秒おきに１度の代わりに、５分おきに１度だけビープ音を鳴らさせる。（追加的又は代替的に、ユーザと社会的に遠い関係しか有さない、又は社会的関係をまったく有さない人の発話を録音するときに、ビープ音の音量がより大きくなるように、ユーザと感知された他人（複数可）との間の社会的関係の程度に基づいて、ビープ音の音量を下げることができる）。
【００４３】
シナリオ５における顔認識のルールは、近くにいることが感知された人々がユーザのスマートフォンによって認識されるかどうかに応じて変化し得る。全員が認識された場合、顔認識モジュールは起動されない。しかし、近くの人たちの１人又は複数人が、ユーザの親密な「友人」のリストに載っていない（又は社会的ネットワークにおいて、それよりも幾分遠い関係レベルの内にいない）場合、顔認識が、（自走ではなく）オンデマンドモードで、以前のように有効にされる。（代替として、例えば、ユーザとあるタイプの社会ネットワーク的なつながりをもつ、又はそのようなつながりをもたない１人又は複数の人たちが存在すると感知された場合に、顔認識を起動するなど、異なる構成を利用することができる）。
【００４４】
シナリオ６は、正午の時間に地下鉄内にいるユーザを見出す。ルールは、バス通勤について上で述べたルールに類似し得る。しかし、地下での無線受信は貧弱である。したがって、いずれの顔認識動作も、クラウドサーバ上に記憶されている、ユーザのフェイスブック又はピカサ（Ｐｉｃａｓａ）顔データのより大きなコレクションを調べる代わりに、スマートフォン上に記憶された顔の固有顔参照データのみを調べる。
【００４５】
シナリオ７は、金曜日の夜の誕生日パーティに対応する。多数の馴染みのない人々が出席しているので、ルールは、顔認識モジュールを自走モードで起動して、暗くないカメラの視界内にある認識されたすべての顔の名前をユーザに提供する。このモジュールは、クラウド内に記憶されたユーザのフェイスブック又はピカサ顔参照データばかりでなく、ユーザのフェイスブック友人のフェイスブックアカウント内に維持されているそのようなデータにも依存する。発話認識は無効にされる。音声フィンガプリントは有効にされ、パーティという状況のため、スマートフォンは、ビルボードの主要な歌リスト（ホット１００、ビルボード２００、及びホット１００エアプレイ）に載っている、すべての歌の参照フィンガプリントをダウンロードする。この参照データをスマートフォン上にキャッシュしておくことで、少なくともこれらの２００曲を超える歌については、歌認識アプリケーションのはるかに素早い動作が可能になる。
【００４６】
追加の情報
フィンガプリント演算、透かし検出、及び発話認識／顔認識は、演算的に相対的に高コストである（「演算的に重い」）。多くの分類タスク（例えば、発話分類／音楽分類）も同様である。そのようなプロセスは、１００％のデューティ比で動作させないようにするのが望ましい。
【００４７】
１つの手法は、１つ又は複数の演算的に軽い検出器の出力の助けを借りて、１つ又は複数の重いモジュールをいつ動作させるべきかを、ユーザに決定させることである。別の手法は、１つ又は複数の重い検出器を動作させる前に、信号品質を評価する追加ステップを追加することである。
【００４８】
重いモジュールのデューティ比を引き下げることは、検出し損なう可能性を示唆するので、ユーザは、どのくらいの悪化ならば許容できるかについて、ある程度の制御を行うべきである。
【００４９】
単純に、長さ１秒の音声フレーム内の周囲音声エネルギーを検査し、この値を事前定義された閾値と比較する、簡単な分類器（例えば、静寂分類器）について考察する。そのようなモジュールは、環境が静寂状態から突然変化したことを示すことがある。ルールは、新しい音声環境が音楽又は発話であるかどうかを判定するために、１つ又は複数の重い分類器の起動を求めることができる。この場合、システムは、ユーザがタップすると分類に着手する「開始確認」ボタンを備えた表示画面を提示することができる。（「無視」ボタンも存在することができる。システムは、１０秒など、事前定義された間隔のうちにユーザが選択を行わない場合の、例えば「無視」などの、デフォルト挙動を有することができる）。
【００５０】
そのようなプロンプトに対するユーザ応答は、記録され、（静寂分類器の感度を含む）異なる状況情報と関連付けることができる。時間をかけて、この記憶された履歴データを使用して、ユーザが重い分類器を開始するように命令する環境を予想できるようになる。その場合、常にユーザタップに頼るのではなく、そのような履歴にある先例に基づいて、アクションを起こすことができる。
【００５１】
すなわち、システムは、ユーザ対話に基づいて、自己学習を行うことができる。例えば、静寂分類器は、量「Ａ」の音量の変化を検出した場合、重い分類器（例えば、音楽対発話分類器）又は検出器（例えば、透かし検出器）を有効にするために、ユーザの許可を求める。ユーザが同意した場合、この「Ａ」レベルの音量変化は、明らかに、少なくとも時々は、ユーザの関心を引くものである。しかし、量「Ａ」だけ音量が変化した場合は、重い分類器の起動をユーザが一様に拒否することが時間をかけて明らかになると、その場合、分類器は、その閾値をしかるべく再設定することができ、音量が「Ｂ」（ここでＢ＞Ａ）だけ増加しない限り、重い分類器を起動するための許可をユーザに求めなくなる。したがって、静寂分類器は、感度を引き下げることを学習する。
【００５２】
反対に、ユーザに対するＵＩプロンプトの提示をトリガするには小さすぎる音量の変化を静寂分類器が感知したときに、ユーザが重い分類器を手動で起動した場合、これは、静寂分類器によって使用されている閾値が高すぎ、より低いレベルに変更すべきことを示している。したがって、静寂分類器は、感度を引き上げることを学習する。
【００５３】
図３は、上述の原理を使用する構成を示している。マイクロフォンは、周囲音声信号を簡単な分類器に提供し、簡単な分類器は、閾値音声レベルに基づいた、粗い分類（例えば、静寂又は音）に基づいた出力を生成する。分類器モジュールは、「静寂」から「音」に切り換わった場合、システムが複雑な処理（例えば、発話認識、発話／音楽分類、又は適用可能なルールによって示される他の動作）を起動すべきかどうかをユーザに尋ねるユーザインターフェース（ＵＩ）の提示を、スマートフォンに行わせる。その後、システムは、ユーザの命令に従って動作する。
【００５４】
方法の含み得る追加の態様が、破線で示されている。例えば、ＵＩを介して入力されたユーザの応答は、システムによる将来の自動応答の指針となるように、記録され、ユーザ履歴に追加される。状況分類器によって提供されるような現在の状況も、そのような履歴に記憶される。場合によっては、ユーザ履歴は、ユーザに尋ねることを必要とせずに、単独で、与えられた状況にどのように応答すべきかに関する命令を提供することができる。
【００５５】
（状況が変化した場合に、複雑な処理モジュールを起動すべきかどうかをユーザに尋ねる代わりに、システムは、複雑な処理モジュールが起動されてはならないかどうかを代わりに尋ねることができることが理解されよう。この場合、ユーザが何もしなければ、処理モジュールは起動されることになる）。
【００５６】
別の手法は、現在の音声サンプルが、さらなる分類（すなわち、重い分類器を用いる分類）に値する品質を有するかどうかを決定するために、追加の分類器を利用することである。品質が不十分であると判断された場合、重い分類器は、起動されない（又は動作を停止させられる）。
【００５７】
発話及び音楽などの情報を担った信号は、短い時間窓（例えば、０．５〜３秒）にわたって分析される場合、少なくともスペクトル周波数成分の時間変化によって、一般的には振幅の時間変化によっても、通例は特徴付けられる。追加の分類器は、そのような窓間隔にわたって、スペクトル周波数成分が相対的に一様であり、及び／又は平均振幅が相対的に一様である音声信号を聴取することがあり得る。そのような分類器が、そのような信号を検出し、そのような信号の振幅が、（例えば、直前の３〜３０秒の間隔にわたって）感知される音声環境の長期平均振幅よりも閾値量（例えば３ｄＢ）だけ強い場合、その信号は、所望の音声の信号対雑音比を容認しがたいほど損なう干渉雑音と考えることができる。そのような決定に応答して、干渉信号が終息するまで、システムは、重いモジュールの処理を中断する。
【００５８】
極端なケースを挙げると、大きな音を立てる手持ち削岩機が使用されている建設現場を通りがかったバスに乗車しているユーザについて考える。今説明した分類器は、手持ち削岩機が操作されている間隔を検出し、そのような期間中は重い音声処理を中断する。
【００５９】
そのような分類器は、同様に、騒々しい列車が通過するとき、若しくはエアコンプレッサが動作しているとき、又は電話が鳴っているときでさえ、それらをトリガにして、そのような状況において、システムに通常動作からの変化を起こさせることができる。
【００６０】
別の簡単な分類器は、Ｌｕ他、ＳｐｅａｋｅｒＳｅｎｓｅ：Ｅｎｅｒｇｙ  Ｅｆｆｉｃｉｅｎｔ  Ｕｎｏｂｔｒｕｓｉｖｅ  Ｓｐｅａｋｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  ｏｎ  Ｍｏｂｉｌｅ  Ｐｈｏｎｅｓ、Ｐｅｒｖａｓｉｖｅ  Ｃｏｍｐｕｔｉｎｇ  Ｃｏｎｆ．、２０１１年において述べられている原理に依存する。Ｌｕ他は、信号エネルギー（ＲＭＳ）とゼロ交差率（ＺＣＲ）の組み合わせを使用して、人の音声を他の音声から区別する。Ｌｕ他は、これらのパラメータを使用して、音声を識別するが、それらのパラメータは、より一般的に情報を担う信号を識別するために使用することもできる。（又は、別の言い方をすると、重い処理モジュールを無効にできるように、情報を欠いている可能性の高い音声パッセージにフラグを立てる）。
【００６１】
さらなる代替として、追加の分類器は、「音変化」の検出後に働くので、「音変化」前の音声サンプルは、背景雑音の近似として使用することができ、「音変化」後の音声サンプルは、背景雑音プラス有用な信号として使用することができる。これは、おおよその信号対雑音比を与える。追加の分類器は、この比が閾値（例えば１０ｄＢ）を超えるまで、重いモジュールをアイドル状態に保つことができる。
【００６２】
情報を担う信号が存在しない可能性が高いことを示すための、さらに別の追加の分類器は、単純に周波数成分の比に注目する。一般に、閾値振幅を超える高周波信号成分の存在は、音声情報の指標となる。（例えば２ＫＨｚより高い）高周波成分のエネルギーを（例えば５００Ｈｚより低い）低周波成分のエネルギーと比較した比は、別の簡単な信号対雑音比として役立てることができる。分類器は、そのような比が３又は１０ｄＢより低いことを見つけた場合、重いモジュールの動作を中断することができる。
【００６３】
そのような構成が図４に示されている。１つ又は複数のマイクロフォンが、感知した音声信号を音声スクリーニング分類器３０（すなわち、上述の説明の「追加の」分類器）に提供する。マイクロフォン音声は、任意選択で（図１におけるような）発話／音楽音声分類器１６に、及びいくつかの重い音声検出器モジュール（例えば、透かし検出器、発話認識など）に提供される。音声スクリーニング分類器の出力は、有効／無効制御信号を異なる重い検出器に提供する。（説明を簡潔にするために、音声スクリーニング分類器３０は、同じ制御信号をすべての重い検出器に提供するが、実際の実施では、異なる検出器に対して異なる制御信号を生成することができる）。音声スクリーニング分類器からの制御信号は、マイクロフォンによって感知された音声に基づいて、重い検出器（複数可）を無効にするのに役立つ。
【００６４】
図４には、状況分類器１８も示されており、状況分類器１８は、図１の第２の分類器モジュールのように動作する。状況分類器１８は、異なる状況シナリオを示す信号を出力する。これらの出力データは、制御ルールモジュール２０に提供され、制御ルールモジュール２０は、識別されたシナリオに基づいて、異なる重い検出器の動作のモードを制御する。
【００６５】
（図４の構成は、重い検出器モジュールの制御を示しているが、同じタイプの構成によって、重い分類器モジュールを制御することができる）。
【００６６】
上で説明した原理は、視覚情報の感知にも同様に適用可能である。視覚画像分類器（例えば、顔認識システム）は、一般に、輝度（コントラスト／強度）及び／又は色調（色／色差）の著しい空間変化を有する画像に対して働く。画像のフレームにそのような変化がないと思われる場合、そうでなければ動作している重い画像処理モジュールはどれも、その動作を一時中断すべきである。
【００６７】
したがって、分類器は、閾値を下回る輝度変化又は色調変化によって特徴付けられる一連の画像フレームを探して、そのようなシーンが検出された場合は、重い映像処理を中断することができる。したがって、例えば、ユーザがカメラを無地の壁又は床に向けた場合、重い映像プロセスは一時中断される。（そのようなアクションは、スマートフォンの向きに基づいて取ることもでき、例えば、顔認識が動作するのは、カメラ軸が水平から２０度以内に収まるような向きをスマートフォンが取る場合だけである。もちろん、他の閾値も使用することができる）。
【００６８】
同様に、顔認識分析は、フレームの焦点が合っていない場合、無駄な努力になる可能性が高い。したがって、簡単な分類器は、（例えば、高周波成分及びコントラスト尺度などの知られたメトリックによって、又はスマートフォンの運動センサによって提供されるカメラぶれメトリックによって）フレーム焦点を検査し、フレームがぼやけている可能性が高い場合は、顔認識を無効にすることができる。
【００６９】
顔認識は、正しい識別を可能にする可能性を低くするほど被写体が遠い場合も、無効にすることができる。したがって、例えば、スマートフォンのオートフォーカスシステムが１０メートルを超える焦点距離を示す場合、顔認識を機能させる必要はない。
【００７０】
ブルートゥースは、近くの他人を感知するための１つの方法であるが、他の方法も存在する。
【００７１】
１つの技法は、スマートフォンのカレンダアプリケーションに依存する。ユーザのカレンダとスマートフォンの時計が、ユーザが会議中であることを示す場合、ユーザの近くにいる他の参加者は、カレンダアプリケーション内の会議参加者データから識別することができる。
【００７２】
別の手法は、位置データに依存し、位置データは、スマートフォンから短距離配信され（又はスマートフォンから共通サイトに公表され）、他のスマートフォンと同じ位置に存在することを示すために使用される。位置データは、ＧＰＳ、ＷｉＦｉノード識別などを含む、知られた技法から得ることができる。
【００７３】
関連する手法は、位置を示すことができる、微かな又は聞こえない背景音声信号を環境に導入する音響放射器に依存する。マイクロフォンを備えるデバイス内のソフトウェア（例えば、スマートフォンアプリケーション）は、（例えば、１５〜２０ＫＨｚより上など、人間の聴覚範囲より上又は下の）そのような信号を聴取し、感知した信号についての情報を、公共サイトに配信又は公表することができる。公表される情報は、（例えば、放射器デバイス若しくはその所有者、デバイス位置、及び／又は他の状況などを識別する）、感知した信号によって運ばれた情報を含むことができる）。公表される情報は、受信デバイスに関連付けられた（例えば、デバイス若しくはその所有者、デバイス位置、及び／又は他の状況などを識別する）情報も含むことができる。これは、各放射器の近くのスマートフォンのグループを識別することを可能にする。（関連技術は、ショップキック（Ｓｈｏｐｋｉｃｋ）サービスによって利用されており、米国特許出願公開第２０１１００２９３７０号で詳述されている）。
【００７４】
今のところ、ブルートゥースが好ましく、その理由は、近辺の人々を識別するのに加えて、ブルートゥースは、近くのスマートフォンとの通信チャネルを提供するからである。これは、発話認識、音楽フィンガプリント、顔認識などを含む、様々なタスクにおいて、スマートフォンが協調することを可能にする。例えば、複数のスマートフォンは、それぞれのバッテリ状態及び／又は他の進行中の処理タスクについての情報を交換することができる。その後、特定のタスクを実行するために、アルゴリズムを利用して、１つのスマートフォンを選択する。（例えば、透かし復号又は顔認識を実行するために、バッテリ寿命が最も多く残っているスマートフォンを選択する）。その後、このスマートフォンは、タスクの結果、又はそれに基づいた関連情報を、（ブルートゥース又は他の方法によって）他のスマートフォンに送信する。
【００７５】
協調の別の形態は、被写体を見る視点が各々異なる、２つ以上の異なるスマートフォンからのカメラデータに基づいた、３Ｄ画像モデリングである。特定のアプリケーションは、顔認識であり、その場合、ある人を見る２つ以上の異なる視点は、３Ｄ顔モデルを生成することを可能にする。その場合、顔認識は、２Ｄ顔認識が提供するよりも確実な識別をもたらす、３Ｄモデル情報に基づくことができる。
【００７６】
協調のまた別の形態は、複数のスマートフォンが、同じタスクに携わり、その後、結果を共有するものである。異なるスマートフォンプロセスは、異なる信頼度尺度を有する結果をもたらすことがあり、その場合、最も高い信頼度尺度を有する結果を、すべてのスマートフォンによって使用することができる。（そのような処理は、スマートフォン自体のプロセッサを使用する代わりに、クラウド内のプロセスによって行うことができる）。
【００７７】
いくつかのアプリケーションでは、スマートフォンは、異なるスマートフォンが異なる結果を提供することを可能にする、スマートフォン固有の情報と関連させて、周囲の聴覚／視覚刺激を処理する。例えば、未知の人の顔は、１つのスマートフォンからはアクセス可能であるが、他のスマートフォンからはアクセス可能でない、フェイスブックアカウント内で識別されることがある。したがって、１つのスマートフォンは、他のスマートフォンができないタスクを完了できることがある。（他のスマートフォン固有の情報は、履歴、連絡先、コンピューティング状況、ユーザ状況、物理的状況などを含む。例えば、２０１１年６月３０日に出願された、米国特許出願公開第２０１１０１６１０７６号及び同時係属中の出願第１３／１７４２５８号を参照されたい。画像処理の場合、異なるスマートフォンは、被写体を見るのにより良い視点又はより悪い視点を有することがある）。
【００７８】
関連して、協調するスマートフォンは、取り込んだ音声／画像を、処理のために１つ又は複数の他のスマートフォンに送信することができる。例えば、有用な顔認識データへのフェイスブックアクセスを行うスマートフォンは、識別される人が最もよく見える視点を有するスマートフォンではないことがある。複数のスマートフォンが各々、データを取り込み、そのようなデータ（又はそれに基づいた情報、例えば、固有顔データ）を他のスマートフォンと共有する場合、いずれかのスマートフォンが単独で成し得るよりも良い結果を達成することができる。
【００７９】
もちろん、デバイスは、ブルートゥース以外によって通信することもできる。ＮＦＣ及びＷｉＦｉは、２つのそのような代替である。
【００８０】
ブルートゥースは、ユーザが車両内にいることを判定するための技法としても注目された。やはり、他の構成を利用することもできる。
【００８１】
１つは、ＧＰＳである。散発的に（例えば１分に１度）動作するＧＰＳモジュールでさえ、車両による移動に矛盾しない方法でユーザが動いているかどうかを判定するのに十分な軌道情報を収集することができる。例えば、ＧＰＳは、ユーザが、敷かれた道路を辿っており、徒歩又は自転車に関連付けられた速度を上回る速度で移動していると定めることができる。（原動機付き車両での移動から自転車を区別する場合、地形の上昇を考慮することができる。地形がほぼ平坦である場合、又は移動者が坂を上っている場合、２０ｍｐｈを超える速度が維持されていれば、それによって、自転車から原動機付き車両での移動を区別することができる。しかし、急な下り坂の道路を辿っている場合、原動機付き車両での移動であると確信をもって断言するために、３５ｍｐｈを超える速度の維持が使用されることがある）。
【００８２】
２つ以上のスマートフォンが、例えば、共用される短距離状況配信によって、それらが各々、地理位置が同じ進路を同じ速度で辿っていることを報告する場合、２つのスマートフォンのユーザは、自分たちが、自動車、バス、バイクなど何であれ、同じ輸送手段によって移動していると結論することができる。
【００８３】
そのような結論は、ＧＰＳを用いなくても、例えば、２つ以上のスマートフォンが、３Ｄ加速度計、ジャイロスコープ、及び／又は磁力計からの類似のデータを報告する場合には、同様に下すことができる。またさらに、２つ以上のスマートフォンが、（例えば、閾値、例えば０．９を超える相関メトリックによって示されるような）同じ音声を取り込み、この情報を他の近くのデバイスと共有する場合も、複数のユーザの同時輸送を同様に立証することができる。
【００８４】
やはり、クラウドは、スマートフォンによって報告されるそのような情報の受け手として機能することができ、例えば、デバイス間の相関について決定を下すことができる。
【００８５】
短距離状況配信について言及した。これは、スマートフォンが、（取り込んだ音声を含むことができる）感知した状況情報をブルートゥースによって近辺のデバイスに配信することによって、達成することができる。共有される情報は、関係するのが短距離送信であることを考えた場合に、プライバシ問題を引き起こさないような性格のもの（例えば、加速度、取り込まれた音声）とすることができる。
【００８６】
本明細書では、音声アプリケーションに重点を置き、顔認識についても考察しているが、認識及び作用の対象となり得るクラスが際限なく存在する。いくつかの他の映像クラスは、光学文字認識（ＯＣＲ）及びバーコード復号である。
【００８７】
スマートフォン上に複数のカメラが存在する場合、他の構成が可能になる。例えば、２０１１年８月１７日に出願された米国特許出願第１３／２１２１１９号に述べられているように、ユーザの方を向いたカメラを使用して、ユーザの感情（又はスマートフォン画面上に提示された情報に対するユーザの反応）を評価し、他のカメラの使用を含む、スマートフォンの動作の調整をしかるべく行うことができる。
【００８８】
ユーザの方を向いたカメラは、ユーザの目の位置を検出することもできる。それによって、スマートフォンの動作を制御することができる。例えば、スマートフォンの位置センサに基づいて、表示モードの「人物」と「風景」の間の切り換えを行う代わりに、ユーザの目の向きに基づいて、この画面の表示モードを制御することができる。したがって、ユーザがベッドで横を向いて寝そべっており（すなわち、瞳を結ぶ線が垂直に延びており）、スマートフォンが空間的に横長方向を向いている（長軸がユーザの体軸と平行に水平に伸びている）場合、スマートフォンは、そのディスプレイを「人物」モードで動作させることができる。ユーザがスマートフォンを９０度回転させた場合（すなわち、長軸がユーザの両目を結ぶ軸線と平行になるようにした場合）、スマートフォンは、その表示モードを「風景」に切り換える。
【００８９】
同様に、ユーザが仰向けに寝そべって、スマートフォンを顔の上にかざした場合、画面軸に対するユーザの両目を結ぶ軸線の相対的な向きに従って、画面モードが切り換わる。（すなわち、スマートフォンの長軸がユーザの両目を結ぶ軸線と平行である場合は、風景モードが使用され、垂直である場合は、人物モードが使用される）。
【００９０】
スマートフォンがステレオカメラ（すなわち、視野が重なり合う２つのカメラ）を備える場合、フレーム内の任意のポイントまでの距離の決定（すなわち距離測定）を行うために、２つのビューを使用することができる。何らかの映像検出タスク（例えば、透かし及びバーコード復号）の場合、スマートフォンのプロセッサによって距離情報を使用して、最良の結果が達成されるように、ユーザを誘導して、スマートフォンを対象物に近づけさせ、又は対象物から遠ざけさせることができる。
【００９１】
スマートフォンは、感知した音声を参照して、音声シーンを識別しようと試みることができる。例えば、会議室シーンは、小音量の背景音、識別可能な人の発話、及び時々起こる音源の移転（異なる人の交互の発言）によって音響的に特徴付けることができる。ユーザとその夫がいる自宅シーンは、中レベルの背景音（おそらくは音楽又はテレビ）、並びに交互に発言する２つの異なる声によって音響的に特徴付けることができる。混み合ったコンベンションセンタは、高レベルの背景音、多くの識別不可能な人の声、及び時々聞こえるユーザの声又は別の声によって特徴付けることができる。
【００９２】
ひとたび音声シーンが識別されると、２つ以上のスマートフォンは、異なる方法で動作し、協力することができる。例えば、シーンが会議として識別された場合、ユーザのスマートフォンは、会議室のチェックインを自動的に行って、会議室が使用中であることを示すことができる。（これのためにカレンダプログラムが使用されることが多いが、事前スケジュールなしに、緊急の会議によって部屋が使用されることもある。スマートフォンは、会議が開始した後に、カレンダに会議を入力し、競合する予約が入らないように、部屋を予約することができる）。
【００９３】
スマートフォンは、パワーポイント（Ｐｏｗｅｒｐｏｉｎｔ）スライドプレゼンテーションを制御するラップトップ又は他のデバイスと通信して、デック内の閲覧するスライドの数、及び現在表示されているスライドについて知ることができる。ラップトップ又はスマートフォンは、スライドがどのくらいの速さで進められているかを演算し、会議がいつ終了するかを推定することができる。（例えば、デックに３０枚のスライドがあり、１５枚のスライドを閲覧するのに２０分かかった場合、プロセッサは、後半の１５枚のスライドを閲覧するのにさらに２０分かかると演算することができる。最後に締めくくりの説明のための１０分を加えて、あと３０分で会議が終了すると演算することができる）。この情報は、参加者と共有することができ、又は部屋がいつ利用可能になり得るかを知らせるために、カレンダアプリケーションに掲示することができる。
【００９４】
聴覚シーンが、配偶者のいる自宅環境を示す場合、２つのスマートフォンは、家庭内情報（例えば、買い物リスト情報、付き合い予定データ、すぐにも支払いを行うべき請求書など）を交換することができる。
【００９５】
混み合ったコンベンションセンタのシーンでは、ユーザが別の人と会話しているのをスマートフォンが感知し、（例えば、ブルートゥースで示されるセルフォン番号又は他の方法によって識別されるような）その別の人の連絡先情報をスマートフォンがまだ有していない場合、スマートフォンは、電子名刺（例えばｖカード）の自動的な交換を開始することができる。
【００９６】
会議シーンでは、ユーザのスマートフォンは、ユーザが話をしている人々の公開カレンダをチェックして、同様の輸送手段を必要としている人々（例えば、ユーザが飛び立つのと同じ空港から出発するフライトを利用する人で、フライト時刻がユーザのフライトと３０分以上はなれていない人）を識別することができる。その後、例えば、可聴又は触覚アラートを用いて、ユーザの注意をそのような情報に引きつけることができる。
【００９７】
いくつかの動作をクラウド内で実行することについて言及した。タスクは、様々な要因に基づいて、クラウドに委託することができる。一例は、「送信するのが容易」な（すなわちサイズが小さい）データ、及び「演算するのが困難」な（すなわち演算が複雑な）タスクのために、クラウド処理を使用するものである。クラウド処理は、広範なローカル知識（例えば、デバイス上に記憶されたデバイス履歴及び他の情報）を必要としない、タスクに最もよく適していることが多い。
【００９８】
会議のためにサンフランシスコに飛ぶ旅行者で、コンベンションセンタホテルがあるダウンタウンまで向かう必要がある旅行者について考える。空港に降り立つと、ユーザのスマートフォンは、ダウンタウンのホテル／コンベンションセンタの住所をクラウドサーバに送信する。クラウドサーバは、リアルタイム交通情報、工事による渋滞などについての知識を有している。サーバは、例えば、最短時間ルート、最短距離ルート、費用効果が最も大きいルートなど、様々な制約の下での最適ルートを演算する。会議が開始する僅か２０分前にユーザが空港に到着した場合、スマートフォンは、タクシーを利用することを提案する（スマートフォンが感知した、目的地が同じ他人、おそらくは第三者信頼性スコアが「良」を超えてもいる他人とタクシーを相乗りすることをおそらく提案する）。対照的に、会議の１日前にユーザが到着した場合、スマートフォンは、（スマートフォン上に記憶された航空会社のチェックインデータを参照して決定される）委託手荷物をたかだか１つもってユーザが移動するのであれば、ＢＡＲＴを利用することを提案する。そのようなルート選択タスクは、「少ないデータ、大掛かりな演算」の一例である。
【００９９】
それ自体のセンサからの音声及び画像に加えて、スマートフォンは、駐車場ビル、ショッピングモール、コンベンションセンタ、又は自宅のセキュリティシステムの監視カメラなど、公衆センサによって収集された音声及び画像に依存することもできる。この情報は、クラウド処理によって提供される「大掛かりな演算」の一部とすることができる。又は、混雑した駐車場で、ユーザが自分の黄色い日産リーフ（Ｎｉｓｓａｎ  Ｌｅａｆ）自動車の駐車場所を見つける助けとなるように、もっぱらスマートフォンによってデータを処理することもできる。
【０１００】
本明細書では、音声及び画像データの分析に重点を置いたが、他のデータタイプにも同じ原理を適用することができる。１つは触覚データである。別のものは、ガス及び化学分析である。嗅覚情報が関連する。（例えば、ユーザの呼気内の肺癌に関連するバイオマーカの検出など、医療における診断補助として、スマートフォンによって匂いセンサを使用することができる）。
【０１０１】
もちろん、ユーザのソーシャルネットワーク（フェイスブック、ツイッター（Ｔｗｉｔｔｅｒ）、フォースクウェア（Ｆｏｕｒｓｑｕａｒｅ）、ショップキック、リンクトイン（ＬｉｎｋｅｄＩｎ）など）のアカウントからの情報を、本明細書で詳述した構成への入力として（例えば状況情報として）使用することができる。同様に、ユーザが、例えば、職場、自宅、会議などで出会った人々のアカウントからの公開情報を用いることもできる。さらに、詳述された構成から出力された情報を、ユーザのソーシャルネットワークアカウント（複数可）に自動的に掲示することができる。
【０１０２】
顔認識が数々の用途を有することが理解されよう。１つの用途は、上で述べたように、知人の名前をユーザに教える記憶補助である。別の用途は、ユーザ識別及び／又は承認のためのものである。例えば、ユーザのスマートフォンは、（例えば、フェイスブック上のユーザの友人リストを参照することによって）近くの人を友人と認識した場合に限って、何らかのプライベート情報を配信することができる。ある人の画像にその人の名前及び他の情報を用いてタグを付けるためにも、顔認識を使用することができる。
【０１０３】
いくつかの実施形態では、あるユーザのスマートフォンは、そのユーザの１つ又は複数の高品質の顔肖像、又は関連する固有顔データを配信する。別のスマートフォンのユーザは、先のユーザの粗悪な写真しか撮影することができない。そのスマートフォンは、撮影した画像を、先のユーザからブルートゥースを介して受信した高品質の画像データ（又は固有顔データ）と比較して、粗悪な写真と受信した画像データとが同じ個人に対応することを確認することができる。その後、その別のスマートフォンは、例えば、顔認識を行うため、連絡先リストにイラストを入れるため、又はユーザの写真を利用できる他の任意の目的のために、粗悪な写真の代わりに、受信した画像データを使用する。
【０１０４】
図５は、無音、発話、及び／又は音楽である可能性が高いとして入力音声を分類した分類器データに基づいて、（一方は音楽内に通常は見出される透かし用に調整され、もう一方は放送音声内に通常は見出される透かし用に調整された）２つのデジタル透かしデコーダがどのように制御されるかを示す、別の音声実施形態のためのイベントコントローラテーブルを示している。図６は、対応するフローチャートを示している。
【０１０５】
図７は、別の実施形態のためのイベントコントローラテーブルを示しており、この実施形態は、画像に関連する。この構成は、異なるセンサ情報に従って、異なる認識モジュール（１Ｄバーコード、２Ｄバーコード、画像透かし、画像フィンガプリント、及びＯＣＲ）がどのように制御されるかを示す。（センサは、分類器などの論理的センサを包含することができる）。説明される構成では、システムは、光センサ及び運動センサを含む。加えて、１つ又は複数の画像分類器は、描いた文字列、１Ｄバーコード、又は２Ｄバーコードである可能性が高いとして、画像を識別した情報を出力する。
【０１０６】
「画像」のための分類器出力はないことに留意されたい。すべてが候補である。したがって、画像透かし復号モジュール、及び画像フィンガプリントモジュールは、分類器（複数可）からの出力の何らかの組み合わせに基づいて（例えば、３つのタイプの分類された画像のどれも識別されない場合、又はすべてが識別された場合に）起動される。
【０１０７】
暗いシーンをシステムが検出した場合、又は画像品質を怪しくさせる運動状態（「急な動き」）の下で画像が取り込まれたことをシステムが検出した場合、どのようにして画像認識処理に着手しないようにするかにも留意されたい。
【０１０８】
図８は、対応するフローチャートを示している。
【０１０９】
米国特許出願公開第２０１２０２０８５９２号は、図５〜図８の構成とともに役立つ技術をさらに詳述している。
【０１１０】
音声分類についての追加説明
音声分類問題は、状況に基づく分類／検索、又は音声セグメンテーションと呼ばれることが多い。この研究には、特徴選択及び分類器選択という２つの基本問題が存在する。
【０１１１】
この分野における初期の研究の１つは、Ｗｏｌｄ他によって１９９６年に公表された［５］。Ｗｏｌｄは、様々な知覚特徴（音量、音の高さ、明るさ、帯域幅、及び調和性）、及び最近隣分類器を使用した。［６］において、Ｆｏｏｔｅは、音声特徴として１３のメル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔ）を、分類のためにベクトル量子化法を使用した。［７］において、Ｚｈａｎｇ及びＫｕｏは、隠れマルコフモデルを使用して、音声セグメントを特徴付け、階層的分類器を２ステップ分類のために使用した。Ｓｃｈｅｉｒｅｒは、［１２］において、発話と音楽の分類のために１３の特徴の属性を評価し、非常に高い精度（約９５％の精度、しかし、音楽／発話分類に対してのみ）を達成し、特に音の長いセグメント（２．４秒）を統合した。Ｌｉｕ他は、［８］において、「音声理解は、低レベルの音響特性、異なる発音物に関連付けられた中レベルの音声シグネチャ、及び異なるシーンクラスにおける音声の高レベルの意味モデルという、３つのレイヤにおける特徴に基づくことができる」、また「これらの低レベルの特徴のみに基づいた分類は、正確でないことがあるが、より高位のレイヤにおいて、一連の連続音声クリップの根底にある構造を検査することによって、誤りに対処することができる」と主張した。
【０１１２】
その一方で、低レベルの特徴の演算に関して、［６、８］において、最初に音声サンプルを長さ１秒のクリップに分割し、次に各クリップを４０個の長さ２５ミリ秒のサブクリップにさらに分割することが明示的に述べられた。低レベルの特徴は、長さ２５ミリ秒の各サブクリップ上で演算され、その後、長さ１秒のクリップを表すために、４０個のサブクリップにより併合される。分類は、長さ１秒のクリップに基づく。（２５ミリ秒の期間では、音信号は、定常的な特性を示すが、１秒の期間では、音信号は、区別したいカテゴリに対応する特性を示す）。これらの初期の文献では、また後年の文献でも、これらのカテゴリは、無音、音楽、発話、環境音、環境音を伴う発話などを含む。
【０１１３】
２０００年代になると、マイクロソフトリサーチアジア（Ｍｉｃｒｏｓｏｆｔ  Ｒｅｓｅａｒｃｈ  Ａｓｉａ）が、［９，１０］に示されるように、音声分類に積極的に取り組んだ。Ｌｕは、［９］において、８次のＭＦＣＣ及びいくつかの他の知覚特徴を含む低レベルの特徴、並びにカスケード方式における分類器としてカーネルＳＶＭ（サポートベクトルマシン）を使用した。［１０］における研究は、知覚特徴を含み、カスケード分類方式において、ｋ−ＮＮ、ＬＳＰ  ＶＱ、及び（平滑化のための）ルールに基づく方法を含む異なる分類器を使用する。この論文において、著者らは、異なるクラスを分類するために、動的特徴セットを使用した（異なる特徴の使用）。
【０１１４】
より近年になると、音声分類に関する研究が増加してきた。幾人かの人々は、［２、３、４、１７］のように新しい音声特徴、又は新しい分類器［１３］を利用する研究を行っている。他の人々は、［１、１８］のように、低レベル特徴を超える高レベル分類フレームワークについて研究している。さらに別の人々は、例えば、ビデオクリップの感情的コンテンツの決定など、音声分類に基づいたアプリケーションについて研究している［１６］。
【０１１５】
他の研究者は、既存の特徴抽出方法、分類器、及びパラメータ選択方式を比較し、音声分類実施を実用的なものにしており、ノキア（Ｎｏｋｉａ）セルフォン上で実施されたプロトタイプさえ得ている［１４、１５］。
【０１１６】
発話／音楽識別に特に重点を置いた構成は、［１９］及び［２０］を含む。
【０１１７】
例示的な分類器は、米国特許出願公開第２００２００８０２８６号（Ｂｒｉｔｉｓｈ  Ｔｅｌｅｃｏｍｍ）、第２００２００８０２８６号（ＮＥＣ）、第２００２００８０２８６号（Ｐｈｉｌｉｐｓ）、第２００３０００９３２５号（Ｄｅｕｔｓｃｈｅ  Ｔｅｌｅｋｏｍ）、第２００４０２１０４３６号（Ｍｉｃｒｏｓｏｆｔ）、第２０１００２５７１２９号、第２０１２０１０９６４３号（Ｇｏｏｇｌｅ）、及び第５７１２９５３号（Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ）において詳述されている分類器も含む。
【０１１８】
その他のコメント
説明的な例を参照して本発明に関する研究の原理について説明及び例示したが、本発明の技術がそのように限定されないことを理解されたい。
【０１１９】
例えば、スマートフォンに対して言及がなされたが、本発明の技術は、ポータブル及び固定式両方のすべての方式のデバイスにおいて有用性を見出すことを理解されたい。ＰＤＡ、システム手帳、ポータブル音楽プレーヤ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブック、ウェアラブルコンピュータ、サーバなどはすべて、本明細書で詳述された原理を利用することができる。
【０１２０】
同様に、頭部装着デバイス（例えば、グーグルグラス（Ｇｏｏｇｌｅ  Ｇｌａｓｓ）ゴーグル）及び他の目立たないセンサプラットフォームが、いずれは今日のスマートフォンに取って代わることが予想されている。もちろん、本発明の技術は、そのような他の形態のデバイスとも使用することができる。
【０１２１】
「スマートフォン」という用語は、そのようなすべてのデバイスを包含し、厳密に言えばセルラでも電話でもないデバイスさえも包含すると解釈されるべきである。
【０１２２】
（そのタッチインターフェースを含むｉＰｈｏｎｅの詳細は、アップルの米国特許出願公開第２００８０１７４５７０号において提供されている）。
【０１２３】
当業者は、本発明の技術の実施形態において使用されるスマートフォン及び他のコンピュータの設計について熟知している。概括的に言えば、各々は、１つ又は複数のプロセッサ、１つ又は複数のメモリ（例えば、ＲＡＭ）、ストレージ（例えば、ディスク又はフラッシュメモリ）、（例えば、キーパッド、ＴＦＴ  ＬＣＤ又はＯＬＥＤディスプレイ画面、タッチセンサ又は他のジェスチャセンサ、カメラ又は他の光学センサ、コンパスセンサ、３Ｄ磁力計、３軸加速度計、マイクロフォンなどを、グラフィカルユーザインターフェースを提供するためのソフトウェア命令と一緒に含むことができる）ユーザインターフェース、これらの要素間の相互接続（例えば、バス）、並びに（ＧＳＭ（登録商標）、ＣＤＭＡ、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＴＤＭＡ、ＥＶ−ＤＯ、ＨＳＤＰＡ、ＷｉＦｉ、ＷｉＭａｘ、若しくはブルートゥースなどの無線とすることができる、及び／又はイーサネット（登録商標）ローカルエリアネットワーク、Ｔ−１インターネット接続などを介する有線とすることができる）他のデバイスと通信するためのインターフェースを含む。
【０１２４】
本明細書において、譲受人の先行する特許出願との関連について先に言及したが、本明細書は繰り返しを含む。これらの開示は、同時に読まれ、全体として解釈されるべきである。出願人らは、各開示における特徴を他の開示における特徴と組み合わせることを意図している。すなわち、本出願において開示される方法、要素、及び概念は、それらの関連出願において詳述される方法、要素、及び概念と組み合わされることを理解されたい。本明細書ではいくつかのものが特に詳しく説明されるが、多くの順列及び組み合わせは膨大であるので、多くのものは詳しく説明されない。しかし、そのようなすべての組み合わせの実施は、提供される教示から当業者には容易である。
【０１２５】
本明細書で詳述されるプロセス及びシステム構成要素は、マイクロプロセッサ、グラフィックス処理ユニット（ｎＶｉｄｉａ  Ｔｅｇｒａ  ＡＰＸ  ２６００などのＧＰＵ）、デジタル信号プロセッサ（例えば、テキサスインスツルメンツ（Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ）ＴＭＳ３２０シリーズデバイス）などを含む、様々なプログラム可能なプロセッサのための汎用プロセッサ命令を含む、コンピューティングデバイスのための命令として実施することができる。これらの命令は、ソフトウェア、ファームウェアなどとして実施することができる。これらの命令は、プログラム可能な論理デバイス、ＦＰＧＡ（例えば、有名なＸｉｌｉｎｘ  Ｖｉｒｔｅｘシリーズデバイス）、ＦＰＯＡ（例えば、有名なピコチップ（ＰｉｃｏＣｈｉｐ）デバイス）、並びにデジタル、アナログ、及び／又は混合アナログ／デジタル回路を含む特定用途向け回路を含む、様々な形態のプロセッサ回路に実装することもできる。命令の実行は、プロセッサ間に分散させることができ、及び／又はデバイス内のプロセッサ間若しくはデバイスのネットワーク間で並列して行うことができる。コンテンツ信号データの変換も、異なるプロセッサ及びメモリデバイス間に分散させることができる。「プロセッサ」又は「モジュール」に対する言及は、ハードウェア及び／又はソフトウェア実装の特定の形態を必要とするものではなく、機能性に対する言及であると理解されたい。
【０１２６】
当業者は、詳述される機能性を実施するためのソフトウェア命令を、本明細書で提供される説明から容易に作成することが、例えば、Ｃ、Ｃ＋＋、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ、Ｔｅｌ、Ｐｅｒｌ、Ｓｃｈｅｍｅ、Ｒｕｂｙなどで書くことができる。本発明の技術のある実施に従ったスマートフォン及び他のデバイスは、異なる機能及び動作を実行するためのソフトウェアモジュールを含むことができる。知られた人工知能システム及び技法を利用して、推論し、結論を導き、及び上で述べられた他の決定を下すことができる。
【０１２７】
通常、各デバイスは、ハードウェアリソース及び汎用機能へのインターフェースを提供するオペレーティングシステムソフトウェアを含み、ユーザが望む特定のタスクを実行するために選択的に起動できるアプリケーションソフトウェアも含む。本明細書で詳述される多くの用途向けに、知られたブラウザソフトウェア、通信ソフトウェア、及び媒体処理ソフトウェアを構成することができる。ソフトウェア及びハードウェア構成データ／命令は、ネットワークを介してアクセスできる、磁気又は光ディスク、メモリカード、ＲＯＭなどの、有形な媒体によって伝えられる、１つ又は複数のデータ構造内に命令として通常は記憶される。いくつかの実施形態は、（例えば、基本セルフォンの場合が通常そうであるように）組み込みシステムとして、すなわち、オペレーティングシステムソフトウェアとアプリケーションソフトウェアがユーザからは区別できない専用コンピュータシステムとして実施することができる。本明細書で詳述される機能性は、オペレーティングシステムソフトウェア、アプリケーションソフトウェアで、及び／又は組込システムソフトウェアとして実施することができる。
【０１２８】
本開示は、例示的な実施形態における特定の順序の動作及び特定の組み合わせの要素について詳述したが、他の企図される方法は、（場合によっては、いくつかの動作を省き、他の動作を追加しながら）動作を並べ替えることができ、他の企図される組み合わせは、いくつかの要素を省き、他の要素を追加し、要素を異なる方法で構成することなどができることが理解されよう。
【０１２９】
完全なシステムとして開示されたが、詳述された構成のサブコンビネーションも別に企図されている。
【０１３０】
音声の取り込み及び処理を実行するシステムとの関連で主に詳述されたが、対応する構成は、視覚刺激（画像）を取り込んで処理する、又は画像と音声の両方を取り込んで処理するシステムに等しく適用可能である。
【０１３１】
同様に、本発明の技術のいくつかの態様が、例示的な方法を参照して説明されたが、そのような方法の動作を実行するように構成された装置も、出願人の本発明に関する研究の一環として企図されていることが理解されよう。同様に、他の態様は、例示的な装置を参照して説明され、そのような装置によって実行される方法も同様に、本発明の技術の範囲内にある。またさらに、そのような方法を実行するようにプロセッサ及び他のプログラム可能なシステムを構成するための命令を含む有形なコンピュータ可読媒体も、明らかに企図されている。
【０１３２】
近辺の人との近接性及び近辺の人の身元を示すためのブルートゥース技術に対する言及は、例示的なものにすぎない。これらの機能の一方又は両方を実行するための多くの代替技術が知られており、容易にそれらで代用することができる。
【０１３３】
説明は、例示的なものと理解すべきであり、限定的なものと理解すべきではない。
【０１３４】
本明細書で説明される本発明の技術の無数の変形及び組み合わせを明白に列挙することは不可能である。出願人は、本明細書の概念を、それらの３つ以上の間で、及び２つの間で、並びに引用された参考技術から知られる概念と、組み合わせ、置き換え、交換することができることを認識するとともに、意図している。さらに、詳述される技術は、有利な結果がもたらされるように、現在及び今後の他の技術とともに含むことができることが理解されよう。
【０１３５】
本明細書で参照される（特許文書を含む）文書に読者が精通していることが仮定されている。本明細書を過度に長くせずに、包括的な開示を提供するために、出願人は、上で言及されたこれらの文書を参照により組み込む。（そのような文書は、その教示の特定の部分しか上記の引用に関連していなくても、その全体が組み込まれる）。これらの参照は、本明細書で詳述される構成に組み込むことができ、本明細書で詳述される技術及び教示を組み込むことができる、技術及び教示を開示する。
【図１】
2015501438.tif 000013
【図２】
2015501438.tif 000014
【図３】
2015501438.tif 000015
【図４】
2015501438.tif 000016
【図５】
2015501438.tif 000017
【図６】
2015501438.tif 000018
【図７】
2015501438.tif 000019
【図８】
2015501438.tif 000020
【国際調査報告】
2015501438.tif 000021
2015501438.tif 000022