(57)【要約】【課題】改良されたオブジェクト認識技術を提供する。【解決手段】デジタル・メディア・コンテンツ（たとえば、画像、オーディオ情報、ビデオ情報）から決定された一つまたは複数のオブジェクトを機械可読識別子によって指定される一つまたは複数のオブジェクトと自動的に比較して、そのメディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致するかどうかを判別するための技術。メディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致すると判定するのに際して、一つまたは複数の動作が開始されてもよい。開始されるべき動作を特定する情報も機械可読識別子によって内包されていてもよい。【選択図】  図１A
2008033943.tif 000002
【特許請求の範囲】
【請求項１】
データ処理システムによって実行される、デジタル・メディア・コンテンツを処理する方法であって：
機械可読識別子から、オブジェクトの一つまたは複数の特徴を指定する第一のオブジェクト記述子を決定するステップと；
デジタル・メディア・コンテンツから、一つまたは複数のオブジェクトの集合を決定するステップと；
オブジェクトの前記集合内の各オブジェクトについてオブジェクト記述子を生成するステップと；
前記集合のオブジェクトについて決定された前記オブジェクト記述子のうちから、機械可読識別子から決定された前記第一のオブジェクト記述子に一致する少なくとも一つのオブジェクト記述子を特定するステップ、
とを有するデジタル・メディア・コンテンツ処理方法。
【請求項２】
前記第一のオブジェクト記述子に一致する前記少なくとも一つのオブジェクト記述子を特定するのに反応して、ある動作を実行するステップをさらに有する、
請求項１記載のデジタル・メディア・コンテンツ処理方法。
【請求項３】
前記機械可読識別子から、前記第一のオブジェクト記述子に関連付けられたメタデータ情報を決定するステップをさらに有する、
請求項２記載のデジタル・メディア・コンテンツ処理方法。
【請求項４】
前記機械可読識別子から、前記第一のオブジェクト記述子に関連付けられた識別情報を決定するステップを有する、請求項２記載のデジタル・メディア・コンテンツ処理方法であって：
前記機械可読識別子から決定された前記第一のオブジェクト記述子が人物の特徴を指定し；
オブジェクトの集合を決定する前記ステップが、前記デジタル・メディア・コンテンツから一人または複数の人物を判別することを含み；
動作を実行する前記ステップが、
前記デジタル・メディア・コンテンツに、該デジタル・メディア・コンテンツ内の前記少なくとも一つのオブジェクト記述子に対応する人物の空間位置を示す情報を追加するステップと、
前記デジタル・メディア・コンテンツに、前記第一のオブジェクト記述子に関連付けられた前記識別情報を追加するステップ、
とを含むデジタル・メディア・コンテンツ処理方法。
【請求項５】
前記機械可読識別子から、前記第一のオブジェクト記述子に関連付けられたメタデータ情報を決定するステップをさらに有する、請求項２記載のデジタル・メディア・コンテンツ処理方法であって：
前記第一のオブジェクト記述子が文書断片の特徴を指定しており；
オブジェクトの前記集合が、前記デジタル・メディア・コンテンツから判別された一つまたは複数の文書断片を含み；
前記少なくとも一つのオブジェクト記述子に対応するオブジェクトの前記デジタル・メディア・コンテンツ内での空間位置を判別するステップを有し；  
動作を実行する前記ステップが、前記デジタル・メディア・コンテンツに注釈付けをして、前記少なくとも一つのオブジェクト記述子に対応するオブジェクトの前記空間位置の近くに、あるいは該空間位置に重ねて前記メタデータ情報の一部が位置されるようにすることを含むデジタル・メディア・コンテンツ処理方法。
【請求項６】
前記機械可読識別子がバーコードであり、機械可読識別子から第一のオブジェクト記述子を決定する前記ステップが：
バーコード読取器を使ってバーコードを読み取るステップと；
前記バーコードから第一のオブジェクト記述子を決定するステップ、
とを有する、請求項１記載のデジタル・メディア・コンテンツ処理方法。
【請求項７】
前記機械可読識別子が電波方式認識（RFID）タグ上に記憶されており、機械可読識別子から第一のオブジェクト記述子を決定する前記ステップが：
RFID読取器を使ってRFIDタグから情報を読み取るステップと；
RFIDタグから読まれた前記情報から第一のオブジェクト記述子を決定するステップ、
とを有する、請求項１記載のデジタル・メディア・コンテンツ処理方法。
【請求項８】
オブジェクトの前記集合内の各オブジェクトについてオブジェクト記述子を生成する前記ステップが：
オブジェクトの前記集合内の各オブジェクトについて：
該オブジェクトについての一つまたは複数の特徴を抽出するステップと；
抽出された一つまたは複数の特徴に基づいて該オブジェクトについてのオブジェクト記述子を生成するステップ、
とを有する、請求項１記載のデジタル・メディア・コンテンツ処理方法。
【請求項９】
オブジェクトについて抽出されるべき前記一つまたは複数の特徴が、機械可読識別子から決定された前記第一のオブジェクト記述子によって指定される前記一つまたは複数の特徴に基づいて決定される、請求項８記載のデジタル・メディア・コンテンツ処理方法。
【請求項１０】
デジタル・メディア・コンテンツからオブジェクトの集合を決定する前記ステップが、前記第一のオブジェクト記述子によって指定された前記一つまたは複数の特徴について前記デジタル・メディア・コンテンツを解析することを含む、請求項１記載のデジタル・メディア・コンテンツ処理方法。
【請求項１１】
機械可読識別子を読むよう適応された読取器と、
前記機械可読識別子から、オブジェクトの一つまたは複数の特徴を指定する第一のオブジェクト記述子を決定し、デジタル・メディア・コンテンツから一つまたは複数のオブジェクトの集合を決定し、オブジェクトの前記集合内の各オブジェクトについてオブジェクト記述子を生成し、前記集合のオブジェクトについて決定された前記オブジェクト記述子のうちから、機械可読識別子から決定された前記第一のオブジェクト記述子に一致する少なくとも一つのオブジェクト記述子を特定するプロセッサと
を有するデジタル・メディア・コンテンツ処理システム。
【請求項１２】
デジタル・メディア・コンテンツを処理する方法であって：
第一のシステムを使って、機械可読識別子を読むステップと；
第一のシステムを使って、デジタル・メディア・コンテンツを取り込むステップと；
前記機械可読識別子および前記デジタル・メディア・コンテンツを第一のシステムから第二のシステムに通信するステップと；
第二のシステムにおいて、前記機械可読識別子から、オブジェクトの一つまたは複数の特徴を指定する第一のオブジェクト記述子を決定するステップと；
第二のシステムにおいて、前記デジタル・メディア・コンテンツから、一つまたは複数のオブジェクトの集合を決定するステップと；
第二のシステムにおいて、オブジェクトの前記集合内の各オブジェクトについてオブジェクト記述子を生成するステップと；
第二のシステムにおいて、前記集合のオブジェクトについて決定された前記オブジェクト記述子のうちから、機械可読識別子から決定された前記第一のオブジェクト記述子に一致する少なくとも一つのオブジェクト記述子を特定するステップと、
前記少なくとも一つのオブジェクト記述子を特定するのに反応してある動作を開始するステップ、
とを有するデジタル・メディア・コンテンツ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概括的にはデジタル情報の処理に、より詳細にはデジタル・メディア・コンテンツから一つまたは複数のオブジェクトを識別し、機械可読識別子によって指定される一つまたは複数のオブジェクトと比較することに関する。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
文書、画像などからオブジェクトを自動的に認識する技術は存在しているが、従来のオブジェクト認識技術は非常に計算集約的かつ時間集約的であり、結果として信頼できるものではない。したがって、改良されたオブジェクト認識技術が望まれている。
【課題を解決するための手段】
【０００３】
本発明の実施形態は、デジタル・メディア・コンテンツから一つまたは複数のオブジェクトを識別し、機械可読識別子によって指定される一つまたは複数のオブジェクトと比較するための技術を提供する。
【０００４】
ある実施形態では、デジタル・メディア・コンテンツ（たとえば、画像、オーディオ情報、ビデオ情報）から決定された一つまたは複数のオブジェクトを機械可読識別子によって指定される一つまたは複数のオブジェクトと自動的に比較して、そのメディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致するかどうかを判別するための技術が提供される。メディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致すると判定するのに際して、一つまたは複数の動作が開始されてもよい。開始されるべき動作を特定する（identify）情報も機械可読識別子によって内包されていてもよい。
【０００５】
本発明のある実施形態によれば、デジタル・メディア・コンテンツを処理するための技術（方法、システムおよびコード）が提供される。機械可読識別子から、あるオブジェクトの一つまたは複数の特徴を指定する第一のオブジェクト記述子が決定される。デジタル・メディア・コンテンツから、一つまたは複数のオブジェクトからなるある集合が決定される。該オブジェクトの集合内の各オブジェクトについてオブジェクト記述子が生成される。前記オブジェクトの集合のために決定されたそれらのオブジェクト記述子のうちから、前記機械可読識別子から決定された前記第一のオブジェクト記述子に一致する少なくとも一つのオブジェクト記述子が見つけ出して特定される（identified）。
【０００６】
本発明のある実施形態によれば、前記第一のオブジェクト記述子に一致する前記少なくとも一つのオブジェクト記述子を見つけ出して特定する（identify）のに反応して、ある動作が実行されることができる。ある実施形態では、前記機械可読識別子から前記第一のオブジェクト記述子に関連付けられたメタデータ情報が決定されることができ、実行されるべき動作はそのメタデータ情報に基づいて決定できる。前記第一のオブジェクト記述子に関連付けられたメタデータ情報が該動作を特定して（identify）もよい。メタデータ情報の一部分を使って該動作が実行されてもよい。該動作はデジタル・メディア・コンテンツに注釈付けすることを含むことが可能である。
【０００７】
ある実施形態では、前記第一のオブジェクト記述子に関連付けられた識別子は、前記機械可読識別子から決定される。この実施形態では、前記機械可読識別子から決定された前記第一のオブジェクト記述子は、人物の特徴を指定してもよい。デジタル・メディア・コンテンツから決定されるオブジェクトの集合は、デジタル・メディア・コンテンツから決定される一人または複数の人物を含むことが可能である。前記少なくとも一つのオブジェクト記述子に対応する人物について、空間位置が決定できる。前記動作を実行することは、デジタル・メディア・コンテンツに、該デジタル・メディア・コンテンツ中の前記少なくとも一つのオブジェクト記述子に対応する人物の空間位置を示す情報を追加し、該デジタル・メディア・コンテンツに前記第一のオブジェクト記述子に関連付けられた前記識別子を追加することを含むことが可能である。
【０００８】
ある実施形態では、前記第一のオブジェクト記述子に関連付けられたメタデータ情報は、前記機械可読識別子から決定される。この実施形態では、前記第一のオブジェクト記述子は、ある文書断片の特徴を指定するものでもよく、デジタル・メディア・コンテンツから決定されたオブジェクトの集合は一つまたは複数の文書断片を含むことが可能である。前記少なくとも一つのオブジェクト記述子に対応するオブジェクトの、デジタル・メディア・コンテンツ内での空間位置が決定される。実行される動作は、前記少なくとも一つのオブジェクト記述子に対応するオブジェクトの空間位置に近接してまたは重なって、前記メタデータ情報の一部分が位置されるよう、デジタル・メディア・コンテンツに注釈付けすることを含むことが可能である。
【０００９】
デジタル・メディア・コンテンツは、画像、テキスト情報、オーディオ情報またはビデオ情報などおよびその組み合わせを含む。
【００１０】
第一のオブジェクト記述子を機械可読識別子から決定するのは、該機械可読識別子をデコードすることによってであってもよい。ある実施形態では、機械可読識別子はバーコードであってもよい。バーコードはバーコード読取器を使って読むことができ、第一のオブジェクト記述子はそのバーコードから決定できる。別の実施形態では、機械可読識別子は電波方式認識（RFID）タグに記憶されていてもよい。RFIDタグから情報を読み取るにはRFID読取器を使うことができ、第一のオブジェクト記述子はRFIDタグから読み取られた情報から決定できる。
【００１１】
ある実施形態では、前記オブジェクトの集合に含まれるあるオブジェクトについてオブジェクト記述子を生成することは、そのオブジェクトについて一つまたは複数の特徴を抽出し、抽出された一つまたは複数の特徴に基づいてそのオブジェクトについてのオブジェクト記述子を生成することを含むことが可能である。デジタル・メディア・コンテンツからのあるオブジェクトについて抽出されるべき一つまたは複数の特徴は、機械可読識別子から決定される第一のオブジェクト記述子によって指定される前記一つまたは複数の特徴に基づいて決定できる。第一のオブジェクト記述子はMPEG-7フォーマットで表されてもよい。第一のオブジェクト記述子は人物、文書断片、画像、スライド、動きまたはスピーチ・パターンの一つまたは複数の特徴を指定することが可能である。デジタル・メディア・コンテンツからの前記オブジェクトの集合を決定することは、前記第一のオブジェクト記述子によって指定される一つまたは複数の特徴についてデジタル・メディア・コンテンツを解析することを含む。
【００１２】
以上のこと、ならびに本発明の他の特徴、実施例および利点は、以下の仕様、請求項および付属の図面を参照するとより明白になるであろう。
【発明を実施するための最良の形態】
【００１３】
以下の記述では、説明の目的のため、本発明の十全な理解を提供するために個別的な詳細が述べられるが、本発明がそうした個別的な詳細なしでも実施できることは明白であろう。
【００１４】
本発明の諸実施形態は、デジタル・メディア・コンテンツ（たとえば、画像、オーディオ情報、ビデオ情報）から決定された一つまたは複数のオブジェクトを、機械可読識別子によって指定された一つまたは複数のオブジェクトと自動的に比較して、そのメディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致するかどうかを判別するための技術を提供する。メディア・コンテンツから決定されたオブジェクトが機械可読識別子によって指定されたオブジェクトに一致すると判定するのに際して、一つまたは複数の動作が開始されてもよい。開始されるべき動作を特定する（identify）情報も機械可読識別子によって内包されていてもよい。
【００１５】
図１Ａおよび１Ｂは、本発明のある実施形態を実施するために使用できるシステム１００の簡略化されたブロック図を描いている。図１Ａに描かれるように、システム１００は、プロセッサ１０２、メモリ１０４、機械可読識別子取り込みサブシステム１０６、メディア・コンテンツ取り込みサブシステム１０８およびユーザーインターフェース・サブシステム１１０を含むいくつかのサブシステムを有する。プロセッサ１０２は一つまたは複数のバスを使って他のサブシステムと通信できる。図１Ａに描かれているさまざまなサブシステムは、ソフトウェアによって、ハードウェアによって、あるいはその組み合わせによって実装できる。図１Ａに描かれているシステム１００は単に本発明を組み込む実施形態を例示するものであって、請求項で述べられる本発明の範囲を限定するものではない。当業者は他の変形、修正および代替を認識するであろう。
【００１６】
メモリ・サブシステム１０４は、システム１００の機能を与える基本的なプログラミングおよびデータ構造体を格納するよう構成されることが可能である。たとえば、システム１００の機能を与えるソフトウェア・コード・モジュールまたは命令１１２がメモリ１０４内に記憶されていてもよい。これらのソフトウェア・モジュールまたは命令は、プロセッサ１０２によって実行できる。メモリ１０４はまた、本発明に基づいて使用されるさまざまな型のデータを記憶するための貯蔵所を提供できる。メモリ・サブシステム１０４は、プログラム実行の間の命令およびデータの記憶のためのメイン・ランダムアクセスメモリ（RAM）および固定された命令が格納される読み出し専用メモリ（ROM）を含むいくつかのメモリを含むことが可能である。メモリ・サブシステム１０４はまた、光ディスク、メモリカード、メモリカートリッジおよびその他の記憶媒体といったリムーバブル媒体を含んでいてもよい。
【００１７】
ユーザーインターフェース・サブシステム１１０は、ユーザーがシステム１００と対話することを可能にする。たとえば、ユーザーは、ユーザーインターフェース・サブシステム１１０を使ってシステム１００に情報を入力することができる。情報の入力は、マウス、ポインタ、キーボード、タッチスクリーン、スタイラスまたはその他の同様のデバイスといったツールを介してでありうる。システム１００もユーザーインターフェース・サブシステム１１０を使って情報を出力できる。出力装置は、スクリーンまたはモニタ、オーディオ情報出力装置または情報を出力する機能をもつその他の装置を含むことが可能である。
【００１８】
システム１００は、一つまたは複数の機械可読識別子１１４を受け取るよう構成される。機械可読識別子１１４は、一つまたは複数のオブジェクトからなる集合に関係した情報を内包する。機械可読識別子は、バーコード、電波方式認識（RFID）タグに記憶される情報などのような種々の形で具現できる。機械可読識別子がシステム１００に与えられるのは、たとえばシステム１００のユーザーによってでありうる。あるいはまた、システムは、機械可読識別子取り込みサブシステム１０６を使って機械可読識別子を読んでもよい。機械可読識別子取り込みサブシステム１０６は、機械可読識別子を取り込む（たとえば読み取る、検出する）か、あるいはシステム１００にとってアクセス可能なメモリ位置から機械可読識別子にアクセスするよう構成されることが可能である。機械可読識別子取り込みサブシステム１０６の構成要素および該サブシステムによって実行される機能は、使用される機械可読識別子の種類に依存することが可能である。たとえば、バーコードの形の機械可読識別子を取り込むためには、機械可読識別子取り込みサブシステム１０６はバーコードを読むためのバーコード読取器を有することができる。機械可読識別子情報がRFIDタグに記憶されている実施形態では、機械可読識別子取り込みサブシステム１０６は、RFIDタグから機械可読識別子情報を読むための受信機を有することができる。
【００１９】
システム１００によって受け取られる機械可読識別子は、一つまたは複数のオブジェクトを指定できる。システム１００は、機械可読識別子に内包されている情報を抽出するために機械可読識別子をデコードするよう構成されていてもよい。抽出された情報は、一つまたは複数のオブジェクトを指定する情報を含むことが可能である。機械可読識別子からの情報をデコードおよび抽出するための処理は、プロセッサ１０２によって実行できる。
【００２０】
デコードされた機械可読識別子情報１１６はメモリ１０４に記憶されることができる。本発明のある実施形態によれば、機械可読識別子からデコードされた情報は、一つまたは複数のオブジェクト記述子を決定する（identify）情報を含む。オブジェクト記述子は、オブジェクトの一つまたは複数の特徴（または特性）を指定することによってオブジェクトを特定する（identify）。さまざまな異なる種類の、可能性としてはメディア・コンテンツ種類の異なるオブジェクトが指定されてもよい。オブジェクトの例は、これに限られるものではないが、文書断片（デジタル文書コンテンツについて）、画像、スライド、人物（写真について）、スピーチ・パターン（オーディオ・コンテンツについて）、動き（ビデオ・コンテンツについて）などを含む。
【００２１】
オブジェクト記述子によって指定される特徴の種類は、記述されるオブジェクトの種類に依存することが可能である。一般に、特徴は、オブジェクトの内容の諸側面または指定されるオブジェクトのその他の特性を記述できる。たとえば、オブジェクトが人物の顔である場合、オブジェクト記述子は顔の視覚的な外観特性を記述できる。別の例として、指定されるオブジェクトが文書断片である場合、オブジェクト記述子は、n字連接（たとえば語）の数、当該文書断片中での色分布、当該文書断片中での白いスペースの分布、色ヒストグラムまたは当該文書断片のその他の特性といった当該文書断片の特性を特定する（identify）特徴を指定できる。さらにもう一つの例として、指定されるオブジェクトが（オーディオ・コンテンツについての）スピーチ・パターンである場合、オブジェクト記述子は、そのスピーチ・パターンを特徴付ける事前に記録された音素を指定できる。オブジェクトが（ビデオ・コンテンツについての）動きオブジェクトである場合、オブジェクト記述子は、その動き（たとえば、人物の歩き方、手話）を特徴付けるビデオシーケンスまたは軌跡を指定できる。特徴を指定し、処理するためにはさまざまな異なる規格が使用できる。たとえば、ISO/IEC15938-3,MPEG-7:Visual,2002、ISO/IEC15938-4,MPEG-7:Audio,2002、ISO/IEC15938-8,MPEG-7:Extraction  and  Use  of  MPEG-7  Description,2002で、これらの内容全体はあらゆる目的において参照によりここに組み込まれる。
【００２２】
機械可読識別子からデコードされた情報１１６はメタデータ情報をも含んでいてもよい。メタデータ情報は、一つまたは複数のオブジェクト記述子について実行されるべき一つまたは複数の動作を指定できる。メタデータ情報は、その動作の実行において使用されるべき情報をも含んでいてもよい。メタデータはまた、異なる多様な目的のために使用できるその他の種類の情報をも含んでいてもよい。
【００２３】
ある実施形態では、メタデータ情報は、機械可読識別子からデコードされた個々のオブジェクト記述子にも関連付けられたものでもよい。あるオブジェクト記述子に関連付けられたメタデータは、そのオブジェクト記述子に関連した追加的な情報を含むことができる。たとえば、ある個別のオブジェクト記述子に関連付けられたメタデータは、その個別のオブジェクト記述子に一致するオブジェクト記述子が識別されたときに実行されるべき動作を特定（identify）することができる。メタデータ情報および実行されることができる動作の種類の例はのちに述べる。
【００２４】
先述したように、機械可読識別子からデコードされた情報は、あるオブジェクト記述子について実行されるべき動作を特定（identify）することができるメタデータ情報を含んでいてもよい。あるオブジェクト記述子について実行されるべき動作を決定するには、他のさまざまな技術も使用できる。たとえば、いくつかの実施形態では、メタデータ情報は動作は指示せず、実行されるべき動作（単数または複数）が内在的であったり、そのメタデータ情報に基づいて自動的に決定されたりしてもよい。別の実施形態では、あるオブジェクト記述子について実行されるべき動作は、そのオブジェクト記述子そのものおよびそのオブジェクト記述子によって指定される情報に基づいて内在的に決定されてもよい。さらに別の実施形態では、実行されるべき動作を決めるのに、オブジェクト記述子とメタデータ情報との組み合わせが使われてもよい。さらに別の実施形態では、実行されるべき動作が種々の種類のオブジェクトについて事前設定されていてもよい。請求項において述べられる本発明のためには、動作の実行は必須ではないことは明らかであろう。
【００２５】
図１Ａに描かれるように、システム１００はデジタル・メディア・コンテンツ１１８を受け取る。デジタル・メディア・コンテンツ１１８は、システム１００に与えられてもよいし、あるいはシステム１００にとってアクセス可能なメモリ位置からシステム１００によってアクセスされてもよい。デジタル・メディア・コンテンツの例としては、デジタル文書、デジタル写真、画像、スライド情報、オーディオ情報、ビデオ情報またはその組み合わせが含まれる。
【００２６】
図１Ａに描かれるように、システム１００は、デジタル情報を取り込むよう構成されたメディア・コンテンツ取り込みサブシステム１０８を有する。たとえば、メディア・コンテンツ取り込みサブシステム１０８は、画像および写真を取り込むよう構成されたカメラ、スキャンされたメディア・コンテンツ・データを取り込むよう構成されたスキャナ、オーディオ情報を取り込むよう構成されたマイクロホン、ビデオ情報を取り込むよう構成されたビデオカメラなどを有することができる。取り込まれたメディア・コンテンツは、メモリ１０４に格納されてその後の処理のためにそこからアクセスできるようにされてもよいし、あるいはさらなる処理のためにプロセッサ１０２に転送されてもよい。
【００２７】
システム１００は、メディア・コンテンツを解析し、該デジタル・メディア・コンテンツから、一つまたは複数のオブジェクトからなる集合を決定するよう構成される。ある実施形態では、メディア・コンテンツから決定されるべきオブジェクトの種類を特定（identify）する情報が、システム１００のユーザーによって指定されることができる。決定されるべきオブジェクトの種類は、メディア・コンテンツそのものの種類から決定されてもよい。たとえば、メディア・コンテンツが人々の写真である場合、システム１００はその写真から個々の人物（または他の何らかのオブジェクト）を自動的に抽出するよう構成されていてもよい。もう一つの例としては、メディア・コンテンツが文書である場合、システム１００が、その文書から文書断片（または画像などのような他の何らかのオブジェクト）を自動的に決定するよう構成されていてもよい。
【００２８】
デジタル・メディア・コンテンツから決定されるべきオブジェクトの種類は、一つまたは複数の機械可読識別子からデコードされたオブジェクト記述子から決定されてもよい。たとえば、オブジェクト記述子が人々の顔を指定している場合、メディア・コンテンツから顔が自動的に決定できる。オブジェクト記述子がオーディオ音素を指定している場合、メディア・コンテンツから声のパターンが決定できる。実施形態によっては、メディア・コンテンツから決定されるべきオブジェクトの種類を識別するために、処理が実行されるアプリケーション・コンテキストも使用されてもよい。
【００２９】
メディア・コンテンツから決定されるオブジェクトに関係したその他の情報が決定されることも可能である。たとえば、適切な場合には、メディア・コンテンツから決定されたオブジェクトについての空間情報が決定されることが可能である。オブジェクトについての空間情報とは、メディア・コンテンツ中でのそのオブジェクトの位置を特定（identify）することができる。たとえば、先述したように、メディア・コンテンツが文書であれば、その文書からの文書断片が決定されることができ、その文書内での断片の空間座標も決定されることができる。別の例としては、先述したように、メディア・コンテンツが写真であれば、写真に写っている人物またはその顔が写真から決定されることができる。それぞれの人物または顔について、写真内でのその人物または顔の位置を示す空間情報も決定されることができる。ある実施形態では、オブジェクトについての空間情報は、そのオブジェクトがメディア・コンテンツから決定される時点で決定できる。あるいはまた、オブジェクトについての空間情報は、オブジェクトについてある動作が実行されるべきときなど、何らかののちの時点において決定されてもよい。
【００３０】
次いでシステム１００は、メディア・コンテンツから決定されたオブジェクトについてのオブジェクト記述子を決定するよう構成される。決定された各オブジェクトについてのオブジェクト記述子を生成する処理の一部として、システム１００はそのオブジェクトから特徴を抽出し、次いでその抽出された特徴に基づいてそのオブジェクトについてのオブジェクト記述子を生成することができる。オブジェクトから抽出されるべき特徴は、オブジェクトの種類に依存することが可能である。たとえば、オブジェクトが人物の顔である場合、顔の特徴がその顔オブジェクトから抽出され、次いでそのオブジェクトのオブジェクト記述子を生成するために使用されることができる。
【００３１】
オブジェクトから抽出されるべき特徴は、機械可読識別子からデコードされたオブジェクト記述子によって記述される特徴によってガイドされてもよい。たとえば、機械可読識別子から一組のオブジェクト記述子が抽出され、各オブジェクト記述子が文書断片を特定（identify）しているとする。オブジェクト記述子は、文書断片中に生起する語長を指定することによって文書断片を特定（identify）していることがありうる。この実施例では、メディア・コンテンツから決定された文書断片について、システム１００は該文書断片からは語長を抽出するだけでありうる。このようにして、メディア・コンテンツから決定されたオブジェクトについて、そのオブジェクトから抽出される特徴の数は減らされ、機械可読識別子から決定されたオブジェクト記述子によって記述される（identified）特徴に制限される。機械可読識別子から決定されるオブジェクト記述子は、このように、メディア・コンテンツから抽出される必要のある特徴を減らすのである。これは、特徴抽出プロセスを単純化し、それにより特徴抽出のために必要とされるメモリおよび計算資源を減らす。特徴検索空間の縮小は、特徴抽出プロセスの精度向上にもつながることが可能である。
【００３２】
メディア・コンテンツから決定された諸オブジェクトについて特徴を抽出したのち、システムは各オブジェクトについてのオブジェクト記述子を、そのオブジェクトから抽出された特徴に基づいて生成する。メディア・コンテンツから決定されたオブジェクトについて生成されるオブジェクト記述子は、次いで、機械可読識別子からデコードされたオブジェクト記述子と比較され、一致するオブジェクト記述子がもしあれば見出される。
【００３３】
一致するオブジェクト記述子を見出すために二組のオブジェクト記述子を比較するためには、種々の技術を使用できる。ある技術によれば、メディア・コンテンツから決定されたオブジェクトについて生成されたオブジェクト記述子の組における各オブジェクト記述子について、そのオブジェクト記述子と、機械可読識別子からデコードされたオブジェクト記述子の組における各オブジェクト記述子とについての距離計量が計算される。ここで、二つのオブジェクト記述子の間の距離計量とは、該二つのオブジェクト記述子の間の類似性または一致の尺度を提供するものである。いかなる二つのオブジェクト記述子についても、その対について計算される距離計量は次いで所定の閾値と比較され、その二つのオブジェクト記述子が一致していると考えられるかどうかが判定される。たとえば、距離計量の値が低いほどよい一致であると識別する実施形態では、二つのオブジェクト記述子が一致していると考えられるのは、その対について計算された距離計量が前記閾値より小さい場合でありうる。したがって、システム１００は、二つのオブジェクト記述子が厳密に同様でなくても一致していると判定（identify）できる。こうして、ユーザーは、閾値を適切な値に設定することによって、一致のために要求される類似性の好ましい度合いを制御できる。
【００３４】
メディア・コンテンツから決定されたオブジェクトについて生成されたオブジェクト記述子の組からのあるオブジェクト記述子が、機械可読識別子からデコードされたあるオブジェクト記述子に一致する場合、それは、メディア・コンテンツから決定された、その一致するオブジェクト記述子に対応するオブジェクトが、機械可読識別子からデコードされたオブジェクト記述子によって指定される特徴を満たすまたはそれに一致することを含意する。よって、一致は、機械可読識別子からデコードされたオブジェクト記述子によって記述されるオブジェクトが、メディア・コンテンツから決定されたオブジェクトのうちに見出されたことを示す。一致は、メディア・コンテンツから決定されたオブジェクトが、機械可読識別子からデコードされたオブジェクト記述子によって指定される特徴に一致する特徴を有することを示す。
【００３５】
機械可読識別子からデコードされたオブジェクト記述子に一致するとして判定された（identified）、諸オブジェクトについて生成されたオブジェクト記述子の組におけるあるオブジェクト記述子について、さまざまな動作が開始されてもよい。先述したように、実行されるべき動作を決定するためにはさまざまな技術が使用できる。たとえば、メディア・コンテンツから決定されたオブジェクトについて生成された特定のオブジェクト記述子が、機械可読識別子からデコードされた第一のオブジェクト記述子に一致すると見出されたとすると、開始されるべき動作は、該第一のオブジェクト記述子に関連付けられたメタデータによって指定されていてもよい。あるいはまた、実行されるべき動作は、該第一のオブジェクト記述子に関連付けられたメタデータ情報の内容から内在的である、あるいは自動的に決定されるのでもよい。開始されるべき動作は、第一のオブジェクト記述子の性質から、あるいは異なる技術の組み合わせから決定されてもよい。実施形態によっては、メディア・コンテンツから決定されたオブジェクトについて生成されたオブジェクト記述子が機械可読識別子からデコードされたオブジェクト記述子に一致しない場合にも動作が実行されてもよい。
【００３６】
さまざまな異なる種類の動作が開始または実行されることができる。動作の例としては、メディア・コンテンツの注釈付け、メディア・コンテンツを使った動作の実行、データベースの更新、メッセージの送信、URLの呼び出しまたはその他の同様の動作が含まれる。機械可読識別子１１４からデコードされた情報１１６内の一致するオブジェクト記述子に関連付けられたメタデータ情報がもしあれば、それが動作の一部として使用されることができる。
【００３７】
たとえば、文書メディア・コンテンツから決定されたオブジェクトについて生成された第一のオブジェクト記述子が機械可読識別子からデコードされた第二のオブジェクト記述子に一致することが見出されたとする。さらに、その第二のオブジェクト記述子に関連付けられたメタデータがあるURIを特定して（identify）いるとする。このシナリオでは、実行されるべき動作は自動的に決定されてもよく、当該文書に注釈付けをして、第二のオブジェクト記述子に関連付けられたURIが、当該文書において第一のオブジェクト記述子に対応するオブジェクトにかぶせられる、部分的に重ねられる、あるいは近くに位置されるようにすることを含むことが可能である。
【００３８】
もう一つの例として、メディア・コンテンツへの注釈付けは、一致するオブジェクト記述子に対応する画像中のオブジェクトの空間位置を識別し、その情報を当該画像のヘッダに追加する（たとえば、その画像のJPEGヘッダに追加されることができる）ことを含むことが可能である。このようにして、さまざまな異なる動作が開始されることが可能である。
【００３９】
図１Ａに描かれる実施形態では、システム１００は、上記の処理を実行するよう構成されたスタンドアローンのシステムである。上記したように、システム１００は機械可読識別子を受け取り、機械可読識別子からオブジェクト記述子をデコードし、デジタル・メディア・コンテンツから一つまたは複数のオブジェクトを決定し、該オブジェクトについてオブジェクト記述子を生成し、機械可読識別子からデコードされたオブジェクト記述子とメディア・コンテンツから決定されたオブジェクトについて生成されたオブジェクト記述子との間の比較を実行して一致するオブジェクト記述子を探し、一致するオブジェクト記述子それぞれについて一つまたは複数の動作を実行するよう構成ることが可能である。システム１００は、可能性としてはカメラを具備する携帯電話、携帯情報端末（PDA）、カメラ、コピー機、スキャナ、デスクトップ、ラップトップ、多機能デバイスまたはデジタル情報を処理する機能のある任意のデータ処理システムといったさまざまな形で具現できる。
【００４０】
代替的な諸実施形態では、上記のさまざまな処理は、一つまたは複数の他のデータ処理システムと共同したシステム１００によって実行されてもよい。図１Ｂは、別のデータ処理システムと共同するシステム１００によって処理が実行される本発明の実施形態の単純化されたブロック図を描いている。図１Ｂに描かれる分散式実施形態では、処理はサーバー１３０と共同で実行されることができる。この実施形態では、システム１００は、他のコンピュータシステム、ネットワークおよびデバイスにインターフェースを提供するネットワークインターフェース・サブシステム１３２を有することができる。ネットワークインターフェース・サブシステム１３２は、インターネットまたは他の何らかの通信ネットワークといったネットワークを通じて、システム１００に通信されるデータを受け取るため、およびシステム１００から他のシステムまたはネットワークにデータを送信するためのインターフェースとしてはたらく。図１Ｂに示されるように、システム１００は通信リンク１３４を介してサーバー１３０と通信できる。通信リンク１３４は、無線通信リンクもしくは有線通信リンク、両者の組み合わせまたは通信を可能にする機能をもつ他のいかなるリンクであってもよい。システム１００とサーバー１３０との間の通信を容易にするために種々の通信プロトコルを使用できる。
【００４１】
図１Ｂに描かれた実施形態については、図１Ａに関して述べたさまざまな処理はサーバー１３０と共同したシステム１００によって実行されることができる。たとえば、本発明のある実施形態によれば、システム１００は、機械可読識別子を読み、デジタル・メディア・コンテンツを取り込み、そしてその情報をサーバー１３０にネットワークを介して送るよう構成されることが可能である。サーバー１３０は取り込まれた機械可読識別子情報のさらなる処理およびメディア・コンテンツの解析を実行するよう構成されることが可能である。該解析は、機械可読識別子のデコード、メディア・コンテンツを解析してメディア・コンテンツから一つまたは複数のオブジェクトを決定すること、決定されたオブジェクトについてのオブジェクト記述子の生成、およびメディア・コンテンツから決定されたオブジェクトについて生成されたオブジェクト記述子と、機械可読識別子からデコードされたオブジェクト記述子との間の比較を実行して、一致するオブジェクト記述子がもしあればそれを見つけ出して特定する（identify）こと、を含む。サーバー１３０はまた、一致するオブジェクト記述子の決定に際して、もしあれば動作を開始するようにも構成されることが可能である。動作はサーバー１３０によって、システム１００によって、あるいは他の何らかのシステムによって実行できる。ある実施形態では、サーバー１３０は動作を実行するよう、システム１００に信号を送信することができる。
【００４２】
もう一つの実施形態では、機械可読識別子の処理、メディア・コンテンツの処理およびオブジェクト記述子の比較がシステム１００によって実行されることができる一方、動作がサーバー１３０によって実行されることができる。さらに他の実施形態では、実行されるべき動作がサーバーによって決定され、その情報がシステム１００に与えられるのでもよい。代替的な諸実施形態では、処理ステップの他のさまざまな組み合わせが実行されることができる。他の実施形態では、システム１００およびサーバー１３０に加えて他のさまざまなデータ処理システムが前記処理に関わってもよい。ある実施形態では、機械可読識別子情報およびデジタル・メディア・コンテンツは、有線または無線リンクを介したネットワーク接続を介して受信できる。
【００４３】
図２は、本発明のある実施形態に基づいて実行される処理を描く、単純化された高レベルのフローチャート２００である。図２に描かれた処理は、システム１００（たとえば図１Ａに描かれた実施形態）によって独立して実行されてもよいし、あるいは図１Ｂに描かれたサーバー１３０のような他のシステムと共同したシステム１００によって実行されてもよい。処理は、プロセッサによって実行されるソフトウェア（コード・モジュールまたは命令）、ハードウェア・モジュールまたは両者の組み合わせによって実行できる。図２に描かれたフローチャート２００は、単に本発明のある実施形態を例示するものであって、本発明の範囲を限定することを意図したものではない。他の変形、修正および代替も本発明の範囲内である。図２に描かれた処理は、種々の実装の制約ではたらくよう適応されてもよい。
【００４４】
図２に描かれるように、機械可読識別子は図１Ａに描かれたシステム１００のようなデータ処理システムによって受け取られる（ステップ２０２）。先述したように、機械可読識別子はさまざまな仕方で受け取れる。機械可読識別子はユーザーまたはシステムによって与えられてもよいし、メモリ記憶からアクセスされてもよいし、あるいは取り込みデバイスを使って取り込まれてもよい。機械可読識別子は、バーコード、RFIDタグに記憶された情報などといったさまざまな形で具現できる。したがって、２０２において機械可読識別子が受け取られる仕方は、機械可読識別子の種類および該機械可読識別子を取り込むために利用可能な装置に依存することが可能である。
【００４５】
２０２において受け取られた機械可読識別子はデコードされ、オブジェクト記述子（D1）および可能性としてはメタデータ情報が抽出される（ステップ２０４）。デコードされた各オブジェクト記述子は、オブジェクトの一つまたは複数の特徴（または特性）を指定することによってオブジェクトを特定（identify）することができる。機械可読識別子からデコードされたメタデータ情報はもしあれば、デコードされたオブジェクト記述子のうち一つまたは複数に関連付けられていてもよい。これでシステムはデジタル・メディア・コンテンツを解析する準備ができた。
【００４６】
図２に示されるように、デジタル・メディア・コンテンツは入力として受け取られることが可能である（ステップ２０６）。デジタル・メディア・コンテンツは種々のソースから受け取られることが可能である。たとえば、ある実施形態では、デジタル・メディア・コンテンツは、カメラ、コピー機、スキャナ、マイクロホン、ビデオカメラなどといった取り込み装置を使って取り込まれることが可能である。メディア・コンテンツはまた、ユーザーまたは何らかのデータ処理システムによって与えられてもよい。メディア・コンテンツは、テキスト情報、画像情報、オーディオ情報、ビデオ情報およびその組み合わせといった一つまたは複数の種類の情報を有することができる。
【００４７】
次いで、２０６において受け取られたメディア・コンテンツから、一つまたは複数のオブジェクトが決定される（ステップ２０８）。先述したように、メディア・コンテンツからはさまざまな異なる種類のオブジェクトが決定されることが可能である。決定されるべきオブジェクトの種類を制御するためにはさまざまな基準がありうる。それには、ユーザーによって与えられる情報に基づいて、メディア・コンテンツの種類から、使用コンテキストからおよび／または２０４でデコードされた情報から、が含まれる。
【００４８】
次いで、２０８においてデジタル・メディア・コンテンツから決定された一つまたは複数のオブジェクトについて、オブジェクト記述子（D2）の集合が生成される（ステップ２１０）。ステップ２１０における処理の一部として、２０８において決定された各オブジェクトから特徴が抽出されてもよい。すると、オブジェクトについて、該オブジェクトから抽出された特徴に基づいてオブジェクト記述子が生成されることができる。先述したように、オブジェクトから抽出されるべき特徴は、そのオブジェクトの種類に依存してもよい。さらに、オブジェクトから抽出されるべき特徴は、ステップ２０４において機械可読識別子からデコードされたオブジェクト記述子によって記述される特徴によってガイドされてもよい。オブジェクトについて抽出される特徴は、機械可読識別子から決定されたオブジェクト記述子（D1）によって特定される（identified）特徴に限定されてもよい。よって、オブジェクト記述子（D1）は、メディア・コンテンツから抽出されなければならない特徴を減らす。これは、特徴抽出プロセスを単純化し、それにより特徴抽出に必要とされるメモリおよび計算資源を軽減する。特徴検索空間の縮小も特徴抽出プロセスの精度を上昇させることが可能である。
【００４９】
次いで、２０４において決定されたオブジェクト記述子（D1）が、２１０において生成されたオブジェクト記述子（D2）と比較され、一致するオブジェクト記述子がもしあれば見出される（ステップ２１２）。一致するオブジェクト記述子を見出すために二組のオブジェクト記述子を比較するためには種々の技術が使用できる。先述したように、ある技術によれば、D2に含まれる各オブジェクト記述子について、そのオブジェクト記述子とD1に含まれる各オブジェクト記述子とについて距離計量が計算される。ここで、二つのオブジェクト記述子の間の距離計量とは、該二つのオブジェクト記述子の間の類似性または一致の尺度を提供するものである。その対について計算される距離計量は次いで所定の閾値と比較され、その二つのオブジェクト記述子が一致していると考えられるかどうかが判定される。したがって、二つのオブジェクト記述子は厳密に同様でなくても一致していると考えることができる。ユーザーは、閾値を適切な値に設定することによって、一致のために要求される類似性の所望の度合いを制御できる。
【００５０】
次いで、D1に含まれるオブジェクト記述子に一致する、D2に含まれるオブジェクト記述子について、一つまたは複数の動作がもしあれば実行されることができる（ステップ２１４）。D2に含まれるある一致するオブジェクト記述子について、動作（単数または複数）が開始されるべきかどうかを決定するためには、さまざまな技術が使用できる。さまざまな異なる種類の動作が開始されることができる。ある実施形態では、D2に含まれるある一致するオブジェクト記述子について、開始されるべき動作は、D1に含まれる一致するオブジェクト記述子に関連付けられたメタデータによって指定される。実行されるべき動作が内在的である、あるいはD1に含まれる一致するオブジェクト記述子に関連付けられたメタデータ情報の内容から自動的に決定されるのでもよい。開始されるべき動作は、一致するオブジェクト記述子の性質から、あるいは異なる技術の組み合わせから決定されてもよい。さらに他の実施形態では、事前設定された動作が開始または実行されてもよい。
【００５１】
さまざまな異なる種類の動作が開始および実行されることができる。動作の実行ではさまざまな種類の情報が使用できる。たとえば、D1のうちの一致するオブジェクト記述子に関連付けられたメタデータ情報が、動作を実行するために使用されてもよい。他の実施形態では、２０６において受け取られたメディア・コンテンツまたはその部分が動作の実行において使用されてもよい。D1のうちのあるオブジェクト記述子に一致するオブジェクト記述子をもつオブジェクトに関係した情報も、動作を実行するために使用されることができる。たとえば、そのオブジェクトに関係した空間情報が動作の実行において使用されることができる。
【００５２】
動作が開始または実行されたのち、処理を停止するかどうかを決める検査を行うことができる（ステップ２１６）。さらなる処理が実行されるべきであれば、フローチャート処理はステップ２０６に進み、新たなメディア・コンテンツが解析のために受領される。そうでなければ、処理は終了する。
【００５３】
前述のように、諸オブジェクトの集合のための情報をエンコードするために、単一の機械可読識別子が使用されることができる。機械可読識別子は、一つまたは複数のオブジェクト記述子を決定する（identify）情報をエンコードすることができる。各オブジェクト記述子はオブジェクトの特徴または特性を記述する（identify）ことによってオブジェクトを特定する（identify）。機械可読識別子は、一致するオブジェクト記述子を見出した際の動作を特定する（identify）情報をもエンコードしていてもよい。上記の処理により、メディア・コンテンツから決定されたオブジェクトのうち、前記機械可読識別子から抽出されたオブジェクト記述子に一致するオブジェクト記述子をもつものが見つけ出して特定される（identified）。したがって、機械可読識別子からデコードされたオブジェクト記述子によって指定される特徴に一致する特徴を持つオブジェクトが、メディア・コンテンツから見つけ出して特定される（identified）。一致するオブジェクト記述子について動作が実行されてもよい。この仕方では、機械可読識別子をメディア・コンテンツと関連付ける必要なしに、メディア・コンテンツから決定された一つまたは複数のオブジェクトについて動作が実行できる。
【００５４】
オブジェクト記述子が機械可読識別子そのものにエンコードされているので、ある実施形態では、機械可読識別子を読むことによって、システムは処理全体を、サーバーや他の何らかのシステムへのアクセスを必要とすることなく、実行できる。たとえば、図１Ａに描かれたように、処理全体が、携帯電話、PDA、カメラなどでありうるシステム１００によって実行できる。代替的な実施形態では、図１Ｂに描かれた実施形態で示されるように、処理は、サーバーのような他の何らかのシステム（単数または複数）と共同するシステム１００によって実行できる。
【００５５】
さらに、機械可読識別子からデコードされたオブジェクト記述子および他の情報が、メディア・コンテンツの解析をガイドするために使用される。結果として、メディア・コンテンツから決定される必要があるのは、特定のオブジェクトおよび関連する特徴だけである。これは、メディア・コンテンツからオブジェクトを認識するために該メディア・コンテンツを解析するプロセスを単純化する。メディア・コンテンツがいくつかの重要でないオブジェクトを有しているかもしれない場合は特にそうである。この単純化の結果、オブジェクト決定に使う処理およびメモリ資源を軽減できる。さらに、特徴抽出は、メディア・コンテンツから決定されたオブジェクトについてのみ実行される。さらに、機械可読識別子からデコードされたオブジェクト記述子によって指定されている特徴だけが抽出される。これは特徴抽出プロセスを単純化し、それにより特徴抽出のために必要とされるメモリおよび計算資源を減らす。特徴検索空間の縮小は、特徴抽出プロセスの精度向上にもつながることができる。結果として、特徴抽出プロセスおよびオブジェクト決定のプロセスを、携帯電話のようなパワーの低いデバイス上で実行することも現実的でありうる。
【００５６】
機械可読識別子からデコードされたオブジェクト記述子によって特定される（identified）オブジェクトがすべて解析されるメディア・コンテンツ内に存在している必要はない。解析されるメディア・コンテンツは、機械可読識別子からデコードされるオブジェクト記述子によって記述されるオブジェクトのどれも含まなくてもよいし、該オブジェクトの部分集合を含んでいてもよいし、追加的なオブジェクトを含んでいてもよい。
【実施例１】
【００５７】
本発明の教示に基づくさまざまな異なる応用がありうる。本発明のある実施形態に基づくそのような一つの応用が図３に描かれている。この応用では、文書内で「ホットゾーン」が自動的に特定され（identified）、URLと関連付けられる。機械可読識別子３０６が印刷されているページ３０４を含んでいる物理的な文書３０２があるとする。文書３０２は、図３に描かれた旅行本などいかなる文書でもよい。図３に描かれている機械可読識別子３０６はバーコードの形である。
【００５８】
QRコード＋MPEG-7バーコードなど、さまざまな異なる形のバーコーが使用できる。ある実施形態では、QRコードの容量は約3000バイトであり、諸特徴を記述するオブジェクト記述子の表現のために十分である。該諸特徴は、色ヒストグラム、色レイアウト、形状記述子（偏角動径変換（ART:  Angular  Radial  Transform）ベース、曲率スケール空間（CSS:  Curvature  Scale  Space）ベース）、テクスチャー記述子（ガボール（Gabor）等）、混合文書リアリティ（MDR:  Mixed  Document  Reality）記述子（たとえばOCRベース、画像ベース）などに基づく特徴である。MPEG-7は、諸オブジェクト記述子についての標準的で圧縮された表現を提供する。適用可能な標準は、ISO/IEC15938-3,MPEG-7:Visual,2002、ISO/IEC15938-4,MPEG-7:Audio,2002、ISO/IEC15938-8,MPEG-7:Extraction  and  Use  of  MPEG-7  Description,2002を含む。ある実装では、各文書断片記述子について約100バイトが使用できるので、結果として一つの機械可読識別子をもつ文書内には300個までの文書断片記述子が記述できる。代替的な諸実施形態では、機械可読識別子３０６はRFIDタグ上に記憶された情報など種々の異なる形を取ることができる。
【００５９】
ユーザーは、機械可読識別子３０６を読むために適切な読み取り器を具備したデバイスを使用できる。たとえば、図３に描かれるように、ユーザーは、バーコード３０６を読み、取り込むためのバーコード読取器を具備した携帯電話３０８を使用できる。機械可読識別子がRFIDタグ上に記憶されている実施形態では、読取器は、機械可読識別子情報をタグから読むためのRFIDタグ読取器を具備したデバイスでありうる。
【００６０】
電話３０８によって読まれた機械可読識別子は次いでデコードされて、デコードされた情報３１０が抽出される。情報３１０は、オブジェクト記述子の集合３１２（D1）を決定する（identify）情報を含むことが可能である。図３では、オブジェクト記述子は文書断片を指定するので、オブジェクト記述子は文書断片記述子とも称されることができる。各文書断片記述子３１２は、「ホットゾーン」である文書断片を記述する。各ホットゾーンについてのオブジェクト記述子は、該ホットゾーンに関連した特徴または特性に基づいて該ホットゾーンを記述する。図３に描かれた例では、各オブジェクト記述子は、ホットゾーン文書断片を特徴付ける語長のストリングである。ここで、数字は、各語に含まれる文字数を示し、「+」は２つの語の間の空白を表し、「-」は新行を表す。たとえば、第一のオブジェクト記述子は「5+4+7+10-2+8+1」であり、これが特定する（identify）オブジェクトは、5文字語、次に空白、次に4文字語、次に空白、次に7文字語、次に空白、次に10文字語、次に新行、次に2文字語、次に空白、次に8文字語、次に空白、次に1文字語によって特徴付けられる。オブジェクト記述子はあるオブジェクトについての署名を提供する。図３に描かれた実施形態では、オブジェクト記述子はホットゾーンの記述を、文書内のホットゾーンの位置または場所に基づいてではなく、ホットゾーンの特徴または内容によって行っていることを注意しておく。結果として、オブジェクト記述子の適用は、解析されるべき文書内での特定の位置に限定されない。こうして、オブジェクト記述子によって特定された（identified）文書断片は、解析されるべき文書の一部分しか与えられなくても認識でき、文書全体が与えられる必要はない。応用は、特定の文書または特定のメディア・コンテンツに限定されない。
【００６１】
デコードされた情報３１０は、オブジェクト記述子３１２に関連付けられたメタデータ情報３１４をも含むことができる。図３に描かれた実施形態では、各文書断片記述子３１２についてのメタデータ３１４は、一致するオブジェクト記述子が見つけ出して特定され（identified）たとき、すなわち換言すればオブジェクト記述子３１２によって指定された特徴に一致する特徴をもつオブジェクトが見つけ出して特定され（identified）たときに実行されるべき動作３１６を特定（identify）している。図３では、各オブジェクト記述子３１２についてのメタデータ３１４は、前記動作を実行するために使われるべきURLを特定する（identify）情報３１８をも含んでいる。
【００６２】
本３０２のページを繰りながら、ユーザーはカメラ電話３０８（または他の何らかのデバイス）を使用して、本３０２のページ３２２の一部のデジタル画像３２０を取り込むことができる。デジタル画像３２０はある文書断片に対応し、オブジェクト記述子３１２によって指定される特徴に一致するオブジェクトをみつけるために検索すべきメディア・コンテンツを表している。この例では、オブジェクト記述子D1が文書断片を特定（identify）しているので、画像３２０から決定されるのは文書断片だけでありうる。次いで、文書断片から特徴が抽出できる。特徴抽出は、オブジェクト記述子によって指定される語長、空白および新行に限定されることが可能である。
【００６３】
次いで画像３２０から認識されたオブジェクトについてオブジェクト記述子（D2）が生成されることができる。画像３２０から認識されたオブジェクトについて生成されたオブジェクト記述子（D2）は、次いで、一致するオブジェクト記述子を見出すために、機械可読識別子３０６からデコードされたオブジェクト記述子（D1）と比較される。
【００６４】
次いで、D1のうちのあるオブジェクト記述子に一致するD2のうちのオブジェクト記述子について、ある動作が実行される。実行される動作は、D1のうちの一致するオブジェクト記述子に関連付けられたメタデータによって特定される（identified）。図３に描かれた例では、動作は、画像内の「ホットゾーン」上に色付きマーカー（たとえば赤または青のマーカー）３１６を重ね、該マーカーを、D1のうちの一致する文書断片記述子に関連付けられたメタデータによって特定される（identified）特定のURLと関連付けることによって、注釈付けされた画像３２０′を生成する、画像３２０の注釈付けを含む。この動作の実行の一部として、画像３２０内でのホットゾーンの空間位置が特定され（identified）、マーカーが特定された（identified）ホットゾーンにかぶせられる、部分的に重ねられる、あるいは近くに位置されることができる。
【００６５】
図３に描かれた例では、D2からの二つのオブジェクト記述子が、D1に含まれる第一および第二のオブジェクト記述子に一致することが見出されている。すなわち、画像３２０内に二つのホットゾーンが識別されている。一方はオブジェクト記述子「5+4+7+10-2+8+1」に一致し、他方はオブジェクト記述子「6+5+9+4+1+2-3+7+14」に一致するものである。図３に描かれた例では、一致するオブジェクト記述子について実行されるべき動作は、機械可読識別子３０６から抽出された、D1のうちの一致するオブジェクト記述子に関連付けられたメタデータによって明示的に指定されている。したがって、この際には、D1のうちの二つの一致するオブジェクト記述子に関連付けられたメタデータによって指定される動作が実行される。図３に描かれた例では、D1のうちの第一のオブジェクト記述子に関連付けられたメタデータによって特定される（identified）赤いリンクまたはマーカー３２４が、D1における第一のオブジェクト記述子に一致したオブジェクト記述子をもつホットゾーンの上または近くに重ねられ、第二のオブジェクト記述子についてのメタデータによって特定される（identified）青いリンクまたはマーカー３２６が、D1における第二のオブジェクト記述子に一致したオブジェクト記述子をもつホットゾーンの上または近くに重ねられる。
【００６６】
前記動作の一部として、前記マーカーにURLが関連付けられることができる。ある特定の（particular）特定された（identified）ホットゾーンについて、該ホットゾーン上に重ねられるマーカーは、対応するD1からの一致するオブジェクト記述子についてのメタデータによって指定されたURLに関連付けられることができる。呼び出され、表示される該URLは一つまたは複数でありうる。たとえば、マーカー３２４に関連付けられたURLに対応する文書３２８がデバイス３０８によって（あるいは他の何らかのデバイスまたはシステムによって）呼び出され、表示されてもよい。他の実施形態では、マーカーに対応するURLが呼び出されるのは、ユーザーが注釈付けされた画像３２０′からマーカーを選択するときであってもよい。
【実施例２】
【００６７】
RFIDタグの使用がより広まるのにつれて、ますます多くの製品にRFIDタグが取り付けられようになるであろう。人が個人識別情報を記憶するRFIDタグを携行することもありうる。たとえば、人は、人についてのバイオメトリクス情報を記憶するRFIDタグを携行することがありうる。たとえば、人に関連付けられたRFIDタグは、その人の顔の視覚的な外観を記述する情報といった、その人の特徴を記述する一つまたは複数のオブジェクト記述子を記憶することがありうる。オブジェクト記述子が顔の特徴を記述するので、そのようなオブジェクト記述子は顔記述子とも称されることができる。記述子は、人についてのバイオメトリクス情報のような人の他の特徴を記述してもよい。
【００６８】
RFIDタグは人についてのメタデータをも記憶できる。メタデータは、RFIDタグに記憶される一つまたは複数の顔記述子に関連付けられてもよい。たとえば、ある人について、メタデータはその人の名前を特定する（identify）ものでありうる。顔記述子に関連付けられたメタデータは、その人の住所、その人の健康情報、電話番号およびその人に関係する他の情報といった他の種類の情報をも記憶していてもよい。RFIDタグは他の情報をも記憶できる。そのようなRFIDタグを何人かが携行し、各RFIDタグが対応する人物についての顔記述子および可能性としては関連付けられたメタデータ情報を記憶するのでもよい。
【００６９】
図４は、本発明のある実施形態に基づくもう一つの応用である。この例示的な応用では、本発明の教示はデジタル画像を解析して自動的に注釈付けするために使用される。この例は、人々が携行でき、各人に関係した情報を記憶できるRFIDタグを利用する。図４に描かれたシーン４０２に示されるように、人物４０３（名前はヴィクター）がデジタルカメラを使って人々のグループ（名前は図４に描かれるように、ジョージ、メアリー、カーラおよびエイミー）の写真を取り込むことができる。ヴィクター４０３によって使用されるカメラは、ある距離以内にいる人が携行するRFIDタグからRFID情報（すなわち機械可読識別子情報）を読むことのできる長距離RFID読取器を具備していることがありうる。したがって、ヴィクターがそのグループの写真を取り込むとき、カメラは、該カメラ上のRFID読取器の通信範囲内にあるタグからRFID情報を読むよう構成設定されることができる。たとえば、カメラは、該カメラの近傍にいる人々に携行されている、あるいは付随しているタグからRFID情報を読むことができる。たとえば、図４に描かれたシーン４０２では、カメラは、写真が撮られようとしている人々（ジョージ、メアリー、カーラ、エイミー）のタグからRFID情報を読むことができる。カメラは、該カメラのRFID読取器の読み取り範囲内にいる他の人々に付随するRFIDからも情報を読み取ることができる。それには、写真を撮っている人物（たとえばヴィクター）のRFIDタグからの情報も含まれる。ある人物についてのRFIDタグは、その人物の特徴を記述する一つまたは複数のオブジェクト記述子を記憶していることができる。図４に描かれている例については、ある人物についてのRFIDタグがその人物についての顔記述子を記憶し、関連付けられたメタデータ情報がその人物の名前を指定することが想定されている。顔記述子は人物の顔の特徴を指定することができる。
【００７０】
代替的な諸実施形態では、ある人についてのRFIDタグには、人の特徴を記述する他の種類のオブジェクト記述子が記憶されてもよい。これらのオブジェクト記述子は次いで、メディア・コンテンツから人物を識別するために使用されることができる。
【００７１】
カメラがRFIDタグから読むRFID情報は次いでカメラによってデコードされて、デコードされた情報４０４が形成されることができる。デコードされた情報４０４は、顔記述子４０６および人々の名前を指定する関連付けられたメタデータ情報４０８のリストを含むことが可能である。
【００７２】
デジタルカメラによって取り込まれた写真画像４１０が解析されるメディア・コンテンツの役をする。ある実施形態では、取り込まれた写真画像の解析は、そのカメラによって実行されることができる。カメラが取り込まれた画像からオブジェクトの集合を決定できる。この応用でのオブジェクトは、取り込まれた画像中に現れる人々の顔４１２である。画像４１０から決定された顔４１２のそれぞれについて、写真中の顔の空間位置も決定できる。代替的な諸実施形態では、写真中の顔についての空間位置は、その顔についてある動作を実行する時点において決定できる。顔について特徴が抽出されてもよい。その場合、カメラは、画像４１０から決定された顔（オブジェクト）それぞれについて顔識別子（オブジェクト記述子）を生成できる。
【００７３】
次いでカメラは、画像４１０から決定された一つまたは複数の顔について生成された顔記述子を、一致するオブジェクト記述子があれば見出すために、RFIDタグから読まれた情報からデコードされた顔記述子４０６と比較する。先述したように、比較を実行し、二つのオブジェクト記述子が一致しているかどうかを判定するためには、さまざまな異なる技術が使用できる。
【００７４】
画像４１０から決定された顔についての顔記述子が、RFIDタグからデコードされた顔記述子４０６に一致することが見出されるとすると、それは、写真画像４１０中の顔が、RFIDタグからデコードされた、または読まれた顔記述子によって指定される特徴を満足する、または該特徴に一致するということを含意する。こうして、一致は、RFIDタグから読まれた情報からデコードされた顔記述子によって記述される顔が、写真画像から決定される顔（オブジェクト）のうちに見出されたことを示す。
【００７５】
次いで、画像４１０から決定された顔について生成された一致する顔記述子のそれぞれについて、ある動作が開始または実行されてもよい。図４に描かれた例では、画像から決定された顔について生成された一致する顔記述子について、画像４１０に情報が注釈付けされてもよい。たとえば、図４に描かれるように、画像４１０から４つの顔が決定され、それらの顔について生成された顔記述子が、RFIDタグから読まれた情報からデコードされた顔記述子４０６に一致する。画像中で一致していると見出された顔記述子をもつ顔のそれぞれについて、画像４１０には自動的にタグが追加される。図４に描かれた例では、ある顔について追加されるタグ情報は、画像４１０内でのその顔の空間座標を示す情報４１８と、その顔に対応する人物の名前４２０とを含む。その人物の名前は、RFIDタグから読まれた情報からデコードされた一致するオブジェクト記述子４０６に関連付けられたメタデータ４０８から決定される。図４に描かれるように、画像４１０から決定された４つの顔についてのタグが画像に追加されている。
【００７６】
情報を画像に加えるのはさまざまな方法でできる。たとえば、JPEG画像４１４は画像データ４１６のほか画像に関係するヘッダ情報をも含む。ある顔についての空間座標情報および名前を含むタグ情報は、JPEG画像のヘッダ中に挿入されることができる。別の実施形態では、画像４１０は画像データに情報を追加することによって注釈付けされることができる。たとえば、名前は、その名前に対応する顔の上に（または近くに、または部分的に重なって）プリントされることができる。
【００７７】
他の動作も実行できる。たとえば、画像中に位置するある特定の顔について、実行される動作は、画像中のその顔にリンクを関連付け、そのリンクの選択がその人物に関係した情報（たとえばその人物のウェブページ、その人物によって著作／編集／閲覧された文書など）を呼び出すようにするようにすることを含むことが可能である。
【００７８】
本発明のある実施形態によれば、図４に描かれた処理は、写真を取り込むのに使用されたデジタルカメラによって完全に実行できる。代替的な諸実施形態では、処理は他のシステムまたはデバイスと共同したカメラによって実行できる。本発明の諸実施形態は、よって、RFIDタグの使用とオブジェクト認識を組み合わせる自動写真注釈付けに関わる応用を可能にする。機械可読識別子にエンコードされたオブジェクト記述子は、画像中のオブジェクトの存在および／または位置を決定するために使用される。
【００７９】
図４に描かれ、上に説明された例では、オブジェクトは顔に対応する。しかし、代替的な諸実施形態では、機械可読識別子からデコードされたオブジェクト記述子は、人物の他の部分（人物全体を含むことが可能である）を記述していてもよい。画像の解析は、画像中の一人または複数の人物を認識すること、ならびに、人の一つまたは複数の部分を認識し、次いで認識された部分についての記述子を生成して比較に使うことを含むことが可能である。
【実施例３】
【００８０】
別の例としては、RFID読取器を具備するカメラを使って、ライブラリの本棚に置かれた書籍の画像を取り込むことができる。各書籍はRFIDタグでタグ付けされていることがありうる。書籍に付随するタグは、本の背にプリントされているカードカタログ番号を記憶できる。次いで画像を解析して、画像からカードカタログ番号が識別できる。画像内の書籍の空間位置も決定できる。次いで、画像中の個々の書籍にカード番号が割り当てられるよう、画像にカードカタログ番号を用いて注釈付けができる。
【００８１】
同様の処理技術は、書籍、製品などといったものの集合を有する応用のために使用できる。たとえば、RFID読取器を具備するカメラを使って、商店の棚にある製品の画像を取り込んでもよい。たとえば、画像はさまざまなブランドの歯磨きを描いたものでありうる。各歯磨きにRFIDタグが付随していてもよく、パッケージの色ヒストグラムなどといった歯磨きの特徴を記述する歯磨き記述子を指定する情報を記憶していてもよい。歯磨きに取り付けられた各RFIDタグはまた、歯磨きのブランド（または製品識別情報のような他の情報）を指定するメタデータ情報をも記憶していてもよい。歯磨きに取り付けられたRFIDタグから読まれた情報に基づいて歯磨きの画像が解析され、画像中での個々の歯磨きの位置が決定できる。すると画像は、該画像中のさまざまな位置にある歯磨きについての正しいブランド名を用いて注釈付けされることができる。
【００８２】
先述したように、本発明の教示は、メディア・コンテンツ中での特定のオブジェクト（一つまたは複数の機械可読識別子からデコードされる情報によって記述される）の出現を判別するために、そしてまたその特定のオブジェクトの空間位置を判別するために使用できる。たとえば、物理的なオブジェクトの画像が取り込まれるなどし、次いでその画像が、その物理オブジェクトについて読まれた機械可読識別子から読まれた情報によってガイドされて解析されることができる。それにより、画像中での物理オブジェクトの空間位置が決定され、それが今度は物理オブジェクトの空間位置を特定する（identify）。このように、本発明の諸実施形態は、物理オブジェクトの空間位置を決定するために使用できる。
【００８３】
物理オブジェクトの空間位置の決定を必要とする応用としては、さまざまな異なるものがありうる。物理オブジェクトの空間位置を決定するための一つの解決策は、物理的なオブジェクトにRFIDタグを取り付けることである。そうすればRFID読取器グリッドを使ってRFIDタグからの情報を読み、物理オブジェクトの位置を決定することができる。しかしながら、RFID読取器グリッドは常に利用可能とは限らない。さらに、そのようなグリッドを作成するコストは禁止的になることがありうる。
【００８４】
本発明の諸実施形態は、物理オブジェクトの位置を決定する問題に、より簡単な解決策を提供する。各物理オブジェクトにRFIDタグが取り付けられることができる。物理オブジェクトに取り付けられたRFIDタグは、オブジェクト記述子を指定する情報を記憶できる。オブジェクト記述子は、物理オブジェクトの特徴を記述できる。たとえば、オブジェクト記述子は、物理オブジェクトの視覚的に特異的な特徴を指定できる。たとえば、トークン上にプリントされたピクチャー、テキストなど、オブジェクトの色、オブジェクトの大きさまたは基本形状、オブジェクトの色ヒストグラム、テキスト特徴などである。RFID読取器を具備するカメラを使って、物理オブジェクトの画像を取り込むことができる。画像を取り込んでいる間、カメラは物理オブジェクトに取り付けられたRFIDタグから情報を読むようにも構成されることが可能である。RFIDタグから読まれた情報は、デコードされて、物理オブジェクトの特徴を指定するオブジェクト記述子（および可能性としてはメタデータ情報）が決定できる。情報オブジェクト記述子に基づいて、物理オブジェクトの画像が解析されて、画像中の一つまたは複数のオブジェクトが決定され、画像から決定されたオブジェクトの空間位置が決定できる。画像から決定されたオブジェクトについてオブジェクト記述子が生成できる。画像から決定されたオブジェクトについて生成されたオブジェクト記述子は次いで、RFIDタグから読まれた情報からデコードされたオブジェクト記述子と比較され、一致するオブジェクト記述子および対応する空間情報が識別できる。このようにして、物理オブジェクトの空間位置が、該物理オブジェクトに取り付けられたRFIDタグから読まれた情報に基づいて画像を解析することから決定できる。
【００８５】
物理オブジェクトの空間位置が決定される応用の一例が、2006年3月31日に出願された米国出願第11/396,375号に記載されている。この応用では、メディア鍵の空間的位置に基づいてさまざまな動作が実行される。本発明の諸実施形態は、そのメディア鍵の物理的位置を決定するために使用できる。
【実施例４】
【００８６】
以上に記載した本発明の諸実施形態は、オブジェクト記述子および対応するメタデータ情報が一つまたは複数の機械可読識別子からデコードまたは抽出されることを想定している。代替的な諸実施形態では、オブジェクト記述子およびメタデータが、処理システムに与えられてもよい。この場合、処理システムは機械可読識別子を処理する必要はない。処理の残りは上記のようにして実行できる。たとえば、図４に描かれた例において、顔記述子４０６およびメタデータ情報４０８がカメラに与えられてもよい。この場合、カメラはRFID読取器を有する必要はなく、人々がRFIDタグを携行する必要もない。この場合、カメラに与えられた情報が先に述べたようにして使用できるのである。
【００８７】
本発明の個別的な実施形態について記載してきたが、本発明の範囲内にはさまざまな修正、偏向、代替的構成および等価物も包含される。記載された発明は、ある個別的なデータ処理環境内での動作に制限されるものではなく、複数のデータ処理環境内で動作するのも自由である。さらに、本発明は特定の一連のトランザクションおよびステップを使って記載されてきたが、本発明の範囲が記載された一連のトランザクションおよびステップに限定されるものでないことは当業者には明らかであるはずである。
【００８８】
さらに、本発明についてハードウェアとソフトウェアの特定の組み合わせを使って記述してきたが、ハードウェアとソフトウェアの他の組み合わせも本発明の範囲内であることは認識されるはずである。本発明はハードウェアのみ、またはソフトウェアのみ、またはその組み合わせを使って実装できる。
【００８９】
したがって、明細書および図面は、制限する意味ではなく例示的なものと見なされるべきである。しかし、請求項において述べられる本発明のより広い精神および範囲から外れることなく、追加、削減、削除およびその他の修正及び変更をこれに施すことができることは明らかであろう。
【図面の簡単な説明】
【００９０】
【図１Ａ】本発明のある実施形態を実施するために使用できるシステムの簡略化されたブロック図である。
【図１Ｂ】本発明のある実施形態を実施するために使用できるシステムの簡略化されたブロック図である。
【図２】本発明のある実施形態に基づいて実行される処理を描いている、簡略化された高レベルのフローチャートである。
【図３】本発明のある実施形態の例示的な応用を描いた図である。
【図４】本発明のある実施形態の別の例示的な応用を描いた図である。
【符号の説明】
【００９１】
１００  システム
１０２  プロセッサ
１０４  メモリ
１０６  機械可読識別子取り込みサブシステム
１０８  メディア・コンテンツ取り込みサブシステム
１１０  ユーザーインターフェース・サブシステム
１１２  コード／命令
１１４  機械可読識別子
１１６  デコードされた機械可読識別子情報
１１８  デジタル・メディア・コンテンツ
１２０  画像解析情報
１３０  サーバー
１３２  ネットワークインターフェース・サブシステム
２０２  機械可読識別子を受領
２０４  ２０２において受領された機械可読識別子がデコードされ、オブジェクト記述子（D1）および可能性としてはメタデータ情報が抽出される
２０６  デジタル・メディア・コンテンツを受領
２０８  ２０６において受領されたメディア・コンテンツを解析して一つまたは複数のオブジェクトを決定
２１０  ２０８において決定された一つまたは複数のオブジェクトについて、オブジェクト記述子（D2）の集合を生成
２１２  ２０４において決定されたオブジェクト記述子（D1）を、２１０において生成されたオブジェクト記述子（D2）と比較し、一致するオブジェクト記述子を見出す
２１４  D1に含まれるオブジェクト記述子に一致する、D2に含まれるオブジェクト記述子について、もしあれば動作を実行
２１６  停止？
【図１Ａ】
2008033943.tif 000003
【図１Ｂ】
2008033943.tif 000004
【図２】
2008033943.tif 000005
【図３】
2008033943.tif 000006
【図４】
2008033943.tif 000007