(57)【要約】【課題】  デジタル化された写真画像を音声注釈に基づいたイベントに自動的に編成するための方法を提供する。【解決手段】  本方法は、少なくとも幾つかの写真画像に対応する音声注釈に基づく自然言語のテキストを提供するステップ、画像の注釈を特徴付ける自然言語のテキストから所定の情報を抽出するステップ、イベント間の境界を示す所定の情報カテゴリの存在について注釈のそれぞれを調べることにより、デジタル化された写真画像をイベントに区分するステップ、情報カテゴリからイベント記述子を作成することにより、イベントのそれぞれを識別するステップを備えている。本発明は、写真アルバムのような適切なやり方でイベント記述子を選択及び配列することにより、イベントのそれぞれを要約するステップをさらに備えている。【選択図】  図１
2007102819.tif 000002
【特許請求の範囲】
【請求項１】
複数の写真画像からなるフレームをイベントに編成する方法であって、
当該方法は、
イベント間の境界を示す所定のカテゴリにおける情報のアイテムの存在について、前記複数の写真画像からなるフレームに関連する注釈データを調べるステップと、
イベント間の境界を示す前記アイテムのうちの１つに強度値を割り当てるステップと、
あるフレームについて、イベントの途切れではないことを示す証明である負の証明に対する前記イベントの途切れであることを示す証明である正の証明の所望のレベルを割り当てるステップと、
前記複数のフレームのうちの現在のフレームに関する前記正の証明と前記負の証明を計算するステップと、
前記正の証明から前記レベルを引いた値が前記負の証明よりも小さいとき、前記現在のフレームを既存のイベントにマージし、前記正の証明から前記レベルを引いた値が前記負の証明に等しいか、又は前記負の証明よりも小さいとき、新たなイベントを作成するステップと、
を含む方法。
【請求項２】
デジタル化された写真画像をイベントに自動編成する方法であって、
複数の写真画像からなるフレームに対応する音声注釈を提供するステップと、
イベント間の境界を示す情報の所定のカテゴリの存在についてそれぞれの注釈を調べることで、前記デジタル化された写真画像をイベントに区分するステップと、
前記情報のカテゴリからイベント記述を作成することで、それぞれのイベントを識別するステップとを含み、
前記デジタル化された写真画像をイベントに区分するステップは、
イベント間の境界を示す情報の所定のカテゴリについて強度値を割り当てるステップと、
あるフレームについて、イベントの途切れではないことを示す証明である負の証明に対する前記イベントの途切れであることを示す証明である正の証明の所望のレベルを割り当てるステップと、
前記複数のフレームのうちの現在のフレームに関する前記正の証明と前記負の証明を計算するステップと、
前記正の証明から前記レベルを引いた値が前記負の証明よりも小さいとき、前記現在のフレームを既存のイベントにマージし、前記正の証明から前記レベルを引いた値が前記負の証明に等しいか、又は前記負の証明よりも小さいとき、新たなイベントを作成するステップと、
を含む方法。
【請求項３】
音声注釈に基づいて、デジタル化された写真画像を写真アルバムの編成に役立つイベントに自動的に編成する方法であって、
当該方法は、
複数の写真画像からなるフレームに対応する音声注釈に基づいた自然言語のテキストを提供するステップと、
画像の注釈を特徴付ける前記自然言語のテキストから予め決定された情報を抽出するステップと、
イベント間の境界を示す情報の所定のカテゴリの存在についてそれぞれの注釈を調べることで、前記デジタル化された写真画像をイベントに区分するステップと、
前記情報のカテゴリからイベント記述を作成することにより、それぞれのイベントを識別するステップとを含み、
前記デジタル化された写真画像をイベントに区分するステップは、
あるフレームについて、イベントの途切れではないことを示す証明である負の証明に対する前記イベントの途切れであることを示す証明である正の証明の所望のレベルを割り当てるステップと、
前記複数のフレームのうちの現在のフレームに関する前記正の証明と前記負の証明を計算するステップと、
前記正の証明から前記レベルを引いた値が前記負の証明よりも小さいとき、前記現在のフレームを既存のイベントにマージし、前記正の証明から前記レベルを引いた値が前記負の証明に等しいか、又は前記負の証明よりも小さいとき、新たなイベントを作成するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、より詳細には、写真を写真アルバムに自動的に編成するための写真の処理に関する。
【０００２】
自動的アルバム作成は、それ自身の目的又は他の応用における使用向けのいずれかとしての写真の自動的な編成であり、近年の研究の主題となってきている。比較的洗練された画像コンテンツの分析技法は、画像の索引付け及び編成のために使用されている。簡単なテキスト分析技法は、画像の索引付け及び検索アプリケーションのために、テキスト又は個々の写真に関連した音声注釈で使用されている。
【０００３】
最近の研究は、写真から自動的にアルバムを作成するための多数の技法及びツールを含んでおり、以下の処理を含んでいる。
・カメラからの日付及び時間情報を使用して、イベントの区分を実行する。
・画像のコンテンツを分析して、イベントの区分を実行し、また、画像の不良を識別する。
・ブラウジングの目的のために、ビデオフレームを分析する。
・テキストキーワードを使用して、画像又はビデオセグメントを検索する。
【０００４】
ここで記載される研究は、音声注釈から所定の情報タイプを抽出することにより、又は写真に関連する音声注釈のトランスクリプションを抽出することにより、アルバム作成のアプリケーションの機能を拡張し、次いで、結果を使用して以下の処理を実行する。
【０００５】
・イベント区分：どの位多くのイベントが１本のフィルムにあるか、及びどの写真がどのイベントに属するかを判定する。
・イベント識別：１本のフィルムにおけるイベントのそれぞれのタイプ（たとえば、誕生日、結婚式、休日）を判定する。
・要約：関連する人、物体及び行動と共に、イベントの日付、時間及び位置を識別し、様々なやり方でこの情報を要約する。
【０００６】
この場合、自然言語（又は自然言語に基づいたテキスト）が処理されて、所望の情報が抽出され、結果的に抽出された情報は、イベントを識別及び記述するために処理される。
【０００７】
概して、自然言語の処理に依存して、情報検索、情報抽出及び自然言語の構文解析という３つの異なるフィールドが現在存在する。情報検索では、タスクは、テキスト問い合わせに基づいて、データベースから特定の項目を検索することを含む。
【０００８】
たとえば、学会論文に関連するキーワードは、ユーザがそれらのキーワードを使用して質問を尋ねるときに、それら学会論文を検索するために使用することができる。画像に関連するテキストは、同じ単語が別のテキストに現れたときに、画像を検索するために使用することができる。ビデオ系列で発見されたテキストは、記事における同じテキストをクリックしたときに、それら系列を検索するために使用することができる。
【０００９】
これらアプリケーションに関連するテキスト処理は、あったとしても非常に少ない。たとえば、係属中の米国特許出願シリアル番号09/685,112“An  Agent  for  Integrated  Annotation  and  Retrieval  of  Images”では、単語頻度手段が使用されて、キーワードを識別して画像データベースにおいて検索する。しかし、部分的な構文解析技法をタイプ入力された問合せに適用して、注釈された写真のデータベースからの検索を改善することができる幾つかの研究が示されている。
【００１０】
情報抽出（IE）は、考え方は、テキストから予め決定された情報を抽出することである。Gaizauskas及びWilks（R.Gaizauskas  及びY.  Wilksによる“Information  extraction  :Beyond  document  retrieval”，Computations  Linguistics  and  Chinese  Language  Processing,  3(2),1998）は、「IEは、構造化されていない、すなわちフリーテキストの情報源から構造化された情報源（すなわちデータベース）を構築する行為として見ることができる。」のように言及している。
【００１１】
アプリケーションは、分析、データマイニング、要約及び索引付けを含んでいる。記載されたニュースリポートからの自動的な情報抽出における研究の長い歴史が存在する（J.Hobbs,  D.Appelet,  J.Bear,  D.Israel,  M.Kameyma,  M.Stickel,  and  Tyson.“FATUS:  A  Cascaded  Finite-State  Transfer  for  Extracting  Information  from  Natural-Language  Text”in  Roche  and  Shabes,  editors,  Finite  State  Devices  for  Natural  Language  Procesing,  MIT  Press,  Cambridge,  MA,  1996を参照されたい）。幾つかの最近の研究は、音声注釈からの情報抽出を調査し始めている。
【００１２】
情報検索及び情報抽出の両者は、入力テキストの一部のみを使用して、他の構造又は関連する成分を無視するという点で最小限の処理アプローチである。自然言語の構文解析は、テキストの一部又は音声のセグメントの詳細な分析を含み、構造及びその一部の意味を発見し、可能であれば、その発生の背後の意味を識別し、可能であれば、大きな会話の他の部分に関連付ける。自然言語の構文解析は、言語的な動機を与えるルールに基づいた構文解析及び統計的な構文解析を含んでいる。部分的な構文解析は、入力テキストの選択された部分の統語的な構造を分析することが可能である。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明について、完全な自然言語の構文解析を使用することは、理論的に可能であるが、実際には実施不可能であり、不必要である。リアルタイム又は非リアルタイムで一般的なテキスト入力をロバストに処理するために十分に汎用な既存の構文解析はない。流動的であって多様な音声注釈を処理しようする構文解析はほとんどない。さらに、自然言語の構文解析は、（注釈における項目の統語分類で）必要とされる情報を必然的に作り出すことなしに、不必要な情報を生成する（入力の統語的構造に関する詳細情報）。
【００１４】
自動アルバム作成のための写真注釈の使用は、情報抽出のための理想的なアプリケーションである。典型的に、写真に関連する注釈に含まれる情報において関心が存在するが、その全てにおいてではなく、たとえば、写真の品質又はその時の写真家の感性は、写真家がそれらの事柄を議論するために選択したとしても、一般に関心があるものではない。
【００１５】
さらに、使用される言語の基礎となる豊富な意味論及び語用論の全てにおいて関心がない。言い換えれば、しばしば注釈の非常に簡単な理解で足りることがある。最後に、情報抽出技法のロバストさは、写真家が不完全な文、又は「1998年8月  釣り旅行  adrian  mike及びcharles」におけるような句を使用する状況では、特に魅力的である。
【００１６】
過去において、情報抽出技法は、ニュースワイヤテキストで主に使用されてきている。これらは、テキストで比較的短く書かれているが、典型的な写真の注釈よりもずっと長く書かれる。さらに、（付属のマイクロフォンを有するデジタルカメラの使用を特に増加する）写真の注釈は、慎重に編成されたテキストではなく、書かれたものよりはむしろ音声である場合がある。これは、写真注釈に基づく抽出は、所定の情報抽出技法が強く依存する幾つかの逐語的な手掛り（句読点、大文字化）に依存することができないことを意味している。
【課題を解決するための手段】
【００１７】
本発明は上述した課題の１つ以上を解決することに向けられる。簡単に要約すると、本発明の１態様によれば、デジタル化された写真画像を音声注釈に基づいたイベントに自動的に編成するための方法は、写真画像の少なくとも幾つかに対応する音声注釈に基づく自然言語のテキストを提供するステップ、画像の注釈を特徴付ける自然言語のテキストから所定の情報を抽出するステップ、イベント間の境界を示す所定の情報カテゴリの存在について注釈のそれぞれを調べることにより、デジタル化された写真画像をイベントに区分するステップ、及び情報カテゴリからイベント記述子を作成することにより、イベントのそれぞれを識別するステップを備えている。本発明は、消費者の画像向けに特別な抽出ステップにおいて有名な地名辞書の利用と同様に、写真アルバムのような、適切なやり方でイベント記述子を選択及び配列することにより、イベントのそれぞれを要約するステップをさらに備えている。
【００１８】
本発明の利点は、本発明により、偶然の音声注釈として提供されるユーザの示唆をイベント区分のためのガイドにすることが可能である点である。テキスト分析技法を使用して、画像編成及び索引付けアプリケーションに対する結果を適用するという目標により、比較的構造化されていない消費者の注釈から情報を抽出することが可能である。
【００１９】
本発明のこれら及び他の態様、目的、機能及び効果は、添付図面を参照して、特許請求の範囲及び好適な実施の形態の以下に詳細な記載を精査することから明らかに理解される。
【００２０】
一般的な自動アルバム作成及び関連する画像処理は知られているので、本実施の形態では、本発明のよる方法及びシステムの一部を形成する属性、又はより直接に組み合わされた属性に特に向けられる。特に図示されていない属性、又は本実施の形態で記載されていない属性は、公知の技術から選択される場合がある。以下の記載では、本発明の好適な実施の形態は、ソフトウェアプログラムとして通常は実現されるが、当業者であれば、かかるソフトウェアに等価な構成をハードウェアで構築する場合があることを容易に認識することができる。
【００２１】
以下のマテリアルにおいて、本発明により記載される方法及びシステムが与えられると、本発明の実現のために有効な本実施の形態が提案及び記載される、特に図示されないソフトウェアは、当該技術分野における通常の技術の範囲内である。本発明がコンピュータプログラムとして実現される場合、該プログラムは、従来のコンピュータ読取り可能な記録媒体に記憶される場合があり、該記録媒体は、たとえば、磁気ディスク（フロプティカルディスク又はハードディスクドライブ）又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又はマシン読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような固体電子記憶素子、或いはコンピュータプログラムを記憶するために使用される他の物理的な装置又は媒体を含んでいる。
【００２２】
本発明のより詳細な理解のための図面を参照して、図１は、本発明による自動アルバム作成方法及びシステムの基本機能に関する概略図を示している。画像及び入力音声（又は音声に対応するテキスト）は、取得ステージ１０において取得される。音声がステージ１０において取得されると、この入力音声は、従来の音声−テキスト変換アルゴリズム（たとえば、ＩＢＭ社から入手可能なViaVoice,2000、及びhttp://htk.eng.cam.ac.uk/でケンブリッジ大学工学部からWebで入手可能なS.Young  P.WoodlandによるHidden  Markov  Model  toolkit(HTK)）を使用して、音声−テキスト変換ステージ１２においてテキストに変換され、テキストがはじめに取得されると、次いで、このステージがバイパスされる場合がある。
【００２３】
つぎに、情報抽出ステージ１４におけるテキストから情報が導出される。イベントの数及びどの写真がどのイベントに属するかは、イベント区分ステージ１６で判定される。それぞれのイベントのタイプ（たとえば、誕生日、結婚式、休日）は、イベント識別ステージ１８において、それぞれのイベントについて判定され、イベントの特徴（たとえば、日付、時間、位置、並びに人、物体及び行動の識別）は、イベント要約ステージ２０において、それぞれのイベントについて要約される。
【００２４】
本方法の生成物は、ステージ１６からのイベント境界、ステージ１８からの識別されたイベント、又はイベント要約ステージ２０からのイベントの命令された要約である場合がある。好適な実施の形態では、生成物は、写真アルバム２２であり、このアルバムは、アルバム作成手法の最終出力であるか、又は完成前のユーザレビューのために選択的に提供される場合がある。
【００２５】
本方法及びシステムの基本構造は、有限状態マシンのシーケンスを使用し、該マシンのそれぞれは、特定の機能を実行する（たとえば、Hobbs等により記載されたＦＡＴＵＳシステムを参照されたい。参照により、本実施の形態に組み込まれる）。
【００２６】
それぞれのマシンは、幾つかの情報をテキストに加え、幾つかのマシンは、情報を取り去る。加えられる情報は、ＸＭＬ（Extensible  Markup  Language）タグの形式である。使用するタグのセットは、これらタグの目的は若干異なるがA.Mikheev,  C.Grover及びM.Moensによる“XML  tools  and  architecture  for  named  entity  recognition”in  Markup  Languages:  Theory  and  Practice,  1(3)，1999,  pp.89-113で使用されるタグに類似している。ＸＭＬ文書構造は、添付Ａにおいて見ることができる。入力文書がＸＭＬ文書構造に従う限り、有限状態マシンは、独立に実行することができる。
【００２７】
図２は、本発明を実施するために使用される場合があるコンピュータシステムを示している。システムは、各種標準的なコンピュータ又はデータプロセッサのいずれかであるコンピュータ１１０を含んでいる。コンピュータのサイズ及び能力は、アクセスされるデータベースのサイズにつれて、及び各種動作を実行するためにプロセッサに必要とされるスピードに関して、ある範囲に変化する場合がある。
【００２８】
以下の記載のために、本発明の限定として意図されるものではないが、自然言語のテキストから情報を抽出して、画像をイベントに区分し、イベントを識別及び要約して、注釈されたイベントを記憶するために、同じコンピュータ１１０が利用されると仮定する。たとえば、自然言語の抽出のために（たとえば、デスクトップＰＣ）、及びデータベースのために（たとえば、インターネットを介してデスクトップＰＣに接続されるリモートサーバ）、個別のプロセッサが利用される場合がある。
【００２９】
コンピュータ１１０は、サーチされる画像及び／又はデータベースに記憶される大容量のメモリ１１２を含んでいる。代替的に、又はメモリ１１２に加えて、コンピュータ１１０は、ネットワークインタフェース１１４を介して、画像及び／又はデータベースが記憶されるリモートサーバ１１６と相互接続される場合がある。相互接続しているネットワーク１１８は、たとえば、専用ネットワーク又はインターネットのような公衆網とすることができる。
【００３０】
これらのメモリは、様々なタイプの大容量ハードディスクドライブ、又は光ディスクドライブのようないずれかの種類の大容量のメモリである場合がある。コンピュータ１１０は、本実施の形態で記載されるような本発明の方法を実現するためのソフトウェアを典型的に記憶するＲＯＭのような内部メモリ１２０をさらに含む。メモリ１１２及び１２０は、個別のメモリであるか、又は同じ記憶装置の各種のセクションである場合がある。
【００３１】
多数の標準的な入力装置１２２は、情報及びデータをコンピュータ１１０に提供するために利用可能である場合がある。これらの装置は、制約なしに、キーボード装置、マウス、イメージスキャナ等を含む場合がある。特定の入力装置は、（デジタルカメラが画像をオフロードする）メモリカードから画像を取得するためのメモリカードリーダ１２４、及び相互接続ネットワーク１１８を通して、電子メールのようなネットワークソースからの画像を取得するためのネットワークインタフェース１２６を含んでいる。
【００３２】
選択的な入力装置は、マイクロフォンを有する音声認識モジュール１２８であり、該モジュール１２８は、システムに表題、意味論的情報、又は注釈を入力するか、又はアルバム作成システムの仮の結果を訂正するために利用される。
【００３３】
また、多数の標準的な出力装置１３０は、表示装置１３２、プリンタ１３４及び相互接続ネットワーク１１８を通してネットワークインタフェース１３６に接続される出力装置１３８のような、コンピュータに接続される場合がある。説明のために個別に図示されているが、ネットワークインタフェース１１４，１２６及び１３６は、同じインタフェースであるか、又は各種態様の同じインタフェースである場合がある。新たに捕獲された画像又は処理された画像は、索引付け及び記憶のために、データベースメモリ１１２又はサーバ１１６に送出することができる。
【００３４】
はじめに情報抽出ステージ１４に戻り、情報抽出処理のシーケンスは、有限状態マシンから構成されるステージのシーケンスとして図３に例示されており、該有限状態マシンのそれぞれは、以下に要約することができる固有の機能を実行する。
【００３５】
・区分及びフィルタリング（ステージ３０）：入力されるトランスクリプションを（関連する句読点が存在する場合）単語、文に分解し、（１人以上の話者が存在する場合）ターンに分解する。新たなイベントの有無を合図する場合がある手掛りとなるキーワードを識別する。後の処理のために、役に立たない単語及び句を除く。
・番号付け（ステージ３２）：簡単な数及び複雑な数を識別する。
・分類（ステージ３４）：辞書／地名辞典を適用して重要な単語を分類する。
・日付、時間、金及びパーセンテージ（ステージ３６）：日付、時間、金及びパーセンテージを識別する表現を識別する。
・人、位置、イベント及び物体（ステージ３８）：名前付けされた入力、及び人、位置、イベント及び物体に対する他の参照を識別する。
・句（ステージ４０）：基本的な句及び複雑な句、並びにそのタイプを識別する。
・相互参照による分類（ステージ４２）：注釈の参照内部、及び注釈の参照間を分類する。
【００３６】
この順序は、絶対的なものではなく、たとえば、番号付けステージ３２及び分類ステージ３４を困難なしに再整理することができる。分類ステージ３４、日付、時間、金及びパーセンテージステージ３６及び人、位置、イベント及び物体ステージ３８を再整理することができる。結果は、日付、時間、位置、人、行動及び物体がデータベースへの挿入のために抽出される良好に特定されたＸＭＬ文書４４である。
【００３７】
ここで、それぞれのステージは、例として以下の典型的なタイプの（図３にも示されるような）音声注釈４８を使用して、より詳細に記載される。
“the  smith  and  me  ah  june  ninety  eight  at  the  glass  museum  in  corning  new  york”
【００３８】
［区分及びフィルタリングステージ３０］
区分及びフィルタリングステージ３０への入力は、記録されていないテキストである。ステージ３０の出力は、単語、句読点、文及びターンが記録されているテキストである。ある明細事項は、以下のように、できるだけ近くに続いている。
【００３９】
・所有格は分離される。たとえば、“sally’s”は、“<w>sally</w><w>’s</w>”となる。
・略記は展開される。たとえば、“dr.”は、“<w>doctor</w>”となる。
・短縮は展開される。たとえば、“can’t”は、“<w>can</w><w>not</w>”となる。
【００４０】
<ターン(TURN)>タグは、現在のデータセットにおける全ての注釈が音声のトランスクリプトであり、トランスクリプトの幾つかが複数の話者（複数のターン）を含むために、ＸＭＬ仕様に追加される。注釈において句読点が存在しない場合、区分アルゴリズムは、入力内の文を識別しようとしない。これは、注釈が典型的に１つ又は２つのみの短い発生であるので、このアプリケーションのために機能し、開始するために文構造を有する必要がないので、該文構造を構築することが実現可能である。
【００４１】
またステージ３０において、進行中のイベントを合図することができる手掛りが識別されて記録される。かかる手掛りの例は、以下を含んでいる。
“this  is  another  picture  of”
“more  of”
“the  third  try  at”
かかる進行中のイベントの手掛りのリストは、カスタマの基礎的な研究及びカスタマの写真から得ることができる。
【００４２】
最後に、ステージ３０は、フィルタリングを実行する。後の処理に役に立たない入力テキストの要素、及び後の処理を妨害する場合がある入力テキストの要素は、除かれる。例は、つなぎ語（“um”，“ah”，“er”）、及び人々がしばしば使用する句（“this  is”、“a  nice  picture  of”、“here  we  have”）を含んでいる。
【００４３】
この例の文について、ステージ３０からの出力は、以下に示される。
<CAPTION><PHR><W>the</W><W>smiths</W><W>and</W>
<W>me</W><W>june</W><W>ninety</W><W>eight</W>
<W>at</W><W>the</W><W>glass</W><W>museum</W>
<W>in</W><W>corning</W><W>new</W>
<W>york</W></PHR></CAPTION>
【００４４】
［簡単な番号及び複雑な番号付けステージ３２］
この番号付けステージ３２は、２つの有限状態マシンを含んでいる。第１の有限状態マシンは、“first”、“three  million  and  twenty-two”及び“43.5”のような数値表現の要素を識別する。第２の有限状態マシンは、“fifths”が続く“thirty-three”のような数値表現の一部を形成する要素を結合する。この例の文について、このステージからの出力は、以下に示される。
<CAPTION><PHR><W>the</W><W>smiths</W><W>and</W>
<W>me</W><W>june</W><PHR  C=’NUM’>ninety  eight</PHR>
<W>at</W><W>the</W><W>glass</W><W>museum</W>
<W>in</W><W>corning</W><W>new</W>
<W>york</W></PHR></CAPTION>
【００４５】
［分類ステージ３４］
殆どの情報抽出システムは、重要な用語を含み、典型的には適切な名前のリスト、会社名のリスト、国名及び通過のリストを含んでいる幾つかの辞典（非常に簡単な辞典）を使用する分類ステージを使用する。
【００４６】
システムにおいて、本実施の形態のかかる分類ステージは、書かれたテキストよりはむしろ音声を処理し、大文字により提供される手掛りを利用することができないため、かかる辞典はより重要になる。消費者の写真のジャンルは、各種領域をカバーし、それらの分野の殆どは、従来カバーされている分野に類似していないので、消費者の画像向けに特別な辞典が作成される。
【００４７】
結果として、本発明の特別な機能によれば、分類ステージ３４は、既存の辞典からのある種の典型的な索引、及び以下のような消費者の写真向けに特別に開発された特別な辞書の代表となるある種の特別な索引を含む特別な辞典を含んでいる。
【００４８】
・固有名称：一般に使用される名及び姓のリスト。これらは、たとえば、ＣＲＬ単語リストのような一般に利用可能な名前リストから、及びたとえば、幾つかの大学の結合された学生辞典からの辞典の結合から得られる場合がある。ストップ語句（たとえば、“but”）又は動詞は、最初の名称又は最後の名称としてリストに列挙される場合、名称の列挙をやめる。あるとしても、トレイニングデータにおいて言及されるデータは殆どないので、会社名は含まれない。
・場所：世界中からの場所に加えて、観光スポットを含むことが望ましい。好適な地名のリストは、以下を含んでいる。
・国。
・アメリカ合衆国における州及びカナダにおける地方。
・国家の領土及び領地。
・アメリカ合衆国におけるそれぞれの州の主要都市、及びカナダにおけるそれぞれの地方の主要都市。
・世界における主要都市：首都、大都市及び有名都市のリスト。
・観光地：観光で有名な国及び都市のリスト、現代世界の「不思議」のリストと共に古代世界の７不思議のリスト、保護された財産であるユネスコの世界遺産のリストのような可能性のある観光地のリスト。
・祝賀、教育、又は「レストラン」、「映画館」、「美術館」、「学校」のような家族のイベントのために人々が一般に行く場所。
・通貨名：たとえば、ニューヨークタイムから取得される通貨名（単数の形式のみ）。通貨のシンボルは、注釈が音声であるので、本実施の形態では重要ではない。数種の通過について、包含される複数の形式が与えられ、さもなければ、複数の形式が正規のものであると仮定される。
・機能又はストップ語句：代名詞、接続詞、前置詞及び限定詞のリスト。
・不規則動詞の形式：過去時制及び現在分詞と共に、約２００の不規則動詞のリスト。
・規則動詞：英語における６００の最も一般的な規則動詞のリスト。
・ランク付けされていない技術的及び専門的学校並びにサービス学校と同様に、私立及び公立の両者について、全ての４つの階層における総合大学、単科大学及び高校を含む単科大学及び総合大学。他のアメリカの単科大学及び総合大学は、知られていないように思われ、識別し易くするための指示“college”又は“university”を含むフルネームにより言及される。殆どの外国の総合大学は、その位置について名前付けされており、したがって、識別し易い。
・イベント：たとえば、“americaid”、“wild  west  tour”のような名前付けされたイベント、及び“誕生日”、“クリスマス”のようなカレンダーのイベントの両者である。
【００４９】
地名辞典は、操作の容易さのために、幾つかのカテゴリに固有なファイルに記憶されている。それぞれの単語は、そのタイプ（たとえば、代名詞PRONOUN、名FIRST_NAME）と共に記憶される。好適な実施の形態では、27000を超えるユニークなペア（単語／句、タイプ）が辞典にある。システムを実行する前に、ファイルが１つのファイルにマージされ、アルファベット順にエントリがソートされ、これにより、サーチが非常に高速になる。
【００５０】
分類器は、有限状態マシンではなく、地名辞典における単語及び句を見て、整合するエントリを発見したとき、全ての関連するタイプを入力単語又は句に付属させる。分類器は、簡単な阻止器を使用して、関連するエントリのためのサーチにおいて補助する。
【００５１】
本実施の形態の注釈について、分類器は、以下の出力を与える。
<CAPTION><PHR><WC＝’DET’>the</W><WC=’COLLEGE/LASTNAME’>
smiths</W><WC=’CONJ’>and</W>
<WC=’PRO’>me</W><WC=’FIRSTNAME/LASTNAME’>june</W>
<PHR  C=’NUM’>ninety  eight</PHR><WC=’PREP’>at</W>
<WC=’DET’>the</W><W>glass</W><WC=’LOCATION’>museum</W>
<WC=’PREP’>in</W><WC=’CITY’>corning</W>
<WC=’CITY/STATE’>new  york</W></PHR></CAPTION>
【００５２】
［日付、時間、金及びパーセンテージステージ３６］
ステージ３６は、番号識別ステージ３２を即座に続けることができ、このステージ３６は、入力において金銭の表現が存在しない場合、分類ステージ３４が高速に実行されることを必要としない。このステージでは、様々な日付及び時間の表現がラベル付けされる。識別される表現のタイプは、以下（例）を含んでいる。
【００５３】
・この来たる月曜。
・明日
・1992年8月31日（しかし1992年2月31日ではない）
・31/08/92
・1993年の春
・感謝祭
・30分過ぎ。
・3:45
【００５４】
この例について、このステージからの出力は、以下に示される。
<CAPTION><PHR><WC＝’DET’>the</W><WC=’COLLEGE/LASTNAME’>
smiths</W><WC=’CONJ’>and</W><WC=’PRO’>me</W><TIME  TYPE=
’DATE’>june  ninety  eight</TIMEX><WC=’PREP’>at</W><WC=’DET’>the
</W><W>glass</W><WC=’LOCATION’>museum</W><WC=’PREP’>in</W>
<WC=’CITY’>corning</W><WC=’CITY/STATE’>new  york</W></PHR>
</CAPTION>
【００５５】
［人、位置、イベント及び物体ステージ３８］
ステージ３８は、名前付けされたエンティティを含む人、位置、イベント及び物体への参照を識別する。殆どの名前付けされたエンティティ抽出システムよりも一般的となるように慎重に設計される。固有名詞、とりわけ関連する指示詞（たとえば、“boss”、“friend”、“grandma”）、及び名前付けされていない位置（たとえば、“college”、“school”）ではない多くの参照を認識する。
【００５６】
この例について、このステージからの出力は、以下に示される。
<CAPTION><PHR><WC＝’DET’>the</W><ENAMEX  TIPE=’PERSON_NAME’>smiths</ENAMEX><WC=’CONJ’>and</W><ENAMEX  TIPE=’PERSON＿PRONOUN’>me</ENAMEX><TIMEX  TYPE=’DATE’>june  ninety  eight</TIMEX><WC=’PREP’>at</W><WC=’DET’>the</W><ENAMEX  TYPE=’LOCATION_NAME’>glass  museum</ENAMEX><WC=’PREP’>in</W>
<ENAMEX  TYPE=’LOCATION_NAME’>corning  new  york</ENAMEX></PHR></CAPTION>
【００５７】
［簡単な句及び複雑な句のステージ４０］
このステージ４０は、２つの有限状態マシンを組み込んでいる。第１の有限状態マシンは、以下の基本的な句を識別する。
【００５８】
・名詞句：“Samantha”、“the  green  cats”、“fifteen  years”。これらは、人、位置、物体、日付又は時間を言及するかに従いサブカテゴリに分類される。
・動詞句：“will  happy  go”、“was  to  be  eaten”。これらは、それらのタイプ（たとえば、能動、受動）について記録される。
【００５９】
前置詞句は明示的に記録されないが、前置詞に続く名詞句／動詞句は記録され、前置詞自身は、これらの句のタイプに制約を課す。
【００６０】
第２の有限状態マシンは、基本的な句をより複雑な句に結合する。たとえば、“the  door”と“of  the  house”を結合し、又は“september6”と“at10p.m.”を結合する。
【００６１】
この例の注釈について、このステージからの出力は、以下に示される。
<CAPTION><PHR><PHR  CAT＝’NP’  TIPE=’PERSON’><PHR  CAT=’NP’  TYPE=’PERSON’><WC=’DET’>the</W><ENAMEX  TYPE=’PERSON_NAME’>smiths</ENAMEX></PHR><WC=’CONJ’>and</W><PHR  CAT=’NP’  TYPE=’PERSON><ENAMEX  TIPE=’PERSON＿PRONOUN’>me</ENAMEX></PHR></PHR><PHR  CAT=’NP’  TYPE=’DATE’><TIMEX  TYPE=’DATE’>june  ninety  eight</TIMEX></PHR><WC=’PREP’>at</W><PHR  CAT=’NP’  TYPE=’LOCATION’><WC=’DET’>the</W><ENAMEX  TYPE=’LOCATION_NAME’>glass  museum</ENAMEX></PHR><WC=’PREP’>in</W><PHR  CAT=’NP’  TYPE=’LOCATION’<ENAMEX  TYPE=’LOCATION_NAME’>>corning  new  york</ENAMEX></PHR></PHR></CAPTION>
【００６２】
［相互参照ステージ４２］
複雑さを変化させる多くの相互参照アルゴリズムが存在する。このシステムでは、相互参照ステージ４２は、非常に簡単な最新性に基づいたアルゴリズムを実現する。
【００６３】
システムは、それぞれの名詞句を順次取得する。名詞句が不明確な名詞句である場合、その名詞句は、該名詞句により言及される項目の最初の記述であると仮定する。名詞句が定義済みの名詞句である場合、そのルートを共有してそのタイプに整合する名詞句を発見することができるかを調べるために、前に記述された名詞句を通してサーチが行われる。名詞句が略記である場合、該略記に整合する固有名詞についてサーチが行われる。
【００６４】
名詞句が代名詞である場合、番号及び人の特徴並びに代名詞のタイプに一致しない名詞句を発見することができるかを調べるために、前に記述された名詞句を通してサーチが行われる。最後に、名詞句が固有名詞である場合、この固有名詞の別の（可能であれば短い）記述を発見することができるかを調べるために、前に記述された名詞句を通してサーチが行われる。
【００６５】
このサーチは、最新性により厳密であるので、文の位置及び他の参照の手掛りは使用されず、アルゴリズムは、文の位置及び他の参照の手掛りがないために生じるエラーの数を制限するために、相互参照のためにそのサーチにおいて慎重に保守的である。
【００６６】
これは、１つの写真よりはむしろ写真の系列に関して動作する唯一のステージである。参照ステージにおいて、サンプルとなる文に対して変更がなされない。
【００６７】
図３に示されるこのプロセスのそれぞれは、できるだけ他のステージのそれぞれから独立であるように設計される。ステージは、別のステージに直接的又は間接的に参照又はコールしない。ＸＭＬ文書構造は、それぞれのステージからの入力及び出力を指定するＡＰＩとしての役割を果たす。これは、それぞれのステージが独立なモジュールとして本質的に動作することを意味する。
【００６８】
それぞれのステージは、主にスタンドアロン型のプログラムへのコンピュータ言語向けの辞書アナライザを編集するプログラムであるＦｌｅｘ（V.Paxson等によるＦｌｅｘバージョン2.5）、を使用して編集することができる。又は、それぞれのステージは、ツールのフレームワーク内で実行するために編集することができる。これは、開発及びメンテナンスを容易にする一方で、大幅な影響及び性能を有する。
【００６９】
最も重要なことは、それぞれのステージは、全体の入力ストリングを通して読まれなければならない。あるステージが入力ストリングの一部に関して他を「コール」することが可能である場合（たとえば、第１の数値表現識別子が、識別したそれら数値表現のみに関する第２の数値表現識別子をコールする場合）、これは必要ではない。それにも関わらず、システムは、ほぼリアルタイムで個々の注釈を処理しようとする。
【００７０】
この異なるステージの厳密な区別は、別な影響を有する。順序に依存して、ステージはならし運転し、僅かに異なる出力を得ることができる。これは、句“june  california”における単語“june”を考慮することにより、知ることが容易である。日付識別ステージが名前付けされたエンティティステージの前に実行される場合、“june”は日付として記録される。名前付けされたエンティティステージがはじめに実行される場合、“june”は人の名前として識別される。理論的に、全てのステージからの全てのルールを１つに結合することは可能である。値上げは、どのルールがはじめに適合するかになお依存する。
【００７１】
システムは、抽出された項目の分類に対する最小限度の委託アプローチを使用する。このアプローチは、不確かな可能性の分離をラベル付けし、多くの項目“PERSON/OBJECT”又は“PERSON/OBJECT/LOCATION”にラベル付けする。記載された評価技術は、これらオプションのうちの１つが採用され、他が廃棄されることを必要とする。結果として、多くの項目は、実際に複数のカテゴリでラベル付けされるOBJECTカテゴリに落ち着く。
【００７２】
ここで、図１に示されるイベント区分ステージ１６を参照して、本発明の仮説は、個々の写真について、注釈における情報がその点でのイベントの境界が存在する証明、又は存在しない証明を提供する場合がある。スコアは、情報抽出ステージ１４の出力を使用して、注釈においてどの人、物体、位置、イベント、日付／時間及び行動が記載されているかを表すそれぞれの注釈について計算することができる。
【００７３】
これらのスコアは、その点でのイベントの途切れである可能性、該余切れではない可能性に関する基準を提供する。結果的に、これらのスコアは、イベントの境界の位置を推定するために使用される。消費者が写真の内容を論議することを制限して、その注釈にかなり直接的である場合、スコアは、イベントの境界に関する正確な情報を与える。
【００７４】
図４には、イベント区分アルゴリズムが示されている。アルゴリズムは、写真が撮影された順序で注釈のそれぞれを調べる。それぞれの注釈について、好適な実施の形態では、イベント、位置、行動、日付／時間、人及び物体といった情報のカテゴリが調べられる。イベントを記述する他の情報のカテゴリもまた、本発明の精神の範囲内である。
【００７５】
基本的なアプローチは、写真の注釈及び（そのイベントにおける他の写真の注釈からの情報を含む）イベントに関するある情報が与えられると、注釈に含まれる情報は、イベントに関して知られている情報に比較される。アルゴリズムは、表１に示されるように、イベントの途切れである証明（「正の証明」すなわちＰＥ）、及びイベントの途切れではない証明（「負の証明」すなわちＮＥ）を計算する。（これらの発見は、実験的に識別され、発明に関する限定として見られるべきではない。）
その点でのイベントの途切れである証明がイベントの途切れではない証明に勝る場合、アルゴリズムは、イベントの途切れを記録し、新たなイベントについての証明に関する新たな収集を開始する。他方で、イベントの途切れではない証明がイベントの途切れである証明に勝る場合、アルゴリズムは、現在の注釈からの情報を現在のイベントにおける他の注釈からの情報に加える。
【００７６】
正の証明についてのスコアが負の証明についてのスコアに等しい場合、又は両者が０である場合、イベントの途切れは作成されない。より詳細には、実際に、ある写真について、以下に示すように、負の証明に関連する正の証明の所望のレベル（“LEVEL”）が存在する。
（ＰＥ−LEVEL）＜ＮＥ
現在の写真はマージされ、既存のイベントになる。さもなければ、新たなイベントが作成される。
【００７７】
【表１】
2007102819.tif 000003
ときに、シリーズにおける１つの注釈が誤り導く証明を与えることがあるか、又は、シリーズにおける１つのピクチャが全体のイベントに関連していないことがある。これを処理するために、アルゴリズムは、「ギャップ考慮」を使用する。
【００７８】
写真フレームFRAMExが、前の写真フレームFRAMEyび距離gap内に収まる場合（すなわち、y<ｘ及びx-y<gap）、証明は、フレームFRAMEyと同じイベントに属するフレームFRAMExのためのものであり、フレームFRAMExと、フレームFRAMExとFRAMEyの間の全ての写真は、フレームFRAMEyと同じイベントに含まれる。１から１０までの様々なギャップ距離での実験において、２であるギャップが、殆どのデータにおいて誤り導く注釈に注意することが発見されている。
【００７９】
図４に示されるように、区分アルゴリズムへの入力は、マークアップmarkupを有するｎフレームの注釈、正の証明（ＰＥ）の所望のレベル及び所望の「メモリ」（ギャップ）からなるセットである。ギャップは２であることが好ましく、現在のフレームFRAME(j)は、好適なギャップgap=2について、既存のフレームの前に２つのフレームが位置される（すなわち、２つの並んだフレームがgap=1を有し、１つのフレームにより分離された２つのフレームはgap=2を有する）前のフレームFRAME(j-gap)と比較される。
【００８０】
アルゴリズムがgap>1を処理する場合（ステップ５０）、どのイベントフレームが属するかを判定する実際のプロセスは、以下のように示される。
【００８１】
１．フレームFRAMExからの距離gapでピクチャが存在し、gap>0である場合、フレームFRAMEx-gapと同じイベントに属するフレームFRAMExである証明及びフレームFRAMExでない証明を計算する（ステップ５２）。
ａ．そのイベントに属するフレームFRAMExである証明がフレームFRAMExではない証明に勝る場合（ステップ５４）、全てのフレームをそのイベントにおけるxとgap-xの間に配置する（ステップ５６）。
ｂ．さもなければ、gapから１を引いて（ステップ５８）、ステップ５０に戻る。
【００８２】
２．さもければ（gap=1のとき）、フレームFRAMEx-1と同じイベントに属するフレームFRAMExである証明及びフレームFRAMExではない証明を計算する（ステップ６０）。
ａ．そのイベントに属するフレームFRAMExである証明が、フレームFRAMExではない証明に勝る場合（ステップ６２）、フレームFRAMEx及びFRAMEx-1をそのイベントに配置する（ステップ６４）。
ｂ．さもなければ、フレームFRAMExについて新たなイベントを作成する（ステップ６６）。フレームがフレームのセット(ｊ＝０)における最初である場合（ステップ６８）、新たなイベントが即座に確立される（ステップ６６）。
【００８３】
このアルゴリズムにより、システムのユーザは、イベントの途切れである証明のための閾値（すなわち「レベル」）を指定することができる。正の証明のスコアがこの閾値よりも小さい場合、正の証明のスコアが減少される。この閾値の使用は、情報の減少固有のカテゴリの作用を有する。すなわち、閾値が１に設定されている場合、前に記述されていない物体はイベントの途切れである証明としてカウントされる。
【００８４】
つぎに、イベント識別ステージ１８を参照して、写真がイベントに区分されるとき、それぞれの注釈からの全ての情報が収集される。これは、それぞれのイベントの記述となる。好適な実施の形態では、かかる記述は、以下に示される。
【００８５】
・記録及び記録されていないその注釈を有し、カメラから取得された他の情報（たとえば、日付／時間情報）を有する、そのイベントにおける写真のリスト。
・それぞれの情報カテゴリ（たとえば、位置、行動）について、そのイベントについての注釈から得られたそのカテゴリにおける全てのデータからなるリスト。
・イベントセグメンテーションのためのスコア。
【００８６】
イベント識別のタスクは、（ステージ３８から生じる）「イベント」リストにおけるイベント記述が存在するかをチェックするために減少される。存在しない場合、他のカテゴリから集めようとする。多くのルールは、イベント識別を実現するために使用される場合があるのに対し、以下のルールは、先のルールが後のルールを引き継いで、満足なものとなる。
【００８７】
１．イベントが記述されている場合、そのイベントを与える。
２．イベントが１つの写真のみを含んでいる場合、その写真についての注釈を与える。
３．位置が記述されている場合、その位置を与える。
４．人が記述されている場合、その人を与える。
５．イベントにおける最初の写真についての注釈を与える。
【００８８】
イベント区分及び識別の後に、それぞれのイベントは、そのイベントについての注釈において記述された人、位置、物体、日付／時間、行動及びイベントの収集を備える。イベント要約ステージ２０では、イベントについての要約の作成は、適切なやり方で、この情報を選択及び配列することである。
【００８９】
異なるタイプの要約は、異なるタイプのアプリケーションに適している。情報検索アプリケーションについて、好適な要約は、おそらく、副本が除かれて（しかし、おそらく、たとえば、“my  son”及び“john”といった同じ事柄への参照を変化せずに）、イベントにおける全ての記述された項目からなるリストである。
【００９０】
自動アルバム作成について、良好な要約は、たとえば、関連するイベント自身、位置、日付／時間及び人といったイベントにおける重要な情報を識別する文又は短いパラグラフである。異なるパラグラフ要約のためのテンプレートを作成することができ、その幾つかは、異なるタイプのイベントに固有にすることができる（たとえば、結婚式、ハロウィン、旅行）。
【００９１】
データを見ることから、イベントについて全ての注釈を簡単に結合することは、共用可能な文／パラグラフ要約とはならない。代わりに、文の要約は、以下のように構築される（全ての適用可能なルールが使用される）。
【００９２】
・５以下の人が記述される場合、該人をリストに列挙する。
・イベントが記述される場合、該イベントを与える。
・位置が記述される場合、該位置を与える。
・日付／時間が記述される場合、該日付／時間を与える。
【００９３】
別の可能性は、要約のリストのタイプであり、すなわち、おそらく副本が除かれるが、同じ項目を言及する句を含んで、それぞれのイベントに関連する全ての情報は、カテゴリによりプリント出力される場合である。それぞれの種類の要約の例は、写真の２つの典型的なイベントグループ分けについて、表２及び表３に与えられている。
【００９４】
【表２】
2007102819.tif 000004
【００９５】
【表３】
2007102819.tif 000005
【００９６】
【表４】
2007102819.tif 000006
【図面の簡単な説明】
【００９７】
【図１】本発明による方法及びシステムの機能に関するブロック図である。
【図２】本発明を実現するためのコンピュータシステムに関するブロック図である。
【図３】図１に示される情報抽出機能に関するフローシーケンス図である。
【図４】図１に支援されるイベント区分機能に関するフローシーケンス図である。
【符号の説明】
【００９８】
１０：取得ステージ
１２：音声−テキスト変換ステージ
１４：情報抽出ステージ
１６：イベント区分ステージ
１８：イベント識別ステージ
２０：イベント要約ステージ
２２：写真アルバム
３０：区分及びフィルタリングステージ
３２：番号付けステージ
３４：分類ステージ
３６：日付、時間、金及びパーセンテージステージ
３８：人、位置、イベント及び物体ステージ
４０：句ステージ
４２：相互参照による分類ステージ
４４：ＸＭＬドキュメント
４８：注釈
５０：ギャップチェックステップ
５２：計算ステップ
５４：証明チェックステップ
５６：マージステップ
５８：ギャップインクリメントステップ
６０：計算ステップ
６２：証明チェックステップ
６４：マージステップ
６６：新たなイベントステップ
６８：最初のフレームチェックステップ
１１０：コンピュータ
１１２：大容量メモリ
１１４：ネットワークインタフェース
１１６：リモートサーバ
１１８：ネットワーク
１２０：内部メモリ
１２２：入力装置
１２４：メモリカードリーダ
１２６：ネットワークインタフェース
１２８：音声認識モジュール
１３０：出力装置
１３２：ディスプレイ装置
１３４：プリンタ
１３６：ネットワークインタフェース
１３８：出力装置
【図１】
2007102819.tif 000007
【図２】
2007102819.tif 000008
【図３】
2007102819.tif 000009
【図４】
2007102819.tif 000010