【手続補正書】
【提出日】平成28年7月4日(2016.7.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
追跡結果を生成するために映像データの複数のフレームに関するオブジェクトを追跡することと、
オブジェクトプロセッサにより前記複数のフレームのうちのフレームの部分組の処理に基づいて出力を生成することと、前記オブジェクトプロセッサは、オブジェクト検出器又はオブジェクト認識器を含み、ここで、前記オブジェクトは、少なくとも前記複数のフレームのうちの第１のフレーム及び前記複数のフレームのうちの第２のフレームに関して追跡され、前記出力は、前記複数のフレームのうちの前記第１のフレームの処理に基づいて生成される、
前記追跡結果及び前記出力を生成した後で、結合された出力を生成するために前記追跡結果を前記出力と結合することと、
を備える、方法。
【請求項２】
前記追跡結果を含む複数の追跡結果は、前記出力を含む複数の出力が生成される第２の周波数とは異なる第１の周波数において追跡器によって生成され、
前記追跡結果及び前記出力は、時間フィルタにおいて結合され、
前記時間フィルタは、前記追跡器及び前記オブジェクトプロセッサによって非同期的にアクセスされる、請求項１に記載の方法。
【請求項３】
前記出力が、フレームの前記部分組のオブジェクト検出を行うことにより生成される場合、フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシーに基づいて選択され、
前記出力が、フレームの前記部分組のオブジェクト認識を行うことにより生成される場合、フレームの前記部分組は、前記オブジェクト認識器の第２のレーテンシーに基づいて選択される、請求項１に記載の方法。
【請求項４】
フレームの前記部分組は、前記複数のフレームのうちの前記第１のフレームおよび前記第２のフレームを含む、請求項１に記載の方法。
【請求項５】
フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシー又は前記オブジェクト認識器の第２のレーテンシーに基づいて選択され、前記第１のレーテンシーは、追跡器が前記複数のフレームのうちの少なくとも２つのフレームに関する追跡を行うための時間の期間に対応し、前記第２のレーテンシーは、前記オブジェクト認識器がフレームの前記部分組のうちの前記第１のフレームを処理するための時間の期間に対応する、請求項１に記載の方法。
【請求項６】
前記出力、前記オブジェクトの動き履歴、又はそれらの任意の組み合わせに基づいて、前記オブジェクトの状態情報を更新することをさらに備える、請求項１に記載の方法。
【請求項７】
前記オブジェクトを追跡すること及び前記出力を前記生成することは、時間軸上で部分的に重なり合う、請求項１に記載の方法。
【請求項８】
少なくとも前記複数のフレームのうちの前記第１のフレーム及び前記複数のフレームのうちの前記第２のフレームに関して追跡され、一方で、前記出力が前記複数のフレームのうちの前記第１のフレームの処理に基づいて生成される、請求項７に記載の方法。
【請求項９】
前記追跡結果を前記出力と結合することは、前記追跡結果を生成するために前記オブジェクトを追跡することと時間軸上で重なり合わず、前記追跡結果を前記出力と結合することは、前記出力を生成することと時間軸上で重なり合わない、請求項７に記載の方法。
【請求項１０】
前記結合された出力に基づいて、前記オブジェクトの状態情報を更新することを更に備え、
前記状態情報は、
前記オブジェクトの位置と、
前記オブジェクトの定義、前記オブジェクトの型式、前記オブジェクトの履歴データ、またはそれらの任意の組み合わせと、
を含む、請求項１に記載の方法。
【請求項１１】
前記結合された出力に基づいて、前記オブジェクトの状態情報を更新することをさらに備え、前記オブジェクトは、テキストボックスに対応し、前記状態情報は、
前記テキストボックス内の認識されたテキストと、
前記オブジェクトの定義、前記オブジェクトの型式、前記オブジェクトの履歴データ、またはそれらの任意の組み合わせと、
を含む、請求項１に記載の方法。
【請求項１２】
前記状態情報を更新することと、ここで、前記状態情報は、増強されたコンテンツを含み、
画像キャプチャデバイスの表示装置において前記状態情報に少なくとも部分的に基づいて画像コンテンツを表示することと、
をさらに備える請求項１１に記載の方法。
【請求項１３】
前記追跡結果を前記出力と結合することは、前記オブジェクトの時間情報を入手するために、前記追跡結果を前記出力と統合することを備える、請求項１に記載の方法。
【請求項１４】
前記追跡結果を前記出力と統合することは、Ｋａｌｍａｎフィルタ、パーティクルフィルタ、又はＥｘｔｅｎｄｅｄ  Ｋａｌｍａｎフィルタのうちの少なくとも１つを用いて前記追跡結果に基づいて前記オブジェクトの位置情報を生成することを備える、請求項１３に記載の方法。
【請求項１５】
前記追跡結果を前記出力と結合することは、前記追跡結果を前記出力と統合することを備え、前記追跡結果を前記出力と統合することは、最尤推定器又は最大事後推定器のうちの少なくとも１つを用いて前記出力に基づいて前記オブジェクトのテキストデータを含む識別情報を生成することを備える、請求項１３に記載の方法。
【請求項１６】
前記複数のフレームは、画像キャプチャデバイスによって生成され、前記画像キャプチャデバイスは、カメラ、映像録画装置、無線デバイス、ポータブル電子デバイス、又はそれらの任意の組み合わせを備える、請求項１に記載の方法。
【請求項１７】
フレームの前記部分組のうちの前記第１のフレームのオブジェクト処理の完了を検出する前に、
フレームの前記部分組のうちの前記第１のフレームと第２のフレームとの間での前記オブジェクトの動きを推定することと、
前記動きに基づいて前記オブジェクトの状態情報を更新することと、
をさらに備える、請求項１に記載の方法。
【請求項１８】
フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシー又は前記オブジェクト認識器の第２のレーテンシーに基づいて選択され、前記オブジェクトは、第３のレーテンシーを有する追跡器によって追跡され、前記第３のレーテンシーは前記第１のレーテンシーより短く、前記第３のレーテンシーは前記第２のレーテンシーより短い、請求項１に記載の方法。
【請求項１９】
前記オブジェクトを追跡することは、前記オブジェクトプロセッサに提供されない特定の追跡結果を生成するために追跡器によって行われ、フレームの前記部分組の処理は、前記追跡器に提供されない特定の出力を生成するために前記オブジェクトプロセッサによって行われる、請求項１に記載の方法。
【請求項２０】
装置であって、
時間フィルタと、
追跡結果を生成するために、及び追跡結果を前記時間フィルタに提供するために、映像データの複数のフレームに関するオブジェクトを追跡するように構成された追跡器と、
出力を生成するために、及び前記出力を前記時間フィルタに提供するために、前記複数のフレームのうちのフレームの部分組内で前記オブジェクトを処理するように構成されたオブジェクトプロセッサと、
を備え、
前記追跡器は、少なくとも前記複数のフレームのうちの第１のフレーム及び前記複数のフレームのうちの第２のフレームに関して前記オブジェクトを追跡するように構成され、前記オブジェクトプロセッサは、前記複数のフレームのうちの前記第１のフレームの処理に基づいて前記出力を生成するように構成され、
前記時間フィルタは、前記追跡器からの前記追跡結果を受信するように構成され、前記時間フィルタは、前記オブジェクトプロセッサからの前記出力を受信するように構成され、前記時間フィルタは、結合された出力を生成するために前記追跡結果と前記出力とを結合するようにさらに構成される、装置。
【請求項２１】
前記オブジェクトプロセッサは、
フレームの前記部分組内で前記オブジェクトを検出するように構成されたオブジェクト検出器と、
フレームの前記部分組内で前記オブジェクトを認識するように構成されたオブジェクト認識器と、
を含む、請求項２０に記載の装置。
【請求項２２】
フレームの前記部分組は、前記オブジェクトプロセッサのレーテンシーに基づいて選択され、前記オブジェクトプロセッサの前記レーテンシーは、前記追跡器が前記複数のフレームのうちの少なくとも２つのフレームに関する追跡を行うための時間の期間に対応する、請求項２０に記載の装置。
【請求項２３】
前記時間フィルタは、前記オブジェクトの状態情報を更新するようにさらに構成され、前記オブジェクトは、テキストボックスに対応し、前記状態情報は、前記テキストボックス内の認識されたテキストと、前記テキストボックスの位置とを含む、請求項２０に記載の装置。
【請求項２４】
前記時間フィルタは、Ｋａｌｍａｎフィルタと、最尤推定器とを含む、請求項２３に記載の装置。
【請求項２５】
前記Ｋａｌｍａｎフィルタは、前記テキストの位置を決定するように構成され、前記テキストの前記位置は、前記テキストボックスの座標を含む、請求項２４に記載の装置。
【請求項２６】
前記最尤推定器は、
光学文字認識（ＯＣＲ）を介して提案されるテキストデータを生成し、
前記提案されるテキストデータを検証するために辞書にアクセスする
ように構成される、請求項２４に記載の装置。
【請求項２７】
前記提案されるテキストデータは、複数のテキスト候補と、前記複数のテキスト候補と関連付けられた信頼度データとを含み、前記辞書のエントリに対応する特定のテキスト候補が、前記テキスト候補と関連付けられた信頼度値により検証されたテキストとして選択される、請求項２６に記載の装置。
【請求項２８】
装置であって、
追跡結果を生成するために映像データの複数のフレームに関するオブジェクトを追跡するための手段と、
出力を生成するために、前記複数のフレームのうちのフレームの部分組内の前記オブジェクトを処理するための手段と、ここで、追跡するための前記手段は、少なくとも前記複数のフレームのうちの第１のフレーム及び前記複数のフレームのうちの第２のフレームに関して前記オブジェクトを追跡するように構成され、処理するための前記手段は、前記複数のフレームのうちの前記第１のフレームの処理に基づいて出力を生成するように構成され、
結合された出力を生成するために、追跡するための前記手段の前記追跡結果を、処理するための前記手段の前記出力と結合するための手段と、
を備え、
結合するための前記手段は、追跡するための前記手段から前記追跡結果を受信するように構成され、結合するための前記手段は、処理するための前記手段から前記出力を受信するようにさらに構成される、装置。
【請求項２９】
フレームの前記部分組内の前記オブジェクトを処理するための前記手段は、フレームの前記部分組内で前記オブジェクトを検出するための手段を含む、請求項２８に記載の装置。
【請求項３０】
フレームの前記部分組内で前記オブジェクトを処理するための前記手段は、フレームの前記部分組内において前記オブジェクトを認識するための手段を含む、請求項２８に記載の装置。
【請求項３１】
フレームの前記部分組は、処理するための前記手段のレーテンシーに基づいて選択され、追跡するための前記手段は、第１の時間の期間中に、前記複数のフレームのうちの少なくとも２つのフレームに関する追跡を行い、前記レーテンシーは、前記第１の時間の期間に対応する、請求項２８に記載の装置。
【請求項３２】
結合するための前記手段は、前記オブジェクトの状態情報を更新するように構成され、前記オブジェクトは、テキストボックスに対応し、前記状態情報は、前記テキストボックス内の認識されたテキストと、前記テキストボックスの位置とを含む、請求項３１に記載の装置。
【請求項３３】
前記複数のフレームを生成するための手段と、前記オブジェクトの状態情報に少なくとも部分的に基づいて画像コンテンツを表示するための手段とをさらに備える請求項３１に記載の装置。
【請求項３４】
結合するための前記手段は、Ｋａｌｍａｎフィルタと、最尤推定器とを含む、請求項２８に記載の装置。
【請求項３５】
非一時的なコンピュータによって読み取り可能な媒体であって、プロセッサによって実行されたときに、前記プロセッサに、
追跡結果を生成するために映像データの複数のフレームに関するオブジェクトを追跡することと、
オブジェクトプロセッサにより前記複数のフレームのうちのフレームの部分組の処理に基づいて出力を生成することと、前記オブジェクトプロセッサは、オブジェクト検出器又はオブジェクト認識器を含み、ここで、前記オブジェクトは、少なくとも前記複数のフレームのうちの第１のフレーム及び前記複数のフレームのうちの第２のフレームに関して追跡され、前記出力は、前記複数のフレームのうちの前記第１のフレームの処理に基づいて生成される、
前記追跡結果及び前記出力を生成した後で、結合された出力を生成するために前記追跡結果を前記出力と結合することと、
を含む処理を行わせるプログラムコードを含む、非一時的なコンピュータによって読み取り可能な媒体。
【請求項３６】
フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシー又は前記オブジェクト認識器の第２のレーテンシーに基づいて選択され、前記出力は、前記オブジェクトのオブジェクト検出を行うことにより生成され、フレームの前記部分組は、前記オブジェクト検出器の前記第１のレーテンシーに基づいて選択される、請求項３５に記載の非一時的なコンピュータによって読み取り可能な媒体。
【請求項３７】
フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシー又は前記オブジェクト認識器の第２のレーテンシーに基づいて選択され、前記出力は、前記オブジェクトのオブジェクト認識を行うことにより生成され、フレームの前記部分組は、前記オブジェクト認識器の前記第２のレーテンシーに基づいて選択される、請求項３５に記載の非一時的なコンピュータによって読み取り可能な媒体。
【請求項３８】
フレームの前記部分組は、前記オブジェクト検出器の第１のレーテンシー又は前記オブジェクト認識器の第２のレーテンシーに基づいて選択され、前記第１のレーテンシーは、追跡器が前記複数のフレームのうちの少なくとも２つのフレームに関する追跡を行うための時間の期間に対応する、請求項３５に記載の非一時的なコンピュータによって読み取り可能な媒体。
【請求項３９】
前記結合された出力に基づいて、前記オブジェクトの状態情報を更新することをさらに備え、前記オブジェクトは、テキストボックスに対応し、前記状態情報は、前記テキストボックス内の認識されたテキストと、前記テキストボックスの位置とを含む、請求項３８に記載の非一時的なコンピュータによって読み取り可能な媒体。
【請求項４０】
前記プロセッサによって実行されたときに、前記オブジェクトの時間情報を入手するために、前記追跡結果を前記出力と統合することを前記プロセッサに行わせる、プログラムコードをさらに備える、請求項３５に記載の非一時的なコンピュータによって読み取り可能な媒体。
【請求項４１】
方法であって、
追跡結果を生成するために映像データの複数のフレームの第１のフレームに関するテキストを含む領域を追跡することと、
前記第１のフレームに関するテキスト処理を行うことと、ここで、前記テキスト処理は、認識されたテキストデータを生成するために、オブジェクトプロセッサによって、検出されたテキストデータに関するテキスト認識を行うことを含み、前記領域は、前記複数のフレームのうちの前記第１のフレーム及び第２のフレームのうちの少なくとも１つに関して追跡され、前記認識されたテキストデータは、前記複数のフレームのうちの前記第１のフレームの処理に基づいて生成される、
前記追跡結果及び前記認識されたテキストデータを生成した後で、結合された出力を生成するために前記追跡結果と前記認識されたテキストデータとを結合することと、
を備える、方法。
【請求項４２】
前記第１のフレームに関する前記テキスト処理を行うことは、前記検出されたテキストデータを識別するために、前記第１のフレームに関するテキスト検出を行うことを含む、請求項４１に記載の方法。
【請求項４３】
第２の認識されたテキストデータを識別するために、前記複数のフレームのうちの前記第２のフレームに関して前記テキスト処理を行うことをさらに備え、ここで、前記第２のフレームに関して前記テキスト処理を行うことは、前記第２のフレームに関してテキスト認識を行うことを含み、前記第２のフレームは、前記第１のフレームの直後に続くフレームである、請求項４１に記載の方法。
【請求項４４】
前記結合された出力に基づいて、オブジェクトの状態情報を更新することをさらに備え、前記オブジェクトは、テキストボックスに対応し、前記状態情報は、前記テキストボックス内の認識されたテキストと、前記テキストボックスの位置とを含む、請求項４１に記載の方法。
【請求項４５】
前記領域は、第１のレーテンシーを有する追跡器によって追跡され、前記オブジェクトプロセッサは、第２のレーテンシーを有し、前記第１のレーテンシーは、前記第２のレーテンシーと等しい、請求項４１に記載の方法。