(57)【要約】  本願は、映像に基づく情報取得方法及び装置を提供する。前記方法は、端末機器が再生中の映像画面から主体を検出することと、映像画面から主体の画像をスクリーンショットすることと、主体の画像に基づいて主体に関連する情報を取得することと、同一の画面で主体に関連する情報と映像画面を表示することとを含む。端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
2021516501.tif 000002
【特許請求の範囲】
【請求項１】
端末機器が再生中の映像画面から主体を検出することと、
前記端末機器が前記映像画面から前記主体の画像をスクリーンショットすることと、
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することと、
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することとを含む、ことを特徴とする映像に基づく情報取得方法。
【請求項２】
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記端末機器が前記主体の画像を前記サーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記端末機器が前記サーバによって送信される前記主体の認識結果を受信することと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信することとを含む、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
前記端末機器が前記主体の画像に基づいて、前記主体を認識して認識結果を得ることと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、ことを特徴とする請求項１に記載の方法。
【請求項５】
さらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報を前記端末機器がスクリーンに表示することを含む、ことを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が、前記主体に関連するコンテンツを、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像のコンテンツの所定の位置に重畳して表示することを含む、ことを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示することを含む、ことを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項８】
前記端末機器が再生の映像画面から主体を検出することは、
前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含む、ことを特徴とする請求項１〜７のいずれか１項に記載の方法。
【請求項９】
端末機器が再生中の映像画面から主体を検出する前に、さらに、
前記端末機器がユーザインタフェースに推薦機能ボタンを表示することと、
前記端末機器が前記推薦機能ボタンに対するユーザの第１操作を受信することと、
前記端末機器が前記第１操作に基づいて、前記推薦機能をオンにすることとを含み、
前記端末機器が再生中の映像画面から主体を検出することは、
前記推薦機能がオンにされた場合、前記端末機器が再生中の映像画面から主体を検出することを含む、ことを特徴とする請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示した後、さらに、
前記端末機器が前記推薦機能ボタンに対するユーザの第２操作を受信することと、
前記端末機器が前記第２操作に基づいて、前記推薦機能をオフにすることとを含む、ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記端末機器が再生中の映像画面から主体を検出することは、
前記端末機器が所定の検出対象の優先度の高い順に従って、前記映像画面における物体に対して検出することと、
現在の優先度に対応する検出対象に基づいて、前記映像画面の物体から前記現在の優先度に対応する検出対象が検出された場合、検出された検出対象から前記主体を決定することとを含む、ことを特徴とする請求項１〜９のいずれか１項に記載の方法。
【請求項１２】
端末機器であって、
プロセッサと、メモリと、送受信機とを含み、前記メモリは命令を記憶するように構成され、前記送受信機は他の機器と通信するように構成され、前記プロセッサは、前記端末機器が請求項１〜１１のいずれか１項に記載の方法を実行するように、前記メモリに記憶されている命令を実行するように構成される、ことを特徴とする端末機器。
【請求項１３】
実行されるとき、コンピュータが請求項１〜１１のいずれか１項に記載の方法を実行するようにする命令が記憶されている、ことを特徴とするコンピュータ可読記憶媒体。
【請求項１４】
コンピュータプログラムであって、プログラムコードを含み、前記コンピュータプログラムがコンピュータによって実行されるとき、前記プログラムコードによって請求項１〜１１のいずれか１項に記載の方法が実行される、ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、２０１８年１０月１８日に中国国家知識産権局に提出された、出願番号が２０１８１１２１５１３３５で、発明の名称が「映像に基づく情報取得方法及び装置」である中国特許出願の優先権を主張し、その全体内容は援用する形で本願に組み込まれる。本願は、映像技術の分野に関し、特に映像に基づく情報取得方法及び装置に関する。
【背景技術】
【０００２】
スマートフォン、タブレットＰＣ、スマートテレビ、スマートホーム等のスマート端末の普及に伴い、スマート端末を用いる映像視聴は、人々が日常生活で娯楽活動を行い、情報を取得するための主な手段となっている。現在、スマート端末で映像を再生させる過程で、ユーザは映像画面内のコンテンツに基づいてインタラクションすることができない。
【０００３】
映像の再生過程でユーザが映像内の特定の人物、物体、又はシーンなどに興味がある場合、ユーザは実行中の映像再生を中断して検索エンジン等によってこれを調べるか、他の機器を利用して調べるしかないため、ユーザの操作は手間がかかる。また、ユーザが何を調べればよいのかわからない場合がある。例えば、ユーザは、映像内の特定の人物に興味を持っているが、この人物が誰であるのか知らないから、検索エンジンに正確なキーワードを入力して検索を行うことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願によれば、映像に基づく情報取得方法及び装置が提供される。ユーザがトリガーしなくても、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザ体験が向上する。
【課題を解決するための手段】
【０００５】
本願の第１態様では、映像に基づく情報取得方法が提供される。当該方法は、
端末機器が再生中の映像画面から主体を検出することと、
前記端末機器が前記映像画面から前記主体の画像をスクリーンショットすることと、
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することと、
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することとを含む。
【０００６】
端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
【０００７】
一つの例示的な形態において、前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記端末機器が前記主体の画像を前記サーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む。
【０００８】
一つの例示的な形態において、前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記端末機器が前記サーバによって送信される前記主体の認識結果を受信することと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信することとを含む。
【０００９】
端末機器はサーバによって送信される認識結果に基づいて、主体が検出されたことがあるかどうかを判断し、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
【００１０】
別の例示的な形態において、前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
前記端末機器が前記主体の画像に基づいて、前記主体を認識して認識結果を得ることと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む。
【００１１】
端末機器によって主体を認識し、認識結果に基づいて主体が検出されたことがあるかどうかを判断し、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
【００１２】
一つの例示的な形態において、さらに、
前記端末機器が、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示することを含む。
【００１３】
一つの例示的な形態において、前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が、前記主体に関連するコンテンツを、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示することを含む。
【００１４】
主体に関連するコンテンツを映像コンテンツの上に重畳して表示することによって、主体に関連するコンテンツと映像コンテンツを効果的に融合させて、ユーザにより優れた体験を提供することができる。
【００１５】
別の例示的な形態において、前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示することを含む。
【００１６】
一つの例示的な形態において、前記端末機器が再生の映像画面から主体を検出することは、
前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含む。
【００１７】
本願の第２態様では、映像に基づく情報取得装置が提供される。当該装置は、
端末機器で再生中の映像画面から主体を検出するように構成される検出モジュールと、
前記映像画面から前記主体の画像をスクリーンショットするように構成されるスクリーンショットモジュールと、
前記主体の画像に基づいて、前記主体に関連する情報を取得するように構成される取得モジュールと、
同一の画面で、前記主体に関連する情報と前記映像画面を表示するように構成される表示モジュールとを含む。
【００１８】
一つの例示的な形態において、前記取得モジュールは、具体的に、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記主体の画像を前記サーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
【００１９】
一つの例示的な形態において、前記取得モジュールは、前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記サーバによって送信される前記主体の認識結果を受信し、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信するように構成される。
【００２０】
別の例示的な形態において、前記取得モジュールは、具体的に、
前記主体の画像に基づいて、前記主体を認識して認識結果を得、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
【００２１】
一つの例示的な形態において、前記表示モジュールは、さらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示するように構成される。
【００２２】
一つの例示的な形態において、前記表示モジュールは、具体的に、
前記主体に関連するコンテンツを、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示するように構成される。
【００２３】
別の例示的な形態において、前記表示モジュールは、具体的に、
前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示するように構成される。
【００２４】
一つの例示的な形態において、前記検出モジュールは、具体的に、
前記映像画面における検出対象の輪郭を検出し、
前記映像画面における検出対象の輪郭に基づいて、前記主体を決定するように構成される。
【００２５】
本願の第３態様では端末機器が提供される。当該端末機器は、プロセッサと、メモリと、送受信機とを含み、前記メモリは命令を記憶するように構成され、前記送受信機は他の機器と通信するように構成され、前記プロセッサは、前記端末機器が本願の第１態様に記載の方法を実行するように、前記メモリに記憶されている命令を実行するように構成される。
【００２６】
本願の第４態様ではコンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体に命令が記憶されており、前記命令が実行されるとき、コンピュータは本願の第１態様に記載の方法を実行するようにする。
【発明の効果】
【００２７】
本願に係る映像に基づく情報取得方法及び装置によれば、端末機器は再生中の映像画面から主体を検出し、映像画面から主体の画像をスクリーンショットし、主体の画像に基づいて主体に関連する情報を取得し、同一の画面で主体に関連する情報と映像画面を表示する。端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
【図面の簡単な説明】
【００２８】
【図１】本願が適用されるネットワークアーキテクチャの模式図である。
【図２】本願の実施例１に係る映像に基づく情報取得方法のフローチャートである。
【図３】映像と主体に関連する情報に係る一つの表示の模式図である。
【図４】映像と主体に関連する情報に係る別の表示の模式図である。
【図５】本願の実施例２に係る映像に基づく情報取得方法のシグナリングの流れの模式図である。
【図６】本願の実施例３に係る映像に基づく情報取得装置の構造模式図である。
【図７】本願の実施例４に係る端末機器の構造模式図である。
【発明を実施するための形態】
【００２９】
本願によれば、映像に基づく情報取得方法が提供される。図１は、本願が適用されるネットワークアーキテクチャの模式図である。図１に示すように、当該ネットワークアーキテクチャは少なくとも１つの端末機器１１と、少なくとも１つのサーバ１２を含む。端末機器１１は映像を再生でき、端末機器１１は搭載された映像再生装置で映像を再生してもよいし、ブラウザによって映像を再生してもよい。端末機器１１は端末（Ｔｅｒｍｉｎａｌ）、ユーザ機器（ｕｓｅｒ  ｅｑｕｉｐｍｅｎｔ、略称ＵＥ）、アクセス端末、ユーザユニット、移動機器、ユーザ端末、無線通信機器、ユーザエージェント又はユーザ装置とも呼ばれる。端末機器は携帯情報端末（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ、略称ＰＤＡ）機器、スマートテレビ、無線通信機能を有するハンドヘルド機器（例えば、スマートフォン、タブレットＰＣ）、コンピューティング機器（例えば、パソコン（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ、略称ＰＣ））、車載機器、ウェアラブル機器等であってもよい。
【００３０】
サーバ１２は画像を認識するように構成されてよい。サーバ１２には人物、物体、風景等の大量の画像特徴があらかじめ記憶されており、後に端末機器によって送信される画像に対してあらかじめ記憶されている大量の画像特徴パラメータに基づいてマッチングすることで、当該画像から人物、物体、風景等を認識できる。サーバ１２はさらに、画像主体に関連するコンテンツを生成するように構成されてもよい。サーバ１２に人物、物体、風景等の関連するコンテンツが記憶されてよく、人物、物体、風景等の関連するコンテンツは他のサーバに記憶されていてもよい。
【００３１】
図２は、本願の実施例１に係る映像に基づく情報取得方法のフローチャートである。図２に示すように、本実施例の方法は、次に示すステップＳ１０１〜Ｓ１０４を含む。
ステップＳ１０１において、端末機器は再生中の映像画面から主体を検出する。
【００３２】
端末機器は搭載された映像再生装置によって映像を再生してもよいし、ブラウザによって映像を再生してもよい。当該映像としては、ドラマ、映画又は他の番組が挙げられる。端末機器は再生中の映像画面から周期的に主体を検出してよく、例えば、５分間ごとに検出する。
【００３３】
任意選択で、映像再生画面に検索推薦機能のオン／オフボタンが設けられる。ユーザが当該検索推薦機能をオンにした場合、端末機器は再生中の映像画面から周期的に主体を検出する。ユーザが検索推薦機能をオンにしていない場合、再生中の映像画面から主体を検出しない。映像の再生過程で、ユーザは所望によりいつでも検索推薦機能をオン又はオフにできる。例えば、ユーザが知らない俳優を見たとき、検索推薦機能をオンにして、当該俳優に関連する情報が得られると、検索推薦機能をオフにする。
【００３４】
映像画面で主体は人物であってよく、例えば、ドラマに出た人物、試合に出た選手である。当該主体は物体であってもよく、例えば、自動車、家庭用電化製品、建物等であってもよい。また、当該主体は観光名所であってもよい。任意選択で、検出対象同士間で優先度が設けられてもよく、映像画面に人物、物体と風景が同時に存在する場合、端末機器は映像画面から主体を検出するとき、優先度が最も高い検出対象を候補対象として選択し、候補対象から主体を決定する。一般的には、人物の優先度が最高であり、次は物体であり、風景が最後になる。映像画面に人物、物体と風景が同時に存在する場合、端末機器は人物を候補対象として選択する。映像に複数の人物が存在する場合、複数の人物から１つ又は複数を主体として選択する。なお、映像画面における主体が人物であるように設定してもよく、これによって検出対象は人物に限定される。
【００３５】
例示的に、端末機器は映像画面から検出対象の輪郭を検出し、映像画面における検出対象の輪郭に基づいて主体を決定する。まず、検出対象の輪郭に基づいて映像画面から人物を認識してよく、複数の人物が認識された場合、検出対象の輪郭に基づいて、顔部が正面、側面、背面を向く人物をそれぞれ決定する。顔部が正面を向く人物がある場合、側面と背面を向く人物を除去する。顔部が正面を向く人物が１人だけである場合、顔部が正面を向く人物を映像画面の主体として決定し、顔部が正面を向く人物が複数ある場合、顔部が正面を向く当該複数の人物を主体としてもよいし、画面の中央に位置する１人の人物を選択して主体としてもよいし、又は輪郭面積が最大になる人物を主体としてもよい。
【００３６】
ステップＳ１０２において、端末機器は映像画面から主体の画像をスクリーンショットする。
【００３７】
端末機器は当該主体に対して１つの又は複数の画像をスクリーンショットしてよく、端末機器は映像画面の全体に対してスクリーンショットを行い、得られたスクリーンショットにトリミングを行って、主体の画像を得るようにしてよい。当該主体が人物である場合、スクリーンショットした当該主体の画像は人物の顔部を含まなければならない。端末機器は映像画面の全体ではなく、主体の画像だけをスクリーンショットしてもよい。
【００３８】
ステップＳ１０３において、端末機器は主体の画像に基づいて、主体に関連する情報を取得する。
【００３９】
一つの形態において、端末機器はサーバが主体の画像に基づいて当該主体を認識するように、主体の画像をサーバに送信する。端末機器はサーバによって送信される主体に関連する情報を受信する。
【００４０】
当該形態において、サーバは主体の画像を受信した後、主体の画像の特徴パラメータを取得する。当該特徴パラメータは、色特徴、形状特徴、テクスチャ特徴のいずれか１つのパラメータ又はこれらの組み合わせを含んでよい。サーバは、水平垂直投影、エッジ検出結果、形状解析、色解析の少なくとも１種で主体の画像の特徴パラメータを取得してよい。
【００４１】
サーバは主体の画像の特徴パラメータに対してローカルに保存されている又はデータベースに保存されている大量のテンプレート画像の特徴パラメータとマッチングし、テンプレート画像における主体が既知のものである。主体の画像が特定の画像の特徴パラメータにマッチングしていれば、当該主体が認識できる。例えば、サーバローカル又はデータベースに芸能人の画像に関する大量の特徴パラメータが保存されている場合、マッチングを行うことで、主体が特定の芸能人であることを認識できる。次にサーバは当該主体に関連する情報を調べる。当該主体に関連する情報は主体の簡単な紹介（例えば、百度百科（中国の検索エンジン会社、百度が運営するオンライン百科事典）に掲載された内容）であってもよいし、主体の新着ニュースであってもよいし、主体に関連する他の映像であってもよい。
【００４２】
任意選択で、サーバは主体を認識した後、端末機器に主体の認識結果を送信する。主体の認識結果に主体の名称が含まれ、主体の簡単な紹介が含まれてもよい。例えば、主体が人物である場合、認識結果に人物の名称が含まれ、性別、職業、年齢が含まれてもよい。
【００４３】
端末機器はサーバによって送信された主体の認識結果を受信し、認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。端末機器は主体が認識されるたびに、新たな主体認識結果を保存する。次に主体の認識結果が受信されるとき、端末機器は当該主体の認識結果が保存されているかどうかを判断する。当該主体の認識結果が保存されている場合、当該主体は検出されたことがあることが示され、当該主体の認識結果が保存されていない場合、当該主体は検出されたことがないことが示される。
【００４４】
当該主体が検出されたことがない場合、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信する。当該データ要求には主体のキーワードが含まれてよい。当該キーワードは人物の名称、性別と職業、物体の名称、属性等であってよい。サーバは主体のキーワードに基づいて、主体に関連するコンテンツを調べ、端末機器に送信する。当該主体が検出されたことがある場合、当該検索推薦プロセスを終了する。
【００４５】
別の形態において、端末機器は主体の画像に基づいて、主体を認識して認識結果を得、認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。主体は検出されたことがない場合、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信し、サーバは主体に関連する情報を端末機器に送信する。前の形態と異なり、当該形態では端末機器が主体を認識し、端末機器が採用する認識方法はサーバの認識方法と同じであってもよい。
【００４６】
本実施例によれば、端末機器が認識結果に基づいて、主体が検出されたことがあるかどうかを判断することによって、ユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
【００４７】
ステップＳ１０４において、端末機器は同一の画面で、主体に関連する情報と映像画面を表示する。
【００４８】
端末機器は、あらかじめ設計されたテンプレートのスタイルで、主体に関連するコンテンツと映像画面を同一の画面で表示してよい。一つの形態において、端末機器は主体に関連するコンテンツを、映像の表示ウィンドウの半分より小さい表示ウィンドウで、映像コンテンツの所定の位置に重畳して表示する。
【００４９】
当該所定の位置は、主体に関連するコンテンツの表示ウィンドウが映像を遮蔽して、ユーザの映像視聴中に支障をきたさないように、映像の表示ウィンドウの右上隅、右下隅、左上隅又は左下隅であってもよい。また、映像を遮蔽して、ユーザの映像視聴中に支障をきたさないように、主体に関連するコンテンツの表示ウィンドウは、過度に大きくしないほうがいい。図３は、映像と主体に関連する情報に係る一つの表示の模式図である。図３に示すように、主体に関連する情報の表示ウィンドウは、映像の表示ウィンドウ内にその右上隅に配置される。
【００５０】
任意選択で、主体に関連するコンテンツの表示ウィンドウの大さは調整でき、位置は移動できる。ユーザは所望により、主体に関連するコンテンツの表示ウィンドウを移動し、表示ウィンドウの大きさを調整できる。主体に関連するコンテンツの表示ウィンドウの形状は長方形、円形、多角形であってよく、面白さを増すために、動物の輪郭の形状であってもよい。本実施例ではこれに関して限定されるものではない。主体に関連するコンテンツの表示ウィンドウは、半透明の状態で表示されてもよい。
【００５１】
別の形態において、端末機器は主体のコンテンツを映像の表示ウィンドウ以外の所定の領域に表示する。図４は、映像と主体に関連する情報に係る別の表示の模式図である。図４に示すように、主体に関連する情報の表示ウィンドウは、映像の表示ウィンドウ外の下方に配置される。
【００５２】
任意選択で、端末機器は、スクリーン上の関連情報は主体に関連する情報であることを指示する指示情報スクリーンに表示する。主体とその関連情報を関連付けることによって、スクリーンに複数の人物又は物体がある場合、ユーザはスクリーン上の関連情報がどちらの人物又は物体に対応するかを知らないような状況は避けられる。当該指示情報は文字であってよく、例えば、主体の傍らに文字を配置することで、関連情報が主体に対応することを指示する。当該指示情報は図形であってもよく、例えば、破線ボックスで主体を囲むか、又は、浮遊する矢印で主体を指し示す。
【００５３】
本実施例によれば、端末機器は再生中の映像画面から主体を検出し、映像画面から主体の画像をスクリーンショットし、主体の画像に基づいて主体に関連する情報を取得し、同一の画面で主体に関連する情報と映像画面を表示する。端末機器は能動的に映像画面から主体を検出し、主体に関連する情報を取得するようにトリガーしてユーザに表示することによって、能動的にユーザに映像内の主体に関連するコンテンツを推薦できるので、ユーザは何も操作する必要がなく、ユーザ体験が向上する。
【００５４】
図５は、本願の実施例２に係る映像に基づく情報取得方法のシグナリングの流れの模式図である。本実施例では、サーバが画像を認識するのを例にして説明する。図５に示すように、本実施例に係る方法は、次に示すステップＳ２０１〜Ｓ２１０を含む。
【００５５】
ステップＳ２０１において、端末機器は再生中の映像画面から主体を検出する。
【００５６】
ステップＳ２０２において、端末機器は映像画面から主体の画像をスクリーンショットする。
【００５７】
ステップＳ２０３において、端末機器は主体の画像をサーバに送信する。
【００５８】
ステップＳ２０４において、サーバは主体の画像に基づいて主体を認識し、認識結果を得る。
【００５９】
ステップＳ２０５において、サーバは主体の認識結果を端末機器に送信する。
【００６０】
ステップＳ２０６において、端末機器は認識結果に基づいて、主体が検出されたことがあるかどうかを判断する。
【００６１】
主体が検出されたことがない場合、ステップＳ２０７を実行する。主体が検出されたことがある場合、プロセスを終了する。
【００６２】
ステップＳ２０７において、端末機器は、主体に関連する情報の取得を要求するデータ要求をサーバに送信する。
【００６３】
ステップＳ２０８において、サーバはデータ要求に基づいて、主体に関連する情報を調べる。
【００６４】
ステップＳ２０９において、サーバは主体に関連する情報を端末機器に送信する。
【００６５】
ステップＳ２１０において、端末機器は同一の画面で、主体に関連する情報と映像画面を表示する。
【００６６】
本実施例の実現形態は具体的に実施例１の関連する説明が参照されてよく、説明が重複するため省略される。
【００６７】
図６は、本願の実施例３に係る映像に基づく情報取得装置の構造模式図である。当該装置は端末機器に集積されてよい。図６に示すように、当該装置は検出モジュール２１〜表示モジュール２４を含む。
検出モジュール２１は、端末機器で再生中の映像画面から主体を検出するように構成される。
スクリーンショットモジュール２２は、前記映像画面から前記主体の画像をスクリーンショットするように構成される。
取得モジュール２３は、前記主体の画像に基づいて、前記主体に関連する情報を取得するように構成される。
表示モジュール２４は、同一の画面で、前記主体に関連する情報と前記映像画面を表示するように構成される。
【００６８】
一つの例示的な形態において、前記取得モジュール２３は、具体的に、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記主体の画像を前記サーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
【００６９】
一つの例示的な形態において、前記取得モジュール２３は、前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記サーバによって送信される前記主体の認識結果を受信し、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信するように構成される。
【００７０】
別の例示的な形態において、前記取得モジュール２３は、具体的に、
前記主体の画像に基づいて、前記主体を認識して認識結果を得、
前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断し、
前記主体が検出されたことがない場合、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信し、
前記サーバによって送信される前記主体に関連する情報を受信するように構成される。
【００７１】
一つの例示的な形態において、前記表示モジュール２４はさらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報をスクリーンに表示するように構成される。
【００７２】
一つの例示的な形態において、前記表示モジュール２４は、具体的に、
前記主体に関連するコンテンツを、映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像コンテンツの所定の位置に重畳して表示するように構成される。
【００７３】
別の例示的な形態において、前記表示モジュール２４は、具体的に、
前記主体のコンテンツを前記映像の表示ウィンドウ以外の所定の領域に表示するように構成される。
【００７４】
一つの例示的な形態において、前記検出モジュール２１は、具体的に、
前記映像画面における検出対象の輪郭を検出し、
前記映像画面における検出対象の輪郭に基づいて、前記主体を決定するように構成される。
【００７５】
本実施例に係る装置は、実施例１と実施例２で端末機器によって実行される方法を実行するように構成されてよく、実現形態の詳細と技術効果は類似し、説明が重複するため省略される。
【００７６】
図７は、本願の実施例４に係る端末機器の構造模式図である。図７に示すように、本実施例に係る端末機器はプロセッサ３１と、メモリ３２と、送受信機３３とを含む。前記メモリ３２は命令を記憶するように構成され、前記送受信機３３は他の機器と通信するように構成され、前記プロセッサ３１は、前記端末機器が実施例１又は実施例２に記載の方法を実行するように、前記メモリ３２に記憶されている命令を実行するように構成される。説明が重複するため省略される。
【００７７】
なお、当該プロセッサ３１はマイクロコントローラユニット（Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ  Ｕｎｉｔ、略称ＭＣＵ）であってもよく、ＭＣＵはシングルチップマイクロコンピュータ（Ｓｉｎｇｌｅ  Ｃｈｉｐ  Ｍｉｃｒｏｃｏｍｐｕｔｅｒ）又はマイコンとも呼ばれる。当該プロセッサ３１はまた、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓ  Ｕｎｉｔ、略称ＣＰＵ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、略称ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ、略称ＦＰＧＡ）、又は他のプログラマブルロジックデバイス、ディスクリートゲート、トランジスタロジックデバイスであってもよい。
【００７８】
メモリ３２はランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、略称ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、略称ＲＯＭ）、プログラマブル読み取り専用メモリ又は電気的消去可能プログラマブルメモリ、レジスタ等の本分野で通常の記憶媒体であってもよい。
【００７９】
本願の実施例５によれば、コンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体に命令が記憶されており、前記命令が実行されるとき、コンピュータは実施例１又は実施例２で端末機器によって実行される前記方法を実行する。
【図１】
2021516501.tif 000003
【図２】
2021516501.tif 000004
【図３】
2021516501.tif 000005
【図４】
2021516501.tif 000006
【図５】
2021516501.tif 000007
【図６】
2021516501.tif 000008
【図７】
2021516501.tif 000009
【手続補正書】
【提出日】令和2年9月8日(2020.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末機器が再生中の映像画面から主体を検出することと、
前記端末機器が前記映像画面から前記主体の画像をスクリーンショットすることと、
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することと、
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することとを含む、映像に基づく情報取得方法。
【請求項２】
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
サーバが前記主体の画像に基づいて前記主体を認識するように、前記端末機器が前記主体の画像を前記サーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、請求項１に記載の映像に基づく情報取得方法。
【請求項３】
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信する前に、さらに、
前記端末機器が前記サーバによって送信される前記主体の認識結果を受信することと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求を前記サーバに送信することとを含む、請求項２に記載の映像に基づく情報取得方法。
【請求項４】
前記端末機器が前記主体の画像に基づいて、前記主体に関連する情報を取得することは、
前記端末機器が前記主体の画像に基づいて、前記主体を認識して認識結果を得ることと、
前記端末機器が前記認識結果に基づいて、前記主体が検出されたことがあるかどうかを判断することと、
前記主体が検出されたことがない場合、前記端末機器が、前記主体に関連する情報の取得を要求するデータ要求をサーバに送信することと、
前記端末機器が前記サーバによって送信される前記主体に関連する情報を受信することとを含む、請求項１に記載の映像に基づく情報取得方法。
【請求項５】
さらに、スクリーン上の関連情報が前記主体に関連する情報であることを指示する指示情報を前記端末機器がスクリーンに表示することを含む、請求項１〜４のいずれか１項に記載の映像に基づく情報取得方法。
【請求項６】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が、前記主体に関連する情報を、前記映像の表示ウィンドウの半分より小さい表示ウィンドウで、前記映像画面の所定の位置に重畳して表示することを含む、請求項１〜５のいずれか１項に記載の映像に基づく情報取得方法。
【請求項７】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示することは、
前記端末機器が前記主体に関連する情報を前記映像画面の表示ウィンドウ以外の所定の領域に表示することを含む、請求項１〜５のいずれか１項に記載の映像に基づく情報取得方法。
【請求項８】
前記端末機器が再生中の映像画面から主体を検出することは、
前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含む、請求項１〜７のいずれか１項に記載の映像に基づく情報取得方法。
【請求項９】
端末機器が再生中の映像画面から主体を検出する前に、さらに、
前記端末機器がユーザインタフェースに推薦機能ボタンを表示することと、
前記端末機器が前記推薦機能ボタンに対するユーザの第１操作を受信することと、
前記端末機器が前記第１操作に基づいて、前記推薦機能をオンにすることとを含み、
前記端末機器が再生中の映像画面から主体を検出することは、
前記推薦機能がオンにされた場合、前記端末機器が再生中の映像画面から主体を検出することを含む、請求項１〜８のいずれか１項に記載の映像に基づく情報取得方法。
【請求項１０】
前記端末機器が同一の画面で、前記主体に関連する情報と前記映像画面を表示した後、さらに、
前記端末機器が前記推薦機能ボタンに対するユーザの第２操作を受信することと、
前記端末機器が前記第２操作に基づいて、前記推薦機能をオフにすることとを含む、請求項９に記載の映像に基づく情報取得方法。
【請求項１１】
前記端末機器が再生中の映像画面から主体を検出することは、
前記端末機器が所定の検出対象の優先度の高い順に従って、前記映像画面における物体に対して検出することと、
現在の優先度に対応する検出対象に基づいて、前記映像画面の物体から前記現在の優先度に対応する検出対象が検出された場合、検出された検出対象から前記主体を決定することとを含む、請求項１〜９のいずれか１項に記載の映像に基づく情報取得方法。
【請求項１２】
端末機器であって、
プロセッサと、メモリと、送受信機とを含み、前記メモリは命令を記憶するように構成され、前記送受信機は他の機器と通信するように構成され、前記プロセッサは、前記端末機器が請求項１〜１１のいずれか１項に記載の映像に基づく情報取得方法を実行するように、前記メモリに記憶されている命令を実行するように構成される、端末機器。
【請求項１３】
実行されるとき、コンピュータが請求項１〜１１のいずれか１項に記載の映像に基づく情報取得方法を実行するようにする命令が記憶されている、コンピュータ可読記憶媒体。
【請求項１４】
コンピュータプログラムであって、プログラムコードを含み、前記コンピュータプログラムがコンピュータによって実行されるとき、前記プログラムコードによって請求項１〜１１のいずれか１項に記載の映像に基づく情報取得方法が実行される、コンピュータプログラム。
【請求項１５】
端末機器で再生中の映像画面から主体を検出するように構成される検出モジュールと、
前記映像画面から前記主体の画像をスクリーンショットするように構成されるスクリーンショットモジュールと、
前記主体の画像に基づいて、前記主体に関連する情報を取得するように構成される取得モジュールと、
同一の画面で、前記主体に関連する情報と前記映像画面を表示するように構成される表示モジュールとを含む、映像に基づく情報取得装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願は、映像技術の分野に関し、特に映像に基づく情報取得方法及び装置に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
端末機器はサーバによって送信される認識結果に基づいて、主体が検出されたことがあるかどうかを判断し、主体が検出されたことがある場合、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
端末機器によって主体を認識し、認識結果に基づいて主体が検出されたことがあるかどうかを判断し、主体が検出されたことがある場合、検索推薦プロセスを終了する。これによってユーザに同一の主体に関連するコンテンツを繰り返し推薦することが避けられ、ユーザ体験が向上するとともに、サーバに同じコンテンツを繰り返し要求することでリソースが無駄になることも避けられる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
一つの例示的な形態において、前記端末機器が再生中の映像画面から主体を検出することは、
前記端末機器が前記映像画面における検出対象の輪郭を検出することと、
前記端末機器が前記映像画面における検出対象の輪郭に基づいて、前記主体を決定することとを含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
【図１】本願が適用されるネットワークアーキテクチャの模式図である。
【図２】本願の実施例１に係る映像に基づく情報取得方法のフローチャートである。
【図３】映像画面と主体に関連する情報に係る一つの表示の模式図である。
【図４】映像画面と主体に関連する情報に係る別の表示の模式図である。
【図５】本願の実施例２に係る映像に基づく情報取得方法のシグナリングの流れの模式図である。
【図６】本願の実施例３に係る映像に基づく情報取得装置の構造模式図である。
【図７】本願の実施例４に係る端末機器の構造模式図である。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2021516501.tif 000010
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2021516501.tif 000011
【国際調査報告】
2021516501.tif 000012
2021516501.tif 000013
2021516501.tif 000014
2021516501.tif 000015