(57)【要約】      （修正有）【課題】再生中の動画を撮影するだけで、その再生中の動画に関する情報を取得可能にする、動画情報取得システムを提供する。【解決手段】動画情報取得システムは、カメラを備えた携帯端末、第一のサーバ（マッチングサーバ１０４）、及び第二のサーバ（ビデオサーバ１０６）を含む。携帯端末で撮影することで取得した動画の一場面を用いて第一のサーバに検索用データを送信してＳ６０８問い合わせを行う。第一のサーバは、検索結果を基に第二のサーバに問い合わせをＳ６１０行って動画データを取得Ｓ６１２し、携帯端末から問い合わせのあった動画に関する情報Ｓ６１３を送信する。【選択図】図６
2015233182.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備えた携帯端末、第一のサーバ、及び第二のサーバを含む動画情報取得システムであって、
前記携帯端末は、
前記カメラを介して、再生装置が再生中の動画を認識する認識手段と、
前記カメラを介して、前記認識した再生中の動画から画像を取得する取得手段と、
前記取得手段にて取得した画像を用いて検索用データを生成する第一の生成手段と、
前記第一の生成手段にて生成した検索用データを前記第一のサーバへ送信し、その応答として動画データを該第１のサーバから取得する手段と
を有し、
前記第一のサーバは、
前記再生装置が再生する動画と同じ動画を構成する画像を用いて検索用データを生成する第二の生成手段と、
前記第二の生成手段にて生成した検索用データと、当該検索用データの生成に用いた画像に関する情報とを対応付けて第一の記憶部に蓄積する検索用データ蓄積手段と、
前記携帯端末から検索用データを受信する受信手段と、
前記受信手段にて受信した検索用データに一致する検索用データを前記第一の記憶部から検索し、当該一致する検索用データに対応付けられた情報を取得する検索手段と、
前記検索手段にて取得した情報を用いて前記第二のサーバに問い合わせを行い、その応答として動画データを取得する取得手段と、
前記取得手段にて取得した動画データを前記携帯端末へ送信する送信手段と、
を有し、
前記第二のサーバは、
前記再生装置が再生する動画と同じ動画を取得し、第二の記憶部に蓄積する動画データ蓄積手段と、
前記第一のサーバから問い合わせを受信した際に、当該問い合わせにて指定された情報に対応する動画データを前記第二の記憶部から特定し、該特定した動画データを該問い合わせに対する応答として前記第一のサーバに対して送信する応答手段と
を有することを特徴とする動画情報取得システム。
【請求項２】
前記再生装置はテレビであって、
前記再生装置が再生する動画は、テレビ放送として配信される動画であることを特徴とする請求項１に記載の動画情報取得システム。
【請求項３】
カメラを備えた携帯端末、第一のサーバ、および第二のサーバを含む動画情報取得システムであって、
前記携帯端末は、
前記カメラを介して、再生装置が再生中の動画を認識する認識手段と、
前記カメラを介して、前記認識した再生中の動画から画像を取得する取得手段と、
前記取得手段にて取得した画像を用いて検索用データを生成する第一の生成手段と、
前記第一の検索手段にて生成した検索用データを前記第一のサーバへ送信し、その応答として前記取得手段にて取得した画像に関する情報を取得する取得手段と、
前記取得手段にて取得した情報を用いて、前記第二のサーバに問い合わせを行い、その応答として動画データを取得する手段と
を有し、
前記第一のサーバは、
前記再生装置が再生する動画と同じ動画から複数の画像を抽出し、当該抽出した複数の画像それぞれを用いて複数の検索用データを生成する第二の生成手段と、
前記第二の生成手段にて生成した複数の検索用データと、当該複数の検索用データの生成に用いた複数の画像データに関する情報とを対応付けて記憶部に蓄積する蓄積手段と、
前記携帯端末から検索用データを受信する受信手段と、
前記受信手段にて受信した検索用データに一致する検索用データを前記記憶部から検索し、当該一致する検索用データに対応付けられた情報を取得する検索手段と、
前記検索手段にて検索した情報を前記携帯端末へ送信する手段と、
を有し、
前記第二のサーバは、
前記携帯端末から問い合わせを受信した際に、当該問い合わせにて指定された情報に一致する画像データと当該一致する画像データに連続する画像データとを前記記憶部から特定し、動画データとして前記携帯端末に返信する手段と
を有することを特徴とする動画情報取得システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画情報取得システムに関し、特に、動画の一場面から、その動画に関する情報を検索して取得する技術に関する。
【背景技術】
【０００２】
スマートフォンなどの携帯端末の普及に伴って、携帯端末に備えられたカメラを用いて画像等を取得することが一般的になってきている。このような機能を用いて、例えば従来から、カメラ等により撮影された画像を用いてその画像に関する情報を検索して取得し、利用する技術が知られている（特許文献１等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２２２４０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、再生されている動画に関する情報を取得したいという要求がある。動画の情報としては、例えば、動画がテレビ放送であれば、そのテレビ番組の情報や、放送内容に映っている物品や人物などの情報が挙げられる。
【０００５】
通常、このような情報を取得する場合には、インターネット検索などを利用して取得することが多く、その場合、ユーザが動画やその内容に関して把握している情報をＰＣ（パーソナルコンピュータ）や携帯端末などに入力する必要がある。
【０００６】
しかしながら、このような入力には手間がかかり、また生じる点や、ユーザが入力可能な情報を十分に把握していない場合には検索結果が十分でないものとなるといったなど問題が生じる。
【０００７】
そこで本願発明では、再生中の動画を撮影するだけで、その再生中の動画に関する情報を取得可能にする技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、カメラを備えた携帯端末、第一のサーバ、及び第二のサーバを含む動画情報取得システムであって、
前記携帯端末は、
前記カメラを介して、再生装置が再生中の動画を認識する認識手段と、
前記カメラを介して、前記認識した再生中の動画から画像を取得する取得手段と、
前記取得手段にて取得した画像を用いて検索用データを生成する第一の生成手段と、
前記第一の生成手段にて生成した検索用データを前記第一のサーバへ送信し、その応答として動画データを該第１のサーバから取得する手段と
を有し、
前記第一のサーバは、
前記再生装置が再生する動画と同じ動画を構成する画像を用いて検索用データを生成する第二の生成手段と、
前記第二の生成手段にて生成した検索用データと、当該検索用データの生成に用いた画像に関する情報とを対応付けて第一の記憶部に蓄積する検索用データ蓄積手段と、
前記携帯端末から検索用データを受信する受信手段と、
前記受信手段にて受信した検索用データに一致する検索用データを前記第一の記憶部から検索し、当該一致する検索用データに対応付けられた情報を取得する検索手段と、
前記検索手段にて取得した情報を用いて前記第二のサーバに問い合わせを行い、その応答として動画データを取得する取得手段と、
前記取得手段にて取得した動画データを前記携帯端末へ送信する送信手段と、
を有し、
前記第二のサーバは、
前記再生装置が再生する動画と同じ動画を取得し、第二の記憶部に蓄積する動画データ蓄積手段と、
前記第一のサーバから問い合わせを受信した際に、当該問い合わせにて指定された情報に対応する動画データを前記第二の記憶部から特定し、該特定した動画データを該問い合わせに対する応答として前記第一のサーバに対して送信する応答手段と
を有する。
【発明の効果】
【０００９】
本発明によれば、再生中の動画に関する情報を容易に取得することができる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態に係るシステムの全体構成の例を示す図。
【図２】携帯端末および各種サーバのハードウェア構成例を示す図。
【図３】第一の実施形態に係る携帯端末および各種サーバのソフトウェア構成例を示す図。
【図４】本願発明に係る動画データを説明するための図。
【図５】第一の実施形態に係る動画データの構成例を示す図。
【図６】第一の実施形態に係る処理シーケンスを示す図。
【図７】第一の実施形態に係る携帯端末における処理のフローチャート。
【図８】第一の実施形態に係る動画データを用いた処理のフローチャート。
【図９】第二の実施形態に係るシステムの全体構成の例を示す図。
【図１０】第二の実施形態に係る各種サーバのソフトウェア構成例を示す図。
【図１１】第二の実施形態に係る処理シーケンスを示す図。
【発明を実施するための形態】
【００１１】
＜第一の実施形態＞
以下、図面を用いて、本願発明に係る実施形態について説明する。なお、以下に示す構成は一例であり、これに限定するものではない。本実施形態では、再生中の動画として、テレビ放送とした例を用いて説明するが、動画としての対象はこれに限定するものではない。詳細については後述する。
【００１２】
［システム構成］
図１は、本願発明に係る動画情報取得システムの全体構成の例を示す図である。本実施形態に係るシステムは、携帯端末１０１、テレビ１０２、放送局１０３、マッチングサーバ１０４、インデックスサーバ１０５、ビデオサーバ１０６、およびサービスサーバ１０７を含む。携帯端末１０１は、無線ネットワークを介して、インターネット１０８と接続し、これにより、該インターネット１０８に接続されている上記の各種サーバに通信可能に接続される。
【００１３】
携帯端末１０１は、例えば、カメラを備えたスマートフォンやタブレット端末が該当する。カメラは、携帯端末１０１のユーザによる操作指示により、静止画や動画像の撮像を可能にするものである。また、携帯端末１０１は、動画像の撮像を行っている最中に、該動画像を構成する１以上のフレームに対する認識処理を実行し、認識したフレームに固有の値を求める機能も有する。
【００１４】
テレビ１０２は、放送局１０３から発信されるテレビ放送用の電波に応じた動画像を再生可能な装置である。なお、本実施形態では動画を再生する装置として、テレビ放送用の電波を受信し、再生するテレビ１０２を例にとって説明するが、これに限定するものではなく、例えば、インターネット１０８を介した動画配信や、ＤＶＤ等に記録された映像を再生する機器を対象としてもよい。
【００１５】
インターネット１０８は、有線／無線を問わず携帯端末１０１や各種サーバに接続され、装置間の通信経路となる。
【００１６】
なお、図１においては、携帯端末および各種サーバはそれぞれ１台のみを示しているが、更に多くの装置が通信可能に接続されていてもよい。また、各種サーバは、物理的に複数の情報処理装置により、処理を分散するようにしても構わないし、２以上のサーバの機能を１のサーバが担うようにしても構わない。
【００１７】
本実施形態では、テレビ放送を例に挙げて説明するため、放送局の数だけ放送のチャンネルがあるものとし、各放送局が発信する放送用電波をテレビ１０２（再生するのは１の放送局の電波に応じた動画像）、インデックスサーバ１０５、およびビデオサーバ１０６はそれぞれ受信しているものとする。
【００１８】
サービスサーバ１０７は、携帯端末１０１からの要求に応じて各種サービスを提供するものである。各種サーバの機能の詳細に関しては、処理フローと併せて後述する。
【００１９】
［ハードウェア構成］
図２は、本実施形態に係る携帯端末１０１および各種サーバのハードウェア構成の例を示した図である。なお、テレビ１０２については、従来のものを利用するものとし、ここでの説明は省略する。
【００２０】
図２（ａ）は、本実施形態に係る携帯端末１０１のハードウェア構成の例を示す。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、携帯端末１０１における処理全体を制御する。例えば、記憶部であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３やストレージ２０４等に記憶されたプログラムやデータを読み出して実行することにより、携帯端末１０１が行うものとして後述する各処理を実現する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１からアクセスされ、ＲＯＭ２０３やストレージ２０４から読み出されたプログラムやデータ、実行中の処理で発生したデータなどの格納場所などとして利用される記憶部である。ＲＯＭ２０３は、不揮発性の記憶部である。ストレージ２０４は、携帯端末１０１が行うものとして後述する各処理をＣＰＵ２０１に実行させるためのプログラムやデータ等を格納するための記憶部である。
【００２１】
表示部２０５は、撮影部２０６により撮影された撮影画像や、ユーザに対するＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を表示するための表示部である。表示部２０５は、例えば、タッチパネルなどにより構成され、ユーザからの指示を受け付け可能であるものとする。撮影部２０６は、例えばカメラなどで構成され、携帯端末１０１のユーザが、必要に応じて周りの環境の画像を撮影することができる。また、撮影部２０６を何らかのオブジェクト等に向けた際に、その撮影部２０６が向いている方向の画が、表示部２０５に表示される。送受信部２０７は、外部装置（例えば、各種サーバ）とのネットワーク（インターネット１０８）を介したデータの送受信を行う際に用いられる。これらの機能部は何れも共通のバス２０８に接続され、これにより、データのやり取りが可能となっている。
【００２２】
図２（ｂ）は、本実施形態に係る各種サーバ（情報処理装置）のハードウェア構成の例を示す。なお、本実施形態に係るマッチングサーバ１０４については、Ｉ／Ｆ２２１およびテレビ放送受信部２２３を含まない構成となる。ＣＰＵ２１１は、情報処理装置における処理全体を制御する。例えば、記憶部であるＲＯＭ２１３等に記憶された本願発明に係るプログラムやデータを読み出して実行することにより、各種サーバが行う本願発明に係る処理を実現する。ＲＡＭ２１２は、ＣＰＵ２１１からアクセスされ、ＲＯＭ２１３から読み出されたプログラムやデータ、実行中の処理で発生したデータなどの一時的な処理の格納場所などとして利用される記憶部である。ＲＯＭ２１３は、不揮発性の記憶部である。
【００２３】
入力Ｉ／Ｆ２１４は、入力デバイス２１５を制御するためのインターフェースである。入力デバイス２１５は、ユーザからの入力指示を受け付けるためのデバイスであり、マウスやキーボードなどが該当する。ディスプレイＩ／Ｆ２１６は、表示部２１７を制御するためのインターフェースである。表示部２１７は、ユーザへの各種情報を提示するためのディスプレイであり、ＣＲＴや液晶ディスプレイなどにより構成される。外部メモリＩ／Ｆ２１８は、外部メモリ２１９を制御するためのインターフェースである。外部メモリ２１９は、ＨＤＤなどの記憶部であり、各種データが格納されている。ネットワークＩ／Ｆ２２０は、外部装置との通信を行うために有線／無線のネットワーク（インターネット１０８）と接続するためのインターフェースである。
【００２４】
Ｉ／Ｆ２２１は、テレビ放送受信部２２３からのテレビ放送に関するデータを受信する。テレビ放送受信部２２３は、放送局１０３から送信されたテレビ放送に関する電波やデータを受信し、所定のデータ形式に変換の上、サーバに提供する。テレビ放送受信部２２３の機能は、テレビ１０２が備える機能と同等のものとし、例えば、チューナーや変換器などを含み、放送電波から映像信号（ＮＴＳＣなど）への変換や、ＭＰ４などへの動画データへの変換などを行う。さらには、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）などのプロトコルを用いて、動画データをサーバに配信するようにしてもよい。ここでは、公知の方式を用いるものとし、詳細な説明は省略する。サーバを構成する各要素は、システムバス２２２により接続され、サーバ内で、データのやり取りが可能となっている。
【００２５】
なお、携帯端末およびサーバの内部構造はこれに限定するものではなく、必要に応じて、他の構成要素を含んでいてもよい。
【００２６】
［ソフトウェア構成］
図３は、本願発明に係る携帯端末１０１および各種サーバのソフトウェア構成の例を示す図である。なお、以下に示すソフトウェア構成は一例であり、その他の構成要素を含んでいてもよい。
【００２７】
図３（ａ）は、携帯端末１０１のソフトウェア構成の例を示す。携帯端末１０１では、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）３０１の制御下で、アプリケーション（以下、単に「アプリ」と称す）３０２が動作し、このアプリ３０２により本実施形態に係る携帯端末１０１の処理が行われるものとする。なお、携帯端末１０１においては他の機能を有するアプリが更に含まれていても良く、各種アプリは任意にインストール／アンインストールが可能であるものとする。
【００２８】
アプリ３０２は、動画認識部３０３、画像抽出部３０４、検索用データ生成部３０５、データ送受信部３０６、およびデータ処理部３０７を備える。動画認識部３０３は、携帯端末１０１が備える撮影部２０６であるカメラを、動画（ここではテレビ放送）が再生されているテレビ１０２にかざした際に、動画が再生されていることを認識し、その再生している動画の複数の画像をカメラを介して取得する。画像抽出部３０４は、動画認識部３０３が取得した画像の中から、１または複数の画像を抽出する。ここで抽出する画像は、所定のフレームレートで複数取得しても良いし、単一の画像を取得するようにしてもよい。なお、ここで所定のフレームレートを用いる場合には、後述するビデオサーバ１０６の処理との関係に基づいて、フレームレートが決定されるものとする。
【００２９】
検索用データ生成部３０５は、画像抽出部３０４にて抽出された画像を用いて、動画情報の検索用のデータ（以下、「検索用データ」と称す）を生成する。本実施形態においては、検索用データとして、ハッシュ関数により生成するＦｉｎｇｅｒＰｒｉｎｔを用いるものとするが、画像抽出部３０４にて抽出された画像に一意の値をＦｉｎｇｅｒＰｒｉｎｔとして求める方法であれば、ハッシュ関数を用いた方法に限定するものではない。また、ハッシュ関数の方式は特に限定しない。データ送受信部３０６は、各種データを目的に応じて各種サーバに送信し、その応答を受信する。本実施形態では、データ送受信部３０６は、検索用データ生成部３０５にて生成した検索用データをマッチングサーバ１０４に送信し、その応答として動画データを取得する。データ処理部３０７は、各種サーバから受信したデータを用いて処理を行う。ここでの処理の例については、フローチャートを用いて後述する。
【００３０】
図３（ｂ）は、マッチングサーバ１０４のソフトウェア構成の例を示す。データ送受信部３１１は、携帯端末１０１等からの要求を受信し、その応答を返す。具体的には、検索用データを含む要求を受信し、その検索用データを用いて検索された動画データを返信する。マッチング処理部３１２は、携帯端末１０１からの要求に含まれる検索用データを用いて、検索用データ格納部３１３がデータベース（例えば外部メモリ２１９）に蓄積しているデータの中から該当するデータを検索する。そして、マッチング処理部３１２は、その検索結果を動画データ問合せ部３１４へと送信する。
【００３１】
検索用データ格納部３１３は、インデックスサーバ１０５が、テレビ放送の動画から抽出した画像を用いて生成した検索用データを逐次受信し、データベースへと格納、蓄積する。動画データ問合せ部３１４は、マッチング処理部３１２から取得した検索結果を用いて、その検索結果に対応する動画データをビデオサーバ１０６へ問い合わせる。そして、動画データ問合せ部３１４は、その応答として動画データを取得する。その後、動画データ問合せ部３１４は、取得した動画データをデータ送受信部３１１へ送信し、要求元の携帯端末１０１へ送信させる。
【００３２】
図３（ｃ）は、インデックスサーバ１０５のソフトウェア構成の例を示す。動画データ受信部３２１は、放送局１０３から送信され、テレビ放送受信部２２３にて受信した動画データ（テレビ放送のデータ）を受信する。このとき、図１に示すように放送局が複数ある場合、動画データ受信部３２１は、データを配信した放送局を一意に示す情報と動画データを関連付けて受信する。本実施形態に係る動画データの構成例については、図５を用いて後述する。そして、動画データ受信部３２１は、受信した各種データを画像抽出部３２２へ送信する。
【００３３】
画像抽出部３２２は、動画データ受信部３２１が取得した動画データの中から、フレーム（画像）を抽出する。ここで抽出するフレームは、所定のフレームレート（所定の時間間隔）で複数取得するものとする。なお、ここでの所定のフレームレートは、携帯端末１０１側で複数の画像を抽出する場合のフレームレートよりも高い値であることを前提とする。そして、画像抽出部３２２は、抽出したフレームと、そのフレームに対応する動画データ受信部３２１から取得した情報と対応付けて検索用データ生成部３２３へ送信する。
【００３４】
検索用データ生成部３２３は、画像抽出部３２２にて抽出された画像を用いて、検索用データを生成する。ここでの生成処理は、携帯端末１０１の検索用データ生成部３０５と同じ方式を用いるものとする。なお、検索用データ生成部２３２においても、画像抽出部３２２にて抽出された画像に一意の値をＦｉｎｇｅｒＰｒｉｎｔとして求める方法であれば、ハッシュ関数を用いた方法に限定するものではない。そして、検索用データ生成部３２３は、生成した検索用データと画像抽出部３２２から受信した画像に対応する情報とを対応付けて、検索用データ提供部３２４へ送信する。検索用データ提供部３２４は、検索用データ生成部３２３から受信した情報をマッチングサーバ１０４へ逐次送信する。ここで送信された情報は、マッチングサーバ１０４の検索用データ格納部３１３によってデータベースへ格納されることとなる。
【００３５】
図３（ｄ）は、ビデオサーバ１０６のソフトウェア構成の例を示す。動画データ受信部３３１は、放送局１０３から送信され、テレビ放送受信部２２３にて受信した動画データ（テレビ放送のデータ）を受信する。このとき、図１に示すように放送局が複数ある場合、動画データ受信部３３１は、データを配信した放送局を一意に示す情報と動画データを関連付けて受信する。本実施形態においては、インデックスサーバ１０５の動画データ受信部３２１の構成と同様であるものとする。そして、動画データ受信部３３１は、受信した各種データを動画データ格納部３３２へ送信する。
【００３６】
動画データ格納部３３２は、動画データ受信部３３１から送信されてきたデータを逐次データベースへ格納する。動画データ提供部３３３は、マッチングサーバ１０４からの要求に応じて、データベースに蓄積した動画データの中から対応する動画データを特定し、返信する。ここでの具体的な処理の流れは、後述する。
【００３７】
なお、マッチングサーバ１０４の検索用データ格納部３１３およびビデオサーバ１０６の動画データ格納部３３２は、所定の時間が経過した後に、データベースに蓄積したデータを削除するようにしても構わない。この場合、それぞれのデータベースにおいて対応する情報（例えば、同じ時間帯に放送されたデータ）の整合性がとれるように（一方のデータのみが残らないように）削除する。また、放送局ごとに蓄積するデータ量を変動させてもよい。また、各サーバがデータを格納するデータベースは、サーバ内の記憶部に限定するものではなく、別途記憶装置を設け、そこに格納、蓄積するようにしてもよい。この場合、各サーバは、他のサーバに問い合わせる代わりに、記憶装置から対象のデータを直接、検索、取得するように構成してもよい。
【００３８】
［処理の流れ］
本実施形態に係る処理の流れについて説明する。
【００３９】
（動画データの説明）
まず、本実施形態にて扱う動画データについて説明する。図４は、本実施形態に係る動画データの概念を示したものである。図４において、横軸を時間として示し、ある時間における動画データの画像（フレーム）の並びを示している。図４の（ａ）は、放送局１０３から配信される動画を構成する連続するフレームである。例えば、地上波デジタル放送においては、２９．９７ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）となる。
【００４０】
図４の（ｂ）は、ビデオサーバ１０６のテレビ放送受信部２２３が、放送局１０３から配信される動画を受信し取得する、連続するフレームである。本実施形態においては、放送データを全て取得し、保持するものとして、図４の（ａ）と同じ構成とする。また、放送局１０３が複数ある場合には、同じ時間帯において各放送局に対応したデータが受信した（もしくは、配信された）時間および放送局を一意に示す情報と共に保持される。
【００４１】
図４の（ｃ）は、インデックスサーバ１０５のテレビ放送受信部２２３が、放送局１０３から配信される動画を受信した後、画像抽出部３２２にて抽出するフレームを示す。ここで抽出されるフレームの抽出間隔（ｆｐｓ）は、動画の検出の精度や検索の精度、もしくは処理負荷とのバランス等により決定される。ここでは、元のデータに対し、３分の１の割合でフレームを取得している例を示している。
【００４２】
図４の（ｄ）は、携帯端末１０１のアプリ３０２（画像抽出部３０４）が、動画が再生されているテレビ１０２にカメラをかざすことで認識し、抽出される画像を示す。ここでは、１つのみの画像が取得されている。なお、上述したように、所定の抽出間隔で複数の画像を抽出してもよい。この場合には、図４の（ｃ）に示すインデックスサーバ１０５側の抽出間隔よりも長いことを前提とする。これにより、マッチングサーバ１０４側での検索精度の低下を抑制する。
【００４３】
なお、図４の（ａ）〜（ｃ）においては、各サーバが直接放送局から配信されたデータを受信しているため、画像に加え、これに対応付けられた動画情報も取得される。一方、携帯端末１０１側では、再生されている動画を認識して画像を取得しているため、画像のデータのみが取得されることとなる。
【００４４】
（データ構成）
図５は、本実施形態に係るデータ構成の例を示す図である。本実施形態に係る動画データは所定のフレームレートにて定義される複数の画像と動画情報から構成される。本実施形態に係る動画情報は、テレビ放送を行う放送局（チャンネル）を一意に識別するためのチャンネルＩＤ、チャンネル名、および動画のコンテンツ名を有する。なお、動画情報に含まれる情報はこれに限定するものではなく、例えば、番組の出演者、スポンサーなどのコンテンツに関する情報を更に含んでもよい。動画データに含まれる画像（フレーム）はそれぞれ時刻情報（タイムスタンプ）を有する。本実施形態のようなテレビ放送の例では、放送された時刻を示す。また、映画などを対象とした場合には、映画の開始からの時間を示してもよい。また、画像ごとの情報はタイムスタンプに限定するものではなく、例えば、画像のまとまりを示すキャプションなどの情報を更に含んでいても良い。
【００４５】
（処理シーケンス）
図６は、本実施形態に係る各装置間の処理シーケンスを示す。本処理シーケンスに係る処理は、各処理主体のＣＰＵがＲＯＭ等の記憶部に記憶された本実施形態に係るプログラムを読み出して実行することにより実現される。
【００４６】
Ｓ６０１にて、ビデオサーバ１０６は、放送局１０３から配信された動画データを受信し、データベースへ記録する。ここで取得される動画データは、図４に示したように、画像の他、動画情報を含む。
【００４７】
Ｓ６０２にて、インデックスサーバ１０５は、放送局１０３から配信された動画データを受信する。ここで受信される動画データは、Ｓ６０１にてビデオサーバ１０６が受信したものと同等のものである。
【００４８】
Ｓ６０３にて、インデックスサーバ１０５は、受信した動画データの中から、所定の時間間隔で画像を抽出する。そして、インデックスサーバ１０５は、抽出した画像に対し、所定のハッシュ関数を用いて検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する。本実施形態にて一例として用いるＦｉｎｇｅｒＰｒｉｎｔに関する生成方法は、従来の技術を適用できるものとし、ここでの詳細な説明は省略する。
【００４９】
Ｓ６０４にて、インデックスサーバ１０５は、生成したＦｉｎｇｅｒＰｒｉｎｔとそのＦｉｎｇｅｒＰｒｉｎｔの基となった画像に対応する動画情報とをマッチングサーバ１０４へ送信する。
【００５０】
Ｓ６０５にて、マッチングサーバ１０４は、インデックスサーバ１０５から受信したＦｉｎｇｅｒＰｒｉｎｔと対応する動画情報とを関連付けて、データベースに逐次蓄積する。
【００５１】
一方、携帯端末１０１側では、ユーザがアプリ３０２を起動し、撮影部２０６であるカメラをテレビ１０２にかざす。これにより、Ｓ６０６にて、携帯端末１０１は、テレビ１０２にて再生（放送）されている動画を認識する。ここでテレビが再生している動画は、ビデオサーバ１０６やインデックスサーバ１０５がＳ６０１やＳ６０２にて受信した動画データと同等のものである。
【００５２】
Ｓ６０７にて、携帯端末１０１は、認識した動画から画像を抽出する。ここで抽出する画像は、図４にて示したように１つであっても良いし、所定間隔ごとに複数枚取得してもよい。そして、携帯端末１０１は、抽出した画像に対し、所定のハッシュ関数を用いて検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する。
【００５３】
Ｓ６０８にて、携帯端末１０１は、生成したＦｉｎｇｅｒＰｒｉｎｔをマッチングサーバ１０４へ送信する。
【００５４】
Ｓ６０９にて、マッチングサーバ１０４は、携帯端末１０１から受信したＦｉｎｇｅｒＰｒｉｎｔと一致するＦｉｎｇｅｒＰｒｉｎｔを、Ｓ６０５にて蓄積したＦｉｎｇｅｒＰｒｉｎｔの中から検索する。ここで一致するＦｉｎｇｅｒＰｒｉｎｔがマッチングサーバ１０４に保持されている場合、該一致するＦｉｎｇｅｒＰｒｉｎｔと関連づけてデータベースに蓄積されている動画情報を取得する。ここでの動画情報は、例えば、本実施形態のような放送局から配信されたテレビ番組である場合、放送局１０３を一意に示すチャンネルＩＤ（識別子）、画像（フレーム）が配信された時間（タイムスタンプ）が含まれる。なお、動画情報は、他の情報を含んでいてもよい。
【００５５】
Ｓ６１０にて、マッチングサーバ１０４は、特定した動画情報を用いて、ビデオサーバ１０６に対し、問い合わせを行う。
【００５６】
Ｓ６１１にて、ビデオサーバ１０６は、マッチングサーバ１０４からの問い合わせに含まれるチャンネルＩＤおよびタイムスタンプに基づいて、蓄積している動画の中から対応する動画データを特定する。例えば、マッチングサーバ１０４からの問い合わせに含まれるチャンネルＩＤおよびタイムスタンプがそれぞれ“Ｘ”、“Ｔ”である場合には、チャンネルＩＤ“Ｘ”が示す放送局が時刻Ｔの時点に配信したフレームが特定される。そして、ビデオサーバ１０６は、特定したフレームから所定の時間だけさかのぼった分の動画データ（連続するフレーム）を特定し、該特定したフレームと該特定した動画データとを含むデータを、マッチングサーバ１０４からの問い合わせに対する動画データとして決定する。ここで返信対象とする動画データは、ビデオサーバ１０６がデータベースに蓄積したデータのうち、マッチングサーバ１０４からの問い合わせに応じた時間帯の動画データ全てであっても良いし、マッチングサーバ１０４からの問い合わせに応じた時間帯のフレーム群のうちの所定のフレームレートで一部を抽出して対象としてもよい。なお、「所定の時間」については予め定義されているものとし、例えば、特定した時間から、１分間さかのぼった間の動画データとすることができる。
【００５７】
Ｓ６１２にて、ビデオサーバ１０６は、Ｓ６１１にて特定した動画データをマッチングサーバ１０４へ返信する。
【００５８】
Ｓ６１３にて、マッチングサーバ１０４は、Ｓ６０８で携帯端末１０１から送信された要求（ＦｉｎｇｅｒＰｒｉｎｔ）に対する応答として、ビデオサーバ１０６から受信した動画データを送信する。
【００５９】
Ｓ６１４にて、携帯端末１０１は、Ｓ６１３にてマッチングサーバ１０４から送信された動画データを受信し、該受信した動画データを用いて処理を行う。ここでの処理の例については後述する。そして、本処理フローを終了する。
【００６０】
［携帯端末の処理］
図７は、本実施形態に係る携帯端末１０１にて行われる処理のフローチャートを示す。本フローは、図６に示した携帯端末１０１の処理に対応する。また、本処理フローは、ＣＰＵ２０１が、記憶部であるストレージ２０４等に格納されたプログラムを読み出して実行することにより、実現される。
【００６１】
Ｓ７０１にて、携帯端末１０１は、アプリ３０２を起動の上、ユーザにより動画を再生中のテレビ１０２にカメラを向けられることで、再生中の動画（本例では、放送局１０３により配信されているテレビ番組）を認識する。
【００６２】
Ｓ７０２にて、携帯端末１０１は、認識した動画から任意のタイミングで画像を抽出する。Ｓ７０３にて、携帯端末１０１は、所定の方式を用いて、抽出した画像から検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する。Ｓ７０４にて、携帯端末１０１は、生成したＦｉｎｇｅｒＰｒｉｎｔをマッチングサーバ１０４へ送信する。
【００６３】
Ｓ７０５にて、携帯端末１０１は、Ｓ７０４の応答として、動画データを受信する。Ｓ７０６にて、携帯端末１０１は、受信した動画データを用いた処理を行う。動画データを用いた処理はどのようなものであってもよく、例えば、携帯端末１０１が有する他のアプリの機能にて用いられてもよい。本実施形態では、ここでの処理の一例について、図８を用いて説明する。そして、本処理フローを終了する。
【００６４】
［動画データの利用例］
以下に、動画データを取得した携帯端末１０１における処理の一例について説明する。本実施形態では、携帯端末１０１が、サービスサーバ１０７と連携して、取得した動画データを利用する例について述べる。
【００６５】
図８は、本実施形態に係る携帯端末１０１にて行われる処理のフローチャートを示す。本フローは、図６のＳ６１４における処理の一例である。また、本処理フローは、ＣＰＵ２０１が、記憶部であるストレージ２０４等に格納されたプログラムを読み出して実行することにより、実現される。
【００６６】
Ｓ８０１にて、携帯端末１０１は、Ｓ６１３にてマッチングサーバ１０４から送信された動画データ（連続する複数のフレーム）を取得する。Ｓ８０２にて、携帯端末１０１は、該取得した動画データから１または複数の画像（フレーム）を抽出する。Ｓ８０３にて、携帯端末１０１は、抽出した１または複数の画像を表示部２０５にて、ユーザが選択可能に表示させる。ここでの表示方法は、例えば、アプリの機能に依存して表示してよい。
【００６７】
Ｓ８０４にて、携帯端末１０１は、ユーザから画像の選択を受け付け、選択された画像に関連付けられた情報を、Ｓ８０１にて取得した動画データから取得する。ここで関連付けられた情報とは上記に述べた動画情報が該当し、例えば、動画データのチャンネルＩＤや放送時間、番組名などが挙げられる。これらの情報は、図６のＳ６１３にて、マッチングサーバ１０４から受信しているものに相当する。
【００６８】
Ｓ８０５にて、携帯端末１０１は、Ｓ８０４にて選択された画像と、Ｓ８０４にて取得した情報とをサービスサーバ１０７へ送信する。ここで、サービスサーバ１０７は、例えば、画像投稿サービスを提供するサーバであっても良いし、ストレージサービスを提供するサーバであっても良く、そのサービス内容を限定するものではない。また、画像を送信する前に、例えば、携帯端末１０１が有するアプリの一機能として画像編集機能を備えている場合には、その機能を用いて該選択した画像に対する編集を行った上で送信できるようにしてもよい。
【００６９】
サービスサーバ１０７側では、携帯端末１０１から受信した画像及び情報を用いて、任意のサービス処理を実行する。例えば、受信した画像及び情報を電子掲示板のような第三者がアクセス可能なＷｅｂページに掲載して公開する処理であっても良いし、受信した画像及び情報を特定の若しくは指定された転送先に対して転送する処理であっても良い。そしてサービスサーバ１０７は、サービス処理の結果を携帯端末１０１へ返信する。
【００７０】
Ｓ８０７にて、携帯端末１０１は、Ｓ８０６にてサービスサーバ１０７へ送信した画像及び情報に対する応答、即ちサービスサーバ１０７が該画像及び情報を用いて行ったサービス処理の結果を受信する。携帯端末１０１は、受信した応答の内容を、表示部２０５に表示するようにしてもよい。そして、本処理フローを終了する。
【００７１】
以上、本実施形態により、ユーザは、テレビなどの再生装置にて再生されている動画を、携帯端末で認識させるだけで、その動画の部分動画や関連情報を容易に取得することができる。
【００７２】
＜第二の実施形態＞
本実施形態では、第一の実施形態とは異なる構成にて、動画のデータや関連情報を取得する構成について説明する。
【００７３】
［システム構成］
図９に本実施形態に係るシステム構成の例を示す。本実施形態では、ビデオサーバ１０６の代わりにプロキシサーバ９０１を備える。プロキシサーバ９０１のハードウェア構成はマッチングサーバ１０４と同様であり、動画データの受信は行わない。一方、インデックスサーバ１０５は、検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する際に動画データから抽出した画像とそれに対応する動画情報をデータベース（不図示）に保持するものとする。
【００７４】
［ソフトウェア構成］
図１０は、本実施形態に係るインデックスサーバ１０５とプロキシサーバ９０１のソフトウェア構成の例を示す図である。なお、重複する部位については、説明を省略する。また、携帯端末１０１、マッチングサーバ１０４、およびサービスサーバ１０７の構成は第一の実施形態と同様とし、ここでの説明は省略する。
【００７５】
図１０（ａ）は、本実施形態に係るインデックスサーバ１０５のソフトウェア構成の例を示す。図３（ｃ）の構成に画像データ記録部１００１および画像データ提供部１００２が追加されている。画像データ記録部１００１は、画像抽出部３２２が、動画データから画像を抽出した際に、抽出した画像とその画像に対応する動画情報とを対応付けてデータベースに記録する。画像データ提供部１００２は、プロキシサーバ９０１から動画情報を受信した際に、その応答として、画像データ記録部１００１が記録した画像データのうち動画情報に対応する画像データをプロキシサーバ９０１へ返す。
【００７６】
図１０（ｂ）は、本実施形態に係るプロキシサーバ９０１のソフトウェア構成の例を示す。問合せ受付部１０１１は、携帯端末１０１からの動画情報を含む問い合わせを受け付ける。問合せ受付部１０１１は、問い合わせを受け付けると、その問い合わせに含まれる動画情報を画像データ取得部１０１２に送信する。画像データ取得部１０１２は、問合せ受付部１０１１から動画情報を受信すると、その動画情報を用いてインデックスサーバ１０５から画像データを取得する。ここで取得される画像データは、インデックスサーバ１０５の画像データ記録部１００１にて記録された画像データに相当する。つまり、インデックスサーバ１０５の画像データ提供部１００２が、プロキシサーバ９０１からの要求に応じて画像データを返す。画像データ応答部１０１３は、インデックスサーバ１０５から画像データを取得した際に、携帯端末１０１への応答としてその画像データを返す。ここで、画像データ応答部１０１３は、１の画像データのみならず、その画像データから所定時間遡った分の複数の連続した画像データを返すものとする。ここでの所定時間は、第一の実施形態と同様に、予め決定されているものとする。
【００７７】
［処理シーケンス］
図１１は、本実施形態に係る各装置間の処理シーケンスを示す。本処理シーケンスに係る処理は、各処理主体のＣＰＵがＲＯＭ等の記憶部に記憶された本実施形態に係るプログラムを読み出して実行することにより実現される。
【００７８】
Ｓ１１０１にて、インデックスサーバ１０５は、放送局１０３から配信された動画データを受信する。Ｓ１１０２にて、インデックスサーバ１０５は、受信した動画データの中から、所定の時間間隔で画像を抽出する。更に、インデックスサーバ１０５は、抽出した画像データをデータベース（外部メモリ２１９など）に記録する。また、インデックスサーバ１０５は、抽出した画像データに対し、所定のハッシュ関数を用いて検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する。本実施形態にて一例として用いるＦｉｎｇｅｒＰｒｉｎｔに関する生成方法は、第一の実施形態と同様、従来の技術を適用できるものとし、ここでの詳細な説明は省略する。
【００７９】
Ｓ１１０３にて、インデックスサーバ１０５は、生成したＦｉｎｇｅｒＰｒｉｎｔとそのＦｉｎｇｅｒＰｒｉｎｔの基となった画像に対応する動画情報とをマッチングサーバ１０４へ送信する。
【００８０】
Ｓ１１０４にて、マッチングサーバ１０４は、インデックスサーバ１０５から受信したＦｉｎｇｅｒＰｒｉｎｔと、そのＦｉｎｇｅｒＰｒｉｎｔに対応する動画情報とを関連付けて、データベースに逐次蓄積する。
【００８１】
一方、携帯端末１０１側では、ユーザがアプリ３０２を起動し、カメラをテレビ１０２にかざす。これにより、Ｓ１１０５にて、携帯端末１０１は、テレビ１０２にて再生されている動画を認識する。ここでテレビ１０２が再生（放送）している動画は、インデックスサーバ１０５がＳ１１０１にて受信した動画データと同等のものである。
【００８２】
Ｓ１１０６にて、携帯端末１０１は、認識した動画から画像を抽出する。ここで抽出する画像は、図４にて示したように１つであっても良いし、所定間隔ごとに複数枚取得してもよい。そして、携帯端末１０１は、抽出した画像に対し、所定のハッシュ関数を用いて検索用データ（ＦｉｎｇｅｒＰｒｉｎｔ）を生成する。Ｓ１１０７にて、携帯端末１０１は、生成したＦｉｎｇｅｒＰｒｉｎｔをマッチングサーバ１０４へ送信する。
【００８３】
Ｓ１１０８にて、マッチングサーバ１０４は、携帯端末１０１から受信したＦｉｎｇｅｒＰｒｉｎｔと一致するＦｉｎｇｅｒＰｒｉｎｔを、Ｓ１１０４にて蓄積したＦＩｎｇｅｒＰｒｉｎｔの中から検索する。ここで一致するＦｉｎｇｅｒＰｒｉｎｔがマッチングサーバ１０４に保持されている場合、該一致するＦｉｎｇｅｒＰｒｉｎｔと関連付けてデータベースに蓄積されている動画情報を取得する。ここでの動画情報は、例えば、本実施形態のような放送局から配信されたテレビ番組である場合、放送局１０３を一意に示すチャンネルＩＤ（識別子）、画像（フレーム）が配信された時間（タイムスタンプ）が含まれる。なお、動画情報は、他の情報を含んでいてもよい。
【００８４】
Ｓ１１０９にて、マッチングサーバ１０４は、特定した動画情報を携帯端末１０１へ送信する。
【００８５】
Ｓ１１１０にて、携帯端末１０１は、マッチングサーバ１０４から受信した動画情報を用いて、プロキシサーバ９０１に問い合わせを行う。
【００８６】
Ｓ１１１１にて、プロキシサーバ９０１は、携帯端末１０１からの問い合わせに含まれる動画情報を用いて、インデックスサーバ１０５へ問い合わせを行う。
【００８７】
Ｓ１１１２にて、インデックスサーバ１０５は、プロキシサーバ９０１からの問い合わせに含まれる動画情報に一致する画像データを、Ｓ１１０２にて画像データを蓄積していたデータベースから検索する。
【００８８】
Ｓ１１１３にて、プロキシサーバ９０１は、検出の結果、得られた画像データをプロキシサーバ９０１へ応答として返す。
【００８９】
Ｓ１１１４にて、プロキシサーバ９０１は、インデックスサーバ１０５からの検索結果としての画像データを受信し、その受信した画像データを携帯端末１０１へ送信する。
【００９０】
Ｓ１１１５にて、携帯端末１０１は、取得した動画データを用いて処理を行う。ここでの処理の例については第一の実施形態にて図８を用いて述べた例などが該当する。そして、本処理フローを終了する。
【００９１】
以上、本実施形態により、ユーザは、テレビなどの再生装置にて再生されている動画を、携帯端末で認識させるだけで、その動画の画像データや関連情報を容易に取得することができる。
【００９２】
＜その他の実施形態＞
上記の実施形態においては、テレビ放送を対象に動画を検出する例を挙げたがこれに限定するものではない。例えば、映画や短編動画を対象にして、サーバ側に動画データを保持しておき、その映画等が再生されていることを携帯端末にて認識させることで上記の実施形態と同様の処理を行うことが可能である。
【００９３】
また、上記の実施形態では、所定間隔ごとに動画データから画像を抽出していたが、これに限定するものではなく、画像の内容が大きく変わった時点でも取得するようにしてもよい。
【００９４】
また、画像の時間を特定した時点から所定の時間分だけ遡って画像を取得していたが、この取得する時間をユーザが指定できるようにしてもよい。
【００９５】
また、本願発明は、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはそのコンピュータに含まれるＣＰＵやＭＰＵ等）がプログラムを読み出して実行することによって実現されてもよい。さらには、上述した各実施形態における各装置が実施する方法も本願発明の範疇に含まれる。
【符号の説明】
【００９６】
携帯端末            １０１
テレビ              １０２
放送局              １０３
マッチングサーバ    １０４
インデックスサーバ  １０５
ビデオサーバ        １０６
サービスサーバ      １０７
プロキシサーバ      ９０１
【図１】
2015233182.tif 000003
【図２】
2015233182.tif 000004
【図３】
2015233182.tif 000005
【図４】
2015233182.tif 000006
【図５】
2015233182.tif 000007
【図６】
2015233182.tif 000008
【図７】
2015233182.tif 000009
【図８】
2015233182.tif 000010
【図９】
2015233182.tif 000011
【図１０】
2015233182.tif 000012
【図１１】
2015233182.tif 000013