(57)【要約】【課題】映像再生中に所望のトピックにジャンプする。【解決手段】映像再生システム１は、映像コンテンツを構成する複数のトピックの番組メタデータ４９２を記憶する記憶部４９と、この映像コンテンツを画面に再生するＣＰＵ４１と、画面上の位置を指定するタッチパネルディスプレイ４６と、この画面上の文字列をＯＣＲ認識するサーバ３とを備える。ＣＰＵ４１は、タッチパネルディスプレイ４６により指定され、かつＯＣＲ認識された文字列に対応するトピックにジャンプさせる。【選択図】図１
2022003745.tif 000002
【特許請求の範囲】
【請求項１】
映像コンテンツを構成する複数のトピックのメタデータを記憶する記憶部と、
前記映像コンテンツを画面に再生する再生制御部と、
前記画面上の位置を指定する指定部と、
前記画面上の文字列を認識する認識部と、
前記指定部が指定した位置であり、かつ前記認識部が認識した文字列に対応するトピックにジャンプさせるよう前記再生制御部に指示するジャンプ部と、
を備えることを特徴とする映像再生システム。
【請求項２】
前記メタデータは、前記トピックに係る時間情報と文字列情報とを含む、
ことを特徴とする請求項１に記載の映像再生システム。
【請求項３】
前記ジャンプ部は、前記指定部が指定した位置であり、かつ前記認識部が認識した文字列と前記トピックに係る文字列情報との比較により、前記文字列に対応するトピックを特定する、
ことを特徴とする請求項２に記載の映像再生システム。
【請求項４】
前記ジャンプ部は、前記認識部が文字列を認識しなかったか、または前記指定部が指定した位置に文字列が存在しなかったならば、前記映像コンテンツの再生を一時停止させたのち、再生位置の前後調整を可能とするように前記再生制御部に指示する、
ことを特徴とする請求項１に記載の映像再生システム。
【請求項５】
再生制御部が映像コンテンツを画面に再生させるステップと、
指定部が前記画面上の位置を指定するステップと、
前記画面上の文字列を認識部が認識するステップと、
前記指定部が指定した位置であり、かつ前記認識部が認識した文字列に対応するトピックにジャンプさせるように前記再生制御部に指示するステップと、
を含むことを特徴とする映像再生方法。
【請求項６】
映像コンテンツを構成する複数のトピックのメタデータを記憶する記憶部と、
前記映像コンテンツを画面に再生すると共に、前記複数のトピックのメタデータを表示する再生制御部と、
前記画面上の位置を指定する指定部と、
前記指定部が指定した位置のメタデータに対応するトピックにジャンプさせるように前記再生制御部に指示するジャンプ部と、
を備えることを特徴とする映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像再生システム、映像再生方法、および映像再生装置に関する。
【背景技術】
【０００２】
クラウドサービス、ＡＩ（Artificial Intelligence）の発達により、スマートフォンやタブレット端末でも画像解析処理が利用できる環境が整いつつある。
現状のテレビ視聴アプリケーションでは、ＥＰＧ（Electronic Program Guide）情報等に基づいた画一的な機能しか提供できていない。高速かつ高精度な画像解析処理が利用可能になった際には、映像自体の内容や意味といった情報を活用した機能を実装する事で、ユーザに新たなテレビ視聴体験を提供できる。
【０００３】
特許文献１には、テロップ認識または顔認識を行って、その認識結果を、ストリームデータを記録する際にタグ付けしておき、再生時のスキップ再生に使用することが記載されている。特許文献１に記載の発明によれば、この機能を使う時点で番組情報の解析は完了しているので、ユーザ操作に対するレスポンスが良く、どのチャンネルの番組でも対応可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０８８９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明では、番組を録画した後、番組構造化装置が番組の内容を解析してストリームデータにタグ付けする。よって、専用の番組構造化装置というハードウエアと、専用の番組ブラウザとが必要である。また、番組構造化装置というハードウエアが番組を解析する為、購入後の性能向上は見込めない。
【０００６】
また、現行のハードディスクレコーダ等のテレビ放送録画機に搭載されているチャプター機能では、チャプターは単に番号で管理・提示されている。その為、ユーザは各チャプターが番組中のどのトピックやコーナーに紐づいているかを知る事ができなかった。その為、現行のハードディスクレコーダにおいて、ユーザは、チャプターを一つずつ選択して目的の場面を探すという面倒な操作が必要である。
【０００７】
そこで、本発明は、映像再生システム、映像再生方法、および映像再生装置について、映像再生中に所望のトピックにジャンプすることを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するため、映像コンテンツを構成する複数のトピックのメタデータを記憶する記憶部と、前記映像コンテンツを画面に再生する再生制御部と、前記画面上の位置を指定する指定部と、前記画面上の文字列を認識する認識部と、前記指定部が指定した位置であり、かつ前記認識部が認識した文字列に対応するトピックにジャンプさせるよう前記再生制御部に指示するジャンプ部と、を備えることを特徴とする映像再生システムである。
【０００９】
また、本発明は、映像コンテンツを構成する複数のトピックのメタデータを記憶する記憶部と、前記映像コンテンツを画面に再生すると共に、前記複数のトピックのメタデータを表示する再生制御部と、前記画面上の位置を指定する指定部と、前記指定部が指定した位置のメタデータに対応するトピックにジャンプさせるように前記再生制御部に指示するジャンプ部と、を備えることを特徴とする映像再生装置である。
【発明の効果】
【００１０】
本発明によれば、映像再生中に所望のトピックにジャンプすることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における映像再生システムの概略を示す構成図である。
【図２】ユーザ端末の構成図である。
【図３】サーバの構成図である。
【図４】番組情報の一例を示す図である。
【図５】第１の実施形態の番組の再生画面の一例を示す図である。
【図６】第１の実施形態の番組の再生動作を示すシーケンス図である。
【図７】持ち出し機能による番組の再生動作を示すシーケンス図である。
【図８】サーバがメタデータを受信した際のフローチャートである。
【図９】サーバが映像のスクリーンショットを受信した際のフローチャートである。
【図１０】ユーザ端末のモード遷移図である。
【図１１】番組の一時停止画面の一例を示す図である。
【図１２】第２の実施形態の番組の再生動作を示すシーケンス図である。
【図１３】ユーザ端末のモード遷移図である。
【図１４】番組のトピックリストの一例を示す図である。
【発明を実施するための形態】
【００１２】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
本実施形態は、映像の再生中に所望のトピック（シーン）にジャンプする操作を直感的に行えるようにするものであり、例えば録画したテレビ番組などが対象である。つまり、本実施形態は、映像に含まれる文字領域を、Ｗｅｂページでいうところのリンクのように機能させるものである。
【００１３】
以下、図１から図４までに、第１の実施形態と第２の実施形態に共通する構成について説明する。
【００１４】
図１は、本実施形態における映像再生システム１の概略を示す構成図である。
映像再生システム１は、番組情報提供サーバ２と、サーバ３と、ユーザ端末４と、録画テレビチューナ５とが、ルータ８およびネットワーク９を介して接続されることで構成される。この映像再生システム１は、テレビ番組の映像コンテンツを再生するものである。
【００１５】
録画テレビチューナ５には、ＵＳＢ−ＨＤＤ（Universal Serial Bus Hard Disk Drive）５１が接続されている。録画テレビチューナ５には、有線ＬＡＮ（Local Area Network）を介してＮＡＳ（Network Attached Storage）５２が接続される。ＵＳＢ−ＨＤＤ５１は、ＵＳＢを介して録画テレビチューナ５に接続されるハードディスク装置である。ＮＡＳ５２は、有線ＬＡＮを介して録画テレビチューナ５と通信可能に接続されるストレージ装置である。録画テレビチューナ５は、録画したテレビ番組の映像コンテンツをＵＳＢ−ＨＤＤ５１またはＮＡＳ５２に保存し、ユーザ端末４の要求に応じて、この映像コンテンツを送信する。
【００１６】
ユーザ端末４は、例えばスマートフォンであり、ルータ８に無線ＬＡＮを介して接続されている。これによりユーザ端末４は、録画テレビチューナ５やサーバ３と通信可能である。ユーザ端末４は、録画テレビチューナ５が録画したテレビ番組の映像コンテンツを再生する。このユーザ端末４の構成は、後記する図２に説明する。
【００１７】
番組情報提供サーバ２は、テレビ番組のメタデータを格納し、外部装置からの要求に応じて、このメタデータを提供する。番組情報提供サーバ２は、例えば作業者がテレビ番組を視聴して、このテレビ番組のメタデータを入力する。
【００１８】
サーバ３は、番組情報提供サーバ２からテレビ番組のメタデータを受信して、そのメタデータを記憶部に格納し、外部装置からの要求に応じて、このテレビ番組のメタデータを提供する。サーバ３は更に、外部装置からテレビ番組のフレームを受信すると、このフレームをＯＣＲ（Optical Character Recognition）して文字情報とその位置情報とを送信する。
【００１９】
すなわち、サーバ３は、画像を解析して文字情報を抽出するＯＣＲ機能をユーザ端末４に提供し、テレビ番組の放送内容のメタデータをユーザ端末４に提供する。これにより、ユーザ端末４は、トピックのジャンプ機能を実現可能である。サーバ３を動作させるためのプログラムを更新することで、この映像再生システム１に機能を追加し、性能を向上できる。サーバ３の構成は、後記する図３に説明する。
【００２０】
図２は、ユーザ端末４の構成図である。
ユーザ端末４は、例えばスマートフォン等の端末であり、ＣＰＵ（Central Processing Unit）４１と、ＲＯＭ（Read Only Memory）４２と、ＲＡＭ（Random Access Memory）４３と、記憶部４９とを備えたコンピュータである。
【００２１】
ＣＰＵ４１は、このユーザ端末４を統括制御する処理部であり、ＲＯＭ４２や記憶部４９に格納されたプログラムを読み込んで実行する。
ＲＯＭ４２は、不揮発性メモリであり、例えばＢＩＯＳ（Basic I/O System）などが格納されている。ＲＡＭ４３は、揮発性メモリであり、ＣＰＵ４１のワーク領域として使用される。記憶部４９は、例えばフラッシュメモリであり、プログラムや、番組動画データ４９１や番組メタデータ４９２などの各種データが格納される。番組動画データ４９１は、ストリーミング配信された映像コンテンツが一時記憶されたデータ、もしくは、端末内にダウンロードされたデータである。番組メタデータ４９２は、番組動画データ４９１を構成する複数のトピック（シーン）に関するメタデータを含んでいる。
【００２２】
無線ＬＡＮ通信部４４は、このユーザ端末４が無線通信路を介して外部装置と通信するためのものである。４Ｇ通信部４５は、このユーザ端末４が４Ｇの無線通信路を介して外部装置と通信するためのものである。
【００２３】
タッチパネルディスプレイ４６は、ディスプレイ上にタッチパネルが積層されたものであり、各種情報の表示機能と操作情報の入力機能を有している。
スピーカ４７は、電気信号を音声信号に変換するものである。マイク４８は、音声信号を電気信号に変換するものである。
【００２４】
図３は、サーバ３の構成図である。
サーバ３は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、通信部３４と、入力部３５と、表示部３６と、記憶部３７とを備えたコンピュータである。
【００２５】
ＣＰＵ３１は、このサーバ３を統括制御する処理部であり、ＲＯＭ３２や記憶部３７に格納されたプログラムを読み込んで実行する。
ＲＯＭ３２は、不揮発性メモリであり、例えばＢＩＯＳなどが格納されている。ＲＡＭ３３は、揮発性メモリであり、ＣＰＵ３１のワーク領域として使用される。記憶部３７は、例えばフラッシュメモリであり、プログラムや、番組情報３７１などの各種データが格納される。
【００２６】
通信部３４は、このサーバ３が無線通信路または有線通信路を介して外部装置と通信するためのものである。
入力部３５は、例えばマウスやキーボードであり、操作情報を入力するためのものである。表示部３６は、例えば液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイであり、各種情報の表示するためのものである。
【００２７】
図４は、番組情報３７１の一例を示す図である。この番組情報３７１は、番組情報提供サーバ２の記憶部（不図示）やサーバ３の記憶部３７に格納されている。
番組情報３７１は、放送局欄と、番組開始日時欄と、番組終了日時欄と、番組名欄と、シーン開始日時欄と、シーン終了日時欄と、分類欄と、ヘッドライン欄とを含んで構成される。番組情報３７１は、各番組のメタデータがシーン（トピック）単位で格納されている。
【００２８】
放送局欄は、テレビ番組を放送した局名を格納する欄である。
番組開始日時欄は、テレビ番組の放送を開始した日時を格納する欄である。
番組終了日時欄は、テレビ番組の放送を終了した日時を格納する欄である。
番組名欄は、番組名の文字列を格納する欄である。
シーン開始日時欄は、テレビ番組を構成するシーンの放送を開始した日時を格納する欄である。
シーン終了日時欄は、テレビ番組を構成するシーンの放送を終了した日時を格納する欄である。
分類欄は、テレビ番組を構成するシーンの分類情報を格納する欄である。
ヘッドライン欄は、テレビ番組を構成するシーンのヘッドラインの文字列を格納する欄である。
つまり番組情報３７１は、各番組に関するトピックを含み、各トピックに係る時間情報と文字列情報とを含んでいる。
【００２９】
《第１の実施形態》
第１の実施形態は、ユーザが映像中に表示されるトピックのタイトルや番組中のコーナー名といった文字列をクリックやタップといった直感的な操作で選択すると、ユーザ端末４が、選択した文字列に対応するシーン（トピック）にジャンプするものである。これにより、操作が簡単になる。
【００３０】
図５は、第１の実施形態の番組の再生画面６１の一例を示す図である。
再生画面６１は、ニュース番組の一画面である。再生画面６１の右側には、放送予定のニュースのトピック文字列６１１〜６１５が列挙されている。ニュース番組の場合、番組冒頭で放送予定のトピックが列挙されることが一般的である。
【００３１】
ここで、再生画面６１中に表示されているトピック文字列６１１〜６１５のうち何れかを、ユーザがタップやクリックなどの操作で指示すると、ユーザ端末４は、ニュース番組の該当トピックが始まる位置までジャンプして再生する。
【００３２】
つまり、本実施形態では、普通のテレビ番組の再生を基本として、ユーザが映像で気になった文字列をタップすると、ユーザ端末４は、このテレビ番組の再生をその文字列に係るトピックの再生位置（再生時刻）にジャンプする。
【００３３】
本実施形態がトピックのジャンプ機能を提供するのは、任意の位置にジャンプ可能な映像コンテンツであればよいので、ユーザ端末４内にファイルとして存在する番組コンテンツでもよく、録画テレビチューナ５からストリーミング配信される番組でもよい。
【００３４】
ユーザの操作タイミングが遅く、映像コンテンツの再生中に文字列の表示が終了してしまった場合、ユーザ端末４は、ステップバック可能な画面に遷移する。これによりユーザは、映像コンテンツの文字列を再び呼び出して表示することができる。
【００３５】
また、映像の再生中にＵＲＬ文字列が表示される事がある。ユーザがＵＲＬ文字列をタップした場合、ユーザ端末４は、ＷｅｂブラウザでＵＲＬを開く。具体的にいうと、Ｗｅｂブラウザアプリに切り替わってもよく、同一のテレビ番組再生アプリ中でＵＲＬを開いてもよい。
【００３６】
図６は、第１の実施形態の番組の再生動作を示すシーケンス図である。
ステップＳ１０において、録画テレビチューナ５は、テレビ番組を録画すると共に、その放送局名と録画開始時間と録画終了時間とをメタデータとして保存する。ここで録画された番組の映像コンテンツは、ＵＳＢ−ＨＤＤ５１とＮＡＳ５２の何れに格納されてもよい。
【００３７】
ステップＳ１１において、サーバ３は、番組情報提供サーバ２に新たな番組情報を要求する。番組情報提供サーバ２は、要求された番組情報を提供する（Ｓ１２）。これらステップＳ１１,Ｓ１２の処理は、定期的に実行される。サーバ３は、例えば自身が未だ記憶していない番組情報を要求してもよく、指定期間の番組情報を要求してもよく、限定されない。
【００３８】
次に録画テレビチューナ５は、テレビ番組のメタデータをユーザ端末４に送信する（Ｓ１３）。ユーザ端末４は、不図示の番組選択画面をタッチパネルディスプレイ４６に表示し、ユーザによる再生開始指示を受け付ける（Ｓ１４）。
【００３９】
ユーザ端末４は、選択されたテレビ番組のメタデータをサーバ３に送信し（Ｓ１５）、サーバ３から番組情報を受信する（Ｓ１６）。テレビ番組のメタデータには、放送局名と放送開始時間が格納されている。サーバ３は、テレビ番組のメタデータを受信すると、番組情報３７１のうち該当する情報を抽出してユーザ端末４に提供する。
【００４０】
ユーザ端末４は、ＣＰＵ４１により、選択されたテレビ番組の映像コンテンツをストリームで順次受信し、タッチパネルディスプレイ４６に再生する（Ｓ１７）。サーバ３からユーザ端末４に伸びる多数の矢印は、映像コンテンツをストリームで受信することを示している。
【００４１】
ここで映像中に文字列（テキスト）が現れたとき、この文字列に興味を惹かれたユーザは、この文字列をタップする（Ｓ１８）。つまりタッチパネルディスプレイ４６は、画面上の位置を指定する指定部として機能する。ユーザ端末４は、その瞬間の映像全体のスクリーンショットをフレーム情報として保存し、このフレームをサーバ３に送信する（Ｓ１９）。
【００４２】
サーバ３は、このフレームをＯＣＲで処理して、このフレーム内に存在する全ての文字列とその領域（位置および大きさ）を取得し（Ｓ２０）、ユーザ端末４に文字列および領域を送信する（Ｓ２１）。ユーザ端末４は、ＯＣＲの結果である文字列および領域から、タップされた位置にある文字列を取得する。サーバ３は、画面上の文字列を認識する認識部として機能する。ユーザ端末４とサーバ３とは、ユーザが画面をタップした際に、その時点の映像を静止画として取り込んでＯＣＲで解析し、解析結果からユーザが選択した文字列を特定する。
ＯＣＲを実行する機能はサーバ３に搭載されていなくてもよい。例えば、別のサーバ（例えば画像解析サーバ）が、ＯＣＲを実行してもよい。
【００４３】
なお、テレビ番組のトピック文字列は、単一色の多角形の背景上に、別の単一色の文字列が記載されていたり、背景が薄く透過した多角形の背景上に別の単一色の文字列が記載されている。よってサーバ３は、単一色の多角形や背景が透過した多角形の背景を抽出し、その内部に記載された単一色の文字に限ってＯＣＲすることで、映像として撮影された看板や旗などに記載された文字列をＯＣＲの対象から除外可能である。なお、サーバ３は、トピック文字列が記載されている単一色の多角形の領域を、このトピック文字列の記載領域として抽出してもよい。
【００４４】
ユーザ端末４は、番組メタデータからその文字列を検索してジャンプ先を検知する（Ｓ２２）。ユーザ端末４は、文字列が見つかったトピックまで再生位置を移動させると、映像コンテンツをストリームで順次受信して再生を開始する（Ｓ２３）。
番組メタデータには、番組中に現れる様々な場面が、その内容を解説する文字列（テキスト）とそれが現れる時間情報が対になって格納されている為、ユーザが選択した言葉に合致するものをこの文字列から検索し、見つかった場合には、そのシーン（トピック）の時間情報を参照して、そこまでジャンプしたのちに再生する。ここでＣＰＵ４１は、ＯＣＲで文字認識され、かつタッチパネルディスプレイ４６で指定した文字列に対応するトピックにジャンプさせるように指示するジャンプ部として機能する。
【００４５】
ユーザが映像中に表示されるトピックのタイトルや番組中のコーナー名といった文字列を、クリックやタップといった直感的な操作で選択すると、ユーザ端末４は、選択した文字列に対応するシーン（トピック）にジャンプする為、操作が簡単になる。
なお、映像再生システム１は、録画データ（映像／音声）を変更しない。本機能が使用するのは画面をタップした瞬間のスナップショット画像であり、録画データに対する加工は行わない。
【００４６】
図７は、持ち出し機能による番組の再生動作を示すシーケンス図である。
ステップＳ３０の録画処理は、図６に示したステップＳ１０と同様である。ステップＳ３１，Ｓ３２の番組情報の取得処理は、図６に示したステップＳ１１，Ｓ１２と同様である。
【００４７】
次に録画テレビチューナ５は、テレビ番組の映像コンテンツとメタデータをユーザ端末４に送信する（Ｓ３３）。ユーザ端末４は、テレビ番組のメタデータをサーバ３に送信し（Ｓ３４）、サーバ３から番組情報を受信する（Ｓ３５）。テレビ番組のメタデータには、放送局名と放送開始時間が格納されている。サーバ３は、メタデータを受信すると、番組情報３７１のうち該当する情報を抽出してユーザ端末４に提供する。
【００４８】
そして、ユーザ端末４は、不図示の番組選択画面をタッチパネルディスプレイ４６に表示し、ユーザによる再生開始指示を受け付ける（Ｓ３６）。
【００４９】
ユーザ端末４は、選択されたテレビ番組の映像を再生する（Ｓ３７）。ここでユーザ端末４は、予めサーバ３から受信しているテレビ番組の映像コンテンツを再生している。
ここで映像中に文字列（テキスト）が現れたとき、この文字列に興味を惹かれたユーザは、この文字列をタップする（Ｓ３８）。ユーザ端末４は、その瞬間の映像全体のスクリーンショットをフレーム情報として保存し、このフレームをサーバ３に送信する（Ｓ３９）。
【００５０】
サーバ３は、このフレームをＯＣＲで処理して、このフレーム内に存在する全ての文字列とその領域（位置および大きさ）を取得し（Ｓ４０）、ユーザ端末４に文字列および領域を送信する（Ｓ４１）。ユーザ端末４は、ＯＣＲの結果である文字列および領域から、タップされた位置にある文字列を取得する。つまり、ユーザ端末４とサーバ３とは、ユーザが画面をタップした際に、その時点の映像を静止画として取り込んでＯＣＲで解析し、解析結果からユーザが選択した文字列を特定する。
【００５１】
ユーザ端末４は、番組メタデータからその文字列を検索してジャンプ先を検知する（Ｓ４２）。ユーザ端末４は、文字列が見つかったトピックまで再生位置を移動させると、再生を開始する（Ｓ４３）。番組メタデータには、番組中に現れる様々な場面が、その内容を解説する文字列（テキスト）とそれが現れる時間情報が対になって格納されている為、ユーザが選択した言葉に合致するものをこの文字列から検索し、見つかった場合には、そのシーン（トピック）の時間情報を参照してそこまでジャンプする。
【００５２】
図８は、サーバ３がメタデータを受信した際のフローチャートである。この処理は、図６のステップＳ１５や図７のステップＳ３４の直後に起動される。
サーバ３は、放送局情報と日時情報を含むメタデータを受信すると（Ｓ５０）、番組情報３７１を検索する（Ｓ５１）。サーバ３は、受信したメタデータに対応する番組の情報が見つかったか否かを判定する（Ｓ５２）。
【００５３】
サーバ３は、番組の情報が見つかったならば（Ｙｅｓ）、その番組の情報をユーザ端末４に送信して（Ｓ５３）、図８の処理を終了する。サーバ３は、番組の情報が見つからなかったならば（Ｎｏ）、その番組の情報が無い旨をユーザ端末４に送信して（Ｓ５４）、図８の処理を終了する。
【００５４】
図９は、サーバ３が映像のスクリーンショットを受信した際のフローチャートである。この処理は、図６のステップＳ２０や図７のステップＳ４０に該当する。
サーバ３は、映像のスクリーンショットを受信すると（Ｓ６０）、映像のスクリーンショットをＯＣＲして文字列およびその領域を特定する（Ｓ６１）。サーバ３は、ＯＣＲした文字列が見つかったか否かを判定する（Ｓ６２）。
【００５５】
サーバ３は、ＯＣＲした文字列が見つかったならば（Ｙｅｓ）、その文字列およびその領域情報をユーザ端末４に送信して（Ｓ６３）、図９の処理を終了する。サーバ３は、ＯＣＲした文字列が見つからなかったならば（Ｎｏ）、文字列が無い旨をユーザ端末４に送信して（Ｓ６４）、図９の処理を終了する。
【００５６】
図１０は、ユーザ端末４のモード遷移図である。このモード遷移図は、ユーザの再生指示によって開始する。
【００５７】
モードＭ１０は、ユーザ端末４が映像コンテンツを再生するモードである。モードＭ１０において、タッチパネルディスプレイ４６がタップされると、ユーザ端末４はモードＭ１１に遷移する。
【００５８】
モードＭ１１は、ユーザ端末４が映像コンテンツの再生を一時停止して、そのスクリーンショットをＯＣＲさせるモードである。モードＭ１１において、サーバ３によるＯＣＲ処理が終了すると、ユーザ端末４は、モードＭ１２に遷移する。
【００５９】
モードＭ１２は、ユーザ端末４がＯＣＲの結果を判定するモードである。モードＭ１２において、ユーザ端末４がＯＣＲの結果が成功であると判定すると、モードＭ１３に遷移する。モードＭ１２において、ユーザ端末４がＯＣＲの結果がエラーであると判定すると、モードＭ１６に遷移する。ここでユーザ端末４は、サーバ３がＯＣＲした結果、何ら文字列が認識されなかった場合に、ＯＣＲの結果をエラーとする。
【００６０】
モードＭ１３は、ユーザ端末４がジャンプ先を判定するモードである。モードＭ１３において、ユーザ端末４がジャンプ先を正しく判定すると、モードＭ１４に遷移する。モードＭ１３において、ユーザ端末４は、ジャンプ先エラーであると判定すると、モードＭ１５に遷移する。
【００６１】
モードＭ１４は、ユーザ端末４が映像コンテンツの再生位置を、指定のジャンプ先とするモードである。モードＭ１３において、ユーザ端末４が映像コンテンツの再生位置をジャンプすると、モードＭ１０に遷移する。
【００６２】
一方、モードＭ１５は、ユーザ端末４が、ジャンプ先を検知できなかったことを示すエラー音Ａを報知するモードである。モードＭ１５において、ユーザ端末４がエラー音Ａを報知すると、モードＭ１７に遷移する。
【００６３】
モードＭ１６は、ユーザ端末４が、ＯＣＲエラーを示すエラー音Ｂを報知するモードである。モードＭ１６において、ユーザ端末４がエラー音Ｂを報知すると、モードＭ１７に遷移する。
【００６４】
モードＭ１７は、ユーザ端末４が、映像コンテンツの再生を一時停止するモードである。モードＭ１７において、ユーザ端末４が左ドラッグを検知するとモードＭ１８に遷移し、右ドラッグを検知するとモードＭ１９に遷移し、再生ボタンのタップを検知するとモードＭ１０に遷移し、それ以外のタップを検知するとモードＭ２０に遷移する。つまり、ＣＰＵ４１は、サーバ３が文字列を認識しなかったか、またはタップされた位置に文字列が存在しなかったならば、映像コンテンツの再生を一時停止させたのち、再生位置の前後調整を可能としている。
【００６５】
図１１は、番組の一時停止画面の一例を示す図である。
この再生画面６２には、左矢印６２１と、再生６２２と、右矢印６２３と、ガイダンス６２４とが表示されている。
左矢印６２１は、左ドラッグが再生位置を戻す機能として働くことを示すものである。右矢印６２３は、右ドラッグが再生位置を進める機能として働くことを示すものである。再生６２２は、これをタップすることで再生に遷移することを示すものである。ガイダンス６２４は、「左右にドラッグすると再生位置を調整できます」の文言により、この再生画面６２に対してユーザが可能な操作を示している。
【００６６】
図１０に戻り説明を続ける。モードＭ１８は、ユーザ端末４が、映像コンテンツの再生位置を−１秒ずらすモードである。モードＭ１８において、ユーザ端末４が、映像コンテンツの再生位置を−１秒ずらすと、モードＭ１７に戻る。
【００６７】
モードＭ１９は、ユーザ端末４が、映像コンテンツの再生位置を＋１秒ずらすモードである。モードＭ１９において、ユーザ端末４が、映像コンテンツの再生位置を＋１秒ずらすと、モードＭ１７に戻る。
【００６８】
モードＭ２０は、ユーザ端末４がスクリーンショットをＯＣＲさせるモードである。モードＭ２０において、サーバ３によるＯＣＲ処理が終了すると、ユーザ端末４は、モードＭ２１に遷移する。
【００６９】
モードＭ２１は、ユーザ端末４がＯＣＲの結果を判定するモードである。モードＭ２１において、ユーザ端末４がＯＣＲの結果が成功であると判定すると、モードＭ２２に遷移する。モードＭ２１において、ユーザ端末４がＯＣＲの結果がエラーであると判定すると、モードＭ１６に遷移する。
【００７０】
モードＭ２２は、ユーザ端末４がジャンプ先を判定するモードである。モードＭ２２において、ユーザ端末４がジャンプ先を正しく判定すると、モードＭ１４に遷移する。モードＭ２２において、ユーザ端末４は、ジャンプ先エラーであると判定すると、モードＭ１５に遷移する。
【００７１】
ユーザが映像内の文字列をタップしようとした際に、映像が切り替わってタップ操作が間に合わない場合が考えられる。こうした状況に対応する為、本実施形態では、映像コンテンツをタップした時点で再生を一時停止するようにし、その状態から画面を左右にドラッグすることで、再生位置を秒単位で前後させられるようにする。目的の文字列が映像中に表示されたら、改めてその文字列をタップする。
【００７２】
なお、スクリーンショットをＯＣＲした結果、ＯＣＲエラーが発生した場合や、ジャンプ先が見つからなかった場合、ユーザ端末４は、「トピックが見つかりませんでした」のようなメッセージを報知してもよい。ユーザ端末４は、ＯＣＲで認識された文字列に部分一致するシーンを検索してリスト表示し、ユーザにジャンプ先を選択可能に提示してもよく、また何らエラーを報知しなくてもよい。
【００７３】
《第２の実施形態》
第２の実施形態は、録画した番組の映像内の文字列情報を補完するものである。録画した番組の再生開始時に、ユーザ端末４は、当該番組のメタデータ情報をダウンロードしておき、そこに含まれるトピックをチャプターリストのような形で再生中に呼び出せるようにする。ユーザが、このトピックリストを再生画面内で呼び出して任意のトピックを選択すると、ユーザ端末４は、選択されたトピックに該当する位置までジャンプして再生を開始する。
【００７４】
図１２は、第２の実施形態の番組の再生動作を示すシーケンス図である。
ステップＳ７０の録画処理は、図６に示したステップＳ１０と同様である。ステップＳ７１，Ｓ７２の番組情報の取得処理は、図６に示したステップＳ１１，Ｓ１２と同様である。
【００７５】
映像データの再生処理であるステップＳ７３〜Ｓ７７は、図７に示したステップＳ３３〜Ｓ３７と同様である。ここでユーザは、タッチパネルディスプレイ４６をタップする（Ｓ７８）。第１の実施形態とは異なり、ユーザは、文字列の表示位置に限られず、任意の位置のタップであってよい。
ユーザ端末４は再生を継続しつつ、この映像にトピックリストを重畳表示する（Ｓ７９）。以下の動作を、図１４を参照して説明する。
【００７６】
図１４は、番組のトピックリストの一例を示す図である。
再生画面６３の右側には、トピックリスト６３１が表示されている。このトピックリスト６３１には、トピック６３２〜６３６と、番組内における相対開始時刻とが表示されている。
【００７７】
トピック６３２は、「新型コロナ関連」と表示され、その下側に“１：１０”が表示されている。ユーザがこのトピック６３２をタップすると（Ｓ８０）、ユーザ端末４は、再生位置を番組内の１分１０秒の位置にジャンプさせたのち、映像コンテンツを再生する（Ｓ８２）。
【００７８】
トピック６３３は、「東京オリンピック」と表示され、その下側に“１５：３３”が表示されている。ユーザがこのトピック６３３をタップすると（Ｓ８０）、ユーザ端末４は、再生位置を番組内の１５分３３秒の位置にジャンプさせたのち、映像コンテンツを再生する（Ｓ８２）。
【００７９】
トピック６３４は、「経済ニュース」と表示され、その下側に“１８：２１”が表示されている。ユーザがこのトピック６３４をタップすると、ユーザ端末４は、再生位置を番組内の１８分２１秒の位置にジャンプさせたのち、映像コンテンツを再生する（Ｓ８２）。
【００８０】
トピック６３５は、「スポーツニュース」と表示され、その下側に“２０：５０”が表示されている。ユーザがこのトピック６３５をタップすると、ユーザ端末４は、再生位置を番組内の２０分５０秒の位置にジャンプさせたのち、映像コンテンツを再生する（Ｓ８２）。
【００８１】
トピック６３６は、「今日の天気」と表示され、その下側に“２７：０５”が表示されている。ユーザがこのトピック６３６をタップすると、ユーザ端末４は、再生位置を番組内の２７分０５秒にジャンプさせたのち、映像コンテンツを再生する（Ｓ８２）。
【００８２】
図１３は、ユーザ端末４のモード遷移図である。このモード遷移図は、ユーザの再生指示によって開始する。
モードＭ３０は、ユーザ端末４が映像コンテンツを再生するモードである。モードＭ３０において、タッチパネルディスプレイ４６がタップされると、ユーザ端末４はモードＭ３１に遷移する。
【００８３】
モードＭ３１は、ユーザ端末４が映像コンテンツの再生と重畳してトピックリストを表示するモードである。モードＭ３１において、タッチパネルディスプレイ４６がタップされると、ユーザ端末４は、モードＭ３２に遷移する。
【００８４】
モードＭ３２は、ユーザ端末４がタップ位置を判定するモードである。モードＭ３２において、ユーザ端末４は、トピックがタップされたと判定すると、モードＭ３３に遷移する。モードＭ３２において、ユーザ端末４は、トピック以外がタップされたと判定すると、モードＭ３４に遷移する。
【００８５】
モードＭ３３は、ユーザ端末４が映像コンテンツの再生位置にジャンプするモードである。モードＭ３３おいて、ユーザ端末４は、トピックリストを消去し、映像コンテンツの再生位置にジャンプすると、モードＭ３０に遷移する。
【００８６】
モードＭ３４は、ユーザ端末４がトピックリストを消去するモードである。モードＭ３４において、ユーザ端末４は、トピックリストを消去すると、モードＭ３０に遷移する。
【００８７】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｆ）のようなものがある。
【００８８】
（ａ）  ユーザ端末４は、タップされる度に番組のメタデータを受信してもよく、ある程度はユーザ端末４の側でキャッシュしてもよい。
（ｂ）  第２の実施形態のトピックリストは、持ち出し機能による番組の再生時に限定されず、録画テレビチューナ５からストリームで番組を再生する場合に表示してもよい。
（ｃ）  サーバ３は、番組情報の提供機能とＯＣＲ機能の提供機能に限られない。サーバ３は、スクリーンショットとタップされた位置座標に基づき、タップされた文字列に対応するトピックの再生位置をユーザ端末４に応答してもよく、限定されない。
（ｄ）  ユーザ端末４が文字列の位置指定を受け付ける操作方法はタップに限定されず、任意の位置指定の操作であればよい。
（ｅ）  ユーザ端末４は、スマートフォンに限定されず、タブレット端末やノートパソコンやデスクトップパソコンなどであってもよい。
（ｆ）  ユーザ端末４がネットワークに接続するための通信路は、無線通信路に限定されず、有線通信路であってもよい。
【符号の説明】
【００８９】
１  映像再生システム
２  番組情報提供サーバ
３  サーバ  （認識部）
３１  ＣＰＵ
３２  ＲＯＭ
３３  ＲＡＭ
３４  通信部
３５  入力部
３６  表示部
３７  記憶部
３７１  番組情報
４  ユーザ端末
４１  ＣＰＵ  （再生制御部、ジャンプ部）
４２  ＲＯＭ
４３  ＲＡＭ
４４  無線ＬＡＮ通信部
４５  ４Ｇ通信部
４６  タッチパネルディスプレイ  （指定部）
４７  スピーカ
４８  マイク
４９  記憶部
４９１  番組動画データ  （映像コンテンツ）
４９２  番組メタデータ  （メタデータ）
５  録画テレビチューナ
５１  ＵＳＢ−ＨＤＤ
５２  ＮＡＳ
６１〜６３  再生画面
６１１〜６１５  トピック文字列
６２１  左矢印
６２２  再生
６２３  右矢印
６２４  ガイダンス
６３１  トピックリスト
６３２〜６３６  トピック
８  ルータ
９  ネットワーク
【図１】
2022003745.tif 000003
【図２】
2022003745.tif 000004
【図３】
2022003745.tif 000005
【図４】
2022003745.tif 000006
【図５】
2022003745.tif 000007
【図６】
2022003745.tif 000008
【図７】
2022003745.tif 000009
【図８】
2022003745.tif 000010
【図９】
2022003745.tif 000011
【図１０】
2022003745.tif 000012
【図１１】
2022003745.tif 000013
【図１２】
2022003745.tif 000014
【図１３】
2022003745.tif 000015
【図１４】
2022003745.tif 000016