(57)【要約】【課題】  画像認識によりユーザにとってより利便性をもってタグリストを作成することができる技術を提供する。【解決手段】  放送される映像を受信して蓄積する映像蓄積手段と、蓄積された前記映像をユーザに提示するモニタと、蓄積された前記映像中の任意の番組の任意の場面に対して付加されたタグリストを管理する管理サーバと、前記モニタの画像を撮影すると共に番組情報を受信し、撮影したこの画像の情報と検索要求を送信するモバイル端末と、前記画像と前記検索要求を受信して検索処理を実行し、この検索処理の結果を前記モバイル端末に送信する画像認識サーバとを備え、前記管理サーバは前記結果に基づいて生成したタグリストを受信して管理する映像検索システム。【選択図】  図３
2014002616.tif 000002
【特許請求の範囲】
【請求項１】
放送される映像を受信して蓄積する映像蓄積手段と、
蓄積された前記映像をユーザに提示するモニタと、
蓄積された前記映像中の任意の番組の任意の場面に対して付加されたタグリストを管理する管理サーバと、
前記モニタの画像を撮影すると共に番組情報を受信し、撮影したこの画像の情報と検索要求を送信するモバイル端末と、
前記画像と前記検索要求を受信して検索処理を実行し、この検索処理の結果を前記モバイル端末に送信する画像認識サーバとを備え、
前記管理サーバは前記結果に基づいて生成したタグリストを受信して管理する映像検索システム。
【請求項２】
前記生成したタグリストをユーザに使用させる請求項１に記載の映像検索システム。
【請求項３】
前記画像認識サーバは、顔認証を行なう請求項１に記載の映像検索システム。
【請求項４】
前記画像認識サーバは、文字認識を行なう請求項１に記載の映像検索システム。
【請求項５】
複数の前記画像認識サーバを備え、この複数の前記画像認識サーバからの各々の認識結果を統合して、統合されたこの認識結果を前記管理サーバに送信する請求項１に記載の映像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像検索システムに関する。
【背景技術】
【０００２】
例えば目的として、大量の録画コンテンツの中から所望の番組コーナーやシーン、人物を検索し、見たい場面のみを視聴可能にするための映像検索システムがある。
【０００３】
従来より録画機器の大容量化に伴なって、大量の録画コンテンツの中から見たい場面に簡単にアクセスする機能が必要となっている。録画した番組をテレビで再生中にスマートフォンやタブレット端末を用いて、ユーザが手動でタグリスト（時刻情報の付いたユーザコメントのリスト）を作成し、クラウドサーバを通じてサービス利用者間でタグリストを共有する、タグリストシェアシステムがある。タグリストシェアは上記のニーズにある程度応えることができる。 
しかしながら課題として、タグリストは基本的にユーザが手動で作成する必要があるため、例えば、名前を知らない、あるいは思い出せないタレントが登場する場面でタグリストを作成しにくいという問題がある。画像認識技術を駆使することにより、この問題を解決することへの要望がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１５２７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、画像認識によりユーザにとってより利便性をもってタグリストを作成することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば映像検索システムは、放送される映像を受信して蓄積する映像蓄積手段と、蓄積された前記映像をユーザに提示するモニタと、蓄積された前記映像中の任意の番組の任意の場面に対して付加されたタグリストを管理する管理サーバと、前記モニタの画像を撮影すると共に番組情報を受信し、撮影したこの画像の情報と検索要求を送信するモバイル端末と、前記画像と前記検索要求を受信して検索処理を実行し、この検索処理の結果を前記モバイル端末に送信する画像認識サーバとを備え、前記管理サーバは前記結果に基づいて生成したタグリストを受信して管理する。
【図面の簡単な説明】
【０００７】
【図１】この発明の一実施形態を適用する録画再生装置の構成の一例を示す概略図。
【図２】一実施形態を示す機能ブロック構成図。
【図３】同実施形態の方式の説明図（１）。
【図４】同実施形態の方式の説明図（２）。
【図５】同実施形態に用いられる方式の説明図（３）。
【図６】同実施形態の方式の説明図（４）。
【図７】実施形態に係わる情報処理装置（サーバ）のシステム構成を示す図。
【図８】CSP が HTTP 要求を処理するときの、イベントのフローを示すシーケンス図。
【発明を実施するための形態】
【０００８】
以下、実施形態を図１乃至図８を参照して説明する。まず図１は、本構成のブロック図である。
【０００９】
録画再生装置（レコーダ装置）１は概要として、アンテナを介して取得可能な番組を選局して受信するチューナ部３、チューナ部３が受信した番組からユーザの指示する操作及び制御入力に対応する制御を実行する制御ＣＰＵ部（主制御ブロック）５、チューナ部３が受信した番組を外部装置である映像表示装置（モニタ装置）１０１が表示可能に処理し、ユーザの要求に従い、後述する記録ユニットに記録（録画）する録画信号処理部７を含む。
【００１０】
制御ＣＰＵ部５は、ＧＵＩ処理部５１、録画／再生モード処理部５２、録画制御処理部５３、録画時自動チャプター生成部５４、タグ編集処理部５５、タイトル／チャプター／タグ再生処理部５６、ＥＰＧ情報取得部５７及びタグリスト編集処理部５８等の要素を、少なくとも含む。また、制御ＣＰＵ部５には、後段に説明するが、さまざまな情報を記憶するメモリ部９、外部ネットワーク網を通じ、さまざまな情報を取得し、あるいは共有するためのデータの受け渡しが可能なネットワーク制御部１１、及びリモート端末（リモコン）１３を用いたユーザ操作及び、ユーザによる直接操作を受けつけるユーザ操作入力部１５が接続される。
【００１１】
ネットワーク制御部１１は、ネットワーク（インターネット／クラウドコンピューティング）上のデータ管理サーバ２０１との接続により、上述の『タグ』及びそのリストである『タグリスト』を共有できる。従って、後段に説明するが、他のユーザが用意した『タグ』及び『タグリスト』を参照し、その『タグリスト』に従う番組（コンテンツ）の再生が可能である。
【００１２】
タグリストの管理を行なうタグリストアプリは、外部の電子機器、例えばユーザ端末１２で動作するアプリケーション、または、録画機（録画再生装置）１内で動作する。タグリストアプリから、タイトル／チャプター／タグ再生処理部５６に対して、チャプター編集コマンドを送ることができる。ユーザ端末１２から送る場合は、ネットワーク制御部１１を経由して行なう。
【００１３】
図１は、実施形態を適用する録画再生装置の構成の一例でありなお、以下に詳細に説明するその他各要素／構成は、ハードウェアで実現するものであってもよいし、マイクロコンピュータ（処理装置，ＣＰＵ）等を用いてソフトウエアで実現するものであってもよい。
【００１４】
なお、映像表示装置１０１は、映像を再生するモニタ装置と音声（オーディオ）を再生するスピーカ装置とが一体に設けられたものであってもよいし、それぞれが独立して用意されているものであってもよい。また、モニタ装置とＡＶ（Audio Visual）アンプ装置等の組み合わせであってもよいことはいうまでもない。
【００１５】
チューナ部３は、地上アナログ／地上デジタル等に代表される公衆向け放送や放送衛星を介して供給される公衆向け衛星放送波の任意のチャンネルの番組（タイトル）を受信可能で、例えばＴＳ（Transport stream，以降“ＴＳ”と呼称する）形式であるデジタル放送を受信できる。なお、チューナ部３は、詳述しないが、例えば光ケーブル等の通信網を介してプロバイダあるいは配信局（地域ネットワーク基地局）等から供給される限定的なコンテンツも受信可能である。
【００１６】
制御ＣＰＵ部５にはまた、タイマーコントローラ（時計部）９０が接続する。時計部（タイマーコントローラ）９０は、時刻や、ユーザからの入力により設定される予約録画のための予約時刻（日時）と録画対象チャンネル等の情報を管理するとともに、その情報を保持可能である。なお、時計部９０は、チューナ部３が含む地上デジタルチューナ部が受信するデジタル放送から、ＴＯＴ（Time Offset Table）と呼ばれる「時刻情報」を、常時取得できる。すなわち、時計部９０は、実質的に電波時計を内蔵している機器と同等の時刻管理が可能である。なお、時計部９０は、スケジューラ機能およびメッセンジャ機能により規定される所定の時刻において、電源部９１による、商用電源に対する電源のオン／オフ（通電）を制御できることはいうまでもない。すなわち、コンセントが抜かれている等の物理的に通電が困難な状況下以外においては、電力消費の比較的大きな要素を除く制御ＣＰＵ部５等への２次電源（ＤＣ（直流）３１Ｖあるいは２４Ｖもしくは５Ｖ等）は、通常確保されており、予め規定された時刻に、録画信号処理部７あるいは後段に説明するＨＤＤ１７等を起動されることは、いうまでもない。
【００１７】
ＧＵＩ処理部５１は、ユーザによる操作信号あるいは制御入力の入力に用いる、ＧＵＩ（Graphical User Interface）あるいはアイコン等を、モニタ装置１０１に表示するための表示出力を生成する。この出力は、後段に説明するが、録画信号処理部７が出力する映像信号に、所定の透過率で重ね合わせられる。
【００１８】
録画／再生モード処理部５２は、録画時には、ユーザが設定した録画（記録）モードで記録媒体への記録が可能に、録画信号処理部７による記録処理時に適用する記録（録画）モードを設定し、再生時には、記録時に設定された記録モードに対応する再生モードを設定する。
【００１９】
録画制御処理部５３は、録画／再生モード処理部５２において設定された録画（記録）モードに対応する記録レート（映像）、記録すべき音声種別（二ヶ国語／日本語のみ／二ヶ国語のみ等）、音声種別がＨＢＲ（High Bit Rate）オーディオ等のレートを変更可能である場合の記録レート（オーディオ）、あるいはチャプター（任意区切り）の有無、等の録画時に処理すべき情報に基づく処理を設定する。なお、チャプターは録画番組内の区切りとして利用され、再生中のチャプター間スキップ、あるいは録画された番組を編集する際の目印として使われる。
【００２０】
録画時自動チャプター生成部５４は、録画制御処理部５３により、チャプターをつけることが設定されていない場合であっても、例えばＣＭ（コマーシャル）の前後、あるいは特別なシーンの前後において、チャプターを付与する。なお、毎週決まった時間に繰り返し録画が設定されている番組がある場合、その番組に設定されたチャプターの位置情報に従い、自動的にチャプターを付与することも可能である。また、後段に説明するが、ネットワーク制御部によるネットワークへの接続、及びサーバへのアクセスの結果、録画した番組と同一の番組に用意されたチャプターの位置情報がある場合、それを取得してチャプターを付与することもできる。
【００２１】
タグ編集処理部５５は、録画制御処理部５３がチャプターを付与する設定に設定されていない場合であっても、例えばＣＭの前後、あるいは特別なシーンの前後に、任意にチャプターを付与することを可能に、チャプターが付与されるであろう、仮想したチャプター位置に対する位置情報を保持する。
【００２２】
タイトル／チャプター／タグ再生処理部５６は、録画制御処理部５３、及び録画時自動チャプター生成部５４により設定されたチャプターに従い、例えば再生中のチャプター間スキップ、あるいは録画された番組の編集時の映像の取り込み開始、を設定する。なお、チャプターには、予め「名称または識別のための表示（タイトル）」を付属することができ、「タイトル」が付属したチャプターを再生する場合は、表示出力映像中の所定の位置に、「タイトル」を表示できる。
【００２３】
ＥＰＧ情報取得部５７は、受信した番組から録画制御処理部５３（または制御ＣＰＵ部５のファームウエア等）により分離したＥＰＧ（Electric Program Guide，電子番組表）により供給される番組情報、例えば＜出演者名＞、＜解説＞、＜コメント＞等を取得し、メモリ部９が含む所定の格納部に書き込む。
【００２４】
タグリスト編集処理部５８は、チャプターと独立に設定可能で、開始位置（始点）と終了位置（終点）とにより規定される区間である『タグ』と、その規定された区間（『タグ』）の特徴を示す「説明」／［コメント］等が付属する映像の『タグ』を管理する。なお、『タグ』は、＜目印をつけて整理する＞という意味の『タギング（Taging）』と類似である。
【００２５】
録画信号処理部７は、詳述しないが、ビデオエンコーダ、ビデオデコーダ、オーディオエンコーダ、及びオーディオデコーダ等、を少なくとも含む。なお、各エンコーダは、入力されたアナログ信号（ビデオ（映像）／オーディオ（音声））を、デジタル信号に変換（エンコード）するもので、例えばＭＰＥＧ（Moving Picture Experts Group）−２あるいはＭＰＥＧ−４（Ｈ．２６４−ＡＶＣ）等に準拠した信号圧縮が広く用いられている。また、各デコーダは、ＭＰＥＧ−２あるいはＭＰＥＧ−４（Ｈ．２６４−ＡＶＣ）等に圧縮されたデジタル信号を、デコードすることはいうまでもない。
【００２６】
録画信号処理部７には、ＨＤＤ（Hard Disk Drive，大容量記憶装置）１７、例えばＤＶＤ規格、あるいはＤＶＤ規格に比較してより記録密度が高められた光ディスク（着脱可能な記録媒体）を用い、光ディスクが保持した情報を再生し、あるいはチューナ部３が受信した番組（コンテンツ）すなわち映像データおよびオーディオデータを、光ディスクに記録可能なディスクドライブ装置１９、例えばＳＳＤ（Solid State Drive，半導体メモリ装置）であるメモリカードから映像データおよびオーディオデータを読み出し、もしくは同データをメモリカードに書き込むリーダ／ライタ２１が接続する。なお、記録媒体として、例えば図示しないＵＳＢポートを経由して録画信号処理部７と接続する記憶装置（ＵＳＢ（Universal Serial Bus）を通じて接続するＨＤＤ、ネットワーク制御部１１と接続する記憶装置、例えばＬＡＮ−Ｄｉｓｋ（ＬＡＮ（Local Area Network）を通じて接続するＨＤＤ等も、広く用いることができる。また、ネットワークを経由した接続／ＵＳＢを用いた接続に加え、例えばＤＬＮＡ（Digital Living Network Alliance（登録商標）
）規格等に準拠したネットワークコントローラや、図示しないBluetooth（登録商標）／（ブルートゥース（登録商標）と表記することもある）が用意され、それらを経由して、データの受け渡しが可能なレコーダ装置やＨＤＤ装置、もしくは携帯可能な端末装置が接続されてもよいことはいうまでもない。なお、ＵＳＢ接続により、キーボードが用意され
ることで、以下に説明する［コメント］等の文字入力も、容易である。
【００２７】
メモリ部９は、例えばＳＤＲＡＭ（Synchronous DRAM，DRAM = Dynamic Random Access Memory）等に代表され、ワークメモリとして用いる書き換え可能型のメモリ、制御ＣＰＵ部５（及び録画再生装置１の任意の要素）を動作させるためのプログラムを保持したＲＯＭ、あるいは詳述しないが、録画予約制御部において予約された予約日時、録画／ダビング種別、長さ（開始時間／終了時間）、チャンネル（ｃｈ）、レート等の情報を保持する不揮発性メモリ（ＮＶＭ）等を含む。メモリ部９はまた、上述した『タグ』及びそのリストである『タグリスト』を含む『タグ情報』を保持する所定の大きさの記憶領域を、有する。なお、メモリ部９は、番組（コンテンツ）の再生に必要となるアプリケーション（プログラム／プロトコル）等も保持（記憶）する。また、新たなアプリケーション（プログラム／プロトコル）が供給された場合、例えばプラグイン機能により、それを収容可能である。
【００２８】
ユーザ操作入力部１５は、詳述しないが、録画再生装置１本体に設けられる操作ボタン群により直接指示される（ユーザからの）操作入力を受け付ける。例えば、録画再生装置１に通常設けられている再生（ＰＬＡＹ）ボタンによる再生指示、録画（ＲＥＣ）ボタンによる録画指示、主電源のオン／オフ等、を指示する。また、ユーザ操作入力部１５は、リモコン１３によるユーザの指示、例えばチューナ部３を通じて受信（取得）すべき放送波／入力の選択、録画信号処理部７による録画処理、及び後段に説明する種々の記録媒体が保持する番組の再生、削除ダビング（またはムーブ）等のユーザ操作を受け付け、制御ＣＰＵ部５に、対応するコマンドを入力する。
【００２９】
ネットワーク制御部１１は、ネットワーク（インターネット／クラウドコンピューティング）上のデータ管理サーバ２０１との接続により、上述の『タグ』及びそのリストである『タグリスト』を共有できる。従って、後段に説明するが、他のユーザが用意した『タグ』及び『タグリスト』を参照し、その『タグリスト』に従う番組（コンテンツ）の再生が可能である。
【００３０】
ネットワーク制御部１１はまた、ネットワーク上に公開されている「ｉカレンダ（i Calendar Store server）」に、『タグ』もしくは『タグリスト』を書き込む（アップデートする）とともに、予め予定（登録）されたユーザ端末との間で、例えばＥ−メールによる『タグリスト』の閲覧あるいは取得が可能である。なお、「ｉカレンダ（i Calendar）」は、ＰＩＭ（Personal Information Manager）データ標準に準拠したスケジュール管理アプリケーションであり、今日では、ＰＤＡ（Personal Digital assistant）やスマートフォン等に代表される携帯端末や携帯電話装置に、標準的に実装されている（あるいは携帯端末や携帯電話装置がサポートしている）。従って、同アプリケーションをサポートした（実装されている）任意の端末装置を用いる他のユーザが書き込んだ『タグ』もしくは『タグリスト』が存在することを確認できた場合、その『タグリスト』を取得して、番組（コンテンツ）の再生に反映することが可能である。
【００３１】
また、上述の『タグ』及びそのリストである『タグリスト』の共有は、図示しないが、家庭内あるいは企業（オフィス）内のグループを単位とするホームサーバで用いられてもよいことはいうまでもない。なお、ホームサーバとしては、例えばユーザが保有するＰＣ（Personal Computer）であってもよい。
【００３２】
データ管理サーバ２０１は、上述した『タグ』あるいは『タグリスト』を管理するタグリスト管理部２１１、『タグ』及び『タグリスト』を収容するデータベース部２２１、予め予定（登録）されたユーザ端末との間で、例えばＥ−メールの送受信を可能とする通知送受信部２３１、を少なくとも含む。また、データ管理サーバ２０１は、例えば地上デジ
タル放送を提供する個々の放送事業者が提供するＥＰＧ（電子番組表）や上述の番組録画装置を提供する製造メーカが独自に用意したサーバ、及び視聴が無料ではあるが視聴契約を必要とする番組を提供する番組提供事業者が提供する番組一覧（コンテンツテーブル）等を含む。
【００３３】
ところで一方図７は、後述のネットワークを中継するサーバ１０のハードウェアなどのシステム構成の一例を示すものである。
【００３４】
図７に示すように、このサーバ１０は、ＣＰＵ７１、ノースブリッジ７２、主メモリ７３、サウスブリッジ７４、ＢＩＯＳ−ＲＯＭ７５、磁気ディスク駆動装置（ＨＤＤ）７６、光磁気ディスク駆動装置（ＯＤＤ）７７、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）７８、ネットワークコントローラ７９等を備えている。
【００３５】
ＣＰＵ７１は、本サーバ１０の動作を制御するメインプロセッサである。このＣＰＵ７１は、ＨＤＤ７６から主メモリ７３にロードされる、オペレーティングシステム、各種アプリケーションプログラムおよびユーティリティプログラムを実行する。
【００３６】
ノースブリッジ７２は、ＣＰＵ７１のローカルバスとサウスブリッジ７４との間を接続するブリッジデバイスである。また、ノースブリッジ７２には、ＣＲＴディスプレイ２を制御する表示コントローラおよび主メモリ７３を制御するメモリコントローラも内蔵されている。
【００３７】
サウスブリッジ７４は、例えばＰＣＩ（peripheral component interconnect）バスやＬＰＣ（low pin count）バスに接続された各種Ｉ／Ｏデバイスを制御するためのＩ／Ｏコントローラとして機能する。また、このサウスブリッジ７４には、ＨＤＤ７６およびＯＤＤ７７を制御するＩＤＥ（Integrated Drive Electronics）も内蔵されている。ＢＩＯＳ−ＲＯＭ７５も、このサウスブリッジ７４によってアクセスが制御される。ＢＩＯＳ−ＲＯＭ７５は、システムＢＩＯＳを電気的に書き換え可能に格納するフラッシュＲＯＭである。
【００３８】
ＥＣ／ＫＢＣ７８は、電源管理のためのエンベデッドコントローラと、キーボード（ＫＢ）８３およびマウス８４などを制御するキーボードコントローラとが集積された１チップマイクロコンピュータである。ネットワークコントローラ７９は、ＬＡＮを介した他のコンピュータとのデータ通信を制御する。
【００３９】
さて以上のようなハードウェア構成例を基にして、図２のようなシステムを組むことができる。即ち図２は、一実施形態を示す機能ブロック構成図である。前提としてモバイル端末であるユーザ端末１２は、サーバとのネットワーク接続可能な、カメラ搭載の端末である。
【００４０】
このモバイル端末は、ネットワークを介してプロバイダなどのサーバ１０と接続されている。またこのサーバ１０は、ネットワークを介してTVメーカサーバ２５（データ管理サーバ２０１）、代表として２つのCSP(Cache’ Server Pages、後述)サーバ２６と２７に接続されている。また、ＴVメーカサーバ２５、CSPサーバ２６と２７は夫々の情報（回答情報）を含むDBであるDB５D,6D,7Dを接続している。なおAないしDの構成要素については後述する。
【００４１】
サーバ１０は、各CSPサーバ（２６，２７など）や、メーカサーバ２５に問い合わせ、DB＊D（＊＝５，６，７）から必要な情報を取得する。この情報は、ユーザの想定質問に対する回答情報の予備群をなす。そして絞り込んだ情報をサーバ１０はモバイル端末へ送る。要は図１、図７のようなハードウェア構成例を基にして、図２のようなシステムを組むことができる。
【００４２】
ここで図２の構成で用いているCSPについて構成・動作を補足する。
【００４３】
CSP は、受信した HTTP (Hypertext Transport Protocol) 要求に応答して、動的なコンテンツを提供する。以下では、CSP で HTTP がどのように処理されるかという点について基本的な内容を説明する。
【００４４】
HTTP は、クライアントがサーバへ要求を送る単純なプロトコルである。HTTP はステートレス方式のプロトコルで、クライアントとサーバ間は、要求のやりとりに必要な間のみ接続される。すべての HTTP 要求には、要求のタイプ (GET や POST など)、URL、およびバージョン・ナンバーを指定する 要求ヘッダ が含まれている。また、付加情報が含まれることもある。CSP はどの HTTP 要求を処理すべきかを自動的に決定し、それを Cache’ サーバ内の適切なクラスへ配信し、要求の情報を使用しやすいオブジェクトにまとめる (%CSP.Request オブジェクトなど)。 
図２に関するCSP 実行時環境として、以下のCSP と HTTP 要求のアーキテクチャが表わされる。
【００４５】
A.HTTP クライアント (Web ブラウザなど)
B.HTTP サーバ (Apache ((R)、以下省略) や IIS ((R)、以下省略) などの Web サーバ)
C.CSP ゲートウェイ (Web サーバへの Cache’ アド・オン)
D.Cache’ サーバ (要求された CSP アプリケーションを CSP サーバで実行する場所となるサーバ)
このうちCSP ゲートウェイは、Webサーバと同一ハードウェア内に置くものとされている。
【００４６】
次に図８は、CSP が HTTP 要求を処理するときの、イベントの以下のようなフローを表している。
【００４７】
１．ブラウザ (または同様の Web クライアント) が、HTTP 要求を生成する。
【００４８】
２．Web サーバは、これが CSP 要求であると判断し、その要求を Web サーバにインストールされている CSP ゲートウェイに送信する。2a としてWeb サーバは、アプリケーション構成によっては、静的コンテンツを処理する場合がある。
【００４９】
３．CSP ゲートウェイは、その要求を再度まとめて、適切な Cache’ サーバに送信する。 
４．Cache’ サーバは、メッセージをデコードし、要求が静的ページに対してであるか、それとも CSP クラスに対してであるかを判断する。
【００５０】
.html や .jpg などの静的ファイルに対する要求であれば、Cache’ サーバはローカル・ファイル・システムでそのファイルを見つけ、4a としてそのコンテンツをクライアントに返信する。 
クラスに対する要求であれば、アプリケーションを構成するイベント処理クラスのうち、どのクラスでイベントを処理するかを決定し、そのクラスの Page メソッドを呼び出す。 
５．Page メソッドの出力または静的ページが、HTTP 応答として CSP ゲートウェイに返送される。 
６．CSP ゲートウェイは HTTP の応答を Web サーバに渡す (具体的には、応答は CSP ゲートウェイを経由して、Web サーバへ返送される)。
【００５１】
７．Web サーバは Web ブラウザに応答を返し、Web ブラウザがその応答を処理する。HTML の場合はその内容が表示される。
【００５２】
さて図３に実施形態の中心となるシステム構成を示す。本実施例では、録画機能を備えたデジタルテレビ（録画再生装置１＋モニタ１０１）、ユーザがテレビを操作したりタグリストを作成するためのモバイル端末(ユーザ端末１２)、クライアント(モバイル端末)からのリクエストを受けて画像認識／検索処理を実行し、処理結果をクライアントに返す画像認識サーバ（ＣＳＰサーバ２６，２７）、タグリストの保存／管理を行なうタグリスト管理サーバ（ＴＶメーカサーバ２５）から構成される。モバイル端末はカメラが搭載されているものとする。
【００５３】
録画機能付きデジタルテレビは、あらかじめユーザが指定したテレビ番組を映像蓄積手段である内蔵ハードディスクＨＤＤ（図１）に録画／保存する。保存するデータは映像、音声の他、番組タイトル、放送時間に関する情報などである。以下、図３を参照しながら処理手順を説明する。
【００５４】
前提として、ユーザが録画番組を視聴中、ある場面にタグを登録したくなったものの、出演者の名前が思い出せなかったり、元々知らないタレントであるため、人物名をタグに書き込めない状況を想定する。人物名をタグに登録できなければ、後で本人がそのタグリストを利用する時に、あるいは、他のタグリストシェア利用者が該当タグリストを使用する時に、その場面を人物名で頭出しすることができない。
【００５５】
そこで、モバイル端末に搭載されたカメラでテレビ画面を撮影し、撮影した画像を画像認識サーバ２６に送信して人物名を問い合わせる。撮影時には必要に応じて認識対象の人物の顔をズームアップする。画像認識サーバ２６には、撮影画像上の人物が誰なのかを認識する顔認識エンジンが組み込まれており、認識処理の結果、出力された人物名をモバイル端末に送信する。
【００５６】
モバイル端末では、受信した人物名と番組名、その場面の時刻情報からタグリストを作成し、タグリスト管理サーバ２５に送信する。タグリスト管理サーバ２５はタグリストシェア利用者からのリクエストに応じて、作成したタグリストを配信する。この結果、ユーザは番組に付加されたタグリストを参照しながら録画番組を視聴することが可能となる。
【００５７】
上記の画像認識エンジンは認識対象となる人物の画像データベースを準備し、各人物の顔画像から固有の特徴を学習することで実現される。学習は登録人数などにも依存するが一般的に非常に時間を要する処理であるため、画像データベースを用いてあらかじめオフラインで行なっておく。また、認識対象の名前が不明であっても、性別、年齢、国籍などの属性が分かる場合にはモバイル端末を通して画像認識サーバ２６に提供して候補を絞ることで処理時間や正解率を改善することができる。
【００５８】
画像認識は誤認識することがあるため、図４に示すように複数の画像認識サーバ２６，２６’、２６’ ’に問合せて認識結果の多数決を取ることで最終結果としても良い。この場合、各画像認識サーバの精度などの性能が分かっている場合には、その性能に応じて付加した重みを考慮した多数決を取っても良い。
【００５９】
また、テレビと連動した物販サービスを本実施形態に組み込むこともできる。画像認識技術を用いて情報番組などで紹介された商品の詳細情報をモバイル端末に配信するサービスがある。あらかじめ映像の特定の場面に商品情報を登録しておき、モバイル端末で撮影した画像とマッチングを行ない、対応する商品情報を視聴者に送信する。このサービスを本発明に組み込むことで、より簡単に商品情報にアクセス可能となる。
【００６０】
図５に商品情報受信システムの基本構成を示す。前述の顔認識の場合と同様にテレビ画面をモバイル端末で撮影し、画像認識サーバ２６に撮影画像と検索リクエストを送信する。画像認識サーバはこれを受信してあらかじめ登録された映像とのマッチング処理を行ない、撮影した画像に対応する商品情報をモバイル端末に配信する。
【００６１】
モバイル端末は受信した商品情報をWebブラウザなどでユーザに提供する。獲得した商品情報はタグとしてタグリスト管理サーバ２５で保存／管理され、一度検索した情報は簡単にアクセスすることができる。すなわち、商品情報は番組情報、録画日時と組み合わせてタグリスト管理サーバ２５に送信して蓄積される。蓄積されたタグリストはサービス利用者のリクエストに応じて参照され、画像認識を行なうことなく商品情報にアクセスすることができる。
【００６２】
また、図６のように画像認識サーバ２７に文字認識エンジンを備えることで、テレビ画面にスーパーインポーズされた文字や、フリップボード、モニタ画面などに表示された文字を認識してタグリストとすることも可能である。サーバから配信された認識結果の一部が誤っている場合にはユーザがモバイル端末上で編集ソフトを用いて修正後にタグリスト管理サーバに送信する。
【００６３】
上記のいずれの場合もカメラで撮影した画像を画像認識サーバに送信するとしたが、画像認識サーバがＴＶチューナを備え、全てのテレビ放送を受信し、画像認識処理を逐次行なっても良い。この場合には、モバイル端末から番組タイトルや録画日時などの番組情報を送信すれば画像を一意に指定できるため、画像自身を送信する必要はない。
【００６４】
ユーザが知らない詳細な情報をタグリストに書き込むことができる。一度行なった画像認識の結果をタグリストとして保存／管理することで同じ操作をする必要がない。
【００６５】
（実施形態の方法の補足）
以下のような映像検索システムを構成するものである。
【００６６】
（１）基本構成：タグリスト作成
テレビ放送映像を受信して蓄積するテレビ放送映像蓄積手段と、蓄積した映像をユーザに提示するテレビモニタと、蓄積されたテレビ映像中の任意の番組の任意の場面に対して付加されたタグリスト（時刻情報付きのユーザコメント）を管理する管理サーバと、テレビ画面を撮影すると共に番組情報を受信し、撮影した画像の情報と検索要求を送信するカメラ付きモバイル端末と、撮影画像と検索要求を受信して検索処理を実行し、その結果を前記モバイル端末に送信する画像認識サーバと、前記検索結果に基づいて生成したタグリストを受信して管理する管理サーバを有することを特徴とする映像検索システム。
【００６７】
（２）タグリスト利用
（１）に記載の画像検索システムを用いて作成したタグリストを使用することを特徴とする映像検索システム。
【００６８】
（３）画像認識サーバの具体例１
（１）に記載の画像認識サーバが、顔認証を行なうことを特徴とする映像検索システム。
【００６９】
（４）画像認識サーバの具体例２
（１）に記載の画像認識サーバが、文字認識を行なうことを特徴とする映像検索システム。
【００７０】
（５）複数の画像認識サーバ
（１）に記載の画像認識サーバが複数あり、それらから配信される複数の認識結果を統合して、統合された認識結果を（１）に記載の管理サーバに送信することを特徴とする映像検索システム。
【００７１】
従来のタグリストシェアは、ユーザが手動でタグリストを作成するため、例えば、ユーザが知らない出演者の名前はタグリストに登録されないという問題点がある。また、テレビ画面をキャプチャして画像認識サーバに問い合わせることで検索可能であるが、何度も同じ検索を行なうのは非効率という問題点がある。
【００７２】
実施形態の効果として、ユーザが知らないタレントがテレビに出演している場合に、画像認識サーバに問い合わせることでタレント名を調べることや、テレビショッピング番組などで詳しい商品情報を取得することが可能となる。また、検索結果をタグリストとして保存／管理することで何度も同じ検索処理を行なうことなく、再利用することができる。その他、実用的効果は多大である。
【００７３】
即ち先行技術と比べた発明の効果として、画像認識技術を駆使して、詳細なタグリストを作成可能になる。また、検索結果をタグリストとして保存／管理することで利便性を高めることができる。
【００７４】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば顔認証の他に、音声による話者認識を援用してもよい。
【００７５】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００７６】
１…録画再生装置（レコーダ装置）、３…チューナ部、５…制御ＣＰＵ部、７…録画信号処理部、９…メモリ部、１１…ネットワーク制御部、１５…ユーザ操作入力部、５１…ＧＵＩ処理部、５３…録画制御処理部、５５…タグ編集処理部、５７…ＥＰＧ情報取得部、５８…タグリスト編集処理部、９０…タイマーコントローラ、９１…電源部。
【図１】
2014002616.tif 000003
【図２】
2014002616.tif 000004
【図３】
2014002616.tif 000005
【図４】
2014002616.tif 000006
【図５】
2014002616.tif 000007
【図６】
2014002616.tif 000008
【図７】
2014002616.tif 000009
【図８】
2014002616.tif 000010