(57)【要約】【課題】受信した映像に含まれるコンテンツが切り替わる場合であっても、より確実に、コンテンツの画像認識が行われることを可能にする映像受信装置を提供する。【解決手段】時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部４９と、受信された映像から、当該映像の一部である部分映像を抽出する映像抽出部４５と、抽出された部分映像に、コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知部４６と、コンテンツ切替検知部４６による検知の結果、部分映像にコンテンツ切替が含まれないと検知された場合に、当該部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する制御を行う制御部４１とを備える。【選択図】図２
2014192629.tif 000002
【特許請求の範囲】
【請求項１】
画像認識を行う画像認識装置と接続された映像受信装置であって、
時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、
受信された前記映像から、当該映像の一部である部分映像を抽出する映像抽出部と、
抽出された前記部分映像に、前記コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知部と、
前記コンテンツ切替検知部による検知の結果、前記部分映像に前記コンテンツ切替が含まれないと検知された場合に、当該部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部と
を備える映像受信装置。
【請求項２】
前記映像抽出部は、前記映像から新たな部分映像を抽出することを繰り返し、
前記コンテンツ切替検知部は、前記映像抽出部によって前記部分映像が抽出される度に、前記検知を行い、
前記制御部は、前記コンテンツ切替検知部によって前記検知が行われる度に、前記制御を行い、前記コンテンツ切替検知部による検知の結果、前記部分映像に前記コンテンツ切替が含まれると検知された場合には、当該部分映像を前記画像認識装置に出力することなく、前記映像抽出部に対して、新たな部分映像を抽出させる
請求項１記載の映像受信装置。
【請求項３】
前記コンテンツ切替検知部は、前記部分映像に含まれるコンテンツの属性、及び、ユーザからの指示の少なくも一方に基づいて、前記検知を行う
請求項１又は２記載の映像受信装置。
【請求項４】
前記コンテンツ切替検知部は、前記部分映像に含まれるコンテンツの属性が変化した場合に、当該部分映像に前記コンテンツ切替が含まれると検知する
請求項３記載の映像受信装置。
【請求項５】
前記コンテンツの属性は、前記映像入力部によって受信される、前記部分映像が属する番組の詳細を記述した番組メタ情報が示す内容である
請求項４記載の映像受信装置。
【請求項６】
前記コンテンツの属性は、前記映像入力部によって受信される映像の著作権保護に関する情報である信号属性情報が示す内容である
請求項４記載の映像受信装置。
【請求項７】
前記コンテンツの属性は、前記映像入力部によって受信される映像又は音声の信号としての属性である
請求項４記載の映像受信装置。
【請求項８】
さらに、ユーザの操作を示す操作信号を受信する操作信号受信部を備え、
前記コンテンツ切替検知部は、前記操作信号受信部が受信した操作信号によって前記部分映像に含まれるコンテンツが切り替えられた場合に、当該部分映像に前記コンテンツ切替が含まれると検知する
請求項３記載の映像受信装置。
【請求項９】
さらに、ユーザの操作を示す操作信号を受信する操作信号受信部を備え、
前記コンテンツ切替検知部は、前記操作信号受信部が受信した操作信号によって前記部分映像にコンテンツが含まれない状態が引き起こされる場合に、当該部分映像に前記コンテンツ切替が含まれると検知する
請求項３記載の映像受信装置。
【請求項１０】
前記映像受信装置は、通信装置と接続され、さらに表示画面を備え、
前記制御部は、前記画像認識装置から画像認識の結果を取得した場合に、当該画像認識の結果に関連する情報である関連情報を前記通信装置から取得し、取得した前記関連情報を前記表示画面に表示する
請求項３記載の映像受信装置。
【請求項１１】
さらに、前記画像認識装置を備える
請求項３記載の映像受信装置。
【請求項１２】
画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法であって、
時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力ステップと、
受信された前記映像から、当該映像の一部である部分映像を抽出する映像抽出ステップと、
抽出された前記部分映像に、前記コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知ステップと、
前記コンテンツ切替検知ステップによる検知の結果、前記部分映像に前記コンテンツ切替が含まれないと検知された場合に、当該部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御ステップと
を含む受信映像の画像認識方法。
【請求項１３】
画像認識を行う画像認識装置と接続された映像受信装置のためのプログラムが記録されている非一時的なコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、請求項１２記載の画像認識方法に含まれるステップをコンピュータに実行させる
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像受信装置及び受信した映像に対する画像認識方法に関し、特に、受信した映像を外部の画像認識装置に出力して画像認識の結果を取得する映像受信装置に関する。
【背景技術】
【０００２】
近年、通信ネットワークの普及とコンピュータ技術の進展に伴い、クライアント装置が画像をサーバ装置（つまり、画像認識装置）に送信して画像認識を依頼し、その画像認識の結果をサーバ装置から取得して活用するという技術が提案されている（例えば、特許文献１参照）。また、このような画像認識技術を利用したサービス（Ｇｏｏｇｌｅ社のＧｏｏｇｌｅ  Ｇｏｇｇｌｅｓ等）も普及し始めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４２５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、このような画像認識技術を利用したサービスをＴＶ（テレビジョン受像機）等の映像受信装置に適用する場合、映像受信装置が、定期的に、受信した映像に含まれるコンテンツの一部（部分映像）を切り出して（抽出して）サーバ装置に送信し、サーバ装置にて部分映像の画像認識を行うことが考えられる。
【０００５】
しかしながら、定期的に部分映像を抽出して画像認識を繰り返す場合には、ＴＶの受信チャネルが切り替えられた場合等においては、抽出した部分映像に、コンテンツの切り替わり（以下、「コンテンツ切替」と呼ぶ）が含まれてしまうケースが生じる。その場合には、一つの部分映像に少なくとの２種類のコンテンツが含まれることになるために、サーバ装置における部分映像の画像認識において失敗してしまう可能性がある。
【０００６】
そこで、本開示は、このような問題に鑑みてなされたものであり、受信した映像に含まれるコンテンツが切り替わる場合であっても、より確実に、コンテンツの画像認識が行われることを可能にする映像受信装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本開示における映像受信装置の一形態は、画像認識を行う画像認識装置と接続された映像受信装置であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、受信された前記映像から、当該映像の一部である部分映像を抽出する映像抽出部と、抽出された前記部分映像に、前記コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知部と、前記コンテンツ切替検知部による検知の結果、前記部分映像に前記コンテンツ切替が含まれないと検知された場合に、当該部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備える。
【０００８】
なお、本開示は、画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法として実現したり、その画像認識方法での手順をコンピュータに実行させるプログラムとして実現したり、そのようなプログラムを記録したＤＶＤ等のコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
【発明の効果】
【０００９】
本開示における映像受信装置等より、受信した映像に含まれるコンテンツが切り替わる場合であっても、より確実に、コンテンツの画像認識が行われる。
【００１０】
よって、ＴＶ等で受信した映像の安定した画像認識が可能となり、認識結果を利用した多様な応用を構築できる可能性が広がり、インターネットＴＶ等の通信ネットワークを利用した映像受信装置が広く普及してきた今日における本開示の意義は極めて高い。
【図面の簡単な説明】
【００１１】
【図１】実施の形態における映像受信装置を含むコンテンツ認識システムの構成を示す図
【図２】図１における画像認識装置及び映像受信装置の構成を示すブロック図
【図３】「コンテンツ切替」の意味を説明する図
【図４Ａ】同映像受信装置による選択的な画像認識の手順を示すフローチャート
【図４Ｂ】図４Ａにおけるコンテンツ切替検知（ステップＳ１１）の詳細な手順を示すフローチャート
【図４Ｃ】図４Ａにおけるコンテンツ認識（ステップＳ１３）の詳細な手順を示すフローチャート
【図５】同映像受信装置による選択的な画像認識の概要を説明する図
【図６】同映像受信装置による選択的な画像認識が行われた場合における画像認識のタイミングを示す図
【図７】同映像受信装置のコンテンツ切替検知部による検知の概要を説明する図
【図８】同コンテンツ切替検知部によるコンテンツ切替前の映像信号の取得経路とコンテンツ切替後の映像信号の取得経路との観点から検知方法を分別する図
【図９】同コンテンツ切替検知部による検知方法の具体的な内容を説明する図
【図１０Ａ】同映像受信装置による画像認識周期の調整動作における手順を示すフローチャート
【図１０Ｂ】図１０Ａにおけるコンテンツ認識（ステップＳ４２）の詳細な手順を示すフローチャート
【図１０Ｃ】図１０Ａにおけるコンテンツ認識制御（ステップＳ４３）の詳細な手順を示すフローチャート
【図１１】同映像受信装置による画像認識周期の調整動作の概要を説明する図
【発明を実施するための形態】
【００１２】
以下、本開示における映像受信装置及び受信映像の画像認識方法の実施の形態について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。
【００１３】
また、以下で説明する実施の形態は、本開示における映像受信装置及び受信映像の画像認識方法の一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態などは一例であり、本開示における映像受信装置及び受信映像の画像認識方法を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１４】
［システムの構成］
図１は、本開示の実施の形態における映像受信装置を含むコンテンツ認識システム１０の構成を示す図である。
【００１５】
このコンテンツ認識システム１０は、外部装置での画像認識を利用して、ＴＶ等の映像受信装置４０で受信した映像に関連する広告を映像受信装置４０に表示することを可能にする通信システムであり、放送局１２、ＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）１４、画像認識装置２０、広告サイトである通信装置３０、及び、映像受信装置４０で構成される。
【００１６】
放送局１２は、ＴＶ番組及びコマーシャルメッセージ（ＣＭ）を含む、時間の経過に伴って切り替わるコンテンツを映像信号として放送する送信装置である。
【００１７】
ＳＴＢ１４は、放送局１２から送られてきた映像信号の中から、ユーザの指示に基づいて選局したコンテンツをデコードし、通信路（ここでは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ））を介して、映像受信装置４０に出力するＴＶ放送用のチューナ・デコーダである。
【００１８】
画像認識装置２０は、放送局１２から放送されているコンテンツに対する解析と、その解析結果を利用した画像認識サービスの提供とを行うＷｅｂサイト（サーバ装置）である。ここでは、放送局１２から放送された全てのコンテンツが画像認識装置２０に受信され、受信されたコンテンツに対して、速やかに、人手作業等による解析が行われ、その解析結果（コンテンツの内容、登場人物等の情報）が画像認識装置２０の記憶装置に登録される。そして、画像認識装置２０は、映像受信装置４０から部分映像を伴った画像認識要求を受けると、記憶装置に登録された画像とのマッチングを行うことによって、映像受信装置４０から送られてきた部分映像に一致するコンテンツを特定し、特定したコンテンツについて登録されている解析結果を記憶装置から読み出し、画像認識の結果として、映像受信装置４０に返信する。ここでの画像のマッチングは、例えば、フィンガープリント技術を利用して行われる。
【００１９】
通信装置３０は、映像受信装置４０が画像認識装置２０から取得した画像認識の結果に関連する情報を配信するＷｅｂサイトであり、ここでは、様々な商品の広告を保持して配信する広告配信サイトである。
【００２０】
映像受信装置４０は、通信ネットワークを介して画像認識装置２０及び通信装置３０と接続されたＴＶ（テレビ受像機）等の映像受信装置である。この映像受信装置４０は、受信した映像を切り出すことで部分映像を抽出して画像認識装置２０に送信することで、画像認識装置２０から部分映像に対する画像認識の結果を取得し、取得した画像認識の結果に関連する広告を通信装置３０から取得して画面に表示することで、受信した映像と併せて、その映像に関連する広告もリアルタイムに表示する。
【００２１】
図２は、図１における画像認識装置２０及び映像受信装置４０の構成を示すブロック図である。
【００２２】
画像認識装置２０は、映像受信装置４０に対して通信ネットワーク１６を介して画像認識のサービスを提供するサーバ装置であり、ＨＴＴＰ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）送受信部２１、コンテンツ検索部２２及びコンテンツ格納部２３を備える。
【００２３】
ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０と通信するインターフェイスであり、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ用の通信アダプタである。
【００２４】
コンテンツ格納部２３は、放送局１２から放送されたコンテンツのフィンガープリント（例えば、動画を構成する各ピクチャのハッシュ値）と、コンテンツに対する解析結果とを、コンテンツ毎に対応づけて保持する記憶装置であり、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）を有するコンピュータ等である。たとえば、コンテンツ格納部２３は、放送局１２から放送された全チャネル（例えば、３００チャネル）について、放送から少しの時間遅れ（例えば、１０秒）で、コンテンツ（番組及びＣＭ）ごとに、フィンガープリントと、解析結果（番組／ＣＭのタイトル、番組／ＣＭのあらすじ、登場人物、映像に関連する場所等）とを対応づけて格納している。
【００２５】
コンテンツ検索部２２は、ＨＴＴＰ送受信部２１を介して映像受信装置４０から部分映像を伴う画像認識の要求を受けたときに、その部分映像の画像認識を行い、その結果を、ＨＴＴＰ送受信部２１を介して映像受信装置４０に返信する処理部であって、画像認識処理部として機能する。そのために、コンテンツ検索部２２は、映像受信装置４０から部分映像を伴う画像認識の要求を受けたときには、その部分映像のフィンガープリントを生成し、コンテンツ格納部２３に格納されているフィンガープリントとのマッチングによる探索を行うことによって、部分映像が属するコンテンツを特定し、特定したコンテンツに対応づけられた解析結果をコンテンツ格納部２３から読み出し、画像認識の結果として、ＨＴＴＰ送受信部２１を介して映像受信装置４０に返信する。
【００２６】
映像受信装置４０は、画像認識を利用することで、受信した映像と併せて、その映像に関連する情報（ここでは、広告）をリアルタイムに表示する装置であり、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４ａ、表示画面４４ｂ、映像抽出部４５、コンテンツ切替検知部４６、認識周期決定部４７、付加情報格納部４８、及び、映像入力部４９を備える。
【００２７】
ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して画像認識装置２０と通信するインターフェイスであり、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ用の通信アダプタである。
【００２８】
操作信号受信部４３は、映像受信装置４０に対するユーザの操作を示す操作信号をリモコン等の操作部から受信する回路である。なお、操作信号受信部４３は、さらに、ジャイロセンサを有するリモコン等から当該リモコン等の物理的な動きに関する情報を受信してもよい。
【００２９】
映像入力部４９は、時間の経過に伴って切り替わるコンテンツ（つまり、番組及びＣＭ）を含む映像を、操作信号受信部４３で受信された操作信号に従って選局して受信する受信回路及びデコーダ等であり、映像受信部４９ａ、第１外部入力部４９ｂ及び第２外部入力部４９ｃを有する。映像受信部４９ａは、アンテナ等から送られてくる映像信号（ＴＶ放送信号）を受信する回路である。第１外部入力部４９ｂ及び第２外部入力部４９ｃは、ＳＴＢ１４及び映像記録再生装置等の外部機器からの映像信号（外部入力映像信号）を受信するインターフェイスである。
【００３０】
映像出力部４４ａは、映像入力部４９で受信された映像を表示画面４４ｂに出力する表示制御回路である。
【００３１】
表示画面４４ｂは、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）又はＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等のディスプレイである。
【００３２】
認識周期決定部４７は、映像入力部４９で受信された映像に対する画像認識を繰り返す際の周期を決定する処理部である。たとえば、認識周期決定部４７は、３秒、４秒、・・、１５秒の合計１３種類の周期のいずれかを決定する。このとき、認識周期決定部４７は、映像入力部４９で受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し（ただし、最小の周期になっている場合にはそのままにし）、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する（ただし、最大の周期になっている場合にはそのままにする）。
【００３３】
なお、「コンテンツ切替」とは、図３の矢印に示されるように、ある番組からＣＭへの切り替わり、あるＣＭから他のＣＭへの切り替わり、あるＣＭから番組への切り替わり、及び、ある番組から他の番組への切り替わり等である。なお、ある番組から他の番組への切り替わりには、図３に示されるように、地上波における番組の切り替わり、地上波と外部入力間における番組の切り替わり、外部入力における番組の切り替わりが含まれる。
【００３４】
映像抽出部４５は、映像入力部４９で受信された映像に対して、認識周期決定部４７で決定された周期で、映像の一部である部分映像を抽出する処理部である。このとき、映像抽出部４５は、認識周期決定部４７で決定された周期で、所定時間分（例えば、３秒間）の映像を切り出す。よって、例えば、映像抽出部４５は、認識周期決定部４７で決定された周期が３秒である場合には、３秒毎に３秒間の部分映像を抽出すること（つまり、隙間なく、３秒ごとの映像を切り出すこと）を繰り返し、あるいは、認識周期決定部４７で決定された周期が１５秒である場合には、１５秒毎に３秒間の部分映像を抽出すること（つまり、１２秒の間隔をおいて３秒間の部分映像を切り出すこと）を繰り返す。
【００３５】
コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に、コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知する処理部である。より詳しくは、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性、及び、ユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）の少なくも一方に基づいて、映像にコンテンツ切替が含まれるか否かを検知する。
【００３６】
付加情報格納部４８は、映像入力部４９で受信されたＥＰＧ等の番組メタ情報を格納する記憶装置であり、例えば、不揮発性メモリ等である。
【００３７】
制御部４１は、映像受信装置４０が備える各構成要素を制御する処理部であり、例えば、プログラム（アプリケーションプログラム等）を格納しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、及び、ＣＰＵによる実行時の一時的な作業領域としてのＲＡＭ等の揮発性メモリ等から構成される。
【００３８】
その制御の一つとして、制御部４１は、映像抽出部４５によって部分映像が抽出される度に、抽出された部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する制御を行う。そのときに、制御部４１は、コンテンツ切替検知部４６による検知の結果、部分映像にコンテンツ切替が含まれないと検知された場合に、当該部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する。画像認識装置２０から画像認識の結果を取得すると、制御部４１は、当該画像認識の結果に関連する情報である関連情報（ここでは、広告）を、通信ネットワーク１６を介して通信装置３０から取得し、取得した関連情報（ここでは、広告）を映像出力部４４ａによって表示画面４４ｂに表示させる。
【００３９】
以上のように構成された本実施の形態におけるコンテンツ認識システム１０の特徴的な機能は、次の２点である。
【００４０】
（１）選択的な画像認識
一つ目の特徴は、映像受信装置４０の制御部４１が、映像抽出部４５で次々に抽出される部分映像に対して、コンテンツ切替検知部４６でコンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置２０に画像認識を行わせる点である。つまり、制御部４１は、コンテンツ切替が含まれる部分映像については、画像認識装置２０に画像認識を行わせない。これによって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置４０における無駄な処理が回避される。
【００４１】
（２）画像認識の周期が可変であること
二つ目の特徴は、映像受信装置４０の認識周期決定部４７が、映像入力部４９で受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する点である。これによって、画像認識に伴う映像受信装置４０での処理負荷が軽減されるとともに、画像認識のタイミングが自動調整され、コンテンツごとに画像認識が行われる可能性が高まる。
【００４２】
なお、以上の２つの特徴的な機能は、必ずしも両方が同時に機能している必要はなく、一方だけが機能していればよい。つまり、映像受信装置４０は、コンテンツ切替検知部４６及び認識周期決定部４７について、両方を備える必要はなく、少なくとも一方を備えればよい。このような機能の選択は、例えば、ユーザによる映像受信装置４０に対する事前の設定によって決定される。また、映像受信装置４０が認識周期決定部４７を備えない場合には、映像受信装置４０は、予め定められた固定の周期、又は、ユーザによって設定される可変の周期で、画像認識を繰り返す。
【００４３】
［システムの動作］
以下、本実施の形態におけるコンテンツ認識システム１０における特徴的な機能における動作について説明する。
【００４４】
（１）選択的な画像認識の動作
まず、本コンテンツ認識システム１０における映像受信装置４０による選択的な画像認識の動作について説明する。
【００４５】
図４Ａは、本コンテンツ認識システム１０における映像受信装置４０による選択的な画像認識の手順を示すフローチャートである。図５は、このような映像受信装置４０による選択的な画像認識の概要を説明する図である。
【００４６】
まず、映像抽出部４５は、映像入力部４９で受信された映像に対して、認識周期決定部４７で決定された周期、あるいは、予め定められた周期で、映像の一部である部分映像を抽出する（ステップＳ１０、図５の「映像抽出」）。たとえば、映像抽出部４５は、１５秒に１回の頻度で、３秒間の部分映像を抽出する。
【００４７】
次に、コンテンツ切替検知部４６は、コンテンツ切替検知を行う（ステップＳ１１、図５の「コンテンツ切替検知」）。つまり、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像にコンテンツ切替が含まれるか否かを検知する。
【００４８】
その結果、部分映像にコンテンツ切替が含まれると判断された場合には（ステップＳ１２でＹｅｓ）、制御部４１は、当該部分映像については画像認識を行うことなく、映像抽出部４５に、次の部分映像を抽出させる（つまり、再抽出をさせる）。なお、この再抽出については、制御部４１は、認識周期決定部４７で決定された周期を待つことなく、上記判断の後、直ちに、映像抽出部４５に再抽出を実行させる。
【００４９】
一方、部分映像にコンテンツ切替が含まれないと判断された場合には（ステップＳ１２でＮｏ）、制御部４１は、当該部分映像についてのコンテンツ認識、つまり、当該部分映像を画像認識装置２０に送信することにより、画像認識装置２０に対して当該部分映像の画像認識を行わせる（ステップＳ１３、図５の「コンテンツ認識」）。
【００５０】
そして、制御部４１は、画像認識装置２０から画像認識の結果を取得することで、部分映像が属するコンテンツ（例えば、番組又はＣＭ）を特定できたか否かを判断し（ステップＳ１４）、特定できた場合には（ステップＳ１４でＹｅｓ）、当該部分映像が属するコンテンツに対する画像認識を終了し、一方、特定できない場合には（ステップＳ１４でＮｏ）、次の部分映像についての処理（ステップＳ１０〜Ｓ１３）を繰り返す（ステップＳ１４でＮｏ）。なお、コンテンツの特定における判断基準の例として、例えば、連続する所定個数の部分映像に対して画像認識装置２０が同一の画像認識の結果を出力した場合に、それらの部分映像が属するコンテンツを特定できたと判断してもよい。
【００５１】
なお、以上の処理（ステップＳ１０〜Ｓ１４）は、一つのコンテンツの特定に着目した処理であり、このようなコンテンツの特定が繰り返されてもよい。つまり、上記処理フローでは最後にコンテンツ単位の特定（ステップＳ１４）が行われたが、この処理は必ずしも必要ではなく、コンテンツを特定できた否かに拘わらず、常に、コンテンツ切替が含まれない部分映像に対する画像認識を繰り返してもよい。その場合には、ステップＳ１３の後に、ステップＳ１４の判断を行うことなく、ステップＳ１０に戻ってもよい。
【００５２】
図４Ｂは、図４Ａにおけるコンテンツ切替検知（ステップＳ１１）の詳細な手順を示すフローチャートである。
【００５３】
コンテンツ切替検知（ステップＳ１１）では、コンテンツ切替検知部４６は、まず、コンテンツ切替操作を検知したか否かを判断する（ステップＳ２０、図５の「操作信号検知」）。ここで、コンテンツ切替操作とは、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）を意味する。なお、コンテンツ切替操作の具体例については、後述する。
【００５４】
その結果、コンテンツ切替操作を検知した場合には（ステップＳ２０でＹｅｓ）、コンテンツ切替検知部４６は、「コンテンツ切替要因あり」を示す情報を制御部４１に出力する（ステップＳ２３）。これによって、制御部４１は、コンテンツ切替検知部４６によって部分映像にコンテンツ切替が含まれると判断されたことを知る。
【００５５】
一方、コンテンツ切替操作を検知しない場合には（ステップＳ２０でＮｏ）、コンテンツ切替検知部４６は、続いて、コンテンツ切替を示す情報を検知したか否かを判断する（ステップＳ２１）。このとき、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性に変化があったか否か検知することで、コンテンツ切替を示す情報を検知したか否かを判断する（図５の「特定映像」、「映像変化量：大」）。なお、コンテンツ切替を示す情報の検知の具体例については、後述する。
【００５６】
その結果、コンテンツ切替を示す情報を検知した場合には（ステップＳ２１でＹｅｓ）、コンテンツ切替検知部４６は、「コンテンツ切替要因あり」を示す情報を制御部４１に出力する（ステップＳ２３）。
【００５７】
一方、コンテンツ切替を示す情報を検知しなかった場合には（ステップＳ２１でＮｏ）、コンテンツ切替検知部４６は、「コンテンツ切替要因なし」を示す情報を制御部４１に出力する（ステップＳ２２）。これによって、制御部４１は、コンテンツ切替検知部４６によって部分映像にコンテンツ切替が含まれないと判断されたことを知る。
【００５８】
図４Ｃは、図４Ａにおけるコンテンツ認識（ステップＳ１３）の詳細な手順を示すフローチャートである。ここでは、映像受信装置４０から送信された部分映像に対する画像認識装置２０の処理手順が示されている。
【００５９】
画像認識装置２０は、映像受信装置４０から、画像認識の要求とともに部分映像を受信すると（ステップＳ３０）、上述したフィンガープリントのマッチング等を用いて、その部分映像が属するコンテンツ（番組又はＣＭ）を推定する（ステップＳ３１）。つまり、画像認識装置２０のコンテンツ検索部２２は、映像受信装置４０から受信した部分映像のフィンガープリントを生成し、コンテンツ格納部２３に格納されているフィンガープリントとのマッチングによる探索を行うことによって、部分映像が属するコンテンツを特定し、特定したコンテンツに対応づけられた解析結果を、画像認識の結果として、コンテンツ格納部２３から読み出す。たとえば、コンテンツ検索部２２は、受信した部分映像は「ＡＢＣニュース番組」であり、「司会者はＤＥＦさんである」という画像認識結果を得る。
【００６０】
そして、画像認識装置２０のコンテンツ検索部２２は、取得した画像認識の結果を、ＨＴＴＰ送受信部２１を介して映像受信装置４０に送信する（ステップＳ３２）。
【００６１】
なお、画像認識の結果として、一つの画像認識結果だけでなく、複数の画像認識結果が含まれてもよい。そして、複数の画像認識結果のそれぞれに対する尤度（例えば、確率）が付加されていてもよい。これによって、このような画像認識結果を取得した映像受信装置４０は、その画像認識結果に含まれる尤度から、部分映像が属するコンテンツを特定できたか否かを判断することができる。たとえば、８０％を超える認識確率が付与された画像認識結果が含まれる場合に、コンテンツを特定できたと判断できる。
【００６２】
図６は、以上の処理フローに従って映像受信装置４０が選択的な画像認識を行った場合における画像認識のタイミングを示す図である。本図において、「放送」は、放送コンテンツの時間変化を示す。「常時認識」は、コンテンツ切替が含まれるか否かに拘わらず常に画像認識を行う従来技術における画像認識の結果を示す。「本実施の形態」は、コンテンツ切替が含まれない場合に画像認識を行う本実施の形態における選択的な画像認識の結果を示す。
【００６３】
図６に示されるように、「放送」のコンテンツにおいて、「ニュースＡ」から「ＣＭ」に切り替わったとき、及び、「ニュースＡ」から「ニュースＢ」に切り替わったときには、従来の「常時認識」によれば、画像認識が失敗する。そのために、「ニュースＡ」の直後の「ＣＭ」に対する画像認識が行われない結果となってしまう。
【００６４】
一方、「本実施の形態」によれば、コンテンツ切替検知部４６によってそのようなコンテンツ切替が検知され、当該部分映像に対する画像認識を行うことなく、直ちに、新たな部分映像の再抽出が行われる。そして、再抽出された部分映像にコンテンツ切替が含まれない場合には、その部分映像に対する画像認識が行われる。これにより、部分映像にコンテンツ切替が含まれることが検知された場合には、無駄な画像認識（画像認識の失敗）が回避されるとともに、その直後の部分映像の再抽出による画像認識が行われるので、コンテンツ切替の後に配信されてくるコンテンツに対する早いタイミングでの画像認識が可能になる。よって、図６の例において、「ニュースＡ」の直後の「ＣＭ」に対する画像認識が行われる。
【００６５】
以上のように、本実施の形態によれば、部分映像にコンテンツ切替が含まれることが検知された場合には、当該部分映像に対する画像認識を行うことなく、新たな部分映像の再抽出が行われる。よって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、コンテンツ切替の後に配信されてくるコンテンツに対する早いタイミングでの画像認識が可能になる。
【００６６】
なお、本実施の形態では、部分映像にコンテンツ切替が含まれると判断された場合に、認識周期決定部４７で決定された周期を待つことなく、直ちに、新たな部分映像が再抽出されたが、上記周期を待って再抽出をしてもよい。その場合であっても、コンテンツ切替が含まれる部分映像の画像認識が行われることがないので、画像認識の失敗に伴う無駄な処理は回避される。
【００６７】
図７は、コンテンツ切替検知部４６による検知の概要を説明する図である。
【００６８】
ここでは、リモコン５０による操作によって生じ得るコンテンツ切替の様々なケースが示されている。たとえば、図７の最上段に示されるように、映像受信装置４０が放送局１２からの地上波を受信している場合には、リモコン５０によって、地上波内でのチャネル切替が行われ、映像受信装置４０はリモコン５０からの操作信号を検知して、コンテンツ切替を判断できる。また、図７の２段目に示されるように、映像受信装置４０が放送局１２、及び、ＳＴＢ１４等からの複数の映像信号を、ＨＤＭＩ（登録商標）等の通信媒体を介して受信している場合には、映像受信装置４０はリモコン５０からのＳＴＢ等に対する操作信号を検知することができず、コンテンツ切替を映像検知で行う必要がある。また、図７の３段目に示されるように、映像受信装置４０がインターネットからの映像信号を受信している場合には、リモコン５０によって、外部入力映像信号におけるチャネル切替が行われ、映像受信装置４０はリモコン５０からの操作信号を検知して、コンテンツ切替を判断できる。さらに、図７の最下段に示されるように、映像受信装置４０がパーソナルコンピュータ（ＰＣ）からの映像信号を受信している場合には、リモコン５０からのＰＣに対する操作信号を検知できず、コンテンツ切替を映像検知で行う必要がある。
【００６９】
このように、図７に示されるように、映像受信装置４０で視聴する映像信号をどの経路で取得するかによって、コンテンツ切替を操作信号の検知で行うか映像検知で行うかを判断する必要がある。
【００７０】
図８は、コンテンツ切替検知部４６によるコンテンツ切替前の映像信号の取得経路とコンテンツ切替後の映像信号の取得経路の観点から検知方法を分別する図である。
【００７１】
ここでは、コンテンツ切替検知部４６がどのような観点で部分映像にコンテンツ切替が含まれるかを検知するかを示す表が図示されている。より具体的には、本図には、映像受信部４９ａで受信される「地上波」、第１外部入力部４９ｂで受信される映像である「外部入力１」、及び、第２外部入力部４９ｃで受信される映像である「外部入力２」の３種類の入力映像に含まれる番組及びＣＭの合計６種類の映像ソース・コンテンツを対象として、コンテンツ切替の前後（各行及び各列）でとり得る組み合わせのすべてのケース（図８における３６個のマス）について、コンテンツ切替検知部４６による「操作検知」の可否、及び、「映像検知」の必要の有無が示されている。ここで、「操作検知」とは、図４Ｂにおけるコンテンツ切替操作の検知（ステップＳ２０）に相当し、具体的には、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）によって、部分映像にコンテンツ切替が含まれることを検知することである。また、「映像検知」とは、図４Ｂにおけるコンテンツ切替を示す情報の検知（ステップＳ２１）に相当し、具体的には、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性に変化があったか否か検知することで、部分映像にコンテンツ切替が含まれることを検知することである。
【００７２】
たとえば、図８において、「地上波」における「番組」と記載された行と、「地上波」における「番組」と記載された列とが交差するマスは、地上波のある番組から地上波の他の番組への切り替えのケースに相当する。このマスには、「操作検知：検知可能」、及び、「映像検知：必要無し」と記載されているように、このケースでは、コンテンツ切替検知部４６による操作検知だけによって、部分映像にコンテンツ切替が含まれることが検知され得る。また、図８において、「地上波」における「ＣＭ」と記載された行と、「地上波」における「ＣＭ」と記載された列とが交差するマスは、地上波のあるＣＭから地上波の他のＣＭへの切り替えのケースに相当する。このマスには、「操作検知：検知不可」、及び、「映像検知：必要」と記載されているように、このケースでは、コンテンツ切替検知部４６による映像検知だけによって、部分映像にコンテンツ切替が含まれることが検知され得る。
【００７３】
このように、図８に示される表から分かるように、コンテンツ切替検知部４６による操作検知及び映像検知により、様々な種類の映像ソース・コンテンツ間での切り替えが検知され得る。
【００７４】
図９は、コンテンツ切替検知部４６による検知方法の具体的な内容を説明する図である。
【００７５】
ここでは、コンテンツ切替検知部４６がどのような情報に基づいて部分映像中のコンテンツ切替を検知するかを示す表が図示されている。具体的には、図９には、「コンテンツ切替の要因」ごとに、「検知方法」及び「検知対象」が示されている。
【００７６】
ここで、「コンテンツ切替の要因」における「番組移行やＣＭ等の放送内における（ネットワーク内の）コンテンツ切替」は、映像受信装置４０に対する操作が発生していない（操作信号に変化がない）のにコンテンツ切替が発生するケースである。たとえば、映像受信装置４０に接続された外部チューナであるＳＴＢ１４に対するチャネル切替操作が行われたケースが相当する。この場合には、映像受信装置４０に対する操作が発生していない（操作信号に変化がない）のにコンテンツ切替が発生する。
【００７７】
また、「コンテンツ切替の要因」における「リモコン操作等放送切替による（ネットワーク間の）コンテンツ切替」は、映像受信装置４０への映像入力の切り替えによってコンテンツ切替が発生するケースである。たとえば、映像入力部４９における３種類の映像信号入力（映像受信部４９ａ、第１外部入力部４９ｂ及び第２外部入力部４９ｃへの入力）において切り替えが行われたケースが相当する。
【００７８】
本図に示されるように、「コンテンツ切替の要因」が「番組移行やＣＭ等の放送内における（ネットワーク内の）コンテンツ切替」であるケースについては、コンテンツ切替検知部４６は、「コンテンツ属性変化」、つまり、部分映像に含まれるコンテンツの属性が変化したか否かを検出することによって、部分映像にコンテンツ切替が含まれるか否かを検知する。ここで、「コンテンツ属性変化」の検知には、図９に示されるように、「番組メタ情報の利用」による検知、「信号属性情報の変化」の検知、及び、「映像、音声の属性変化」の検知が含まれ、それぞれの検知における具体的な検知対象は、図９の「検知対象」に記載されている通りである。
【００７９】
つまり、コンテンツ切替検知部４６は、部分映像に含まれるコンテンツの属性が変化した場合に、当該部分映像にコンテンツ切替が含まれると検知する。そして、コンテンツの属性は、映像入力部４９によって受信される、部分映像が属する番組の詳細を記述した番組メタ情報（付加情報格納部４８に格納されたＥＰＧ情報等）が示す内容であってもよいし、映像入力部４９によって受信される映像の著作権保護に関する情報である信号属性情報（著作権、有料／無料に関する情報等）が示す内容であってもよいし、映像入力部４９によって受信される映像又は音声の信号としての属性（画像解像度、オーディオチャネル数等）であってもよい。
【００８０】
また、「コンテンツ切替の要因」が「リモコン操作等放送切替による（ネットワーク間の）コンテンツ切替」であるケースに対しては、コンテンツ切替検知部４６は、「切替信号検知」及び「特定コンテンツ検知」によって、部分映像にコンテンツ切替が含まれるか否かを検知する。ここで、「切替信号検知」とは、図８における「操作検知」、及び、図４Ｂにおけるコンテンツ切替操作の検知（ステップＳ２０）に相当し、具体的には、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）によって、部分映像にコンテンツ切替が含まれることを検知することである（図９の「操作情報の検知」、及び、その「検知対象」を参照）。また、「特定コンテンツ検知」とは、操作信号によらずに映像信号自体からコンテンツ切替の検知が可能なコンテンツ（つまり、特定コンテンツ）を検知することによって、部分映像にコンテンツ切替が含まれることを検知することである（図９の「ソース有無の検知」、及び、その「検知対象」を参照）。
【００８１】
つまり、コンテンツ切替検知部４６は、操作信号受信部４３が受信した操作信号によって部分映像に含まれるコンテンツが切り替えられた場合に、当該部分映像にコンテンツ切替が含まれると検知してもよいし（図９の「操作情報の検知」）、操作信号受信部４３が受信した操作信号によって部分映像にコンテンツが含まれない状態が引き起こされる場合（図９の「ソース有無の検知」における「ビデオブラックミュート」、「音声ミュート」）等に、当該部分映像にコンテンツ切替が含まれると検知してもよい。
【００８２】
このように、図９に示される表から分かるように、コンテンツ切替検知部４６による操作検知及び映像検知の少なくとも一つに基づいて、部分映像にコンテンツ切替が含まれることが検知される。
【００８３】
以上のように、本実施の形態における映像受信装置４０は、コンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置２０での画像認識を行う。これによって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置４０における無駄な処理が回避される。
【００８４】
（２）画像認識周期の調整動作
次に、本コンテンツ認識システム１０における映像受信装置４０による画像認識周期の調整動作について説明する。
【００８５】
図１０Ａは、本コンテンツ認識システム１０における映像受信装置４０による画像認識周期の調整動作における手順を示すフローチャートである。
【００８６】
まず、認識周期決定部４７は、映像入力部４９で受信された映像に対する画像認識を繰り返す際の周期を決定する（ステップＳ４０）。
【００８７】
次に、映像抽出部４５は、ステップＳ４０で決定された周期で、映像入力部４９で受信された映像から、部分映像を抽出する（ステップＳ４１）。
【００８８】
次に、制御部４１は、画像認識装置２０にコンテンツ認識処理を行わせる（ステップＳ４２）。つまり、制御部４１は、映像抽出部４５がステップＳ４１で抽出した部分映像に関する情報を画像認識装置２０に送信し、画像認識装置２０に対して当該部分映像の画像認識を行わせ、その結果を受信する。コンテンツ認識処理の詳細については、後述する。
【００８９】
次に、認識周期決定部４７は、コンテンツ認識制御処理を行う（ステップＳ４３）。認識周期決定部４７は、ステップＳ４２のコンテンツ認識結果に応じて映像抽出周期を変更又は維持する。コンテンツ認識制御処理の詳細については、後述する。
【００９０】
次に、認識周期決定部４７は、ステップＳ４３のコンテンツ認識制御処理の結果に基づいて、映像抽出周期を変更するか否かを判定する（ステップＳ４４）。ステップＳ４４の判定の結果、映像抽出周期を変更すると判定した場合には（ステップＳ４４でＹｅｓ）、ステップＳ４０に戻り、変更後の映像抽出周期を用いてステップＳ４１以降の一連の処理を実行する。
【００９１】
一方、ステップＳ４４の判定の結果、映像抽出周期を維持する（変更しない）と判定した場合には（ステップＳ４４でＮｏ）、制御部４１は、コンテンツ認識を終了させるか否かを判定する（ステップＳ４５）。ステップＳ４５の判定の結果、コンテンツ認識を終了させない（コンテンツ認識を継続する）と判定されたら、ステップＳ４１の処理へ戻る。一方、ステップＳ４５の判定の結果、コンテンツ認識を終了させると判定されたら、以上の一連の処理を終了する。
【００９２】
図１０Ｂは、図１０Ａにおけるコンテンツ認識（ステップＳ４２）の詳細な手順を示すフローチャートである。
【００９３】
コンテンツ認識処理では、まず、制御部４１は、映像抽出部４５が抽出した部分映像に関する映像情報を取得する（ステップＳ５０）。
【００９４】
次に、制御部４１は、ステップＳ５０で取得した映像情報に関するコンテンツ認証情報を算出する（ステップＳ５１）。コンテンツ認証情報とは、部分映像を画像認識装置２０で認識させるために、部分映像を圧縮又は暗号化した情報であり、フィンガープリントに相当する。
【００９５】
次に、制御部４１は、ステップＳ５１で算出したコンテンツ認証情報をネットワーク１６を介して画像認識装置２０に送信する（ステップＳ５２）。
【００９６】
次に、制御部４１は、ステップＳ５２で送信したコンテンツ認証情報に対して画像認識装置２０が認識した結果であるコンテンツ情報を受信する（ステップＳ５３）。
【００９７】
次に、制御部４１は、ステップＳ５３で受信したコンテンツ情報を記憶部（図示せず）に格納する（ステップＳ５４）。なお、制御部４１は、コンテンツ情報を付加情報格納部４８に格納させてもよい。
【００９８】
図１０Ｃは、図１０Ａにおけるコンテンツ認識制御（ステップＳ４３）の詳細な手順を示すフローチャートである。図１１は、映像受信装置４０による画像認識周期の調整動作の概要を説明する図である。
【００９９】
コンテンツ認識制御処理では、まず、認識周期決定部４７は、ステップＳ４２のコンテンツ認識処理の結果から、特定コンテンツを検知する（ステップＳ６０）。ここで、特定コンテンツとは、例えば、時間経過に伴って切り替わる可能性が高いコンテンツ、又は、短時間で終了することが知られているコンテンツ（例えば、ＣＭ）である。認識周期決定部４７は、ステップＳ４２のコンテンツ認識処理の結果から、コンテンツ認識処理の対象となった部分映像から特定コンテンツを検知する。
【０１００】
次に、認識周期決定部４７は、ステップＳ６０で特定コンテンツを検知したか否かを判定する（ステップＳ６１）。その結果、特定コンテンツを検知した場合には（ステップＳ６１でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
【０１０１】
一方、認識周期決定部４７は、特定コンテンツを検知しない場合には（ステップＳ６１でＮｏ）、コンテンツ認識変化量を算出する（ステップＳ６２）。コンテンツ認識変化量とは、ステップＳ４２のコンテンツ認識処理の結果の変化の度合いを示す量である。例えば、コンテンツ認識結果が、視聴チャンネルに確率的に対応付けられる場合には、その確率がコンテンツ認識変化量に相当する。具体的には、６チャンネルと８チャンネルとで同時刻に同一の内容のＣＭが放送される場合、当該部分映像に対するコンテンツ認識結果が「６チャンネル：５０％、８チャンネル：５０％」となることがある。これは、当該部分映像からは６チャンネル及び８チャンネルのいずれかであると認識されるが、６チャンネルであるか、又は８チャンネルであるかは特定できない、という場合に発生しうる。また、上記とは異なり、当該部分映像の中の５０％に相当する時間の部分が６チャンネルであり、当該部分映像の中の別の５０％に相当する時間の部分が８チャンネルであることが、コンテンツ認識により認識された場合にも発生しうる。
【０１０２】
次に、認識周期決定部４７は、ステップＳ６２で算出したコンテンツ認識変化量に基づいて、コンテンツ認識に変化があるか否かを判定する（ステップＳ６３）。認識周期決定部４７は、当該部分映像のコンテンツ認識の結果と、当該部分映像の１回前のコンテンツ認識の結果とを比較し、コンテンツ認識結果に変化があるか否かを判定する。具体的には、当該部分映像の１回前のコンテンツ認識の結果が、「６チャンネル：１００％」であり、当該部分映像のコンテンツ認識の結果が、「６チャンネル：５０％、８チャンネル：５０％」である場合には、コンテンツ認識結果に変化があると、認識周期決定部４７は判定する。ステップＳ６３の判定の結果、コンテンツ認識結果に変化があると認識周期決定部４７が判定した場合には（ステップＳ６３でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
【０１０３】
一方、ステップＳ６３の判定の結果、コンテンツ認識結果に変化がないと認識周期決定部４７が判定した場合には（ステップＳ６３でＮｏ）、認識周期決定部４７は、操作挙動を検知する（ステップＳ６４）。操作挙動とは、例えば、映像受信装置４０のリモコンを用いてユーザが行う操作、又は当該リモコン等の物理的な動きである。映像受信装置４０のリモコンを用いてユーザが行う操作とは、映像受信装置４０のチャンネル切替、音量の切替、又は映像ソースの切替などである。また、リモコン等の物理的な動きとは、リモコン等に搭載されるジャイロセンサが検出する当該リモコンの物理的な動きであって、ユーザが当該リモコンを所持又は操作する際の動きのことである。操作挙動は、操作信号受信部４３により受信される。なお、ジャイロセンサが検出する動きを全てリモコンの物理的な動きとして捉えるのではなく、予め定められた閾値よりも大きな動きをしている場合のみ、リモコンの物理的な動きとして捉えてもよい。このようにすることで、リモコンの微小な動きを検出しないようにすることができ、ユーザが行う操作を検出する精度を向上させることができる。
【０１０４】
認識周期決定部４７がステップＳ６４で操作挙動を検知した場合には（ステップＳ６５でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
【０１０５】
一方、認識周期決定部４７がステップＳ６４で操作挙動を検知しなかった場合には（ステップＳ６５でＮｏ）、映像抽出周期を維持するとして（ステップＳ６６）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期を維持する（変更しない）、又は、映像抽出周期をより大きな値に変更すると判定される。
【０１０６】
以上に示すコンテンツ認識制御処理ステップＳ４３によって、部分映像に特定コンテンツが検知された場合、コンテンツ認識変化がある場合、又は操作挙動の検知がある場合には、次に行われるステップＳ４４において映像抽出周期をより小さな値に変更することができる。上記のいずれかに該当する場合には、コンテンツ認識処理の対象とした部分映像のコンテンツ認識結果に対して、次の部分映像に対するコンテンツ認識結果が変化する可能性があると判断される。このような場合には、映像抽出周期をより小さな値にすることで次のコンテンツ認識をより早いタイミングで行うことで、コンテンツの変化にコンテンツ認識結果を追随させることができる（図１１の「常時コンテンツ認識」）。
【０１０７】
一方、上記のいずれにも該当しない場合には、次に行われるステップＳ４４において映像抽出周期を維持する（変更しない）、又は、映像抽出周期をより大きな値に変更することができる。この場合には、コンテンツ認識処理の対象とした部分映像のコンテンツ認識結果に対して、次の部分映像に対するコンテンツ認識結果が変化する可能性がないと判断される。このような場合には、映像抽出周期を維持する（変更しない）ことで次のコンテンツ認識までの間隔を長くあけ、映像受信装置４０の処理負荷を低減することができる。なお、このような場合に、映像抽出周期をより大きな値とすることで、映像受信装置４０の処理負荷をより大きく低減することができる（図１１の「１５秒に１回でコンテンツ認識」）。
【０１０８】
以上のように、本実施の形態における映像受信装置４０は、受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する。これによって、画像認識に伴う映像受信装置４０での処理負荷が軽減されるとともに、画像認識のタイミングが自動調整され、コンテンツごとに画像認識が行われる可能性が高まる。
【０１０９】
以上のように、本実施の形態における映像受信装置は、画像認識を行う画像認識装置と接続された映像受信装置であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、受信された前記映像から、当該映像の一部である部分映像を抽出する映像抽出部と、抽出された前記部分映像に、前記コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知部と、前記コンテンツ切替検知部による検知の結果、前記部分映像に前記コンテンツ切替が含まれないと検知された場合に、当該部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備える。
【０１１０】
これにより、映像受信装置は、コンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置での画像認識を行う。これによって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置における無駄な処理が回避される。よって、受信した映像に含まれるコンテンツが切り替わる場合であっても、より確実に、コンテンツの画像認識が行われる。
【０１１１】
また、本実施の形態では、前記映像抽出部は、前記映像から新たな部分映像を抽出することを繰り返し、前記コンテンツ切替検知部は、前記映像抽出部によって前記部分映像が抽出される度に、前記検知を行い、前記制御部は、前記コンテンツ切替検知部によって前記検知が行われる度に、前記制御を行い、前記コンテンツ切替検知部による検知の結果、前記部分映像に前記コンテンツ切替が含まれると検知された場合には、当該部分映像を前記画像認識装置に出力することなく、前記映像抽出部に対して、新たな部分映像を抽出させる。
【０１１２】
これにより、映像受信装置は、部分映像にコンテンツ切替が含まれると検知された場合には、その後の新たな部分映像であって、コンテンツ切替が含まれないと検知された部分映像を用いて画像認識装置での画像認識を行う。仮に映像抽出が周期的にのみ行われるとした場合、部分映像にコンテンツ切替が含まれると検知されたときには、次の周期の映像抽出までコンテンツ認識結果を待つ必要がある。これに対し、本実施の形態に係る映像受信装置は、次の周期の映像抽出までコンテンツ認識結果を待つことなく、画像認識装置での画像認識を行うことができる。
【０１１３】
また、本実施の形態では、前記コンテンツ切替検知部は、前記部分映像に含まれるコンテンツの属性、及び、ユーザからの指示の少なくも一方に基づいて、前記検知を行う。
【０１１４】
これにより、映像受信装置は、コンテンツの属性、及びユーザからの指示の少なくとも一方を用いて、部分映像にコンテンツ切替が含まれるか否かを検知する。コンテンツ切替の前後では、コンテンツの属性が変わる。また、ユーザからの指示によりコンテンツが切り替えられる。よって、これらに基づいて検知することにより、映像受信装置は、より正確に、コンテンツ切替を検知することができる。
【０１１５】
また、本実施の形態では、前記コンテンツ切替検知部は、前記部分映像に含まれるコンテンツの属性が変化した場合に、当該部分映像に前記コンテンツ切替が含まれると検知する。具体的には、前記コンテンツの属性は、前記映像入力部によって受信される、前記部分映像が属する番組の詳細を記述した番組メタ情報が示す内容である。また、前記コンテンツの属性は、前記映像入力部によって受信される映像の著作権保護に関する情報である信号属性情報が示す内容である。また、前記コンテンツの属性は、前記映像入力部によって受信される映像又は音声の信号としての属性である。
【０１１６】
これにより、映像受信装置は、具体的に、番組メタ情報の変化、信号属性情報の変化、又は、映像若しくは音声の信号としての属性の変化によって、コンテンツ切替を検知することができる。
【０１１７】
また、本実施の形態では、映像受信装置は、さらに、ユーザの操作を示す操作信号を受信する操作信号受信部を備え、前記コンテンツ切替検知部は、前記操作信号受信部が受信した操作信号によって前記部分映像に含まれるコンテンツが切り替えられた場合に、当該部分映像に前記コンテンツ切替が含まれると検知する。また、映像受信装置は、さらに、ユーザの操作を示す操作信号を受信する操作信号受信部を備え、前記コンテンツ切替検知部は、前記操作信号受信部が受信した操作信号によって前記部分映像にコンテンツが含まれない状態が引き起こされる場合に、当該部分映像に前記コンテンツ切替が含まれると検知する。
【０１１８】
これにより、映像受信装置は、具体的に、ユーザによる操作、又は当該操作により生ずる映像の状態の変化によって、コンテンツ切替を検知することができる。
【０１１９】
また、本実施の形態では、前記映像受信装置は、通信装置と接続され、さらに表示画面を備え、前記制御部は、前記画像認識装置から画像認識の結果を取得した場合に、当該画像認識の結果に関連する情報である関連情報を前記通信装置から取得し、取得した前記関連情報を前記表示画面に表示する。
【０１２０】
これにより、映像受信装置は、画像認識結果に関連する情報を、表示画面を介してユーザに閲覧させることができる。
【０１２１】
また、本実施の形態における受信映像の画像認識方法は、画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力ステップと、受信された前記映像から、当該映像の一部である部分映像を抽出する映像抽出ステップと、抽出された前記部分映像に、前記コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知するコンテンツ切替検知ステップと、前記コンテンツ切替検知ステップによる検知の結果、前記部分映像に前記コンテンツ切替が含まれないと検知された場合に、当該部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御ステップとを含む。
【０１２２】
これにより、上記の映像受信装置と同様の効果を奏する。
【０１２３】
以上、本開示における映像受信装置及び受信映像の画像認識方法の実施の形態について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、各種変形を実施の形態に施したもの、または、実施の形態における構成要素を組み合わせて構築される別の形態も、本開示に含まれる。
【産業上の利用可能性】
【０１２４】
本開示における映像受信装置は、受信した映像を外部の画像認識装置に出力して画像認識の結果を取得する映像受信装置として、例えば、画像認識を利用して映像とともに関連する広告等の情報をリアルタイムに表示するＴＶ等として、利用できる。
【符号の説明】
【０１２５】
１０  コンテンツ認識システム
１２  放送局
１４  ＳＴＢ
２０  画像認識装置（サーバ装置）
２１  ＨＴＴＰ送受信部
２２  コンテンツ検索部
２３  コンテンツ格納部
３０  通信装置
４０  映像受信装置
４１  制御部
４２  ＨＴＴＰ送受信部
４３  操作信号受信部
４４ａ  映像出力部
４４ｂ  表示画面
４５  映像抽出部
４６  コンテンツ切替検知部
４７  認識周期決定部
４８  付加情報格納部
４９  映像入力部
４９ａ  映像受信部
４９ｂ  第１外部入力部
４９ｃ  第２外部入力部
【図１】
2014192629.tif 000003
【図２】
2014192629.tif 000004
【図３】
2014192629.tif 000005
【図４Ａ】
2014192629.tif 000006
【図４Ｂ】
2014192629.tif 000007
【図４Ｃ】
2014192629.tif 000008
【図５】
2014192629.tif 000009
【図６】
2014192629.tif 000010
【図７】
2014192629.tif 000011
【図８】
2014192629.tif 000012
【図９】
2014192629.tif 000013
【図１０Ａ】
2014192629.tif 000014
【図１０Ｂ】
2014192629.tif 000015
【図１０Ｃ】
2014192629.tif 000016
【図１１】
2014192629.tif 000017