(57)【要約】【課題】放送映像に対して、最適な時間及び位置に、広告情報としての付加情報を重畳することができる放送映像出力装置等を提供する。【解決手段】放送映像に重畳すべき付加情報を蓄積した付加情報蓄積手段と、放送映像のスロット毎に、映像的な特徴変動量を検出する特徴変動量検出手段と、特徴変動量が所定閾値以下となる放送映像のスロットを、安定映像として選択する安定映像選択手段と、安定映像の放送映像に、付加情報蓄積手段に蓄積された付加情報を重畳する放送映像重畳手段と、付加情報が重畳された放送映像を出力する映像出力手段とを有する。【選択図】図２
2011193326.tif 000002
【特許請求の範囲】
【請求項１】
時間方向に複数のスロットに区分された放送映像を出力する放送映像出力装置であって、
前記放送映像に重畳すべき付加情報を蓄積した付加情報蓄積手段と、
前記放送映像のスロット毎に、映像的な特徴変動量を検出する特徴変動量検出手段と、
前記特徴変動量が所定閾値以下となる前記放送映像のスロットを、安定映像として選択する安定映像選択手段と、
前記安定映像の放送映像に、前記付加情報蓄積手段に蓄積された前記付加情報を重畳する放送映像重畳手段と、
前記付加情報が重畳された放送映像を出力する映像出力手段と
を有することを特徴とする放送映像出力装置。
【請求項２】
映像のフレームに対して重畳領域（テンプレート）が指定されており、
前記特徴変動量検出手段は、前記放送映像のスロット毎に、フレームの当該重畳領域における映像的な特徴変動量を検出し、
前記安定映像選択手段は、前記特徴変動量が所定閾値以下となる前記放送映像のスロットの中の重畳領域を、安定映像として安定映像選択手段と、
前記放送映像重畳手段は、前記重畳領域に前記付加情報を重畳する
ことを特徴とする請求項１に記載の放送映像出力装置。
【請求項３】
前記重畳領域は、映像のフレームに対して、複数個、指定されており、
前記特徴変動量検出手段は、前記映像のスロット毎であってフレームの前記重畳領域毎に、映像的な特徴変動量を検出する
ことを特徴とする請求項２に記載の放送映像出力装置。
【請求項４】
前記付加情報を、前記重畳領域の中に収まる画像に変換する付加情報変換手段を更に有することを特徴とする請求項１から３のいずれか１項に記載の放送映像出力装置。
【請求項５】
前記特徴変動量検出手段は、単位面積あたりの特徴点の数、ＤＣＴ（離散コサイン変換）係数のＡＣ高周波成分の総エネルギー量、若しくは、輝度・彩度、のいずれか１つ又はそれらの組み合わせに基づいて、前記特徴変動量を検出することを特徴とする請求項１から４のいずれか１項に記載の放送映像出力装置。
【請求項６】
前記放送映像のスロット毎に、時間方向における所定部分のスロット、及び／又は、音量の変化が所定閾値以上のスロットを、前記付加情報を重畳すべきスロットから除外するスロット選択手段を、前記特徴量変動手段の前段に備えることを特徴とする請求項１から５のいずれか１項に記載の放送映像出力装置。
【請求項７】
前記放送映像は、デジタル放送データであり、
前記付加情報は、広告情報である
ことを特徴とする請求項１から６のいずれか１項に記載の放送映像出力装置。
【請求項８】
前記付加情報蓄積手段は、ユーザ属性に基づいて広告情報を蓄積しており、
前記放送映像の配信先におけるユーザ属性情報に基づいて、前記付加情報蓄積手段から前記広告情報を検索する付加情報選択手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の放送映像出力装置。
【請求項９】
当該放送映像出力装置は、配信すべき放送映像を入力し、付加情報を重畳した放送映像を放送局へ出力することを特徴とする請求項１から８のいずれか１項に記載の放送映像出力装置。
【請求項１０】
当該放送映像出力装置は、セットトップボックスであり、
前記放送映像出力装置は、放送局から放送映像を入力し、付加情報を重畳した放送映像をテレビへ出力することを特徴とする請求項１から８のいずれか１項に記載の放送映像出力装置。
【請求項１１】
時間方向に複数のスロットに区分された放送映像を出力する装置に搭載されたコンピュータを機能させるプログラムであって、
前記放送映像に重畳すべき付加情報を蓄積した付加情報蓄積手段と、
前記放送映像のスロット毎に、映像的な特徴変動量を検出する特徴変動量検出手段と、
前記特徴変動量が所定閾値以下となる前記放送映像のスロットを、安定映像として選択する安定映像選択手段と、
前記安定映像の放送映像に、前記付加情報蓄積手段に蓄積された前記付加情報を重畳する放送映像重畳手段と、
前記付加情報が重畳された放送映像を出力する映像出力手段と
してコンピュータを機能させることを特徴とする放送映像出力プログラム。
【請求項１２】
時間方向に複数のスロットに区分された放送映像を出力する装置における放送映像出力方法であって、
前記放送映像に重畳すべき付加情報を蓄積した付加情報蓄積部を有し、
前記放送映像のスロット毎に、映像的な特徴変動量を検出する第１のステップと、
前記特徴変動量が所定閾値以下となる前記放送映像のスロットを、安定映像として選択する第２のステップと、
前記安定映像の放送映像に、前記付加情報蓄積手段に蓄積された前記付加情報を重畳する第３のステップと、
前記付加情報が重畳された放送映像を出力する第４のステップと
を有することを特徴とする放送映像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送映像に、広告情報のような付加情報を重畳する配信装置の技術に関する。
【背景技術】
【０００２】
近年、テレビ番組のようなデジタル放送映像の放送形態は、地上波デジタル放送だけでなく、インターネットを介したストリーミング又はＶＯＤ(Video On Demand)のように多様化してきている。一方で、その放送コンテンツに含まれる広告情報（ＣＭ：Commercial)は、従来同様、放送コンテンツの冒頭や合間等に挿入されている。このような状況下、ユーザの相当数が、冒頭の広告情報によって視聴を中断したり、デジタルビデオレコーダによってＣＭをスキップする、という調査結果が得られてきている。そのため、放送形態に応じて、広告情報を、より効果的にユーザに提示する技術が求められている。
【０００３】
従来、放送映像の中に、広告情報を、重畳（オーバレイ）する技術がある（例えば非特許文献１参照）。例えば「TV Widget」と称されるアプリケーションが用いられる。この技術は、放送映像の内容や映像特性とは関係の無い、独立の情報を提供するものである。また、放送配信技術とは別に、ユーザがクリックした映像上のオブジェクトに、関連した広告情報を提示する技術もある（例えば特許文献１参照）。更に、映像の中に、広告情報を、ユーザ視聴に効果的なタイミングで表示する技術もある（例えば特許文献２参照）。更に、インターネットを介してＷｅｂ配信技術として、Ｗｅｂページの内容を解析し、そのＷｅｂページと関連した広告情報を提供する技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２６７４７４号公報
【特許文献２】特開２００２−１０１４０６号公報
【特許文献３】特開平１２−１８２０５３号公報
【特許文献４】特開平１０−２３３９９４号公報
【特許文献５】特開２００５−２５２８５９号公報
【非特許文献】
【０００５】
【非特許文献１】Yahoo! CONNECTED TV、[online]、［平成２２年３月８日検索］、インターネット＜URL:http://connectedtv.yahoo.com/services/tv-widgets＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した従来技術によれば、放送映像に広告情報を重畳する際に、ユーザ視聴を考慮して、放送映像の適切な時間及び位置に、広告情報を表示することはできない。非特許文献１に記載された技術によれば、放送映像の内容や映像特性に関連して、広告情報を制御するものではない。また、特許文献１に記載された技術によれば、広告情報の表示時間及び表示位置を制御するものではない。更に、特許文献２に記載された技術によれば、ユーザ視聴に効果的なタイミングは、事前に設定された時刻情報に基づくものである。
【０００７】
更に、Ｗｅｂ配信技術と、放送技術とは、以下のような相違点がある。
（１）Ｗｅｂ配信技術は、広告情報の挿入位置を予め指定し、ページ全体を最適にデザインしている。これに対して、テレビ放送技術は、広告情報の挿入を予め指定するものではない。
（２）Ｗｅｂ配信技術によれば、ＨＴＭＬ(HyperText Markup Language)によるスタティック（静的）なページとして表示される。これに対し、テレビ放送技術によれば、時間経過と共に変化するダイナミック（動的）な「映像」であるため、画面上に広告情報を挿入する位置を決定すること自体が難しい。
【０００８】
そこで、本発明は、放送映像に対して、ユーザ視聴における最適な時間及び位置に、付加情報（例えば広告情報）を重畳することができる放送映像出力装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、時間方向に複数のスロットに区分された放送映像を出力する放送映像出力装置であって、
放送映像に重畳すべき付加情報を蓄積した付加情報蓄積手段と、
放送映像のスロット毎に、映像的な特徴変動量を検出する特徴変動量検出手段と、
特徴変動量が所定閾値以下となる放送映像のスロットを、安定映像として選択する安定映像選択手段と、
安定映像の放送映像に、付加情報蓄積手段に蓄積された付加情報を重畳する放送映像重畳手段と、
付加情報が重畳された放送映像を出力する映像出力手段と
を有することを特徴とする。
【００１０】
本発明の放送映像出力装置における他の実施形態によれば、
映像のフレームに対して重畳領域（テンプレート）が指定されており、
特徴変動量検出手段は、放送映像のスロット毎に、フレームの当該重畳領域における映像的な特徴変動量を検出し、
安定映像選択手段は、特徴変動量が所定閾値以下となる放送映像のスロットの中の重畳領域を、安定映像として安定映像選択手段と、
放送映像重畳手段は、重畳領域に付加情報を重畳する
ことも好ましい。
【００１１】
本発明の放送映像出力装置における他の実施形態によれば、
重畳領域は、映像のフレームに対して、複数個、指定されており、
特徴変動量検出手段は、映像のスロット毎であってフレームの重畳領域毎に、映像的な特徴変動量を検出することも好ましい。
【００１２】
本発明の放送映像出力装置における他の実施形態によれば、付加情報を、重畳領域の中に収まる画像に変換する付加情報変換手段を更に有することも好ましい。
【００１３】
本発明の放送映像出力装置における他の実施形態によれば、特徴変動量検出手段は、単位面積あたりの特徴点の数、ＤＣＴ（離散コサイン変換）係数のＡＣ高周波成分の総エネルギー量、若しくは、輝度・彩度、のいずれか１つ又はそれらの組み合わせに基づいて、特徴変動量を検出することも好ましい。
【００１４】
本発明の放送映像出力装置における他の実施形態によれば、放送映像のスロット毎に、時間方向における所定部分のスロット、及び／又は、音量の変化が所定閾値以上のスロットを、付加情報を重畳すべきスロットから除外するスロット選択手段を、特徴量変動手段の前段に備えることも好ましい。
【００１５】
本発明の放送映像出力装置における他の実施形態によれば、放送映像は、デジタル放送データであり、付加情報は、広告情報であることも好ましい。
【００１６】
本発明の放送映像出力装置における他の実施形態によれば、
付加情報蓄積手段は、ユーザ属性に基づいて広告情報を蓄積しており、
放送映像の配信先におけるユーザ属性情報に基づいて、付加情報蓄積手段から広告情報を検索する付加情報選択手段を更に有することも好ましい。
【００１７】
本発明の放送映像出力装置における他の実施形態によれば、
当該放送映像出力装置は、配信すべき放送映像を入力し、付加情報を重畳した放送映像を放送局へ出力することも好ましい。
【００１８】
本発明の放送映像出力装置における他の実施形態によれば、
当該放送映像出力装置は、セットトップボックスであり、
放送映像出力装置は、放送局から放送映像を入力し、付加情報を重畳した放送映像をテレビへ出力することも好ましい。
【００１９】
本発明によれば、時間方向に複数のスロットに区分された放送映像を出力する装置に搭載されたコンピュータを機能させるプログラムであって、
放送映像に重畳すべき付加情報を蓄積した付加情報蓄積手段と、
放送映像のスロット毎に、映像的な特徴変動量を検出する特徴変動量検出手段と、
特徴変動量が所定閾値以下となる放送映像のスロットを、安定映像として選択する安定映像選択手段と、
安定映像の放送映像に、付加情報蓄積手段に蓄積された付加情報を重畳する放送映像重畳手段と、
付加情報が重畳された放送映像を出力する映像出力手段と
してコンピュータを機能させることを特徴とする。
【００２０】
本発明によれば、時間方向に複数のスロットに区分された放送映像を出力する装置における放送映像出力方法であって、
放送映像に重畳すべき付加情報を蓄積した付加情報蓄積部を有し、
放送映像のスロット毎に、映像的な特徴変動量を検出する第１のステップと、
特徴変動量が所定閾値以下となる放送映像のスロットを、安定映像として選択する第２のステップと、
安定映像の放送映像に、付加情報蓄積手段に蓄積された付加情報を重畳する第３のステップと、
付加情報が重畳された放送映像を出力する第４のステップと
を有することを特徴とする。
【発明の効果】
【００２１】
本発明の放送映像出力装置、プログラム及び方法によれば、放送映像に対して、ユーザ視聴における最適な時間及び位置に、付加情報（例えば広告情報）を重畳することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明におけるシステム構成図である。
【図２】本発明における放送映像出力装置の機能構成図である。
【図３】スロット選択部の処理を表す説明図である。
【図４】映像フレームにおける複数の重畳領域を表す説明図である。
【図５】付加情報が、重畳領域に収まるように変換された説明図である。
【図６】本発明における特徴変動量検出部の処理を表すフローチャートである。
【図７】字幕が出現した重畳領域の除外を表す説明図である。
【図８】重畳領域毎の特徴点の数を表す説明図である。
【図９】特徴変動量によって除外された重畳領域を表す説明図である。
【図１０】除外されていない重畳領域における情報密度スコアを表す説明図である。
【図１１】情報密度スコアの調整を表す説明図である。
【図１２】安定映像選択部における安定映像の選択を表す説明図である。
【図１３】放送映像出力装置を、セットトップボックスに構成したシステム構成図である。
【図１４】ユーザ操作によって詳細な広告情報を配信する説明図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２４】
図１は、本発明におけるシステム構成図である。
【００２５】
図１によれば、放送映像出力装置１は、放送局２と放送アンテナ３との間に接続され、放送局２から、配信すべき放送映像を入力する。放送映像は、時間方向に複数のスロットに区分されており、各スロットは、多数の映像フレームからなる。放送映像出力装置１は、放送映像に付加情報を重畳する。
【００２６】
ここで、スロットを区分する仕組みとして、放送局側で映像に付与されたメタデータによって、映像が意味のあるシーンの区切りを単位とするものであってもよい。また、映像の特徴に基づいて分割された結果を単位とするものであってもよい（例えば特許文献５参照）。
【００２７】
付加情報は、広告情報であってもよいし、放送映像に関連する情報であってもよい。例えば、放送映像が野球中継である場合、付加情報として野球選手情報を表示することも好ましい。また、付加情報は、映像出力装置１内に予め蓄積されたものであってもよいし、インターネットを介して広告配信サーバ４から取得するものであってもよい。
【００２８】
放送映像は、デジタル放送データであって、例えば地上波デジタル放送局から放送される。そのために、放送映像出力装置１は、付加情報を重畳した放送映像を、放送アンテナ３へ出力する。尚、インターネット及びアクセスネットワークを介して、ユーザによって視聴される端末（テレビ）へ向けて配信するものであってもよい。例えば、ＶＯＤの場合、インターネットを介して、特定のユーザの端末へ向けて配信される。
【００２９】
図１によれば、ユーザ宅内には、セットトップボックス５が設置されている。セットトップボックス５は、放送局２からの放送波を受信し、又はインターネットを介して放送映像を受信する。受信された放送映像は、ユーザが視聴するテレビ６へ出力される。
【００３０】
図２は、本発明における放送映像出力装置の機能構成図である。
【００３１】
図２によれば、放送映像出力装置１は、放送映像入力部１０１と、付加情報入力部１０２と、放送映像出力部１０３と、ユーザ属性受信部１０４とを有する。放送映像入力部１０１は、放送局２から放送映像を受信する。付加情報入力部１０２は、広告配信サーバ４から付加情報（広告情報）を受信する。尚、放送映像及び付加情報は、インターネットを介して受信されるものであってもよい。放送映像出力部１０３は、付加情報を重畳した放送映像を、放送アンテナ３へ出力するものであって、コンテンツストリーマとして機能する。また、放送映像出力部１０３は、放送映像を、インターネットを介してユーザ視聴の端末６へ向けて直接的に配信するものであってもよい。ユーザ属性受信部１０４は、ユーザ視聴の端末６から、ユーザ属性情報を受信する。
【００３２】
本発明における放送映像出力装置１は、スロット選択部１１１と、特徴変動量検出部１１２と、安定映像選択部１１３と、付加情報選択部１１４と、付加情報変換部１１５と、放送映像重畳部１１６と、付加情報蓄積部１２１と、ユーザ属性蓄積部１２２とを有する。これら機能構成部は、放送映像出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００３３】
スロット選択部１１１は、放送映像における時間方向に区分されたスロットの中で、付加情報を重畳するに適するスロットを選択する。即ち、付加情報を重畳するに適しないスロットを除外する。尚、スロットの区切りは、固定長であってもよいし、映像の内容的な区切りであってもよい。
【００３４】
スロット選択部１１１は、例えば、放送番組の冒頭には、付加情報を重畳しない。ユーザは、視聴しようとした放送映像について、冒頭に広告情報を視聴した場合、その放送映像の視聴を中止する場合が多いからである。
【００３５】
また、スロット選択部１１１は、スロット毎の音量を検知し、音量の変化が大きいスロットは、付加情報を重畳しないように除外する。音量の変化が大きいスロットの映像は、ユーザ視聴に対して有意な影響を与える想定され、広告情報を挿入する部分として適しない。逆に、音量の変化が小さいスロットは、広告情報を挿入する部分としての候補となり得る。
【００３６】
図３は、スロット選択部の処理を表す説明図である。
【００３７】
放送映像は、多数の映像フレームの連続からなる。ここで、放送映像は、時間方向に複数のスロット（t1〜t10）に区分されている。図３によれば、放送映像における冒頭部分には、付加情報を重畳するスロットの候補から除外される。また、音量の変化が大きいスロットについても、その候補から除外される。
【００３８】
図２に戻って、特徴変動量検出部１１２は、放送映像のスロット毎に、映像的な特徴変動量を検出する。例えば映像スロットの中の１枚以上の映像フレームを代表フレームとし、その代表フレームに対する特徴量を検出する。そして、複数の映像フレームにおける特徴量の変動を検出する。ここで、代表フレームの画像全体の特徴変動量を検出するものであってもよいし、特定の重畳領域における映像的な特徴変動量を検出するものであってもよい。
【００３９】
図４は、映像フレームにおける複数の重畳領域を表す説明図である。
【００４０】
本発明によれば、映像フレームに、付加情報を重畳可能な領域（重畳領域、テンプレート）を有する。重畳領域は、映像のフレームに対して、１カ所だけ指定されてもよいし、複数個、指定されていてもよい。図４によれば、３つの重畳領域が表されている。これら重畳領域は、付加情報を重畳する候補となる。従って、重畳領域は、画面全体における角部分又は隅部分に設定することが好ましい。これら重畳領域についてのみ特徴変動量を検出し、特徴変動量が小さい重畳領域を、付加情報を重畳する候補として選択する。
【００４１】
尚、特徴変動量検出部１１２の具体的な処理については、図６によって後述する。
【００４２】
図２に戻って、安定映像選択部１１３は、特徴変動量が所定閾値以下となる放送映像のスロットを、安定映像として選択する。安定映像選択部１１３の具体的な処理については、図１２によって後述する。
【００４３】
付加情報蓄積部１２１は、放送映像に重畳すべき付加情報を蓄積する。付加情報蓄積部１２１は、付加情報入力部１０２を介して、広告配信サーバ４から受信した広告情報を蓄積するものであってもよい。
【００４４】
付加情報は、テキスト、画像、映像又はアプリケーションであり、メタデータと対応付けて保存される。アプリケーションとは、例えばＨＴＭＬやＢＭＬ(Broadcast Markup Language)等で構成されたものである。テキストは、例えば、広告内容を一言で表した短いものであってもよい。このテキストは、後述する「ティッカーアプリケーション」によって表示されることも好ましい。
【００４５】
メタデータは、付加情報を選択するためのポリシ情報である。ポリシ情報とは、付加情報の提供元における制御情報である。例えば、以下のようなポリシ情報である。
【表１】
2011193326.tif 000003
【００４６】
ユーザ属性記憶部１２２は、ユーザ属性受信部１０４を介して受信したユーザ属性情報を記憶する。例えば、以下のようなユーザ属性情報である。
【表２】
2011193326.tif 000004
【００４７】
付加情報選択部１１４は、放送映像の配信先におけるユーザ属性情報に基づいて、付加情報蓄積部１２１から付加情報を選択する。ここで、放送映像が、放送アンテナ３を介して不特定多数のユーザへ配信されるものである場合、付加情報選択部１１４は、ユーザ属性情報に限られない。一方で、放送映像が、インターネットを介して特定のユーザへ配信される場合、付加情報選択部１１４は、そのユーザ属性情報に基づいて付加情報を選択する。選択された付加情報は、付加情報変換部１１５へ出力される。
【００４８】
付加情報変換部１１５は、付加情報を、重畳領域の中に収まる画像に変換する。変換された付加情報の画像は、放送映像重畳部１１６へ出力される。
【００４９】
放送映像重畳部１１８は、安定映像の放送映像に、付加情報変換部１１５から出力された付加情報を重畳する。この放送映像は、放送映像出力部１０３へ出力される。
【００５０】
図５は、付加情報が、重畳領域に収まるように変換された説明図である。
【００５１】
例えば付加情報がテキストである場合、重畳領域（テンプレート）の大きさに合わせて表示画像を生成する「ティッカーアプリケーション」を用いることができる。ティッカーアプリケーションが、映像フレームの重畳領域に付加情報を重畳することによって、付加情報は、ユーザ視聴に影響を与えない位置に表示される。ティッカーアプリケーションは、付加情報変換部１１５及び放送映像重畳部１１８の機能を含む。
【００５２】
付加情報が重畳された放送映像は、放送アンテナ３又はインターネットを介して、ユーザ宅のテレビ６によって受信され、ユーザによって視聴される。
【００５３】
図６は、本発明における特徴変動量検出部の処理を表すフローチャートである。
【００５４】
（Ｓ６０１）特徴変動量検出部には、多数の映像フレームからなるスロット単位で入力される。そして、スロットの１つ以上の代表フレームについて以下のＳ６０２〜Ｓ６０９の処理を実行する。
（Ｓ６０２）最初に、処理時間を短縮するために縮小映像を生成する。例えば、映像フレームの解像度又は階層を少なくする。その後の処理を、縮小映像に対して実行することによって、処理負荷を軽減することができる。
（Ｓ６０３）次に、映像フレームの縮小画像について、字幕（テロップ）部分を検出する。字幕検出技術として、時間軸方向の輝度変化及び輝度勾配を用いた既存技術を用いることができる（例えば特許文献３及び４参照）。
【００５５】
（Ｓ６０４）縮小映像における重畳領域毎に、以下のＳ６０５〜Ｓ６０９の処理を実行する。例えば図４のように３つの重畳領域が存在する場合、重畳領域毎に３回繰り返される。
【００５６】
（Ｓ６０５）重畳領域が、字幕の位置に重なる場合、その重畳領域には、付加情報が重畳されないように除外される。
【００５７】
図７は、字幕が出現した重畳領域の除外を表す説明図である。
【００５８】
図７によれば、スロットt4〜t6における重畳領域１と、スロットt9-t10における重畳領域３とに、字幕が出現している。これら重畳領域には、付加情報が表示されないように、重畳可能な候補から除外する。
【００５９】
（Ｓ６０６）映像フレーム全体又は重畳領域について、映像的な特徴量を検出する。ここで、付加情報を重畳するために適した領域とは、有意な情報が少ない部分、即ち映像変動が少ない部分である。有意な情報を多く含む領域を「情報密度の高い」領域とし、そうでない領域を「情報密度の低い」領域とする。本発明によれば、映像フレーム全体又は重畳領域における空間的特性を検出する。
【００６０】
特徴量は、以下のいずれか１つ又はそれらの組み合わせに基づいて検出される。特徴量毎に異なる重み付けをし、それらの重み付け総和によって、重畳領域毎の情報密度スコアを算出する。情報密度スコアが低いほど、付加情報を重畳する領域に適しているといえる。
［１］単位面積あたりの特徴点の数
［２］ＤＣＴ係数のＡＣ高周波成分の総エネルギー量
［３］輝度・彩度
【００６１】
［１］単位面積あたりの特徴点の数
特徴点の多い領域は、有意な情報が多く存在すると想定される。逆に、特徴点が少ない領域は、有意な情報が少なく、付加情報を重畳するに適する。そのために、単位面積あたりの特徴点の数を算出する。特徴点(interest point)検出は、例えばコーナー(corner)検出技術のような、画像の角を検出する技術である。例えばHarrisとStephensの方法がある。尚、図８は、重畳領域毎の特徴点の数を表す説明図である。
【００６２】
［２］ＤＣＴ係数のＡＣ高周波成分の総エネルギー量
画像中で、なだらか且つ変化の少ない領域には、ＤＣＴ(Discrete Cosine Transform)のＡＣ（交流、Alternate Current）高周波成分が含まれていない。なだらか且つ変化の少ない領域ほど、有意な情報が少なく、付加情報を重畳するに適する。一般に、人間の眼の視覚特性は、低周波成分に敏感であり、高周波成分には鈍感であるといえる。ＤＣＴとは、映像フレームの画素領域を、離散コサイン変換を用いて周波数領域に変換する技術をいう。そこで、ブロックあたりのＤＣＴの高周波成分の総和(dAC)を算出する。
【００６３】
［３］画像全体と比較した平均輝度・彩度
画面の他の領域と比較して、輝度又は彩度が高い領域は、画面の中で注視を集めやすい領域といえる。逆に、輝度又は彩度が低い領域は、画面の中で注視を集めにくく、有意な情報が少なく、付加情報を重畳するに適する。そのために、以下のように、輝度比及び／又は彩度比が、所定閾値よりも低い場合に、付加情報を挿入するに適する。
輝度比：ＶＰ／ＶＡ
彩度比：ＳＰ／ＳＡ
画面全体の輝度：ＶＡ
画面全体の彩度：ＳＡ
重畳領域の輝度：ＶＰ
重畳領域の彩度：ＳＰ
【００６４】
（Ｓ６０７）次に、複数フレームにおける特徴変動量を検出する。特徴変動量は、複数のフレームにおける特徴量の変動として表される。
【００６５】
図９は、特徴変動量によって除外された重畳領域を表す説明図である。図９によれば、所定閾値以上の特徴変動量の重畳領域が除外されている。特徴変動量が大きい領域は、ユーザ視聴に対して影響が大きく、付加情報を重畳する部分として適さない。
【００６６】
（Ｓ６０８）次に、除外されていない重畳領域について、情報密度スコアを算出する。
【００６７】
図１０は、除外されていない重畳領域における情報密度スコアを表す説明図である。
【００６８】
図１０によれば、特徴変動量に基づいて情報密度スコアが付与されている。情報密度スコア値が小さいほど、特徴変動量も小さく、付加情報を重畳すべき位置に適することを意味する。逆に、情報密度スコア値が大きいほど、特徴変動量も大きく、付加情報を重畳すべき位置に適さないことを意味する。
【００６９】
（Ｓ６０９）次に、情報密度スコアを調整する。例えば、情報密度スコアが小さいからといって、付加情報の表示位置が頻繁に移動することは、ユーザ視聴に対して煩わしい印象を与えるために好ましくない。そこで、直前の過去映像フレームと、現映像フレームとを比較して、情報密度スコアを調整する。
【００７０】
図１１は、情報密度スコアの調整を表す説明図である。
【００７１】
先の図１０によれば、スロットt3では重畳領域３の情報密度スコア(0.02)が最も小さく、スロットt4では重畳領域２の情報密度スコア(0.02)が最も小さい。この場合、付加情報を重畳する重畳領域が移動するために、図１１によれば、スロットt4の重畳領域２の情報密度スコアにペナルティ値を加算している。ここでは、ペナルティ値0.20を加算することによって、スロットt4の重畳領域２の情報密度スコアは、0.22となる。
【００７２】
また、先の図１０によれば、スロットt4では重畳領域２の情報密度スコア(0.02)が最も小さく、スロットt5では重畳領域３の情報密度スコア(0.15)が最も小さい。この場合、付加情報を重畳する重畳領域が移動するために、図１１によれば、スロットt5の重畳領域３の情報密度スコアにペナルティ値を加算している。ここでは、ペナルティ値0.10を加算することによって、スロットt5の重畳領域３の情報密度スコアは、0.25となる。ペナルティ値については、固定であってもよいし、付加情報が移動する距離に応じて変化するものであってもよい。
【００７３】
図１２は、安定映像選択部における安定映像の選択を表す説明図である。
【００７４】
図１２によれば、図１１について、スロット毎に、所定閾値以下であって且つ最小の情報密度スコアとなる重畳領域のみが選択されている。これによって、スロット毎に、以下のように付加情報が表示される。
スロットt1：付加情報を表示しない
スロットt2：付加情報を常時しない
スロットt3：付加情報を重畳領域３に表示
スロットt4：付加情報を重畳領域２に表示
スロットt5：付加情報を重畳領域２に表示
スロットt6：付加情報を表示しない
スロットt7：付加情報を表示しない
スロットt8：付加情報を表示しない
スロットt9：付加情報を重畳領域１に表示
スロットt10：付加情報を表示しない
【００７５】
図１３は、放送映像出力装置を、セットトップボックスに構成したシステム構成図である。
【００７６】
図１３によれば、セットトップボックスとしての放送映像出力装置５は、放送局２から、放送アンテナ３又はインターネットを介して放送映像を受信する。そして、放送映像出力装置５は、付加情報を重畳した放送映像をテレビ６へ出力する。尚、セットトップボックスとしての放送映像出力装置５は、アクセスネットワーク及びインターネットを介して広告配信サーバ４から、ユーザ属性情報に基づく広告情報を受信する。これによって、ユーザ毎に、適切且つ異なる広告情報を閲覧することができる。
【００７７】
図１４は、ユーザ操作によって詳細な広告情報を配信する説明図である。
【００７８】
テレビは、ユーザ操作による入力を受け付けることができる。例えば、ティッカーアプリケーションによって、重畳領域に簡潔な広告情報が重畳表示されているとする。このとき、ユーザが、その詳細情報を所望するために、その重畳領域を指定（ポインティングデバイスによるクリック）したとする。この場合、セットトップボックスとしての放送映像出力装置５は、広告配信サーバ４へ詳細な広告情報の取得を要求する。そして、放送映像出力装置５は、広告配信サーバ４から受信した詳細な広告情報を、テレビに出力することができる。このとき、詳細な広告情報は、放送映像の内容や特徴変動量に関係なく、ディスプレイの広い領域に表示することが好ましい。これによって、ユーザに対して、有効な広告情報を配信することができる。
【００７９】
以上、詳細に説明したように、本発明の放送映像出力装置、プログラム及び方法によれば、放送映像に対して、ユーザ視聴における最適な時間及び位置に、付加情報（例えば広告情報）を重畳することができる。
【００８０】
テレビ放送の場合、ユーザにとっては、放送映像の内容の理解に影響を与えない位置及びタイミングで付加情報が表示されるために、放送映像の魅力が極力妨げられない。一方で、付加情報が広告情報である場合、広告主にとっては、ＣＭスキップ等の懸念が減少すると共に、ユーザに対する広告情報の露出増加も期待できる。
【００８１】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００８２】
１  放送映像出力装置
１０１  放送映像入力部
１０２  付加情報入力部
１０３  放送映像出力部
１０４  ユーザ属性受信部
１１１  スロット選択部
１１２  特徴変動量検出部
１１３  安定映像選択部
１１４  付加情報選択部
１１５  付加情報変換部
１１６  放送映像重畳部
１２１  付加情報蓄積部
１２２  ユーザ属性蓄積部
２  放送局
３  放送アンテナ
４  広告配信サーバ
５  セットトップボックス
６  テレビ
【図１】
2011193326.tif 000005
【図２】
2011193326.tif 000006
【図３】
2011193326.tif 000007
【図４】
2011193326.tif 000008
【図５】
2011193326.tif 000009
【図６】
2011193326.tif 000010
【図７】
2011193326.tif 000011
【図８】
2011193326.tif 000012
【図９】
2011193326.tif 000013
【図１０】
2011193326.tif 000014
【図１１】
2011193326.tif 000015
【図１２】
2011193326.tif 000016
【図１３】
2011193326.tif 000017
【図１４】
2011193326.tif 000018