(57)【特許請求の範囲】
【請求項１】
映像コンテンツを出力する映像出力装置であって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
前記付加情報記憶手段から、前記映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
を有し、
前記構図評価手段における前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする映像出力装置。
【請求項２】
前記構図評価手段は、
前記重畳候補領域毎に、前記映像フレームの特徴領域との間の距離を抽出し、
前記重畳候補領域毎に、前記距離が最も短い１つの特徴領域を抽出し、
全ての重畳候補領域の中で、最も短い当該特徴領域との間の前記距離が最も長い重畳候補領域に、前記付加情報を重畳するべく決定する
ことによって、前記映像フレームの特徴領域からできる限り離れた位置に、前記付加情報が重畳されることを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記付加情報選択手段は、前記付加情報記憶手段に記憶された複数の付加情報を選択し、
前記構図評価手段は、前記映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、前記付加情報を重畳するべく決定する
ことを特徴とする請求項１又は２に記載の映像出力装置。
【請求項４】
前記付加情報選択手段は、前記付加情報記憶手段から複数の付加情報を選択し、
前記映像フレームの各特徴領域について、当該映像フレーム全体の映像的特徴量と、各付加情報全体の映像的特徴量との間の類似度が、予め設定された所定値（設定類似度）に最も近い付加情報を選択する色調評価手段を更に有することを特徴とする請求項１から３のいずれか１項に記載の映像出力装置。
【請求項５】
前記映像的特徴量は、色調であることを特徴とする請求項４に記載の映像出力装置。
【請求項６】
前記所定値（設定類似度）とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度であることを特徴とする請求項５に記載の映像出力装置。
【請求項７】
前記特徴領域検出手段の前段にあって、前記付加情報を重畳すべき映像フレームを選択する重畳候補スロット選択手段を更に有し、
前記重畳候補スロット選択手段は、
複数の映像フレームからなる時間方向の複数のスロットの中から、前記付加情報の重畳に適するスロットを選択し、
前記映像コンテンツのスロット毎に、映像的及び／又は音声的な特徴量を検出し、
当該特徴量が所定閾値以下となる前記映像コンテンツのスロットを、重畳候補スロットとして選択する
ことを特徴とする請求項１から６のいずれか１項に記載の映像出力装置。
【請求項８】
前記特徴領域検出手段は、
前記重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）を選択し、
前記代表フレーム毎に、１つ以上の特徴領域を検出し、
全特徴領域の合計面積が最も広い代表フレームを選択し、
選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは除外され、その他の代表フレームは前記構図評価手段へ出力される
ことを特徴とする請求項７に記載の映像出力装置。
【請求項９】
前記特徴領域検出手段は、特徴領域を、顔認識、テロップ抽出、動き注視モデル(Motion Attention Model)、ＲＯＩ(Region of Interest)、情報密度ＤＣＴ係数のＡＣ高周波成分の総エネルギー量、及び／又は、輝度・彩度に基づいて検出することを特徴とする請求項１から８のいずれか１項に記載の映像出力装置。
【請求項１０】
前記映像コンテンツは、デジタル放送映像データであり、
前記付加情報は、広告情報であり、
前記付加情報記憶手段は、広告配信サーバから取得した前記広告情報を記憶する
ことを特徴とする請求項１から９のいずれか１項に記載の映像出力装置。
【請求項１１】
ユーザ属性情報を予め記憶したユーザ属性記憶手段を更に有し、
前記付加情報記憶手段は、前記付加情報にユーザ属性情報が付与されており、
前記付加情報選択手段は、前記ユーザ属性記憶手段のユーザ属性情報と、前記付加情報のユーザ属性情報とを比較して、当該付加情報を選択する
ことを特徴とする請求項１から１０のいずれか１項に記載の映像出力装置。
【請求項１２】
前記構図評価手段によって決定された前記映像フレームの当該重畳候補領域に、前記付加情報を重畳する映像重畳手段と、
前記付加情報が重畳された当該映像フレームからなる映像コンテンツを出力する映像出力手段と
を更に有することを特徴とする請求項１から１１のいずれか１項に記載の映像出力装置。
【請求項１３】
映像コンテンツを出力する映像出力装置に搭載されたコンピュータを機能させるプログラムであって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
前記付加情報記憶手段から、前記映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
してコンピュータを機能させ、
前記構図評価手段における前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
ようにコンピュータを機能させることを特徴とする映像出力プログラム。
【請求項１４】
映像コンテンツを出力する装置における映像出力方法であって、
映像フレームに重畳表示可能な付加情報を記憶する付加情報記憶部を有し、
前記映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する第１のステップと、
前記付加情報記憶部から、前記映像コンテンツに重畳すべき任意の付加情報を選択する第２のステップと、
前記付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、前記映像フレーム中の前記重畳候補領域に前記付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する第３のステップと
を有し、
第３のステップについて、前記距離は、前記重畳候補領域の重心座標と前記映像フレームの特徴領域の重心座標との間の差、又は、前記重畳候補領域の周辺縁と前記映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする映像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツに対して、広告情報のような付加情報を重畳する技術に関する。
【背景技術】
【０００２】
近年、テレビ番組のようなデジタル放送映像の放送形態は、地上波デジタル放送だけでなく、インターネット又はＣＡＴＶ(Cable Television)を介したストリーミング又はＶＯＤ(Video On Demand)のように多様化してきている。一方で、その放送コンテンツに含まれる広告情報（ＣＭ：Commercial)は、従来同様、放送コンテンツの冒頭や合間等に挿入される場合が多い。このような場合、ユーザの相当数が、冒頭の広告情報によって視聴を中断したり、デジタルビデオレコーダによってＣＭをスキップする、という調査結果が得られている。そのため、放送形態に応じて、広告情報を、より効果的にユーザに提示する技術が求められている。
【０００３】
従来、放送映像の中に、広告情報を重畳（オーバレイ）する技術がある（例えば非特許文献１参照）。この広告情報は、例えば「TV Widget」と称されるアプリケーションによって構成される。この技術は、放送映像の内容や映像特性とは関係の無い、独立の情報を提供するものである。
【０００４】
また、放送配信技術とは別に、ユーザがクリックした映像上のオブジェクトに、関連した広告情報を提示する技術もある（例えば特許文献１参照）。更に、映像の中に、広告情報を、ユーザ視聴に効果的なタイミングで表示する技術もある（例えば特許文献２参照）。更に、インターネットを介したＷｅｂ配信技術として、Ｗｅｂページに関連した広告情報を提供する技術もある。
【０００５】
また、Ｗｅｂページの一定領域に、広告情報を挿入する技術もある（例えば非特許文献１参照）。この技術によれば、サーバが、多数の広告主から、一定のフォーマットに従った広告情報を受け付ける。そして、サイト運用者は、自ら公開するサイトページの中で、広告情報を提示可能な領域を予め指定する。そして、ユーザが、そのサイトページを閲覧する毎に、サーバは、そのユーザのプロファイルに基づいて、最適な広告情報を、そのサイトページで指定された領域に提示する。プロファイルとしては、例えば、ＩＰアドレスから取得された所在地のような情報である。ユーザのプロファイルに応じて広告情報を提供する技術は、ターゲット広告とも称される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６７４７４号公報
【特許文献２】特開２００２−１０１４０６号公報
【特許文献３】特開平１２−１８２０５３号公報
【特許文献４】特開平１０−２３３９９４号公報
【特許文献５】特開２００５−２５２８５９号公報
【非特許文献】
【０００７】
【非特許文献１】Yahoo! CONNECTED TV、[online]、［平成２２年５月３１日検索］、インターネット＜URL:http://connectedtv.yahoo.com/services/tv-widgets＞
【非特許文献２】Google Ad Sense、[online]、［平成２２年５月３１日検索］、インターネット＜URL:https://www.google.com/adsense/static/ja/AdFormats.html＞
【非特許文献３】Yu-Fei Ma, Lie Lu, Hong-Jiang Zhang, andMingjing Li,“A User Attention Model for Video Summarization", ACMMultimedia '02, Dec 2002
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した従来技術によれば、放送映像に広告情報を重畳する際に、ユーザ視聴を考慮して、放送映像の適切な時間及び位置に、広告情報を表示することはできない。非特許文献１に記載された技術は、放送映像の内容や映像特性に関連して、広告情報を制御するものではない。また、特許文献１に記載された技術は、広告情報の表示時間及び表示位置を制御するものではない。更に、特許文献２に記載された技術は、ユーザ視聴に効果的なタイミングは、事前に設定された時刻情報に基づくものである。
【０００９】
非特許文献１に記載された技術によれば、広告情報の決定は、サイトページのコンテクスト（テキスト）と、広告情報の内容（広告主が付与した広告の属性情報）とを対応付けたものに過ぎない。また、広告情報の提示位置も、サイトページの内容に関係なく、予め設定されたものである。
【００１０】
このように、従来技術によれば、放送映像に広告情報を重畳する際に、放送映像の内容及び映像特性を全く考慮しない。従って、放送映像に重畳された広告情報の位置や色調によっては、ユーザが視覚的な違和感を生じる場合も多い。
【００１１】
尚、Ｗｅｂ配信技術と、放送技術とは、以下のような相違点がある。
（１）Ｗｅｂ配信技術は、広告情報の挿入位置を予め指定し、ページ全体を最適にデザインしている。これに対して、テレビ放送技術は、広告情報の挿入を予め指定するものではない。
（２）Ｗｅｂ配信技術によれば、ＨＴＭＬ(HyperText Markup Language)によるスタティック（静的）なページとして表示される。これに対し、テレビ放送技術によれば、時間経過と共に変化するダイナミック（動的）な「映像」であるため、画面上に広告情報を挿入する位置を決定すること自体が難しい。
【００１２】
そこで、本発明は、できる限りユーザが視覚的な違和感を生じないように、映像に対する付加情報（例えば広告情報）の重畳領域を決定する映像出力装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、映像コンテンツを出力する映像出力装置であって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
付加情報記憶手段から、映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
を有し、
構図評価手段における距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする。
【００１６】
本発明の映像出力装置における他の実施形態によれば、
構図評価手段は、
重畳候補領域毎に、映像フレームの特徴領域との間の距離を抽出し、
重畳候補領域毎に、距離が最も短い１つの特徴領域を抽出し、
全ての重畳候補領域の中で、最も短い当該特徴領域との間の距離が最も長い重畳候補領域に、付加情報を重畳するべく決定する
ことによって、映像フレームの特徴領域からできる限り離れた位置に、付加情報が重畳されることも好ましい。
【００１７】
本発明の映像出力装置における他の実施形態によれば、
付加情報選択手段は、付加情報記憶手段に記憶された複数の付加情報を選択し、
構図評価手段は、映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定することも好ましい。
【００１８】
本発明の映像出力装置における他の実施形態によれば、
付加情報選択手段は、付加情報記憶手段から複数の付加情報を選択し、
映像フレームの各特徴領域について、当該映像フレーム全体の映像的特徴量と、各付加情報全体の映像的特徴量との間の類似度が、予め設定された所定値（設定類似度）に最も近い付加情報を選択する色調評価手段を更に有することも好ましい。
【００１９】
本発明の映像出力装置における他の実施形態によれば、映像的特徴量は、色調であってもよい。
【００２０】
本発明の映像出力装置における他の実施形態によれば、所定値（設定類似度）度とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度であることも好ましい。
【００２１】
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段の前段にあって、付加情報を重畳すべき映像フレームを選択する重畳候補スロット選択手段を更に有し、
重畳候補スロット選択手段は、
複数の映像フレームからなる時間方向の複数のスロットの中から、付加情報の重畳に適するスロットを選択し、
映像コンテンツのスロット毎に、映像的及び／又は音声的な特徴量を検出し、
当該特徴量が所定閾値以下となる映像コンテンツのスロットを、重畳候補スロットとして選択することも好ましい。
【００２２】
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段は、
重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）を選択し、
代表フレーム毎に、１つ以上の特徴領域を検出し、
全特徴領域の合計面積が最も広い代表フレームを選択し、
選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは除外され、その他の代表フレームは構図評価手段へ出力されることも好ましい。
【００２３】
本発明の映像出力装置における他の実施形態によれば、
特徴領域検出手段は、特徴領域を、顔認識、テロップ抽出、動き注視モデル(Motion Attention Model)、ＲＯＩ(Region of Interest)、情報密度ＤＣＴ係数のＡＣ高周波成分の総エネルギー量、及び／又は、輝度・彩度に基づいて検出することも好ましい。
【００２４】
本発明の映像出力装置における他の実施形態によれば、
映像コンテンツは、デジタル放送映像データであり、
付加情報は、広告情報であり、
付加情報記憶手段は、広告配信サーバから取得した広告情報を記憶することも好ましい。
【００２５】
本発明の映像出力装置における他の実施形態によれば、
ユーザ属性情報を予め記憶したユーザ属性記憶手段を更に有し、
付加情報記憶手段は、付加情報にユーザ属性情報が付与されており、
付加情報選択手段は、ユーザ属性記憶手段のユーザ属性情報と、付加情報のユーザ属性情報とを比較して、当該付加情報を選択することも好ましい。
【００２６】
本発明の映像出力装置における他の実施形態によれば、
構図評価手段によって決定された映像フレームの当該重畳候補領域に、付加情報を重畳する映像重畳手段と、
付加情報が重畳された当該映像フレームからなる映像コンテンツを出力する映像出力手段と
を更に有することも好ましい。
【００２７】
本発明によれば、映像コンテンツを出力する映像出力装置に搭載されたコンピュータを機能させるプログラムであって、
映像フレームに重畳表示可能な付加情報を記憶した付加情報記憶手段と、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する特徴領域検出手段と、
付加情報記憶手段から、映像コンテンツに重畳すべき任意の付加情報を選択する付加情報選択手段と、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する構図評価手段と
してコンピュータを機能させ、
構図評価手段における距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ようにコンピュータを機能させることを特徴とする。
【００２８】
本発明によれば、映像コンテンツを出力する装置における映像出力方法であって、
映像フレームに重畳表示可能な付加情報を記憶する付加情報記憶部を有し、
映像コンテンツにおける重畳候補となる各映像フレームについて、１つ以上の特徴領域を検出する第１のステップと、
付加情報記憶部から、映像コンテンツに重畳すべき任意の付加情報を選択する第２のステップと、
付加情報には、映像フレーム枠内に対する１つ以上の重畳候補領域が予め指定されており、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する第３のステップと
を有し、
第３のステップについて、距離は、重畳候補領域の重心座標と映像フレームの特徴領域の重心座標との間の差、又は、重畳候補領域の周辺縁と映像フレームの特徴領域の重心座標との間の差である
ことを特徴とする。
【発明の効果】
【００２９】
本発明の映像出力装置、プログラム及び方法によれば、できる限りユーザが視覚的な違和感を生じないように、映像に対する付加情報（例えば広告情報）の重畳領域を決定することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明におけるシステム構成図である。
【図２】映像フレームにおける複数の重畳候補領域を表す説明図である。
【図３】映像フレームに重畳可能な付加情報を表す説明図である。
【図４】映像フレームに付加情報を重畳したものであって、ユーザが視覚的な違和感を生じやすい表示画面である。
【図５】本発明における映像出力装置の機能構成図である。
【図６】重畳候補スロット選択部の処理を表す説明図である。
【図７】特徴領域検出部及び構図評価部のフローチャートである。
【図８】構図評価部によって重畳候補領域を決定する説明図である。
【図９】特徴変動量によって除外された重畳候補領域を表す説明図である。図９によれば、
【図１０】映像出力装置を、セットトップボックスに構成したシステム構成図である。
【図１１】ユーザ操作によって詳細な広告情報を配信する説明図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３２】
図１は、本発明におけるシステム構成図である。
【００３３】
図１によれば、映像出力装置１は、放送局２と放送アンテナ３との間に接続され、放送局２から、配信すべき放送映像（映像コンテンツ）を入力する。放送映像は、多数の映像フレームの連続からなり、時間方向に複数のスロットに区分される。スロットの区切りは、固定長であってもよい。また、放送局側で映像に付与されたメタデータによって、映像の内容的に意味のあるシーンを単位とする区切りであってもよい。更に、また、映像の特徴に基づいて分割された結果を単位とするものであってもよい（例えば特許文献５参照）。
【００３４】
映像出力装置１は、映像コンテンツ（放送映像）に付加情報を重畳する。付加情報は、広告情報であってもよいし、放送映像に関連する情報であってもよい。例えば、放送映像に対して、Widget広告情報を表示することも好ましい。付加情報は、映像出力装置１内に予め蓄積されたものであってもよいし、インターネットを介して広告配信サーバ４から取得するものであってもよい。
【００３５】
放送映像（映像コンテンツ）は、デジタル放送映像データであって、例えば地上波デジタル放送局から放送される。そのために、映像出力装置１は、付加情報を重畳した放送映像を、放送アンテナ３へ出力する。尚、インターネット及びアクセスネットワーク（ＣＡＴＶも含む）を介して、ユーザによって視聴される端末（テレビ）へ向けて配信するものであってもよい。例えば、ＶＯＤの場合、インターネット又はＣＡＴＶを介して、特定のユーザの端末へ向けて配信される。
【００３６】
図１によれば、ユーザ宅内には、セットトップボックス５が設置されている。セットトップボックス５は、放送局２からの放送波を受信し、又はインターネットを介して放送映像を受信する。受信された放送映像は、ユーザが視聴するテレビ６へ出力される。
【００３７】
図２は、映像フレームにおける複数の重畳候補領域を表す説明図である。
【００３８】
本発明によれば、映像フレームに、付加情報を重畳可能な重畳候補領域（テンプレート）が対応付けられる。重畳候補領域は、映像のフレームに対して、１カ所だけ指定されてもよいし、複数個、指定されていてもよい。図２によれば、４つの重畳候補領域が表されている。重畳候補領域は、放送映像の画面をできる限り隠さないように、画面全体における角部分又は隅部分に設定することが好ましい。
【００３９】
図３は、映像フレームに重畳可能な付加情報を表す説明図である。
【００４０】
付加情報は、Widgetを用いた広告情報であってもよい。付加情報は、テキスト、画像、映像又はアプリケーションである。アプリケーションとは、例えばＨＴＭＬやＢＭＬ(Broadcast Markup Language)等で構成されたものである。一般的に、広告画像は（広告固有の特性から）目に付きやすいロゴと、テキストとから構成される。
【００４１】
図３によれば、例えば、付加情報１は、そのサイズから、領域１及び４に重畳可能となる。また、付加情報４は、そのサイズから、領域２及び３に重畳可能となる。尚、付加情報は、重畳候補領域に応じて、そのサイズを自動的に変換可能なものであってもよい。例えば、付加情報６は、領域１及び４の場合と、領域２及び３の場合とで、そのサイズが変換されている。
【００４２】
例えば付加情報がテキストである場合、重畳候補領域（テンプレート）の大きさに合わせて表示画像を生成する「ティッカーアプリケーション」を用いるものであってもよい。ティッカーアプリケーションの場合、映像フレームのいずれの重畳候補領域にも、付加情報を重畳することができる。
【００４３】
図４は、映像フレームに付加情報を重畳したものであって、ユーザが視覚的な違和感を生じやすい表示画面である。
【００４４】
図４（ａ）は、映像フレーム全体から見て、特徴的画像の割合が比較的多い映像フレームに、付加情報が重畳された場合である。この場合、ユーザは視覚的に煩雑さを感じやすい。
【００４５】
図４（ｂ）は、特徴的画像に比較的近い位置に、付加情報が重畳された場合である。ユーザの視点は、特徴的画像に焦点されているにも関わらず、その近くに付加情報が表示されるので、ユーザは視覚的な違和感を生じやすい。逆に、特徴的画像から離れた部分は、視覚的な影響を与えない空白部分となる。
【００４６】
図４（ｃ）は、映像フレーム全体の色調と類似の色調の付加情報が重畳された場合である。この場合、映像フレームと付加情報とを視覚的に区別しにくいために、ユーザは視覚的に違和感を生じやすい。
【００４７】
本発明によれば、できる限りユーザが視覚的に違和感を生じないようにするものである。従って、図４に表されたような視覚的な違和感を生じないように、映像フレームにおける最適な位置に、最適な付加情報を重畳する。
【００４８】
図５は、本発明における映像出力装置の機能構成図である。
【００４９】
図５によれば、映像出力装置１は、放送映像入力部１０１と、付加情報入力部１０２と、放送映像出力部１０３と、ユーザ属性受信部１０４とを有する。放送映像入力部１０１は、放送局２から放送映像を受信する。付加情報入力部１０２は、広告配信サーバ４から付加情報（広告情報）を受信する。尚、放送映像及び付加情報は、インターネットを介して受信されるものであってもよい。放送映像出力部１０３は、付加情報を重畳した放送映像を、放送アンテナ３へ出力するものであって、コンテンツストリーマとして機能する。また、放送映像出力部１０３は、放送映像を、インターネットを介してユーザ視聴の端末６へ向けて直接的に配信するものであってもよい。ユーザ属性受信部１０４は、ユーザ視聴の端末６から、ユーザ属性情報を受信する。
【００５０】
本発明における映像出力装置１は、重畳候補スロット選択部１１１と、特徴領域検出部１１２と、付加情報記憶部１２１と、付加情報選択部１２２と、構図評価部１１３と、色調評価部１１４と、放送映像重畳部１１５と、ユーザ属性記憶部１２３とを有する。これら機能構成部は、映像出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【００５１】
重畳候補スロット選択部１１１は、放送映像入力部１０１から放送映像を入力する。重畳候補スロット選択部１１１は、放送映像における時間方向に区分されたスロットの中で、付加情報を重畳するに適するスロットを選択する。即ち、付加情報を重畳するに適しないスロットを除外する。
【００５２】
図６は、重畳候補スロット選択部の処理を表す説明図である。
【００５３】
重畳候補スロット選択部１１１は、放送映像のスロット毎に、映像的及び／又は音声的な特徴量を検出し、当該特徴量が所定閾値以下となる放送映像のスロットを、付加情報の重畳対象（安定映像）として選択する。
【００５４】
例えば、放送番組の冒頭のスロットは、付加情報を重畳しないように除外される。ユーザは、視聴しようとした放送映像について、冒頭に広告情報を視聴した場合、その放送映像の視聴を中止する場合が多いからである。
【００５５】
また、例えば、スロット毎の音量を検知し、音量の変化が所定閾値よりも大きいスロットは、付加情報を重畳しないように除外される。音量の変化が大きいスロットの映像は、ユーザ視聴に対して有意な影響を与える想定され、広告情報を挿入する部分として適しない。逆に、音量の変化が小さいスロットは、広告情報を挿入する部分としての候補となり得る。
【００５６】
更に、例えば、スロット毎の映像的な特徴量の変動を検出し、その特徴量の変動が所定閾値よりも大きいスロットは、付加情報を重畳しないように除外される。例えば映像スロットの中の１枚以上の映像フレームを選択し、それら映像フレームの全体又は特徴部分における特徴量の変動を検出するものであってもよい。
【００５７】
重畳候補スロット選択部１１１は、最終的に、付加情報の重畳候補スロット（複数の映像フレームからなる）を、特徴領域検出部１１２へ出力する。
【００５８】
図７は、特徴領域検出部及び構図評価部のフローチャートである。以下では、図５の機能構成と共に、図７のフローチャートを参照して説明する。
【００５９】
特徴領域検出部１１２は、重畳候補スロット選択部１１１から、重畳候補スロット単位で受け取る。尚、最初に、処理時間を短縮するために縮小映像を生成することも好ましい。例えば、映像フレームの解像度又は階層を少なくする。縮小映像に対して処理することによって、その後の処理負荷を軽減することができる。
【００６０】
（Ｓ７０１）最初に、重畳候補スロットの中から、複数の代表フレームＲｍ（ｍ≧１）が選択される。代表フレームは、一定時間間隔毎に選択されてもよいし、所定規則毎に選択されてもよい。
【００６１】
（Ｓ７０２）次に、代表フレーム毎に、１つ以上の特徴領域を検出する。映像フレームに含まれる特徴領域は、視聴者が注視しやすく、ユーザの視覚的な認識を構成する重要な領域である。
【００６２】
特徴領域検出部１１２は、例えば以下のような認識機能のいずれか１つ又はそれらの組み合わせに基づいて特徴領域を検出する。
［１］顔認識に基づく領域の座標（左上及び右下座標）
【００６３】
［２］字幕（テロップ）抽出に基づく領域の座標（左上及び右下座標）字幕検出技術として、時間軸方向の輝度変化及び輝度勾配を用いた既存技術を用いることができる（例えば特許文献３及び４参照）。
【００６４】
［３］動き注視モデル(Motion Attention Model)又はＲＯＩ(Region of Interest)に基づく注視領域の座標（左上及び右下座標）（例えば非特許文献３参照）。
【００６５】
［４］情報密度（単位面積あたりの特徴点の数）が一定以上の領域の座標（左上及び右下座標）。特徴点の多い領域は、有意な情報が多く存在すると想定される。特徴点(interest point)検出は、例えばコーナー(corner)検出技術のような、画像の角を検出する技術である。例えばHarrisとStephensの方法がある。
【００６６】
［５］ＤＣＴ係数のＡＣ高周波成分の総エネルギー量に基づく領域の座標。画像中で、なだらか且つ変化の少ない領域には、ＤＣＴ(Discrete Cosine Transform)のＡＣ（交流、Alternate Current）高周波成分が含まれていない。なだらか且つ変化の少ない領域ほど、有意な情報が少ない。一般に、人間の眼の視覚特性は、低周波成分に敏感であり、高周波成分には鈍感であるといえる。ＤＣＴとは、映像フレームの画素領域を、離散コサイン変換を用いて周波数領域に変換する技術をいう。そこで、ブロックあたりのＤＣＴの高周波成分の総和(dAC)を算出する。
【００６７】
［６］輝度・彩度に基づく領域の座標。画面の他の領域と比較して、輝度又は彩度が高い領域は、画面の中で注視を集めやすい領域といえる。逆に、輝度又は彩度が低い領域は、画面の中で注視を集めにくく、有意な情報が少ない。そのために、以下のように、輝度比及び／又は彩度比が、所定閾値よりも低い場合に、付加情報を挿入するに適する。
輝度比：ＶＰ／ＶＡ
彩度比：ＳＰ／ＳＡ
画面全体の輝度：ＶＡ
画面全体の彩度：ＳＡ
重畳候補領域の輝度：ＶＰ
重畳候補領域の彩度：ＳＰ
【００６８】
前述したように、特徴領域が少ない映像フレームほど、それら特徴領域以外の部分に、付加情報を挿入しやすい。一方で、特徴領域が多い映像フレームほど、それら特徴領域以外の部分に、付加情報を挿入しにくい。特徴領域が多い映像フレームに付加情報を挿入した場合、ユーザは視覚的に煩雑さを感じる。
【００６９】
（Ｓ７０３）次に、特徴領域検出部１１２は、全特徴領域の合計面積が最も広い代表フレームを選択する。このような代表フレームは、その重畳候補スロットの中では、付加情報を重畳することによって、ユーザに対して視覚的に最も違和感を生じやすいものである。このように最も違和感を生じやすい映像フレームを、その重畳候補スロットにおける代表フレームとして選択することによって、そのスロットにおける最悪の映像フレームを対象とする。これによって、重畳候補スロット毎に、１つの代表フレームが選択される。
【００７０】
（Ｓ７０４）そして、特徴領域検出部１１２は、選択された代表フレームの画面面積に対する全特徴領域の合計面積が、所定閾値以上である場合、その重畳候補スロットに基づく代表フレームは、除外される。全特徴領域の合計面積が比較的多い映像フレームに、付加情報を重畳した場合、ユーザは、視覚的に煩雑さを感じるからである（図４（ａ）参照）。
【００７１】
付加情報記憶部１２１は、放送映像に重畳すべき付加情報を記憶する。例えば、Widget広告情報を記憶するものであってもよい。付加情報記憶部１２１は、付加情報入力部１０２を介して、広告配信サーバ４から取得した広告情報を記憶するものであってもよい。
【００７２】
付加情報は、メタデータと対応付けて保存される。メタデータは、付加情報を選択するためのポリシ情報である。ポリシ情報とは、付加情報の提供元（広告主）における制御情報である。例えば、以下のようなポリシ情報である。
【表１】
0005465620.tif 000002
【００７３】
付加情報選択部１２２は、付加情報記憶部１２１から、放送映像に重畳すべき１つ以上の付加情報を選択する。ここで、付加情報選択部１２２は、付加情報に付与されたメタデータと、放送映像（代表フレーム）に付与されたメタデータとを比較して、その放送映像の内容に近いジャンルの付加情報を選択する。選択された付加情報は、構図評価部１１３へ出力される。
【００７４】
例えば、放送映像の内容が「プロ野球中継」であって、放送映像に付与されたメタデータが「野球」である場合、「野球」及びそれに類似するメタデータが付与された広告情報（付加情報）が選択される。
【００７５】
尚、付加情報選択部１２２は、ユーザ属性記憶部１２３に記憶された配信先ユーザのユーザ属性情報に基づいて、付加情報を選択するものであってもよい。放送映像が、放送アンテナ３を介して不特定多数のユーザへ配信されるものである場合、付加情報選択部１２２は、ユーザ属性情報に限られない。一方で、放送映像が、ＶＯＤのように特定のユーザへ配信される場合、付加情報選択部１２２は、そのユーザ属性情報に基づいて付加情報を選択することができる。
【００７６】
ユーザ属性記憶部１２３は、ユーザ属性受信部１０４を介して受信したユーザ属性情報を記憶する。例えば、以下のようなユーザ属性情報である。
【表２】
0005465620.tif 000003
【００７７】
構図評価部１１３は、各重畳候補スロットにおける代表フレームを入力する。そして、構図評価部１１３は、映像フレーム中の重畳候補領域に付加情報を重畳するにあたり、当該映像フレームが含む全ての特徴領域との間の距離ができる限り長くなる重畳候補領域を決定する。付加情報には、そのサイズに応じて、映像フレームに対する１つ以上の重畳候補領域（テンプレート）が指定されている。
【００７８】
図８は、構図評価部によって重畳候補領域を決定する説明図である。
【００７９】
以下では、図７のフローチャートに基づいて、図８を参照しつつ、構図評価部１１３の処理を説明する。
（Ｓ７１１）付加情報の重畳候補領域毎に、Ｓ７１２〜Ｓ７１４を繰り返す。
（Ｓ７１２）代表フレームの特徴領域毎に、Ｓ７１３を繰り返す。図８（ａ）によれば、複数の重畳候補領域と、代表フレームにおける複数の特徴領域とが表されている。例えば、人物映像における顔、胸及び手の部分が特徴領域として検出される。
【００８０】
（Ｓ７１３）付加情報の重畳候補領域と、映像フレームの特徴領域との間の距離を算出する。これによって、代表フレームにおける特徴領域の偏りが評価される。ここで、距離は、代表フレームの特徴領域の重心（中心）座標と、付加情報の重畳候補領域の重心（中心）座標との間の差をであってもよい。また、特徴領域の重心（中心）座標と、重畳候補領域の周辺縁との間の距離であってもよい。
【００８１】
（Ｓ７１４）そして、付加情報の重畳候補領域毎に、Ｓ７１３の距離が最も短い１つの特徴領域を抽出する（図８（ｂ）参照）。そして、この距離が長ければ長いほど、画面内の特徴領域と、重畳候補領域の付加情報とが離れて表示され、ユーザに視覚的な違和感を生じない。
【００８２】
（Ｓ７１５）最後に、全ての重畳候補領域の中で、当該特徴領域との間のＳ７１４の距離が、最も長い１つの重畳候補領域に、付加情報を重畳するべく決定する（図８（ｃ）参照）。この距離が最長となる重畳候補領域は、特徴領域と間で対角線の構図を形成することが期待される。
【００８３】
ここで、付加情報選択部１２２は、付加情報記憶部１２１に記憶された付加情報の全部又は一部を選択したとする。このとき、構図評価部１１３は、映像フレームの特徴領域と、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定する。
【００８４】
所定の映像コンテンツに対して、ｘ個の付加情報を重畳することが求められているとする。このとき、このｘの値は、サービス運営者又はコンテンツ所有者によって予め設定されるものであってもよい。ｘの値は、重畳すべき付加情報の数と、重畳対象となる映像コンテンツの数との関係から設定される。この場合、各付加情報における各重畳候補領域との間の距離が長くなる重畳候補領域から順に、付加情報を重畳するべく決定する（Ｓ７１４参照）。
【００８５】
図９は、映像フレームに対する付加情報の重畳位置のバランスを表す説明図である。
【００８６】
図９（ａ）は、映像フレームの上端部分に付加情報が重畳された画面表示である。一方で、図９（ｂ）は、映像フレームの下端部分に付加情報が重畳された画面表示である。付加情報の重畳位置として、図９（ｂ）は、図９（ａ）と比較して、ユーザにとって視覚的に安定した構図の心証を与える。
【００８７】
そのために、構図評価部１１３は、映像フレームの当該特徴領域と、映像フレームにおける特定位置の重畳候補領域との間の距離には、重み付けω（０＜ω＜１）を乗算することも好ましい。これによって、複数の重畳候補領域の中で、映像フレームにおける特定位置の重畳候補領域が、他の重畳候補領域よりも決定され易くなる。特定位置の重畳候補領域は、例えば、映像フレームにおける下端部分の重畳候補領域であることも好ましい。
【００８８】
構図評価部１１３は、１つの付加情報及び重畳候補領域を決定するものであってもよいし、優先順に複数の付加情報及び重畳候補領域を決定するものであってもよい。決定された付加情報及び重畳候補領域は、色調評価部１１４へ出力される。
【００８９】
色調評価部１１４は、映像フレームの各特徴領域について、当該映像フレーム全体の色調と、各付加情報全体の色調との類似度が、設定類似度に最も近い付加情報を選択する。構図評価部１１３から複数の付加情報を受け取る場合、優先順に色調を評価する。
【００９０】
例えば、当該映像フレーム全体の色調と、各付加情報全体の色調とが類似する場合、ユーザは視覚的に付加情報との輪郭を判断しにくい（見づらい）。一方で、両色調が類似する方が、ユーザにとって視覚的に違和感を与えない場合もある。これは、予め設定された設定類似度によって判定されることが好ましい。設定類似度とは、付加情報の輪郭が目立つように両色調の類似度が高いか、付加情報の輪郭が目立つように両色調の類似度が低いか、又は、両色調の類似度が所定程度である。例えば、両色調の類似度は、映像フレームと付加情報との間で、Cannyフィルタによってエッジを抽出し、設定類似度の閾値以下でエッジが検出されない場合、両色調は類似するとして、その付加情報を重畳候補から除外する。即ち、できる限り、ユーザが視覚的に見やすい色調の付加情報が選択される。
【００９１】
放送映像重畳部１１５は、映像フレームの当該重畳候補領域に、付加情報を重畳する。この放送映像は、放送映像出力部１０３へ出力される。
【００９２】
付加情報が重畳された放送映像は、放送アンテナ３又はインターネットを介して、ユーザ宅のテレビ６によって受信され、ユーザによって視聴される。
【００９３】
図１０は、映像出力装置を、セットトップボックスに構成したシステム構成図である。
【００９４】
図１０によれば、セットトップボックスとしての映像出力装置５は、放送局２から、放送アンテナ３又はインターネットを介して放送映像を受信する。そして、映像出力装置５は、付加情報を重畳した放送映像をテレビ６へ出力する。尚、セットトップボックスとしての映像出力装置５は、アクセスネットワーク及びインターネットを介して広告配信サーバ４から、ユーザ属性情報に基づく広告情報を受信する。これによって、ユーザ毎に、適切且つ異なる広告情報を閲覧することができる。
【００９５】
図１１は、ユーザ操作によって詳細な広告情報を配信する説明図である。
【００９６】
テレビは、ユーザ操作による入力を受け付けることができる。例えば、ティッカーアプリケーションによって、重畳候補領域に簡潔な広告情報が重畳表示されているとする。このとき、ユーザが、その詳細情報を所望するために、その重畳候補領域を指定（ポインティングデバイスによるクリック）したとする。この場合、セットトップボックスとしての映像出力装置５は、広告配信サーバ４へ詳細な広告情報の取得を要求する。そして、映像出力装置５は、広告配信サーバ４から受信した詳細な広告情報を、テレビに出力することができる。このとき、詳細な広告情報は、放送映像の内容や特徴変動量に関係なく、ディスプレイの広い領域に表示することが好ましい。これによって、ユーザに対して、有効な広告情報を配信することができる。
【００９７】
以上、詳細に説明したように、本発明の映像出力装置、プログラム及び方法によれば、できる限りユーザが視覚的な違和感を生じないように、放送映像の最適な位置に、最適な付加情報（例えば広告情報）を重畳することができる。ユーザに対しては、放送映像の内容にできる限り影響を与えない位置及び色調で、広告情報のような付加情報が提示される。付加情報が広告情報である場合、広告主にとっては、ＣＭスキップ等の懸念が減少すると共に、ユーザに対する広告情報の露出増加も期待できる。
【００９８】
また、本発明の映像出力装置等によれば、広告情報だけでなく、放送局からのお知らせ（例えば選挙速報）の重畳位置を決定する用途にも用いることができる。このとき、番組の魅力を極力損なわないよう、ユーザに必要な情報を提示することができる。
【００９９】
更に、本発明の映像出力装置等によれば、ユーザにとって最も違和感が「大きい」重畳位置を決定することもできる。このため、例えば緊急地震速報などの、極めて重大であって且つユーザに注意喚起を促したい付加情報については、画面上の、最も違和感の大きい位置に付加情報を重畳することによって、ユーザが見落とさないようにすることもできる。
【０１００】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０１】
１  映像出力装置
１０１  放送映像入力部
１０２  付加情報入力部
１０３  放送映像出力部
１０４  ユーザ属性受信部
１１１  重畳候補スロット選択部
１１２  特徴領域検出部
１１３  構図評価部
１１４  色調評価部
１１５  放送映像重畳部
１２１  付加情報記憶部
１２２  付加情報選択部
１２３  ユーザ属性記憶部
２  放送局
３  放送アンテナ
４  広告配信サーバ
５  セットトップボックス
６  テレビ
【図１】
0005465620.tif 000004
【図５】
0005465620.tif 000005
【図６】
0005465620.tif 000006
【図７】
0005465620.tif 000007
【図１０】
0005465620.tif 000008
【図２】
0005465620.tif 000009
【図３】
0005465620.tif 000010
【図４】
0005465620.tif 000011
【図８】
0005465620.tif 000012
【図９】
0005465620.tif 000013
【図１１】
0005465620.tif 000014