(57)【要約】  動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理を行う。コンテンツ表示処理装置は、複数の静止画像から構成される動画像を取得する動画像取得部と、前記動画像に重畳して表示するためのコンテンツを取得するコンテンツ取得部と、前記動画像から前記静止画像を抽出する画像処理部と、前記画像処理部によって抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出する画像認識部と、前記画像認識部によって検出された領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定するコンテンツ配置部と、前記コンテンツ配置部によって決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理する表示処理部とを備える。
2010026745.tif 000002
【特許請求の範囲】
【請求項１】
複数の静止画像から構成される動画像を取得する動画像取得部と、
前記動画像に重畳して表示するためのコンテンツを取得するコンテンツ取得部と、
前記動画像から前記静止画像を抽出する画像処理部と、
前記画像処理部によって抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出する画像認識部と、
前記画像認識部によって検出された領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定するコンテンツ配置部と、
前記コンテンツ配置部によって決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理する表示処理部と、
を備えたコンテンツ表示処理装置。
【請求項２】
請求項１記載のコンテンツ表示処理装置であって、
前記コンテンツ表示情報を保持する表示情報保持部を備え、
前記コンテンツ配置部は、前記主要表示対象の位置又は大きさの変化に伴い、前記表示情報保持部に保持されているコンテンツ表示情報が示すコンテンツの配置及び大きさのいずれか一方を維持したまま、前記コンテンツ表示情報を新たに決定するコンテンツ表示処理装置。
【請求項３】
請求項１又は２に記載のコンテンツ表示処理装置であって、
前記画像処理部は、前記静止画像を画像処理して、前記主要表示対象のエッジを抽出するコンテンツ表示処理装置。
【請求項４】
請求項１記載のコンテンツ表示処理装置であって、
前記コンテンツ表示情報を保持する表示情報保持部を備え、
前記コンテンツ表示情報は、前記コンテンツの透過度を示す情報を含み、
前記コンテンツ配置部は、前記主要表示対象の位置又は大きさの変化に伴い、前記表示情報保持部に保持されているコンテンツ表示情報が示すコンテンツの配置及び大きさを維持したまま、前記コンテンツの透過度を決定するコンテンツ表示処理装置。
【請求項５】
請求項１記載のコンテンツ表示処理装置であって、
前記表示処理部は、前記コンテンツ表示情報に基づいて前記動画像に前記コンテンツを重畳した結果、前記主要表示対象が前記コンテンツに重なる場合、前記主要表示対象に重ならない部分の前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理装置。
【請求項６】
請求項２記載のコンテンツ表示処理装置であって、
前記コンテンツ配置部は、前記表示情報保持部に保持されている第１のコンテンツ表示情報と、前記コンテンツ配置部によって決定された第２のコンテンツ表示情報との差分に基づき、前記第１のコンテンツ表示情報と前記第２のコンテンツ表示情報とを補間する第３のコンテンツ表示情報を決定し、
前記コンテンツ配置部は、前記第３のコンテンツ情報を前記コンテンツ表示情報とするコンテンツ表示処理装置。
【請求項７】
請求項１乃至請求項６のいずれか１つに記載のコンテンツ表示処理装置であって、
前記静止画像の形状は、矩形であって、
前記静止画像の外縁部は、前記静止画像の四隅の少なくとも１つ又は前記静止画像の四辺上の少なくとも１つの点を含むコンテンツ表示処理装置。
【請求項８】
複数の静止画像から構成される動画像を取得し、
前記動画像に重畳して表示するためのコンテンツを取得し、
前記動画像から前記静止画像を抽出し、
抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出し、
検出された前記領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定し、
決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像にコンテンツを重畳して表示する処理を行うコンテンツ表示処理装置及びコンテンツ表示処理方法に関する。
【背景技術】
【０００２】
テレビ等の動画像を表示する装置は、放送、外部入力から得た動画像に、自機器の状態を表すコンテンツ、データ放送、インターネットを介して取得したコンテンツ等を同時に表示できる。例えば、データ放送を表示するテレビ画面で、コンテンツを配置するために、動画像を縮小して表示することがある。この場合、テレビ画面にコンテンツを表示することを優先し、動画像を縮小しすぎることで、ユーザがテレビ画面に表示される動画像を見ることが困難になる場合がある。【０００３】
そのため、受信チャンネルの情報、表示画面の色調整等を行う設定画面などのコンテンツを半透明にして、テレビ画面に表示される動画像に重畳表示することがある。しかし、テレビ画面内でコンテンツを表示する位置が固定されているため、動画像の重要な部分に、コンテンツが重なることが多い。【０００４】
そこで、コンテンツを動画像に重畳して表示する際、特許文献１に開示されている方法では、予め設定されたコンテンツを表示可能な複数の領域から、最も背景色の変化が少ない領域を選択する。そして、選択した領域の色分布に合わせて、コンテンツを構成する文字列等の色を変更し、動画像にコンテンツを重畳して表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特開平１０−２４７１３５号公報
【特許文献２】日本国特開２００１−３５７４０７号公報
【特許文献３】日本国特開平５−１６５５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されているコンテンツ表示処理方法では、動画像にコンテンツを重畳表示する際、予めコンテンツを配置する位置の候補を複数個、設定しておく必要がある。したがって、特許文献１に開示されているコンテンツ表示処理方法を、動画像が時間と共に頻繁に変化する一般の放送等に適用しても、予め定めておいたコンテンツを配置する位置が、動画像の重要な部分に重なることを回避することは、困難である。【０００７】
本発明の目的は、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能なコンテンツ表示処理装置及びコンテンツ表示処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、複数の静止画像から構成される動画像を取得する動画像取得部と、前記動画像に重畳して表示するためのコンテンツを取得するコンテンツ取得部と、前記動画像から前記静止画像を抽出する画像処理部と、前記画像処理部によって抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出する画像認識部と、前記画像認識部によって検出された領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定するコンテンツ配置部と、前記コンテンツ配置部によって決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理する表示処理部と、を備えたコンテンツ表示処理装置を提供する。【０００９】
また、本発明は、複数の静止画像から構成される動画像を取得し、前記動画像に重畳して表示するためのコンテンツを取得し、前記動画像から前記静止画像を抽出し、抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出し、検出された前記領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定し、決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理方法を提供する。
【発明の効果】
【００１０】
本発明に係るコンテンツ表示処理装置及びコンテンツ表示処理方法によれば、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係るコンテンツ表示処理装置を備えるコンテンツ表示システムの構成を示す図。
【図２】本発明の実施の形態１に係るコンテンツ表示処理装置の処理動作を示すフローチャート。
【図３】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツ配置方法を説明するための図。（ａ）は、抽出された画像におけるエッジの一例及び重畳表示するコンテンツの一例を示す図。（ｂ）は、図３（ａ）に示されたコンテンツを配置され得る３つの候補領域を示す図。（ｃ）は、図３（ｂ）に示された３つの候補領域の中から選択された領域内のコンテンツ表示領域を示す図。（ｄ）は、図３（ｃ）に示されたコンテンツ表示領域に表示されるコンテンツを示す図。
【図４】本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツの大きさを変更する方法を説明するための図。（ａ）は、再計算前の静止画像３０１を示す図。（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像３０１を示す図。（ｃ）は、コンテンツを段階的に縮小した状態の静止画像３０１を示す図。（ｄ）は、再計算後にコンテンツ画像を静止画像３０１に重畳した図。
【図５】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの配置変更を示す図。（ａ）は、表示例（１）を示す図。（ｂ）は、表示例（２）を示す図。（ｃ）は、表示例（３）を示す図。（ｄ）は、表示例（４）を示す図。
【図６】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの表示方法の種類を示す図。（ａ）は、表示例（５）を示す。（ｂ）は、表示例（６）を示す。（ｃ）は、表示例（７）を示す。（ｄ）は、表示例（８）を示す。
【図７】本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツ表示情報の再計算方法を説明するための図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係るコンテンツ表示処理装置を備えるコンテンツ表示システムの構成を示す図である。
【００１４】
図１に示すコンテンツ表示システムは、デジタルテレビ受信機であるコンテンツ表示処理装置１００と、インターネット又は専用回線からなるネットワーク１１０と、コンテンツを提供するコンテンツサーバ１１１と、動画像及び音声からなる番組を放送する放送局１１２と、表示装置１１３とから構成される。
【００１５】
ここで、動画像とは、静止画像から構成されるが、フレーム毎に静止画像が変化する場合と、数フレーム毎に静止画像が変化する場合の両方を含む。
【００１６】
ネットワーク１１０は、移動体通信網、公衆電話網、ＬＡＮ、及びインターネット等から構成される。ネットワークの種類とプロトコルの種類は限定されない。また、ネットワーク１１０のアクセス回線は、ＦＴＴＨ（Fiber To The Home）、ＨＦＣ（Hybrid Fiber Coax：光同軸ケーブル）、又はＡＤＳＬ（Asymmetric Digital Subscriber Line）等の大容量回線を利用できる。
【００１７】
コンテンツサーバ１１１は、例えば、放送局１１２が放送中の番組情報を含むコンテンツを、ネットワーク１１０を介してコンテンツ表示処理装置１００に提供する。コンテンツサーバ１１１は、自装置全体を制御するコンピュータからなる制御部と、ネットワーク１１０に接続され、例えばインターネット上のＵＲＬにアクセスされたデータ等を送受信する通信インタフェースと、送受信データを蓄積するデータベースから構成される。
【００１８】
放送局１１２は、番組を放送する。コンテンツ表示処理装置１００は、放送局１１２で放送された番組を受信する。
【００１９】
表示装置１１３は、コンテンツ表示処理装置１００が受信した番組を表示する。
【００２０】
コンテンツ表示処理装置１００は、コンテンツ取得部１０１と、動画像取得部１０２と、画像処理部１０３と、画像認識部１０４と、コンテンツ配置部１０５と、表示処理部１０６と、表示情報保持部１０７とを備える。また、図示していないが、コンテンツ表示処理装置１００は、ユーザからの入力操作を受け付ける入力装置と、外部記録装置、各種機器を接続するためのインタフェースとを備える。また、図示していないが、コンテンツ表示処理装置１００は、自装置の各種設定を行うためのアプリケーションを実行可能である。
【００２１】
コンテンツ取得部１０１は、ネットワーク１１０を介して、静止画像、動画像、又はテキストで表現されるコンテンツを取得する。コンテンツは、放送局１１２から受信中の番組情報、裏番組の情報等に関する情報を含む。なお、コンテンツは、自装置の設定情報（例えば、時刻情報）を含んでも良い。また、コンテンツ取得処理の高速化のため、コンテンツに変化がある場合だけ、コンテンツ取得部１０１がコンテンツを取得しても良い。また、入力装置によるユーザの入力操作に基づき、コンテンツ取得部１０１がコンテンツを取得しても良い。
【００２２】
動画像取得部１０２は、放送局１１２から配信された動画像データを取得する。動画像データには、フレームを構成する静止画像のデータが含まれる。なお、動画像取得部１０２は、放送局１１２から配信された動画像データの取得に限らず、ケーブルＴＶ等の有線放送、ネットワーク１１０を介したストリーミング配信、又はＤＶＤ、ＢＤ、ＨＤＤ（Hard Disc Drive）等の各種記録メディアを介して、あるいはカメラなどの撮像装置から、動画像データを取得しても良い。
【００２３】
画像処理部１０３は、動画像取得部１０２が取得した動画像データからフレームを抽出して、１フレームを構成する静止画像を取り出す。
【００２４】
画像認識部１０４は、画像処理部１０３が取り出した静止画像内の空き領域を検出する。「空き領域」とは、静止画像内から、静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除いた領域である。
【００２５】
まず、画像認識部１０４は、明度、彩度及び色相のいずれか１つ又はそれらの組み合わせにより、静止画像の画素を数値化する。次に、画像認識部１０４は、画素値を平滑化してノイズを除去する。そして、画像認識部１０４は、隣接する画素における画素値の差分を求める。画像認識部１０４は、画素値の差分が閾値よりも大きい画素の部分を、静止画像内の主要表示対象のエッジとして検出する。
【００２６】
そして、画像認識部１０４は、検出したエッジで囲まれた静止画像内の主要表示対象を除いた領域のうち、少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための「空き領域」として検出する。動画像の重要な部分である静止画像内の主要表示対象は、静止画像の外縁部の周辺よりも、静止画像の中央付近に表示されることが多いからである。
【００２７】
なお、画像認識部１０４は、主要表示対象の画像変化が少なくエッジのない領域又はエッジの少ない領域を、コンテンツを配置するための「空き領域」として検出しても良い。
【００２８】
画像認識部１０４は、静止画像内の主要表示対象のエッジを抽出せずに、明度、彩度及び色相のいずれか１つ又はそれらの組み合わせから、コンテンツを配置するための空き領域を検出することも可能である。
【００２９】
例えば、明度を用いる場合、画像認識部１０４は、明度が所定の値よりも低い領域のうち少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。明度が低い、つまり暗い領域は、動画像の重要な情報を含まない可能性が高いからである。
【００３０】
また、彩度を用いる場合、画像認識部１０４は、彩度が所定の値よりも低い領域のうち、少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。鮮やかさが少なく、かつ、くすんで見える彩度の低い領域は、動画像の重要な情報を含まない可能性が高いからである。同様に、色相を用いる場合、画像認識部１０４は、分割した領域における色相の平均値を求めて同系色の領域毎にまとめる。
【００３１】
又は、画像認識部１０４は、隣接する領域との色相の差が閾値より小さい場合に隣接する領域を連結し同系色の領域毎にまとめる。そして、画像認識部１０４は、同系色でまとめられた領域のうち少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。
【００３２】
コンテンツ配置部１０５は、画像認識部１０４で検出された空き領域に基づき、コンテンツの配置及び大きさを決定する。
【００３３】
画像認識部１０４で検出されたコンテンツを配置するための空き領域は、静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除いた領域である。なお、実施の形態１では、静止画像の形状は矩形である。静止画像の形状が矩形の場合、静止画像の外縁部は、静止画像の四隅の少なくとも１つ、又は静止画像の四辺上の少なくとも１つの点を含む。また、静止画像の外縁部は、静止画像の四辺から予め定めた幅で形成される帯状の領域であってもよい。
【００３４】
まず、コンテンツ配置部１０５は、静止画像をＮ×Ｍの矩形領域に分割する（Ｎ、Ｍは自然数）。分割した矩形領域のうち、画像認識部１０４が検出した空き領域の集合を求めて、コンテンツを配置する領域の候補とする。
【００３５】
次に、コンテンツ配置部１０５は、コンテンツを配置する領域の各候補から、コンテンツを表示する領域を選択する。コンテンツの縦横比を保持しつつ、拡大又は縮小したコンテンツの形状が、コンテンツを配置する領域の各候補に配置できるか否かを判断して、コンテンツを配置する領域を選択する。
コンテンツを配置可能な領域の候補が複数ある場合、コンテンツ配置部１０５は、その候補のうちで面積が一番大きい領域を、コンテンツを表示する領域として選択する。
また、コンテンツが複数ある場合、コンテンツの種別、コンテンツの生成時間、コンテンツの大きさ、又はコンテンツ同士の意味的分類等に基づき、複数のコンテンツをグループに分類して、同一グループのコンテンツ毎に、配置する領域を分けても良い。そして、コンテンツ配置部１０５は、選択した領域から、コンテンツの配置及び大きさを示すコンテンツ表示情報を生成する。
【００３６】
実施の形態１に係るコンテンツ表示処理装置１００では、画像処理部１０３、画像認識部１０４、及びコンテンツ配置部１０５は、ＣＰＵ等で構成される。ＣＰＵは、画像処理部１０３、画像認識部１０４、及びコンテンツ配置部１０５で実行される機能以外にも装置全体の制御を行う。ＣＰＵは、ＲＯＭ、ＲＡＭ及び電気的に書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等を備える。メモリは、プログラム、通信制御データ、及び端末における識別コード等の種々のデータを保持する。
【００３７】
表示情報保持部１０７は、コンテンツ配置部１０５が生成したコンテンツ表示情報を保持するメモリである。
【００３８】
表示処理部１０６は、コンテンツ配置部１０５が生成したコンテンツ表示情報に基づき、動画像にコンテンツを重畳し、コンテンツを重畳した動画像を表示装置１１３に転送する。
【００３９】
表示装置１１３は、表示処理部１０６から転送された動画像を表示する。なお、実施の形態１では、表示装置１１３は外部装置であるが、本発明はこれに限らない。コンテンツ表示処理装置１００内に表示装置１１３を設けても良い。
【００４０】
上述のように、実施の形態１に係るコンテンツ表示処理装置は、表示内容が頻繁に変化する動画像にコンテンツを重畳して表示する際に、予めコンテンツの配置を決めておかなくても、動画像の重要な部分を妨げることはない。また、実施の形態１に係るコンテンツ表示処理装置は、動画像にコンテンツを重畳して表示する処理が可能である。
【００４１】
以下、上述のように構成されたコンテンツ表示処理装置１００の動作を、図２を参照して説明する。図２は、本発明の実施の形態１に係るコンテンツ表示処理装置１００の処理動作を示すフローチャートである。
【００４２】
ステップＳ１１では、動画像取得部１０２が、放送局１１２から送信された信号を受信して、動画像を取得する。
【００４３】
ステップＳ１２では、コンテンツ取得部１０１が、コンテンツサーバ１１１からネットワーク１１０を介してコンテンツを取得する。
ステップＳ１３では、画像処理部１０３が、動画像取得部１０２が取得した動画像からフレームを抽出して、複数の静止画像を取り出し、保持する。
【００４４】
ステップＳ１４では、画像認識部１０４が、画像処理部１０３で保持する複数の静止画像から、静止画像内における主要表示対象の画像のエッジ（以下、画像のエッジと称す）を抽出する。
【００４５】
ステップＳ１５では、表示情報保持部１０７にコンテンツ表示情報が記録されているか否かを確認する。
【００４６】
コンテンツ表示情報が記録されていない場合は、ステップＳ１６に進む。
コンテンツ表示情報が記録されている場合は、ステップＳ１８に進む。
【００４７】
ステップＳ１６では、画像認識部１０４が、主要表示対象を除いた静止画像内で、画像のエッジを含まない領域から、空き領域を選択する。
【００４８】
ステップＳ１７では、コンテンツ配置部１０５が、ステップＳ１６で選択された空き領域に合わせて、コンテンツの配置及び大きさを示すコンテンツ表示情報を新たに算出する。詳細は後述するが、表示情報保持部１０７のコンテンツ表示情報を算出する場合、コンテンツの配置を優先して計算する方法と、コンテンツの大きさを優先して計算する方法と、がある。
【００４９】
ステップＳ１８では、表示処理部１０６が動画像を表示する。
ステップＳ１９では、コンテンツ配置部１０５が、新たに算出したコンテンツ表示情報が適切であるか否かを確認する。ここで適切であるとは、例えば、コンテンツが静止画像の空き領域内に配置されている、又はコンテンツの大きさが、予め定めた閾値より大きい場合である。
【００５０】
コンテンツ表示情報が適切である場合は、ステップＳ２０に進む。
コンテンツ表示情報が適切でない場合は、ステップＳ２２に進む。
【００５１】
ステップＳ２０では、コンテンツ表示情報を表示情報保持部１０７に保持する。
ステップＳ２１では、表示処理部１０６がコンテンツ表示情報に基づいて、コンテンツを動画像に重畳して表示するための処理を行う。そして、ステップＳ２３で、外部装置である表示装置１１３が、コンテンツを重畳した動画像を表示する。その後、ステップＳ１１に戻る。
ステップＳ２２では、表示情報保持部１０７のコンテンツ表示情報を削除する。その後、ステップＳ１１に戻る。
【００５２】
次に、コンテンツ表示処理装置１００が行うコンテンツの配置について、図３〜図６を参照して説明する。なお、図３〜図６には、静止画像、コンテンツを配置する領域の候補、及びコンテンツの形状がすべて矩形であるが、円形、他の形状であっても良い。
【００５３】
図３は、本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツ配置方法を説明するための図である。図３（ａ）は、抽出された画像におけるエッジの一例及び重畳表示するコンテンツの一例を示す。図３（ｂ）は、図３（ａ）に示されたコンテンツを配置され得る３つの候補領域を示す。図３（ｃ）は、図３（ｂ）に示された３つの候補領域の中から選択された領域内のコンテンツ表示領域を示す。図３（ｄ）は、図３（ｃ）に示されたコンテンツ表示領域に表示されるコンテンツを示す。
【００５４】
図３（ａ）に示されたコンテンツ２０５、２０６を、エッジ２０２を含む静止画像２０１に表示する際、コンテンツ配置部１０５は、図３（ｂ）に示すように、３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃを検出する。矩形領域２０３は、コンテンツ２０５、２０６を表示する領域の大きさを示している。これら３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃの各縦横比は、矩形領域２０３の縦横比と同一である。また、各候補領域は、静止画像２０１の四隅のうち少なくとも１つを含み、エッジ２０２によって囲まれた主要表示対象とは重ならない。
【００５５】
コンテンツ配置部１０５は、３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃの中から、最も面積の大きい候補領域２０４Ａを選択する。さらに、コンテンツ配置部１０５は、予め定めたコンテンツの表示サイズの上限値に基づいて、選択した候補領域２０４Ａ内の図３（ｃ）に示す領域２０４Ａ’をコンテンツ表示領域として決定する。なお、候補領域の大きさが本来のコンテンツの大きさよりも小さいとき、コンテンツ配置部１０５は、予め定めたコンテンツの表示サイズの下限値を下回らない範囲で、コンテンツを縮小しても良い。ただし、選択した候補領域の大きさが予め定めた閾値よりも小さい場合、当該選択した領域にコンテンツは表示されない。
【００５６】
コンテンツ配置部１０５は、コンテンツ表示領域２０４Ａ’の配置及び大きさを決定すると、当該配置及び大きさをコンテンツ表示情報として、表示情報保持部１０７に格納する。そして、表示処理部１０６は、表示情報保持部１０７に保持されているコンテンツ表示情報に基づいて、図３（ｄ）に示すように、動画像にコンテンツ２０５、２０６を重畳して表示する処理を行う。
【００５７】
なお、図３（ｄ）に示した例では、コンテンツ表示領域２０４Ａ’に２つのコンテンツ２０５、２０６が表示される。このように、表示するコンテンツが複数ある場合、上述した処理をコンテンツ別に行い、それぞれ異なるコンテンツ表示領域に各コンテンツを表示する処理を行っても良い。
【００５８】
次に、コンテンツを配置した後に、動画像が変化して、主要表示対象の画像のエッジがコンテンツに重なった場合について、コンテンツ表示情報を再計算する方法を説明する。
【００５９】
まず、現在のコンテンツの配置を優先して、コンテンツ表示情報を再計算する方法について、図４を参照して説明する。図４は、本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツの大きさを変更する方法を説明するための図である。図４（ａ）は、再計算前の静止画像３０１を示す図である。図４（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像３０１を示す図である。図４（ｃ）は、コンテンツを段階的に縮小した状態の静止画像３０１を示す図である。図４（ｄ）は、再計算後にコンテンツ画像を静止画像３０１に重畳した図である。
【００６０】
図４（ａ）は、再計算前の静止画像３０１である。２つのコンテンツ３０５、３０６が、静止画像３０１の右上隅を基準に表示されている。次に、静止画像３０１が、図４（ａ）から図４（ｂ）に変化した時、コンテンツの配置を優先して、コンテンツ配置部１０５は、コンテンツ表示情報を再計算する。まず、コンテンツ３０５、３０６と画像のエッジ３０２が重なっているので、コンテンツ配置部１０５は、コンテンツが表示されている領域を、予め定めた閾値まで、段階的に縮小可能であるか否かを確認する。
【００６１】
図４（ｃ）に示すように、コンテンツが縮小可能である場合、コンテンツ配置部１０５は、コンテンツ３０５、３０６と、画像のエッジ３０２が重ならなくなるまで、コンテンツを表示する候補領域３０４を段階的に縮小する。そして、コンテンツ配置部１０５は、段階的に縮小した候補領域３０４の大きさに基づき、コンテンツ表示情報を再計算する。
【００６２】
図４の（ｄ）に示すように、コンテンツ配置部１０５が再計算したコンテンツ表示情報に基づき、表示処理部１０６は、コンテンツを表示する候補領域３０４に、コンテンツ３０５、３０６を重畳して表示するための処理を実行する。そして、表示処理部１０６は、コンテンツ３０５、３０６を動画像に重畳する。表示処理部１０６は、コンテンツ３０５、３０６を重畳した動画像を、外部装置である表示装置１１３に転送する。表示装置１１３は、表示処理部１０６から転送されたコンテンツ３０５、３０６を重畳した動画像を表示する。
【００６３】
なお、図４では、縮小処理の基準点として静止画像３０１の右上隅を用いているが、コンテンツの四隅のうち少なくとも１つ、又はコンテンツの中心を、縮小処理の基準として用いても良い。また、コンテンツ３０５、３０６に、画像のエッジ３０２が重ならない場合、予め定めた閾値まで、コンテンツを段階的に拡大できるか確認して、拡大可能な大きさまで、コンテンツ３０５、３０６を拡大することもできる。拡大処理の基準も、縮小処理と同様、コンテンツの四隅のうちの少なくとも１つ、又はコンテンツの中心を用いることができる。
【００６４】
上述のように、コンテンツ配置部１０５が、現在のコンテンツの配置を優先してコンテンツ表示情報を再計算しても、コンテンツに、静止画像内における主要表示対象の画像のエッジが重なる場合がある。この場合、コンテンツ配置部１０５が、コンテンツ表示情報を改めて計算するために、（１）コンテンツの表示方法を変更する、又は（２）コンテンツの配置を変更することが考えられる。
【００６５】
以下、（１）コンテンツの表示方法を変更する場合について、図５を参照して説明する。図５は、本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの表示例を示す図である。特に、コンテンツを予め定めた閾値まで段階的に縮小しても、画像のエッジが重なる場合について説明する。
【００６６】
図５（ａ）に示す表示例（１）では、コンテンツ配置部１０５が、静止画像４０１内でコンテンツ４０５に重なるエッジの量によって、コンテンツ４０５の透過度を変更している。この場合、コンテンツ配置部１０５は、コンテンツ４０５の配置及び大きさを示すコンテンツ表示情報に、コンテンツ４０５の透過度を示す情報を加える。コンテンツ４０５に重なるエッジの量が多いほど、コンテンツ配置部１０５は、コンテンツ４０５の透過度を上げて、コンテンツ４０５を透明に近づける。
【００６７】
ただし、閾値以上に、コンテンツ４０５に画像のエッジ４０２が重なる場合、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。又は、コンテンツ配置部１０５は、コンテンツ４０５を画像のエッジ４０２で分割して、最も大きい領域にコンテンツ４０５を配置しても良い。
【００６８】
図５（ｂ）に示す表示例（２）では、コンテンツ配置部１０５は、静止画像４０１内で、画像のエッジ４０２がない方向にコンテンツ４０５を移動する。そして、予め定めた移動量の上限値を越えない範囲で、コンテンツ４０５が画像のエッジ４０２と重ならない場合、コンテンツ配置部１０５は、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ４０５を動画像に重畳して表示するための処理を行う。ただし、予め定めた移動量の上限値を越える場合、コンテンツ配置部１０５は、処理中の静止画像４０１におけるコンテンツ表示情報を破棄する。
【００６９】
図５（ｃ）に示す表示例（３）では、コンテンツ配置部１０５は、予め定めた閾値よりもコンテンツ４０５の大きさが大きい場合、画像のエッジ４０２と重複した部分を欠いた形でコンテンツ４０５を静止画像４０１内に配置し、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ４０５を動画像に重畳して表示するための処理を行う。ただし、予め定めた閾値よりも、コンテンツ４０５’が小さくなる場合、図５（ｄ）に示す表示例（４）のように、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。
【００７０】
次に、コンテンツの配置を変更する場合について、図６を参照して、説明する。図６は、本発明の実施の形態１に係るコンテンツ表示処理装置におけるコンテンツの表示方法の種類を示す図である。
【００７１】
図６では、コンテンツ５０４が画像のエッジ５０２と重ならなくなるまで縮小すると、コンテンツ５０４の大きさが、予め定めた閾値よりも小さくなる場合について説明する。なお、図６は、コンテンツの配置を変更する際の基準として、静止画像５０１の四隅を用いて説明するが、これに限らず、静止画像５０１の各四辺上における任意の点を基準とすることも可能である。
【００７２】
図６（ａ）に示す表示例（５）では、静止画像５０１内のコンテンツ５０４の大きさは、予め定めた閾値よりも小さい。そこで、コンテンツ配置部１０５は、図６（ｂ）に示す表示例（６）のように、コンテンツ５０４の縦横比と同じ縦横比を有するコンテンツ５０４を表示するための候補領域５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄを、静止画像５０１の各四隅を基準として生成する。各候補領域の大きさは、静止画像内の画像のエッジ５０２と重ならないように設定されている。
【００７３】
次に、図６（ｃ）に示す表示例（７）のように、コンテンツ配置部１０５は、コンテンツ５０４を表示するための候補領域５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄのうち、面積が一番大きい候補領域５０４Ｄを、実際にコンテンツを表示する領域として選択する。この候補領域５０４Ｄの大きさと位置に基づき、コンテンツ配置部１０５は、コンテンツ表示情報を再計算し、コンテンツ表示情報を決定する。
【００７４】
そして、図６（ｄ）に示す表示例（８）のように、表示処理部１０６は、再計算したコンテンツ表示情報に基づき、コンテンツ５０５を動画像に重畳して表示するための処理を行う。表示装置１１３は、表示処理部１０６から転送された動画像を表示する。
【００７５】
上述のように、コンテンツ配置部１０５は、現在のコンテンツの配置を優先して、コンテンツ表示情報を再計算する。また、コンテンツ配置部１０５は、コンテンツに画像のエッジが重なった場合でも、（１）コンテンツの表示方法を変更する、又は（２）コンテンツの配置を変更することで、コンテンツ表示情報を再計算する。そして、再計算したコンテンツ表示情報に基づき、表示処理部１０６は、コンテンツを動画像に重畳して表示する処理を行う。このため、実施の形態１に係るコンテンツ表示処理装置は、動画像の変化に応じてコンテンツを表示可能な領域が変化しても、動画像の重要な部分を妨げることなく、動画像にコンテンツを表示する処理が可能である。
【００７６】
続いて、現在のコンテンツの大きさを優先して、コンテンツ表示情報を再計算する場合について、図７を参照して説明する。図７は、本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツ表示情報の再計算方法を説明するための図である。図７（ａ）は、再計算前の静止画像６０１を示す図である。図７（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像６０１を示す図である。図７（ｃ）は、コンテンツと画像のエッジが重なっていない状態の静止画像６０１を示す図である。図７（ｄ）は、再計算後にコンテンツ画像を静止画像６０１に重畳した図である。
【００７７】
図７（ａ）には、再計算前の静止画像６０１を示している。２つのコンテンツ６０５、６０６が、静止画像６０１の四隅のうち、右上隅を基準に表示されている。図７では、縮小処理の基準点として静止画像６０１の右上隅を用いる。
【００７８】
次に、動画像の変化により、静止画像６０１が図７（ａ）から図７（ｂ）に変化した場合、コンテンツ配置部１０５が、コンテンツの大きさを優先して、コンテンツ表示情報を再計算する方法を説明する。なお、静止画像７０１の画像に変化がない場合、コンテンツ配置部１０５は、現在のコンテンツ表示情報に基づき、コンテンツ表示情報を再計算する。
【００７９】
図７（ｂ）に示すように、コンテンツ６０５、６０６に画像のエッジ６０２が重なる場合、図７（ｃ）に示すように、コンテンツ配置部１０５は、画像のエッジ６０２が重ならないように、コンテンツ６０５、６０６を移動させて、コンテンツ表示情報を再計算する。ただし、コンテンツの移動量が予め定めた上限値を越える場合、コンテンツ配置部１０５は、コンテンツを移動させずに、コンテンツ６０５、６０６を、その縦横比を固定して段階的に縮小する。
【００８０】
そして、コンテンツ配置部１０５は、予め定めた閾値まで、コンテンツ６０５、６０６を段階的に縮小可能であるかを確認する。図７（ｄ）に示すように、コンテンツ配置部１０５は、コンテンツ６０５、６０６に画像のエッジ６０２が重ならないようにコンテンツ６０５、６０６を縮小して、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ６０５、６０６を動画像に重畳して表示するための処理を実行する。
【００８１】
この再計算により、動画像の変化に応じて、コンテンツを表示可能な領域が変化しても、動画像の主要な表示対象をさえぎることなく、動画像にコンテンツを重畳して表示するための処理が可能である。なお、図７では、縮小処理の基準点として静止画像６０１の右上隅を用いているが、コンテンツ６０５、６０６の四隅のうち１つ、又はコンテンツ６０５、６０６の中心を、縮小処理の基準として用いても良い。
【００８２】
上述のように、現在のコンテンツの大きさを優先してコンテンツ表示情報を再計算しても、コンテンツに画像のエッジが重なる場合がある。その場合、コンテンツ表示方法を計算するために、以下のような方法が可能である。
【００８３】
例えば、予め定めた閾値まで、コンテンツを縮小しても画像のエッジが含まれる場合、コンテンツ配置部１０５は、コンテンツの配置を変更する。そして、コンテンツの配置を変更しても、コンテンツに画像のエッジが重なる場合、コンテンツ配置部１０５は、現在のコンテンツ表示情報を破棄し、表示処理部１０６は、コンテンツを動画像に表示をしないように処理を実行する。
【００８４】
また、例えば、コンテンツに重なるエッジの量に応じて、コンテンツ配置部１０５は、コンテンツの透過度を変えて、静止画像に半透明なコンテンツを表示しても良い。ただし、閾値以上に、コンテンツに画像のエッジが重なる場合、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。又は、コンテンツ配置部１０５は、コンテンツの表示領域をエッジで分割し、最も大きい領域を表示領域としても良い。
【００８５】
上記実施の形態１において、コンテンツ配置部１０５が、コンテンツを拡大又は縮小し、かつコンテンツを所定の範囲で移動させる際、表示情報保持部１０７に保持されているコンテンツ表示情報と、コンテンツ配置１０５が再計算で求めたコンテンツ表示情報との補間をしても良い。
【００８６】
この場合、コンテンツ配置１０５は、補完データに基づきコンテンツ表示情報を作成する。そして、表示処理部１０６は、補間データに基づくコンテンツ表示情報により、コンテンツを連続的に表示する処理を行う。なお、表示装置１１３が、補間データに基づくコンテンツ表示情報に基づき、画像を表示している際は、画像のエッジと重複する場合もあるが、ユーザがコンテンツを追従しやすくなる利点が得られる。
【００８７】
以上、詳細に説明したように、実施の形態１に係るコンテンツ表示処理装置は、動画像を構成する静止画像内の主要表示対象を除いた領域のうち、静止画像の外縁部を含む領域を、コンテンツを表示するための空き領域をとして検出する。実施の形態１に係るコンテンツ表示処理装置は、検出した空き領域に基づき、コンテンツの配置と大きさからなるコンテンツ表示情報を決定し、当該コンテンツ表示情報に基づき、動画像にコンテンツを重畳して表示するための処理を行う。これにより、動画像の変化に応じて、コンテンツが表示できる領域が変化しても、動画像の重要な部分を妨げることなく、動画像にコンテンツを表示するための処理が可能である。
【００８８】
なお、上記実施の形態１では、コンテンツ表示処理装置をデジタル放送の電波を受信可能なテレビ受信機に適用した例を用いて説明したが、本発明はこれに限らない。本発明のコンテンツ表示処理装置は、光ディスクプレイヤ、ハードディスクレコーダ、携帯電話機、ＰＨＳ（（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistants）パソコン（personal computer）、デジタルスチルカメラ及びデジタルムービーカメラなどの撮影機器、並びに携帯ゲーム機にも適用できる。
【００８９】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００９１】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００９２】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
【００９３】
本出願は、２００８年９月２日出願の日本特許出願（特願２００８−２２４５９０）、に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００９４】
本発明は、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能なコンテンツ表示処理装置及びコンテンツ表示処理方法に適用できる。
【符号の説明】
【００９５】
１００  コンテンツ表示処理装置
１０１  コンテンツ取得部
１０２  動画像取得部
１０３  画像処理部
１０４  画像認識部
１０５  コンテンツ配置部
１０６  表示処理部
１１０  ネットワーク
１１１  コンテンツサーバ
１１２  放送局
１１３  表示装置
２０１、３０１、４０１、５０１、６０１  静止画像
２０２、３０２、４０２、５０２、６０２  画像のエッジ
２０３  矩形領域
２０４Ａ、２０４Ｂ、２０４Ｃ、３０４、５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄ  候補領域
２０４Ａ’  コンテンツ表示領域
２０５、２０６、３０５、３０６、４０５、５０４、５０５、６０５、６０６  コンテンツ
【図１】
2010026745.tif 000003
【図２】
2010026745.tif 000004
【図３】
2010026745.tif 000005
【図４】
2010026745.tif 000006
【図５】
2010026745.tif 000007
【図６】
2010026745.tif 000008
【図７】
2010026745.tif 000009
【手続補正書】
【提出日】平成22年2月18日(2010.2.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】コンテンツ表示処理装置及びコンテンツ表示処理方法
【技術分野】
【０００１】
本発明は、動画像にコンテンツを重畳して表示する処理を行うコンテンツ表示処理装置及びコンテンツ表示処理方法に関する。
【背景技術】
【０００２】
テレビ等の動画像を表示する装置は、放送、外部入力から得た動画像に、自機器の状態を表すコンテンツ、データ放送、インターネットを介して取得したコンテンツ等を同時に表示できる。例えば、データ放送を表示するテレビ画面で、コンテンツを配置するために、動画像を縮小して表示することがある。この場合、テレビ画面にコンテンツを表示することを優先し、動画像を縮小しすぎることで、ユーザがテレビ画面に表示される動画像を見ることが困難になる場合がある。
【０００３】
そのため、受信チャンネルの情報、表示画面の色調整等を行う設定画面などのコンテンツを半透明にして、テレビ画面に表示される動画像に重畳表示することがある。しかし、テレビ画面内でコンテンツを表示する位置が固定されているため、動画像の重要な部分に、コンテンツが重なることが多い。
【０００４】
そこで、コンテンツを動画像に重畳して表示する際、特許文献１に開示されている方法では、予め設定されたコンテンツを表示可能な複数の領域から、最も背景色の変化が少ない領域を選択する。そして、選択した領域の色分布に合わせて、コンテンツを構成する文字列等の色を変更し、動画像にコンテンツを重畳して表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】  特開平１０−２４７１３５号公報
【特許文献２】  特開２００１−３５７４０７号公報
【特許文献３】  特開平５−１６５５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されているコンテンツ表示処理方法では、動画像にコンテンツを重畳表示する際、予めコンテンツを配置する位置の候補を複数個、設定しておく必要がある。したがって、特許文献１に開示されているコンテンツ表示処理方法を、動画像が時間と共に頻繁に変化する一般の放送等に適用しても、予め定めておいたコンテンツを配置する位置が、動画像の重要な部分に重なることを回避することは、困難である。
【０００７】
本発明の目的は、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能なコンテンツ表示処理装置及びコンテンツ表示処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、複数の静止画像から構成される動画像を取得する動画像取得部と、前記動画像に重畳して表示するためのコンテンツを取得するコンテンツ取得部と、前記動画像から前記静止画像を抽出する画像処理部と、前記画像処理部によって抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出する画像認識部と、前記画像認識部によって検出された領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定するコンテンツ配置部と、前記コンテンツ配置部によって決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理する表示処理部と、を備えたコンテンツ表示処理装置を提供する。
【０００９】
また、本発明は、複数の静止画像から構成される動画像を取得し、前記動画像に重畳して表示するためのコンテンツを取得し、前記動画像から前記静止画像を抽出し、抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出し、検出された前記領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定し、決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理方法を提供する。
【発明の効果】
【００１０】
本発明に係るコンテンツ表示処理装置及びコンテンツ表示処理方法によれば、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係るコンテンツ表示処理装置を備えるコンテンツ表示システムの構成を示す図。
【図２】本発明の実施の形態１に係るコンテンツ表示処理装置の処理動作を示すフローチャート。
【図３】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツ配置方法を説明するための図。（ａ）は、抽出された画像におけるエッジの一例及び重畳表示するコンテンツの一例を示す図。（ｂ）は、図３（ａ）に示されたコンテンツを配置され得る３つの候補領域を示す図。（ｃ）は、図３（ｂ）に示された３つの候補領域の中から選択された領域内のコンテンツ表示領域を示す図。（ｄ）は、図３（ｃ）に示されたコンテンツ表示領域に表示されるコンテンツを示す図。
【図４】本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツの大きさを変更する方法を説明するための図。（ａ）は、再計算前の静止画像３０１を示す図。（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像３０１を示す図。（ｃ）は、コンテンツを段階的に縮小した状態の静止画像３０１を示す図。（ｄ）は、再計算後にコンテンツ画像を静止画像３０１に重畳した図。
【図５】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの配置変更を示す図。（ａ）は、表示例（１）を示す図。（ｂ）は、表示例（２）を示す図。（ｃ）は、表示例（３）を示す図。（ｄ）は、表示例（４）を示す図。
【図６】本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの表示方法の種類を示す図。（ａ）は、表示例（５）を示す。（ｂ）は、表示例（６）を示す。（ｃ）は、表示例（７）を示す。（ｄ）は、表示例（８）を示す。
【図７】本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツ表示情報の再計算方法を説明するための図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係るコンテンツ表示処理装置を備えるコンテンツ表示システムの構成を示す図である。
【００１４】
図１に示すコンテンツ表示システムは、デジタルテレビ受信機であるコンテンツ表示処理装置１００と、インターネット又は専用回線からなるネットワーク１１０と、コンテンツを提供するコンテンツサーバ１１１と、動画像及び音声からなる番組を放送する放送局１１２と、表示装置１１３とから構成される。
【００１５】
ここで、動画像とは、静止画像から構成されるが、フレーム毎に静止画像が変化する場合と、数フレーム毎に静止画像が変化する場合の両方を含む。
【００１６】
ネットワーク１１０は、移動体通信網、公衆電話網、ＬＡＮ、及びインターネット等から構成される。ネットワークの種類とプロトコルの種類は限定されない。また、ネットワーク１１０のアクセス回線は、ＦＴＴＨ（Fiber To The Home）、ＨＦＣ（Hybrid Fiber Coax：光同軸ケーブル）、又はＡＤＳＬ（Asymmetric Digital Subscriber Line）等の大容量回線を利用できる。
【００１７】
コンテンツサーバ１１１は、例えば、放送局１１２が放送中の番組情報を含むコンテンツを、ネットワーク１１０を介してコンテンツ表示処理装置１００に提供する。コンテンツサーバ１１１は、自装置全体を制御するコンピュータからなる制御部と、ネットワーク１１０に接続され、例えばインターネット上のＵＲＬにアクセスされたデータ等を送受信する通信インタフェースと、送受信データを蓄積するデータベースから構成される。
【００１８】
放送局１１２は、番組を放送する。コンテンツ表示処理装置１００は、放送局１１２で放送された番組を受信する。
【００１９】
表示装置１１３は、コンテンツ表示処理装置１００が受信した番組を表示する。
【００２０】
コンテンツ表示処理装置１００は、コンテンツ取得部１０１と、動画像取得部１０２と、画像処理部１０３と、画像認識部１０４と、コンテンツ配置部１０５と、表示処理部１０６と、表示情報保持部１０７とを備える。また、図示していないが、コンテンツ表示処理装置１００は、ユーザからの入力操作を受け付ける入力装置と、外部記録装置、各種機器を接続するためのインタフェースとを備える。また、図示していないが、コンテンツ表示処理装置１００は、自装置の各種設定を行うためのアプリケーションを実行可能である。
【００２１】
コンテンツ取得部１０１は、ネットワーク１１０を介して、静止画像、動画像、又はテキストで表現されるコンテンツを取得する。コンテンツは、放送局１１２から受信中の番組情報、裏番組の情報等に関する情報を含む。なお、コンテンツは、自装置の設定情報（例えば、時刻情報）を含んでも良い。また、コンテンツ取得処理の高速化のため、コンテンツに変化がある場合だけ、コンテンツ取得部１０１がコンテンツを取得しても良い。また、入力装置によるユーザの入力操作に基づき、コンテンツ取得部１０１がコンテンツを取得しても良い。
【００２２】
動画像取得部１０２は、放送局１１２から配信された動画像データを取得する。動画像データには、フレームを構成する静止画像のデータが含まれる。なお、動画像取得部１０２は、放送局１１２から配信された動画像データの取得に限らず、ケーブルＴＶ等の有線放送、ネットワーク１１０を介したストリーミング配信、又はＤＶＤ、ＢＤ、ＨＤＤ（Hard Disc Drive）等の各種記録メディアを介して、あるいはカメラなどの撮像装置から、動画像データを取得しても良い。
【００２３】
画像処理部１０３は、動画像取得部１０２が取得した動画像データからフレームを抽出して、１フレームを構成する静止画像を取り出す。
【００２４】
画像認識部１０４は、画像処理部１０３が取り出した静止画像内の空き領域を検出する。「空き領域」とは、静止画像内から、静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除いた領域である。
【００２５】
まず、画像認識部１０４は、明度、彩度及び色相のいずれか１つ又はそれらの組み合わせにより、静止画像の画素を数値化する。次に、画像認識部１０４は、画素値を平滑化してノイズを除去する。そして、画像認識部１０４は、隣接する画素における画素値の差分を求める。画像認識部１０４は、画素値の差分が閾値よりも大きい画素の部分を、静止画像内の主要表示対象のエッジとして検出する。
【００２６】
そして、画像認識部１０４は、検出したエッジで囲まれた静止画像内の主要表示対象を除いた領域のうち、少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための「空き領域」として検出する。動画像の重要な部分である静止画像内の主要表示対象は、静止画像の外縁部の周辺よりも、静止画像の中央付近に表示されることが多いからである。
【００２７】
なお、画像認識部１０４は、主要表示対象の画像変化が少なくエッジのない領域又はエッジの少ない領域を、コンテンツを配置するための「空き領域」として検出しても良い。
【００２８】
画像認識部１０４は、静止画像内の主要表示対象のエッジを抽出せずに、明度、彩度及び色相のいずれか１つ又はそれらの組み合わせから、コンテンツを配置するための空き領域を検出することも可能である。
【００２９】
例えば、明度を用いる場合、画像認識部１０４は、明度が所定の値よりも低い領域のうち少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。明度が低い、つまり暗い領域は、動画像の重要な情報を含まない可能性が高いからである。
【００３０】
また、彩度を用いる場合、画像認識部１０４は、彩度が所定の値よりも低い領域のうち、少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。鮮やかさが少なく、かつ、くすんで見える彩度の低い領域は、動画像の重要な情報を含まない可能性が高いからである。同様に、色相を用いる場合、画像認識部１０４は、分割した領域における色相の平均値を求めて同系色の領域毎にまとめる。
【００３１】
又は、画像認識部１０４は、隣接する領域との色相の差が閾値より小さい場合に隣接する領域を連結し同系色の領域毎にまとめる。そして、画像認識部１０４は、同系色でまとめられた領域のうち少なくとも静止画像の外縁部を含む領域を、コンテンツを配置するための空き領域として検出する。
【００３２】
コンテンツ配置部１０５は、画像認識部１０４で検出された空き領域に基づき、コンテンツの配置及び大きさを決定する。
【００３３】
画像認識部１０４で検出されたコンテンツを配置するための空き領域は、静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除いた領域である。なお、実施の形態１では、静止画像の形状は矩形である。静止画像の形状が矩形の場合、静止画像の外縁部は、静止画像の四隅の少なくとも１つ、又は静止画像の四辺上の少なくとも１つの点を含む。また、静止画像の外縁部は、静止画像の四辺から予め定めた幅で形成される帯状の領域であってもよい。
【００３４】
まず、コンテンツ配置部１０５は、静止画像をＮ×Ｍの矩形領域に分割する（Ｎ、Ｍは自然数）。分割した矩形領域のうち、画像認識部１０４が検出した空き領域の集合を求めて、コンテンツを配置する領域の候補とする。
【００３５】
次に、コンテンツ配置部１０５は、コンテンツを配置する領域の各候補から、コンテンツを表示する領域を選択する。コンテンツの縦横比を保持しつつ、拡大又は縮小したコンテンツの形状が、コンテンツを配置する領域の各候補に配置できるか否かを判断して、コンテンツを配置する領域を選択する。
【００３６】
コンテンツを配置可能な領域の候補が複数ある場合、コンテンツ配置部１０５は、その候補のうちで面積が一番大きい領域を、コンテンツを表示する領域として選択する。
【００３７】
また、コンテンツが複数ある場合、コンテンツの種別、コンテンツの生成時間、コンテンツの大きさ、又はコンテンツ同士の意味的分類等に基づき、複数のコンテンツをグループに分類して、同一グループのコンテンツ毎に、配置する領域を分けても良い。そして、コンテンツ配置部１０５は、選択した領域から、コンテンツの配置及び大きさを示すコンテンツ表示情報を生成する。
【００３８】
実施の形態１に係るコンテンツ表示処理装置１００では、画像処理部１０３、画像認識部１０４、及びコンテンツ配置部１０５は、ＣＰＵ等で構成される。ＣＰＵは、画像処理部１０３、画像認識部１０４、及びコンテンツ配置部１０５で実行される機能以外にも装置全体の制御を行う。ＣＰＵは、ＲＯＭ、ＲＡＭ及び電気的に書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等を備える。メモリは、プログラム、通信制御データ、及び端末における識別コード等の種々のデータを保持する。
【００３９】
表示情報保持部１０７は、コンテンツ配置部１０５が生成したコンテンツ表示情報を保持するメモリである。
【００４０】
表示処理部１０６は、コンテンツ配置部１０５が生成したコンテンツ表示情報に基づき、動画像にコンテンツを重畳し、コンテンツを重畳した動画像を表示装置１１３に転送する。
【００４１】
表示装置１１３は、表示処理部１０６から転送された動画像を表示する。なお、実施の形態１では、表示装置１１３は外部装置であるが、本発明はこれに限らない。コンテンツ表示処理装置１００内に表示装置１１３を設けても良い。
【００４２】
上述のように、実施の形態１に係るコンテンツ表示処理装置は、表示内容が頻繁に変化する動画像にコンテンツを重畳して表示する際に、予めコンテンツの配置を決めておかなくても、動画像の重要な部分を妨げることはない。また、実施の形態１に係るコンテンツ表示処理装置は、動画像にコンテンツを重畳して表示する処理が可能である。
【００４３】
以下、上述のように構成されたコンテンツ表示処理装置１００の動作を、図２を参照して説明する。図２は、本発明の実施の形態１に係るコンテンツ表示処理装置１００の処理動作を示すフローチャートである。
【００４４】
ステップＳ１１では、動画像取得部１０２が、放送局１１２から送信された信号を受信して、動画像を取得する。
【００４５】
ステップＳ１２では、コンテンツ取得部１０１が、コンテンツサーバ１１１からネットワーク１１０を介してコンテンツを取得する。
【００４５】
ステップＳ１３では、画像処理部１０３が、動画像取得部１０２が取得した動画像からフレームを抽出して、複数の静止画像を取り出し、保持する。
【００４６】
ステップＳ１４では、画像認識部１０４が、画像処理部１０３で保持する複数の静止画像から、静止画像内における主要表示対象の画像のエッジ（以下、画像のエッジと称す）を抽出する。
【００４７】
ステップＳ１５では、表示情報保持部１０７にコンテンツ表示情報が記録されているか否かを確認する。
【００４８】
コンテンツ表示情報が記録されていない場合は、ステップＳ１６に進む。
【００４５】
コンテンツ表示情報が記録されている場合は、ステップＳ１８に進む。
【００４９】
ステップＳ１６では、画像認識部１０４が、主要表示対象を除いた静止画像内で、画像のエッジを含まない領域から、空き領域を選択する。
【００５０】
ステップＳ１７では、コンテンツ配置部１０５が、ステップＳ１６で選択された空き領域に合わせて、コンテンツの配置及び大きさを示すコンテンツ表示情報を新たに算出する。詳細は後述するが、表示情報保持部１０７のコンテンツ表示情報を算出する場合、コンテンツの配置を優先して計算する方法と、コンテンツの大きさを優先して計算する方法と、がある。
【００５１】
ステップＳ１８では、表示処理部１０６が動画像を表示する。
【００５２】
ステップＳ１９では、コンテンツ配置部１０５が、新たに算出したコンテンツ表示情報が適切であるか否かを確認する。ここで適切であるとは、例えば、コンテンツが静止画像の空き領域内に配置されている、又はコンテンツの大きさが、予め定めた閾値より大きい場合である。
【００５３】
コンテンツ表示情報が適切である場合は、ステップＳ２０に進む。
【００５４】
コンテンツ表示情報が適切でない場合は、ステップＳ２２に進む。
【００５５】
ステップＳ２０では、コンテンツ表示情報を表示情報保持部１０７に保持する。
【００５６】
ステップＳ２１では、表示処理部１０６がコンテンツ表示情報に基づいて、コンテンツを動画像に重畳して表示するための処理を行う。そして、ステップＳ２３で、外部装置である表示装置１１３が、コンテンツを重畳した動画像を表示する。その後、ステップＳ１１に戻る。
【００５７】
ステップＳ２２では、表示情報保持部１０７のコンテンツ表示情報を削除する。その後、ステップＳ１１に戻る。
【００５８】
次に、コンテンツ表示処理装置１００が行うコンテンツの配置について、図３〜図６を参照して説明する。なお、図３〜図６には、静止画像、コンテンツを配置する領域の候補、及びコンテンツの形状がすべて矩形であるが、円形、他の形状であっても良い。
【００５９】
図３（ａ）〜（ｄ）は、本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツ配置方法を説明するための図である。図３（ａ）は、抽出された画像におけるエッジの一例及び重畳表示するコンテンツの一例を示す。図３（ｂ）は、図３（ａ）に示されたコンテンツを配置され得る３つの候補領域を示す。図３（ｃ）は、図３（ｂ）に示された３つの候補領域の中から選択された領域内のコンテンツ表示領域を示す。図３（ｄ）は、図３（ｃ）に示されたコンテンツ表示領域に表示されるコンテンツを示す。
【００６０】
図３（ａ）に示されたコンテンツ２０５、２０６を、エッジ２０２を含む静止画像２０１に表示する際、コンテンツ配置部１０５は、図３（ｂ）に示すように、３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃを検出する。矩形領域２０３は、コンテンツ２０５、２０６を表示する領域の大きさを示している。これら３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃの各縦横比は、矩形領域２０３の縦横比と同一である。また、各候補領域は、静止画像２０１の四隅のうち少なくとも１つを含み、エッジ２０２によって囲まれた主要表示対象とは重ならない。
【００６１】
コンテンツ配置部１０５は、３つの候補領域２０４Ａ、２０４Ｂ、２０４Ｃの中から、最も面積の大きい候補領域２０４Ａを選択する。さらに、コンテンツ配置部１０５は、予め定めたコンテンツの表示サイズの上限値に基づいて、選択した候補領域２０４Ａ内の図３（ｃ）に示す領域２０４Ａ’をコンテンツ表示領域として決定する。なお、候補領域の大きさが本来のコンテンツの大きさよりも小さいとき、コンテンツ配置部１０５は、予め定めたコンテンツの表示サイズの下限値を下回らない範囲で、コンテンツを縮小しても良い。ただし、選択した候補領域の大きさが予め定めた閾値よりも小さい場合、当該選択した領域にコンテンツは表示されない。
【００６２】
コンテンツ配置部１０５は、コンテンツ表示領域２０４Ａ’の配置及び大きさを決定すると、当該配置及び大きさをコンテンツ表示情報として、表示情報保持部１０７に格納する。そして、表示処理部１０６は、表示情報保持部１０７に保持されているコンテンツ表示情報に基づいて、図３（ｄ）に示すように、動画像にコンテンツ２０５、２０６を重畳して表示する処理を行う。
【００６３】
なお、図３（ｄ）に示した例では、コンテンツ表示領域２０４Ａ’に２つのコンテンツ２０５、２０６が表示される。このように、表示するコンテンツが複数ある場合、上述した処理をコンテンツ別に行い、それぞれ異なるコンテンツ表示領域に各コンテンツを表示する処理を行っても良い。
【００６４】
次に、コンテンツを配置した後に、動画像が変化して、主要表示対象の画像のエッジがコンテンツに重なった場合について、コンテンツ表示情報を再計算する方法を説明する。
【００６５】
まず、現在のコンテンツの配置を優先して、コンテンツ表示情報を再計算する方法について、図４（ａ）〜（ｄ）を参照して説明する。図４（ａ）〜（ｄ）は、本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツの大きさを変更する方法を説明するための図である。図４（ａ）は、再計算前の静止画像３０１を示す図である。図４（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像３０１を示す図である。図４（ｃ）は、コンテンツを段階的に縮小した状態の静止画像３０１を示す図である。図４（ｄ）は、再計算後にコンテンツ画像を静止画像３０１に重畳した図である。
【００６６】
図４（ａ）は、再計算前の静止画像３０１である。２つのコンテンツ３０５、３０６が、静止画像３０１の右上隅を基準に表示されている。次に、静止画像３０１が、図４（ａ）から図４（ｂ）に変化した時、コンテンツの配置を優先して、コンテンツ配置部１０５は、コンテンツ表示情報を再計算する。まず、コンテンツ３０５、３０６と画像のエッジ３０２が重なっているので、コンテンツ配置部１０５は、コンテンツが表示されている領域を、予め定めた閾値まで、段階的に縮小可能であるか否かを確認する。
【００６７】
図４（ｃ）に示すように、コンテンツが縮小可能である場合、コンテンツ配置部１０５は、コンテンツ３０５、３０６と、画像のエッジ３０２が重ならなくなるまで、コンテンツを表示する候補領域３０４を段階的に縮小する。そして、コンテンツ配置部１０５は、段階的に縮小した候補領域３０４の大きさに基づき、コンテンツ表示情報を再計算する。
【００６８】
図４の（ｄ）に示すように、コンテンツ配置部１０５が再計算したコンテンツ表示情報に基づき、表示処理部１０６は、コンテンツを表示する候補領域３０４に、コンテンツ３０５、３０６を重畳して表示するための処理を実行する。そして、表示処理部１０６は、コンテンツ３０５、３０６を動画像に重畳する。表示処理部１０６は、コンテンツ３０５、３０６を重畳した動画像を、外部装置である表示装置１１３に転送する。表示装置１１３は、表示処理部１０６から転送されたコンテンツ３０５、３０６を重畳した動画像を表示する。
【００６９】
なお、図４（ａ）〜（ｄ）では、縮小処理の基準点として静止画像３０１の右上隅を用いているが、コンテンツの四隅のうち少なくとも１つ、又はコンテンツの中心を、縮小処理の基準として用いても良い。また、コンテンツ３０５、３０６に、画像のエッジ３０２が重ならない場合、予め定めた閾値まで、コンテンツを段階的に拡大できるか確認して、拡大可能な大きさまで、コンテンツ３０５、３０６を拡大することもできる。拡大処理の基準も、縮小処理と同様、コンテンツの四隅のうちの少なくとも１つ、又はコンテンツの中心を用いることができる。
【００７０】
上述のように、コンテンツ配置部１０５が、現在のコンテンツの配置を優先してコンテンツ表示情報を再計算しても、コンテンツに、静止画像内における主要表示対象の画像のエッジが重なる場合がある。この場合、コンテンツ配置部１０５が、コンテンツ表示情報を改めて計算するために、（１）コンテンツの表示方法を変更する、又は（２）コンテンツの配置を変更することが考えられる。
【００７１】
以下、（１）コンテンツの表示方法を変更する場合について、図５（ａ）〜（ｄ）を参照して説明する。図５（ａ）〜（ｄ）は、本発明の実施の形態１に係るコンテンツ表示処理装置のコンテンツの表示例を示す図である。特に、コンテンツを予め定めた閾値まで段階的に縮小しても、画像のエッジが重なる場合について説明する。
【００７２】
図５（ａ）に示す表示例（１）では、コンテンツ配置部１０５が、静止画像４０１内でコンテンツ４０５に重なるエッジの量によって、コンテンツ４０５の透過度を変更している。この場合、コンテンツ配置部１０５は、コンテンツ４０５の配置及び大きさを示すコンテンツ表示情報に、コンテンツ４０５の透過度を示す情報を加える。コンテンツ４０５に重なるエッジの量が多いほど、コンテンツ配置部１０５は、コンテンツ４０５の透過度を上げて、コンテンツ４０５を透明に近づける。
【００７３】
ただし、閾値以上に、コンテンツ４０５に画像のエッジ４０２が重なる場合、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。又は、コンテンツ配置部１０５は、コンテンツ４０５を画像のエッジ４０２で分割して、最も大きい領域にコンテンツ４０５を配置しても良い。
【００７４】
図５（ｂ）に示す表示例（２）では、コンテンツ配置部１０５は、静止画像４０１内で、画像のエッジ４０２がない方向にコンテンツ４０５を移動する。そして、予め定めた移動量の上限値を越えない範囲で、コンテンツ４０５が画像のエッジ４０２と重ならない場合、コンテンツ配置部１０５は、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ４０５を動画像に重畳して表示するための処理を行う。ただし、予め定めた移動量の上限値を越える場合、コンテンツ配置部１０５は、処理中の静止画像４０１におけるコンテンツ表示情報を破棄する。
【００７５】
図５（ｃ）に示す表示例（３）では、コンテンツ配置部１０５は、予め定めた閾値よりもコンテンツ４０５の大きさが大きい場合、画像のエッジ４０２と重複した部分を欠いた形でコンテンツ４０５を静止画像４０１内に配置し、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ４０５を動画像に重畳して表示するための処理を行う。ただし、予め定めた閾値よりも、コンテンツ４０５が小さくなる場合、図５（ｄ）に示す表示例（４）のように、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。
【００７６】
次に、コンテンツの配置を変更する場合について、図６（ａ）〜（ｄ）を参照して、説明する。図６（ａ）〜（ｄ）は、本発明の実施の形態１に係るコンテンツ表示処理装置におけるコンテンツの表示方法の種類を示す図である。
【００７７】
図６（ａ）〜（ｄ）では、コンテンツ５０４が画像のエッジ５０２と重ならなくなるまで縮小すると、コンテンツ５０４の大きさが、予め定めた閾値よりも小さくなる場合について説明する。なお、図６（ａ）〜（ｄ）は、コンテンツの配置を変更する際の基準として、静止画像５０１の四隅を用いて説明するが、これに限らず、静止画像５０１の各四辺上における任意の点を基準とすることも可能である。
【００７８】
図６（ａ）に示す表示例（５）では、静止画像５０１内のコンテンツ５０４の大きさは、予め定めた閾値よりも小さい。そこで、コンテンツ配置部１０５は、図６（ｂ）に示す表示例（６）のように、コンテンツ５０４の縦横比と同じ縦横比を有するコンテンツ５０４を表示するための候補領域５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄを、静止画像５０１の各四隅を基準として生成する。各候補領域の大きさは、静止画像内の画像のエッジ５０２と重ならないように設定されている。
【００７９】
次に、図６（ｃ）に示す表示例（７）のように、コンテンツ配置部１０５は、コンテンツ５０４を表示するための候補領域５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄのうち、面積が一番大きい候補領域５０４Ｄを、実際にコンテンツを表示する領域として選択する。この候補領域５０４Ｄの大きさと位置に基づき、コンテンツ配置部１０５は、コンテンツ表示情報を再計算し、コンテンツ表示情報を決定する。
【００８０】
そして、図６（ｄ）に示す表示例（８）のように、表示処理部１０６は、再計算したコンテンツ表示情報に基づき、コンテンツ５０５を動画像に重畳して表示するための処理を行う。表示装置１１３は、表示処理部１０６から転送された動画像を表示する。
【００８１】
上述のように、コンテンツ配置部１０５は、現在のコンテンツの配置を優先して、コンテンツ表示情報を再計算する。また、コンテンツ配置部１０５は、コンテンツに画像のエッジが重なった場合でも、（１）コンテンツの表示方法を変更する、又は（２）コンテンツの配置を変更することで、コンテンツ表示情報を再計算する。そして、再計算したコンテンツ表示情報に基づき、表示処理部１０６は、コンテンツを動画像に重畳して表示する処理を行う。このため、実施の形態１に係るコンテンツ表示処理装置は、動画像の変化に応じてコンテンツを表示可能な領域が変化しても、動画像の重要な部分を妨げることなく、動画像にコンテンツを表示する処理が可能である。
【００８２】
続いて、現在のコンテンツの大きさを優先して、コンテンツ表示情報を再計算する場合について、図７（ａ）〜（ｄ）を参照して説明する。図７（ａ）〜（ｄ）は、本発明の実施の形態１に係るコンテンツ表示処理装置において、コンテンツ表示情報の再計算方法を説明するための図である。図７（ａ）は、再計算前の静止画像６０１を示す図である。図７（ｂ）は、コンテンツと画像のエッジが重なっている状態の静止画像６０１を示す図である。図７（ｃ）は、コンテンツと画像のエッジが重なっていない状態の静止画像６０１を示す図である。図７（ｄ）は、再計算後にコンテンツ画像を静止画像６０１に重畳した図である。
【００８３】
図７（ａ）には、再計算前の静止画像６０１を示している。２つのコンテンツ６０５、６０６が、静止画像６０１の四隅のうち、右上隅を基準に表示されている。図７では、縮小処理の基準点として静止画像６０１の右上隅を用いる。
【００８４】
次に、動画像の変化により、静止画像６０１が図７（ａ）から図７（ｂ）に変化した場合、コンテンツ配置部１０５が、コンテンツの大きさを優先して、コンテンツ表示情報を再計算する方法を説明する。なお、静止画像６０１の画像に変化がない場合、コンテンツ配置部１０５は、現在のコンテンツ表示情報に基づき、コンテンツ表示情報を再計算する。
【００８５】
図７（ｂ）に示すように、コンテンツ６０５、６０６に画像のエッジ６０２が重なる場合、図７（ｃ）に示すように、コンテンツ配置部１０５は、画像のエッジ６０２が重ならないように、コンテンツ６０５、６０６を移動させて、コンテンツ表示情報を再計算する。ただし、コンテンツの移動量が予め定めた上限値を越える場合、コンテンツ配置部１０５は、コンテンツを移動させずに、コンテンツ６０５、６０６を、その縦横比を固定して段階的に縮小する。
【００８６】
そして、コンテンツ配置部１０５は、予め定めた閾値まで、コンテンツ６０５、６０６を段階的に縮小可能であるかを確認する。図７（ｄ）に示すように、コンテンツ配置部１０５は、コンテンツ６０５、６０６に画像のエッジ６０２が重ならないようにコンテンツ６０５、６０６を縮小して、コンテンツ表示情報を再計算する。そして、表示処理部１０６は、再計算されたコンテンツ表示情報に基づき、コンテンツ６０５、６０６を動画像に重畳して表示するための処理を実行する。
【００８７】
この再計算により、動画像の変化に応じて、コンテンツを表示可能な領域が変化しても、動画像の主要な表示対象をさえぎることなく、動画像にコンテンツを重畳して表示するための処理が可能である。なお、図７（ａ）〜（ｄ）では、縮小処理の基準点として静止画像６０１の右上隅を用いているが、コンテンツ６０５、６０６の四隅のうち１つ、又はコンテンツ６０５、６０６の中心を、縮小処理の基準として用いても良い。
【００８８】
上述のように、現在のコンテンツの大きさを優先してコンテンツ表示情報を再計算しても、コンテンツに画像のエッジが重なる場合がある。その場合、コンテンツ表示方法を計算するために、以下のような方法が可能である。
【００８９】
例えば、予め定めた閾値まで、コンテンツを縮小しても画像のエッジが含まれる場合、コンテンツ配置部１０５は、コンテンツの配置を変更する。そして、コンテンツの配置を変更しても、コンテンツに画像のエッジが重なる場合、コンテンツ配置部１０５は、現在のコンテンツ表示情報を破棄し、表示処理部１０６は、コンテンツを動画像に表示をしないように処理を実行する。
【００９０】
また、例えば、コンテンツに重なるエッジの量に応じて、コンテンツ配置部１０５は、コンテンツの透過度を変えて、静止画像に半透明なコンテンツを表示しても良い。ただし、閾値以上に、コンテンツに画像のエッジが重なる場合、コンテンツ配置部１０５は、コンテンツ表示情報を破棄する。又は、コンテンツ配置部１０５は、コンテンツの表示領域をエッジで分割し、最も大きい領域を表示領域としても良い。
【００９１】
上記実施の形態１において、コンテンツ配置部１０５が、コンテンツを拡大又は縮小し、かつコンテンツを所定の範囲で移動させる際、表示情報保持部１０７に保持されているコンテンツ表示情報と、コンテンツ配置１０５が再計算で求めたコンテンツ表示情報との補間をしても良い。
【００９２】
この場合、コンテンツ配置１０５は、補完データに基づきコンテンツ表示情報を作成する。そして、表示処理部１０６は、補間データに基づくコンテンツ表示情報により、コンテンツを連続的に表示する処理を行う。なお、表示装置１１３が、補間データに基づくコンテンツ表示情報に基づき、画像を表示している際は、画像のエッジと重複する場合もあるが、ユーザがコンテンツを追従しやすくなる利点が得られる。
【００９３】
以上、詳細に説明したように、実施の形態１に係るコンテンツ表示処理装置は、動画像を構成する静止画像内の主要表示対象を除いた領域のうち、静止画像の外縁部を含む領域を、コンテンツを表示するための空き領域をとして検出する。実施の形態１に係るコンテンツ表示処理装置は、検出した空き領域に基づき、コンテンツの配置と大きさからなるコンテンツ表示情報を決定し、当該コンテンツ表示情報に基づき、動画像にコンテンツを重畳して表示するための処理を行う。これにより、動画像の変化に応じて、コンテンツが表示できる領域が変化しても、動画像の重要な部分を妨げることなく、動画像にコンテンツを表示するための処理が可能である。
【００９４】
なお、上記実施の形態１では、コンテンツ表示処理装置をデジタル放送の電波を受信可能なテレビ受信機に適用した例を用いて説明したが、本発明はこれに限らない。本発明のコンテンツ表示処理装置は、光ディスクプレイヤ、ハードディスクレコーダ、携帯電話機、ＰＨＳ（（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistants）パソコン（personal computer）、デジタルスチルカメラ及びデジタルムービーカメラなどの撮影機器、並びに携帯ゲーム機にも適用できる。
【００９５】
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【００９７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００９８】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
【００９９】
本出願は、２００８年９月２日出願の日本特許出願（特願２００８−２２４５９０）、に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【０１００】
本発明は、動画像の重要な部分を妨げずに、コンテンツを動画像に重畳して表示する処理が可能なコンテンツ表示処理装置及びコンテンツ表示処理方法に適用できる。
【符号の説明】
【０１０１】
１００  コンテンツ表示処理装置
１０１  コンテンツ取得部
１０２  動画像取得部
１０３  画像処理部
１０４  画像認識部
１０５  コンテンツ配置部
１０６  表示処理部
１１０  ネットワーク
１１１  コンテンツサーバ
１１２  放送局
１１３  表示装置
２０１、３０１、４０１、５０１、６０１  静止画像
２０２、３０２、４０２、５０２、６０２  画像のエッジ
２０３  矩形領域
２０４Ａ、２０４Ｂ、２０４Ｃ、３０４、５０４Ａ、５０４Ｂ、５０４Ｃ、５０４Ｄ  候補領域
２０４Ａ’  コンテンツ表示領域
２０５、２０６、３０５、３０６、４０５、５０４、５０５、６０５、６０６  コンテンツ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の静止画像から構成される動画像を取得する動画像取得部と、
前記動画像に重畳して表示するためのコンテンツを取得するコンテンツ取得部と、
前記動画像から前記静止画像を抽出する画像処理部と、
前記画像処理部によって抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出する画像認識部と、
前記画像認識部によって検出された領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定するコンテンツ配置部と、
前記コンテンツ配置部によって決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理する表示処理部と、
を備えたコンテンツ表示処理装置。
【請求項２】
請求項１記載のコンテンツ表示処理装置であって、
前記コンテンツ表示情報を保持する表示情報保持部を備え、
前記コンテンツ配置部は、前記主要表示対象の位置又は大きさの変化に伴い、前記表示情報保持部に保持されているコンテンツ表示情報が示すコンテンツの配置及び大きさのいずれか一方を維持したまま、前記コンテンツ表示情報を新たに決定するコンテンツ表示処理装置。
【請求項３】
請求項１又は２に記載のコンテンツ表示処理装置であって、
前記画像処理部は、前記静止画像を画像処理して、前記主要表示対象のエッジを抽出するコンテンツ表示処理装置。
【請求項４】
請求項１記載のコンテンツ表示処理装置であって、
前記コンテンツ表示情報を保持する表示情報保持部を備え、
前記コンテンツ表示情報は、前記コンテンツの透過度を示す情報を含み、
前記コンテンツ配置部は、前記主要表示対象の位置又は大きさの変化に伴い、前記表示情報保持部に保持されているコンテンツ表示情報が示すコンテンツの配置及び大きさを維持したまま、前記コンテンツの透過度を決定するコンテンツ表示処理装置。
【請求項５】
請求項１記載のコンテンツ表示処理装置であって、
前記表示処理部は、前記コンテンツ表示情報に基づいて前記動画像に前記コンテンツを重畳した結果、前記主要表示対象が前記コンテンツに重なる場合、前記主要表示対象に重ならない部分の前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理装置。
【請求項６】
請求項２記載のコンテンツ表示処理装置であって、
前記コンテンツ配置部は、前記表示情報保持部に保持されている第１のコンテンツ表示情報と、前記コンテンツ配置部によって決定された第２のコンテンツ表示情報との差分に基づき、前記第１のコンテンツ表示情報と前記第２のコンテンツ表示情報とを補間する第３のコンテンツ表示情報を決定し、
前記コンテンツ配置部は、前記第３のコンテンツ情報を前記コンテンツ表示情報とするコンテンツ表示処理装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載のコンテンツ表示処理装置であって、
前記静止画像の形状は、矩形であって、
前記静止画像の外縁部は、前記静止画像の四隅の少なくとも１つ又は前記静止画像の四辺上の少なくとも１つの点を含むコンテンツ表示処理装置。
【請求項８】
複数の静止画像から構成される動画像を取得し、
前記動画像に重畳して表示するためのコンテンツを取得し、
前記動画像から前記静止画像を抽出し、
抽出された前記静止画像内から、前記静止画像の外縁部の少なくとも一部を含み、前記静止画像の主要表示対象を除く領域を検出し、
検出された前記領域に応じて、前記コンテンツの配置及び大きさを示すコンテンツ表示情報を決定し、
決定された前記コンテンツ表示情報に基づいて、前記コンテンツを前記動画像に重畳して表示するよう処理するコンテンツ表示処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010026745.tif 000010
【図２】
2010026745.tif 000011
【図３】
2010026745.tif 000012
【図４】
2010026745.tif 000013
【図５】
2010026745.tif 000014
【図６】
2010026745.tif 000015
【図７】
2010026745.tif 000016
【国際調査報告】
2010026745.tif 000017
2010026745.tif 000018
2010026745.tif 000019