(57)【要約】【課題】表示機器の位置を画像データ認識により決定できるよう、画面上に表示したマーカの色を、マーカ周辺の色と区別できるよう、先行的に決定する。【解決手段】画像データ取得部と、第１の蓄積部と、タイマ部と、パス制御部と、第２の要求蓄積部と、第１のデコード部と、第１の要求蓄積部と、第２の蓄積部と、画像出力部１０８と、第３の蓄積部と、解析頻度推定部と、頻度情報格納部と、最適色決定制御部とを有し、取得した圧縮画像データを適当な頻度で先行的に伸張し、伸張された画像データからマーカ周辺の色と区別可能な色を決定することにより、表示機器が、表示機器自身の位置を提示するマーカの色を、マーカ周辺の背景色とより区別可能な色に、動的に決定する。【選択図】図２
2011186112.tif 000002
【特許請求の範囲】
【請求項１】
圧縮画像データを取得し、第１の蓄積部に蓄積する画像データ取得部と、
前記第１の蓄積部から圧縮画像データを取得し、伸張し、当該伸張データを第２の蓄積部に蓄積するデコード部と、
現在時刻を示す時刻情報を生成するタイマ部と、
前記第２の蓄積部から取得した伸張データから、画像データと当該画像データを表示すべき時刻情報を取り出し、前記時刻情報と前記タイマ部から取得した現在時刻が一致するタイミングで、取り出した前記画像データを表示する画像出力部と、
前記第１の蓄積部に蓄積された前記圧縮画像データの蓄積量が閾値よりも大きい場合は前記デコード部へデコード処理の開始を要求し、前記第２の蓄積部に蓄積された伸張画像データの蓄積量が閾値よりも大きい場合は前記画像出力部へ画像出力の開始を要求し、第１の蓄積部に圧縮画像データが蓄積されると、前記頻度情報格納部からマーカ色算出頻度情報を取得し、当該マーカ色算出頻度情報に従って、最適色の更新が必要であるか否かを決定し、最適色の更新が必要である場合は、当該第１の蓄積部に最後に蓄積された画像データ圧縮データの識別子を要求蓄積部へ蓄積するパス制御部と、
前記第２の蓄積部に伸張データが蓄積されると、前記第２の蓄積部に蓄積された伸張データに含まれる１以上の画像データを取得し、当該取得した１以上の画像データにおけるマーカ表示箇所に基づいて、マーカ色算出頻度情報を算出して頻度情報格納部へ格納する解析頻度推定部と、
第３の蓄積部に伸張データが蓄積されると、前記第３の蓄積部に蓄積された伸張データに含まれる１以上の画像データにおけるマーカ表示箇所から背景色と区別可能な最適色を求め、当該画像データを表示すべき時刻情報と最適色の組み合わせを最適色情報として最適色格納部に格納する最適色決定制御部とを備え、
前記デコード部は、前記要求蓄積部に画像データ圧縮データの識別子が蓄積されている場合は、前記第１の蓄積部から当該識別子に係る圧縮画像データを取得し、伸張し、前記第３の蓄積部に伸張済み画像データを蓄積し、
前記画像出力部は、画像データを表示するタイミングにおいて、前記最適色格納部から最適色情報を取り出して、当該表示対象の画像データを表示すべき時刻情報における最適色を決定し、当該画像データ上に決定した前記最適色のマーカを重畳表示することを特徴としたコンテンツ出力装置。
【請求項２】
前記最適色決定制御部は、前記第３の蓄積部に伸張データが蓄積されると、前記第３の蓄積部に蓄積された伸張データに含まれる１以上の画像データにおけるマーカ表示箇所に基づいて、背景色と区別可能な２以上の候補色を求め、前記２つ以上の候補色に優先度を付与し、前記優先度の最も高い候補色を最適色に決定し、当該画像データを表示すべき時刻情報と前記最適色の組み合わせを最適色情報として前記最適色格納部に格納し、前記最適色を除く各候補色と、各候補色の優先度、及び当該画像データを表示すべき時刻情報の組み合わせを候補色情報として前記最適色格納部に格納することを特徴とした請求項１に記載のコンテンツ出力装置。
【請求項３】
前記最適色決定制御部は、伝送路から色情報を受信すると、前記最適色格納部から最適色情報を読出し、現在時刻に係る最適色を決定し、前記色情報に係る色と前記最適色の差異が閾値より大きい場合は、候補色情報を読出し、当該候補色情報より前記現在時刻に係る各候補色を優先度が高い順に読み出して前記色情報に係る色と比較し、差異が閾値より小さい場合は、当該候補色を最適色として最適色情報を更新し、当該候補色と当該候補色情報に係る時刻情報を伝送路へ出力することを特徴とした請求項２に記載のコンテンツ出力装置。
【請求項４】
前記デコード部は、
前記第１の蓄積部から圧縮画像データを取得し、伸張し、当該伸張データを第２の蓄積部に蓄積する第１のデコード部と、
前記要求蓄積部に画像データ圧縮データの識別子が蓄積されている場合は、前記第１の蓄積部から当該識別子に係る圧縮画像データを取得し、伸張し、前記第３の蓄積部に伸張済み画像データを蓄積する第２のデコード部を備えることを特徴とする請求項１に記載のコンテンツ出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマーカを利用して機器の認識や機器の位置の測定を実施する複合現実感技術において、他の撮影装置が当該機器を認識するためのマーカを、当該機器の表示領域へ表示するコンテンツ出力装置に関するものである。
【背景技術】
【０００２】
カメラに映っている物体の位置を推定する従来技術として、ＬＥＤやマーカを認識対象の物体に物理的に貼り付け、カメラなどで撮影した画像データを用いてＬＥＤ・マーカを認識することで、認識対象の位置や向きを推定する技術があった。また、認識対象がテレビ等の表示機器に限定される場合においては、ＬＥＤやマーカを物理的に本機器へ貼り付けるのではなく、テレビ画面等の表示領域にマーカを表示する構成が可能となる。
【０００３】
表示領域にマーカを表示する際に、表示領域上に表示するマーカの色と、マーカを重畳させている背景の色とが類似している場合、マーカ領域がどの部分であるかを特定することが困難となる。このため、マーカの位置、即ち表示機器の位置を精度よく特定することができなくなり、仮想現実世界上のこの表示装置に対応する仮想物体が、ずれた状態で表示される。従って、マーカの色は、マーカを表示する表示領域の背景色と区別可能な色とすることが望ましい。
【０００４】
ここで、表示対象の画像を表示指示に先立って、予め先行的に画像を読み出して処理する画像表示装置があった（例えば、特許文献１参照）。特許文献１に記載の画像表示装置は、高重要度を有する画像に対して、先行的に画像を伸張して記憶していた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１６３２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、動的に変化する画像データに重畳させて認識可能なマーカ色を求めるために、先行的に画像データを伸張する処理を、適切な頻度で制御することができないという課題を有していた。
【０００７】
本発明は、前記課題を解決するもので、表示機器上に表示されるマーカの色を、できるだけ背景色と区別可能な色に決定するための最適色の決定処理を、適切な頻度で制御するコンテンツ出力装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記の課題を解決するために、本発明のコンテンツ出力装置は、圧縮画像データを取得し、第１の蓄積部に蓄積する画像データ取得部と、前記第１の蓄積部から圧縮画像データを取得し、伸張し、当該伸張データを第２の蓄積部に蓄積するデコード部と、現在時刻を示す時刻情報を生成するタイマ部と、前記第２の蓄積部から取得した伸張データから、画像データと当該画像データを表示すべき時刻情報を取り出し、前記時刻情報と前記タイマ部から取得した現在時刻が一致するタイミングで、取り出した前記画像データを表示する画像出力部と、前記第１の蓄積部に蓄積された前記圧縮画像データの蓄積量が閾値よりも大きい場合は前記デコード部へデコード処理の開始を要求し、前記第２の蓄積部に蓄積された伸張画像データの蓄積量が閾値よりも大きい場合は前記画像出力部へ画像出力の開始を要求し、第１の蓄積部に圧縮画像データが蓄積されると、前記頻度情報格納部からマーカ色算出頻度情報を取得し、当該マーカ色算出頻度情報に従って、最適色の更新が必要であるか否かを決定し、最適色の更新が必要である場合は、当該第１の蓄積部に最後に蓄積された画像データ圧縮データの識別子を要求蓄積部へ蓄積するパス制御部と、前記第２の蓄積部に伸張データが蓄積されると、前記第２の蓄積部に蓄積された伸張データに含まれる１以上の画像データを取得し、当該取得した１以上の画像データにおけるマーカ表示箇所に基づいて、マーカ色算出頻度情報を算出して頻度情報格納部へ格納する解析頻度推定部と、第３の蓄積部に伸張データが蓄積されると、前記第３の蓄積部に蓄積された伸張データに含まれる１以上の画像データにおけるマーカ表示箇所から背景色と区別可能な最適色を求め、当該画像データを表示すべき時刻情報と最適色の組み合わせを最適色情報として最適色格納部に格納する最適色決定制御部とを備え、前記デコード部は、前記要求蓄積部に画像データ圧縮データの識別子が蓄積されている場合は、前記第１の蓄積部から当該識別子に係る圧縮画像データを取得し、伸張し、前記第３の蓄積部に伸張済み画像データを蓄積し、前記画像出力部は、画像データを表示するタイミングにおいて、前記最適色格納部から最適色情報を取り出して、当該表示対象の画像データを表示すべき時刻情報における最適色を決定し、当該画像データ上に決定した前記最適色のマーカを重畳表示する。
【０００９】
本構成によって、表示機器上に表示されるマーカの色を、できるだけ背景色と区別可能な色に決定するための最適色の決定処理を、適切な頻度で制御することができる。
【発明の効果】
【００１０】
本発明のコンテンツ出力装置によれば、コンテンツと共に表示機器に表示されるマーカの色を、マーカの認識が可能な程度に、背景色と区別可能な色で表示することが可能となり、リモコン側のマーカ位置の誤認識を低減できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態におけるコンテンツ出力装置の表示画面のイメージ図
【図２】本発明の実施の形態におけるコンテンツ出力装置の構成の一例を示すブロック図
【図３】本発明の実施の形態における画像データ取得部の構成を示す図
【図４】本発明の実施の形態における第１の要求蓄積部の構造の一例を示す図
【図５】本発明の実施の形態におけるコンテンツ出力装置の処理の流れの一例を示すフローチャート
【図６】本発明の実施の形態におけるパス制御情報格納部の構造の一例を示す図
【図７】本発明の実施の形態におけるパス制御情報格納部の初期状態の一例を示す図
【図８】本発明の実施の形態における画像データ取得部の処理の流れの一例を示すフローチャート
【図９】本発明の実施の形態における第１のデコード部の処理の流れの一例を示すフローチャート
【図１０】本発明の実施の形態における画像出力部の処理の流れの一例を示すフローチャート
【図１１】本発明の実施の形態における第１の蓄積部の構造の一例を示す図
【図１２】本発明の実施の形態における第２の要求蓄積部の構造の一例を示す図
【図１３】本発明の実施の形態における第１のデコード部の通常デコード処理の流れの一例を示すフローチャート
【図１４】本発明の実施の形態における第２の蓄積部の構造の一例を示す図
【図１５】本発明の実施の形態における第1のデコード部の推定デコード処理の流れの一例を示すフローチャート
【図１６】本発明の実施の形態における第３の蓄積部の構造の一例を示す図
【図１７】本発明の実施の形態におけるパス制御部の処理の流れの一例を示すフローチャート
【図１８】本発明の実施の形態における読み捨てデコード処理の流れの一例を示すフローチャート
【図１９】本発明の実施の形態における解析頻度推定処理の流れの一例を示すフローチャート
【図２０】本発明の実施の形態における更新頻度確認処理の流れの一例を示すフローチャート
【図２１】本発明の実施の形態における輝度値変化レベルの算出式を示す図
【図２２】本発明の実施の形態における輝度値変化レベルの算出イメージ図
【図２３】本発明の実施の形態における最適色更新処理の重みつきヒストグラム生成処理の概要の一例を示す第１の図
【図２４】本発明の実施の形態における最適色更新処理の重みつきヒストグラム生成処理の概要の一例を示す第２の図
【図２５】本発明の実施の形態における最適色更新処理のマーカ色選択処理の概要の一例を示す図
【図２６】本発明の実施の形態における最適色更新処理の流れの一例を示すフローチャート
【図２７】本発明の実施の形態におけるマーカ最適色選択処理の流れの一例を示すフローチャート
【図２８】本発明の実施の形態におけるマーカ最適色選択処理の順序付けテーブルの一例を示す図
【図２９】本発明の実施の形態におけるコンテンツ出力装置の構成の一例を示すブロック図
【図３０】本発明の実施の形態におけるコンテンツ出力装置の処理の流れの一例を示すフローチャート
【図３１】本発明の実施の形態における第１のデコード部の処理の流れの一例を示すフローチャート
【図３２】本発明の実施の形態における第２のデコード部の処理の流れの一例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１３】
（実施の形態１）
マーカ検知により本発明による複数のコンテンツ出力装置（テレビやＰＣなど）の位置をカメラ付きリモコンが認識する際には、各コンテンツ出力装置がどのマーカ色に対応しているかをリモコン側及び各表示機器側が互いに知る必要がある。そのため、表示機器が実際にマーカを表示するよりも前のタイミングで、予めリモコン及び各表示機器とで通信を行い、各表示機器へのマーカ色割り当てが必要不可欠である。
【００１４】
一方、テレビを始めとしたコンテンツ出力装置においてはマーカの背景に映像が表示されるため、背景の映像に合わせてマーカの色を決定する必要がある。更に、映像に合わせてマーカ表示前に予め自身のマーカ色を決定するためには、マーカ色を決定するための背景画像データを取得する必要がある。一般にマーカ色を取得するための画像データサイズは巨大であるため、表示機器に搭載されているメモリの制約から多くの画像データを蓄積することができない。すなわち、マーカを表示する直前の画像データに対するマーカ色しか求めることができない。そのためマーカ色をマーカ表示前に決定するためには、圧縮された状態の画像データを取得して伸張し、マーカ色を求めた後展開した画像データを破棄しなければならない。しかしながら、マーカ色を決定するためだけに画像データを伸張し、マーカ色算出のための演算処理を行うには多くの処理量を必要とするため、取得した全ての画像データに対して適切なマーカ色を求めることは望ましくない。即ち、低頻度でのマーカ色決定が望ましい。一方、背景がめまぐるしく変化するような映像においては背景色と共に適切なマーカ色も変化するため、高頻度でマーカ色を決定しなければマーカ位置の認識に支障をきたす。即ち、高頻度でのマーカ色決定が望ましい。従って、取得した映像データに対してマーカ色を決定する頻度を適切に求めるための技術が必要不可欠となる。
【００１５】
実施の形態におけるコンテンツ出力装置の表示画面のイメージを、図１に示している。以下の説明においては、表示領域は、図１のように横１９２０ピクセル、縦１０８０ピクセルの画面を有しており、画面の四隅にそれぞれ幅・高さが１０８ピクセルのマーカを配置するものとする。また、映像のフレームレートは、６０ｆｐｓであるものとする。
【００１６】
図２は、コンテンツ出力装置の構成の一例を示すブロック図である。
【００１７】
コンテンツ出力装置は、画像データ取得部１００と、第１の蓄積部１０１と、タイマ部１０２と、パス制御部１０３と、第２の要求蓄積部１０４と、第１のデコード部１０５と、第１の要求蓄積部１０６と、第２の蓄積部１０７と、画像出力部１０８と、第３の蓄積部１０９と、解析頻度推定部１１０と、頻度情報格納部１１１と、最適色決定制御部１１２とを備えている。
【００１８】
画像データ取得部１００は、図３に詳細を示しており、チューナ１２０と復調部１２１とＴＳデコーダ１２２とＴＳ−Ｖバッファ１２３とを備えている。ＴＳデコーダ１２２により抽出された圧縮画像データを取得し、第１の蓄積部１０１に蓄積する。また、画像データ取得部１００は、画像データ一枚分の圧縮画像データを第１の蓄積部１０１に蓄積すると、蓄積した当該圧縮画像データのアドレス値を第２の要求蓄積部１０４へ蓄積し、パス制御部１０３を起床させる。
【００１９】
チューナ１２０は、図示しないディジタル放送送信機から送信された圧縮画像データと圧縮音声データを含む高周波ディジタル変調信号の内、特定の周波数信号を、放送網を通じて受信する。変調方式には、衛星波ではＱＰＳＫあるいは８ＰＳＫ、地上波ではＯＦＤＭ、ケーブルでは多値ＱＡＭやＶＳＢなどがある。
【００２０】
復調部１２１は、例えば、Ａ−Ｄコンバータ、逆インターリーブ部、誤り訂正部、逆ランダマイザ部などから構成され、チューナ１２０が受信した高周波ディジタル変調信号を復調し、ＴＳ（トランスポートストリーム）パケットのビットストリームを取り出す。
【００２１】
ＴＳデコーダ１２２は、復調部１２１により復調されたＴＳパケットをＰＩＤ（パケットＩＤ）毎に分離し、圧縮画像データを抽出して画像取得部１００の外部、即ち第１の蓄積部１０１へ蓄積する。
【００２２】
第１の蓄積部１０１はリングバッファ構造であり、図１１に構造の一例を示している。即ち、第１の蓄積部１０１は、リングバッファに格納されている先頭の圧縮画像データ格納先バッファ２０６のアドレスを格納する先頭アドレス領域２００と、リングバッファに格納されている末尾の圧縮画像データ格納先バッファ２０６のアドレスを格納する末尾アドレス領域２０１と、圧縮画像データを格納するリングバッファである圧縮画像データ格納領域２０２とから構成され、当該圧縮画像データ格納先バッファ２０６は、当該バッファが参照されている回数情報を格納するバッファ使用カウンタ領域２０３と、圧縮画像データ領域のサイズを格納するペイロード長領域２０４と、圧縮画像データの表示タイミングを示すタイムスタンプを格納するタイムスタンプ領域２０５と、圧縮画像データを格納する圧縮画像データ領域とから構成される。
【００２３】
タイマ部１０２は、９０ＫＨｚの周期で現在時刻をカウントする。また、パス制御部１０３からの要求によって、現在時刻の初期化を行う。更に、後述するパス制御情報格納部１１６の送信間隔格納部５００に格納されている間隔値で示される時間が経過する毎に、パス制御情報格納部１１６の送信識別子格納部５０１に格納された送信識別子と当該タイマ部１０２のカウント値とを伝送路１１３へ送出する。
【００２４】
パス制御部１０３は、画像データ取得部１００から圧縮画像データのアドレス値に係る通知を受け取り、頻度情報格納部１１１よりマーカ色算出頻度情報を取得し、当該マーカ色算出頻度情報に従って、当該圧縮画像データのアドレス値を第１の要求蓄積部１０６へ蓄積し、第１のデコード部１０５を起床させることで、当該通知された圧縮画像データのアドレス値で示される画像データをデコードして第３の蓄積部１０９へ格納するよう第１のデコード部１０５へ要求する。より詳細な説明として、第１の要求蓄積部１０６の構造を図４に示す。第１の要求蓄積部１０６は、一般的なキュー構造をしており、圧縮画像データの先頭アドレス値と要求種別とを構成要素として持つ要求情報をキューの要素として持つ。また、第１の蓄積部１０１に蓄積されたデータ量が閾値よりも大きい場合は、第１のデコード部１０５と画像出力部１０８とを起床させる。
【００２５】
第１のデコード部１０５は、第２の蓄積部１０７の空き容量が一定量以上になると、第１の蓄積部１０１に蓄積された圧縮画像データを取得し、伸張して伸張画像データを生成し、当該伸張画像データを第２の蓄積部１０７に蓄積する。また、圧縮画像データの伸張要求を受付けた際に、第１の要求蓄積部１０６からデコード要求情報を取得し、当該デコード要求情報から圧縮画像データのアドレス値を取得し、当該アドレス値に係る圧縮画像データを伸張して伸張データを生成し、当該伸張データを第３の蓄積部１０９に蓄積する。
【００２６】
画面出力部１０８は、第２の蓄積部１０７から伸張データを取得し、前記タイマ部１０２を参照して、伸張データに含まれるタイムスタンプで示されるタイミングになると、当該タイムスタンプに係る伸張データに含まれる画像データをディスプレイへ表示する。
【００２７】
解析頻度推定部１１０は、パス制御部１０３から要求を受けると、第２の蓄積部１０７から伸張データを取得し、伸張データに含まれる画像データにおけるマーカ表示箇所から、マーカ色算出頻度情報を算出して、頻度情報格納部１１１へ格納する。
【００２８】
最適色決定制御部１１２は、パス制御部１０３から要求を受けると、第３の蓄積部１０９に蓄積された伸張データを取得し、伸張データに含まれる画像データにおけるマーカ位置表示箇所から背景色と区別可能な最適色を求め、当該画像データを表示すべきタイミングを示す時刻情報と最適色の組み合わせを最適色情報として、最適色格納部１１４に格納する。
【００２９】
パス制御情報格納部１１６は、パス制御情報を保持しており、図６に構造の一例を示している。パス制御情報格納部１１６は、送信間隔格納部５００と、送信識別子格納部５０１と、伸張画像データサイズ格納部５０２と、状態フラグ格納部５０３と、マーカ１矩形情報格納部５０４と、マーカ２矩形情報格納部５１１と、マーカ３矩形情報格納部５１２と、マーカ４矩形情報格納部５１３と、分散カウンタ格納部５１４と、分散算出トリガ格納部５１５と、変化レベル閾値５１６と、推奨色フラグ５１７と、推奨色格納部５１８と、推奨色閾値格納部５１９と、ＰＩＤ格納部５２０とから構成される。
【００３０】
送信間隔格納部５００は、タイマ部１０２が送信識別子格納部５０１に格納された値とタイマ部１０２のカウント値を伝送路へ送出する時間間隔を示す値を格納する。
【００３１】
送信識別子格納部５０１は、本発明のコンテンツ出力装置毎に割り当てられたユニークな値を保持する。
【００３２】
伸張画像データサイズ格納部５０２は、第２の蓄積部１０７へ蓄積される伸張画像データ１枚辺りのサイズを示す値を格納する。
【００３３】
状態フラグ格納部５０３は、ＯＮ／ＯＦＦの２値のいずれかを格納し、状態フラグ格納部５０３にＯＮが格納されている間、画像取得部１００、第１のデコード部１０５、画像出力部１０８は定常的な処理を行う。
【００３４】
マーカ１矩形情報格納部５０４は、マーカの表示位置を格納するマーカ左上ｘ座標格納部５０５、マーカ左上ｙ座標格納部５０６、マーカ右下ｘ座標格納部５０７、マーカ右下ｙ座標格納部５０８及び、マーカ周辺の特定時間における画素値の和を格納する画素値和格納バッファ５０９と、マーカ周辺の特定時間における画素値の２乗和を格納する画素値２乗和格納バッファ５１０とから構成される。
【００３５】
マーカ２矩形情報格納部５１１、マーカ３矩形情報格納部５１２、マーカ４矩形情報格納部５１３は、マーカ１矩形情報格納部５０４と同様の情報を保持する。
【００３６】
分散カウンタ格納部５１４は、画素値和格納バッファ５０９へ画素値を加算した回数が格納される。
【００３７】
分散算出トリガ格納部５１５は、画素値和格納バッファ５０９及び画素値２乗和格納バッファ５１０とから各画素の分散を求めるためのサンプリング数が格納される。
【００３８】
マーカ２矩形情報格納部５１１、マーカ３矩形情報格納部５１２、マーカ４矩形情報格納部５１３は、マーカ１矩形情報格納部５０４と同様の情報を格納する。
【００３９】
変化レベル閾値５１６は、マーカの色を変化させるか否かを判断するための閾値であり、解析頻度推定部１１０によって参照される。いずれかのマーカに対して、図２１の式によって求められる変化レベルが変化レベル閾値５１６で示される値を超えた場合に、解析頻度推定部１１０は頻度情報格納部１１１の内容を書き換え、マーカ色を求めるためのデコード処理の頻度を決定する。
【００４０】
推奨色フラグ５１７は、ＯＮ／ＯＦＦの２値をとり、伝送路からマーカの推奨色を受診したか否かを示す。
【００４１】
推奨色格納部５１８は、伝送路から受信したマーカの推奨色を格納する。
【００４２】
推奨色閾値格納部５１９は、推奨色フラグ５１７がＯＮの時に、推奨色格納部５１８に格納された推奨色の色成分と実際にマーカ色として設定する色の色成分との差の上限を示す値を格納する。
【００４３】
ＰＩＤ格納部５２０は、コンテンツ出力装置が放送波を受信し始めて選局処理を行う過程で有効な値を格納する。
【００４４】
以上のように構成されたコンテンツ出力装置が、本発明の主眼であるマーカの表示色を制御する動作について、詳細に説明する。
【００４５】
まず、コンテンツ出力装置の処理フローについて、図５を用いて説明する。
【００４６】
ステップＳ１０にて本コンテンツ出力装置に電力が供給されると、パス制御部１０３が処理を開始する。
【００４７】
まず、ステップＳ１００にて図６にて示されるパス制御情報格納部１１６の各領域を初期化する。具体的には、図７に示した値で初期化する。なお、送信間隔格納部５００の初期値は、前述したようにタイマ部１０２が伝送路に現在時刻を発信する際に参照され、タイマ部１０２のカウンタが毎秒９０，０００増加するため、タイマ部１０２は２秒毎（＝１８０，０００／９０，０００）に現在時刻を発信する。また、送信識別子格納部５０１に格納する値は、コンテンツ出力装置毎に割り当てられたユニークな値が予め設定されているものとする。伸張画像データサイズ格納部５０２は、第２の蓄積部１０７に蓄積する伸張画像データのサイズを示す値であり、画面のサイズや色深度・伸張画像データ格納バッファのオーバーヘッドによって異なる。マーカ矩形情報格納部には、マーカの配置を示す値を予め初期値として格納しておく。画素値和格納バッファ及び画素値２乗和格納バッファは、０クリアすることで初期化する。分散算出トリガ格納部５１５には、初期値として３０を格納する。すなわち図２０にて示される更新頻度確認処理によって、圧縮画像データを伸張してマーカ色を求める頻度を３０フレーム毎に更新する。変化レベル閾値は、後述される更新頻度確認処理におけるパラメータである。推奨色フラグは、初期状態ではＯＦＦであり、後述する処理により推奨色を受信するとＯＮへと変化する。推奨色は、後述する推奨色受信処理によって更新される。推奨色閾値は、当該コンテンツ出力装置が最適色を求めるための予め最適な値が設定されたパラメータである。ＰＩＤ格納部５２０には、コンテンツ出力装置が放送波を受信し始めて選局処理を行う過程で有効な値が設定される。
【００４８】
次に、ステップＳ１０１にてパス制御部１０３は、タイマ部１０２を起動する。タイマ部１０２が起動すると、タイマ部１０２は、９０ＫＨｚの周期にて内部カウンタのカウントを開始する。
【００４９】
ステップＳ１０２にてパス制御部１０３は、画像データ取得部１００を起動する。画像データ取得部１００が起動すると、画像データ取得部１００は、図８に示した処理を開始し、定常状態に移る。
【００５０】
画像データ取得部１００の定常状態における処理により、第１の蓄積部１０１に圧縮画像データが蓄積されるので、ステップＳ１０３にて第１の蓄積部１０１に一定量の圧縮画像データが溜まっていれば、ステップＳ１０４の処理に移り、溜まっていなければ再びステップＳ１０３の判定処理を行う。ステップＳ１０３にて第１の蓄積部１０１に一定量の圧縮データが溜まると、パス制御部１０３は、ステップＳ１０４にて第１のデコード部１０５を起動する。第１のデコード部１０５が起動すると、第１のデコード部１０５は、図９に示した処理を開始し、定常状態に移る。
【００５１】
第１のデコード部１０５の定常状態における処理により、第２の蓄積部１０７に伸張画像データが蓄積されるので、ステップＳ１０５にて第２の蓄積部１０７に一定量の伸張データが溜まっていれば、ステップＳ１０６の処理に移り、溜まっていなければ再びＳ１０５の判定処理を行う。ステップＳ１０５にて第２の蓄積部１０７に一定量の伸張データが溜まっていれば、ステップＳ１０６にてパス制御部１０３は画像出力部１０８を起動する。画像出力部１０８が起動すると、画像出力部１０８は、図１０に示した処理を開始する。
【００５２】
その後、ステップＳ１１０にてパス制御部１０３は、メイン処理を開始する。
【００５３】
メイン処理が終了すると、ステップＳ９９０に示すようにパス制御部１０３は処理を終了する。
【００５４】
次に、画像データ取得部１００の処理の流れを、図８を用いて説明する。
【００５５】
なお、チューナ１２０が図示しないディジタル放送送信機から信号を受信してから高周波ディジタル変調信号を受信して復調し、トランスポートストリームのビットストリームを取り出してＭＰＥＧ２−ＴＳパケットを保持するまでの処理については、一般的な処理であり、本発明特有の処理ではないため、本実施の形態ではチューナ１２０がディジタル放送送信機から受信した信号がＭＰＥＧ２−ＴＳパケットとして構築され、ＴＳ蓄積部へと蓄積されるものとして、チューナ１２０と復調部１２１とＴＳデコーダ１２２の詳細な説明を省略する。
【００５６】
画像データ取得部１００が起動すると、ステップＳ１５０にて画像データ取得部１００は選局処理を行い、映像ストリームのＰＩＤを取得する。ここで、選局処理により映像データのＰＩＤを取得する処理は一般的な処理であるため、映像データのＰＩＤはステップＳ１５０における選局処理を完了した時点で、パス制御情報格納部１１６のＰＩＤ格納部５２０へ記憶されるものとし、本実施の形態では詳細な説明を省略する。当該処理により映像ストリームのＰＩＤが求まると、画像データ取得部１００はステップＳ１５１以降の処理により、圧縮画像データの取得を開始する。
【００５７】
まず、画像データ取得部１００は、ステップＳ１５１にて、第１の蓄積部１０１から、圧縮画像データを保持するための圧縮画像データ格納先バッファ２０６を取得する。
【００５８】
次に、ステップＳ１５２にて、第１のデコード部１０５が画像出力のために行うデコード処理と、表示画像データからマーカ色を求めるマーカ色算出処理とにおいて参照されるよう、バッファ使用カウンタ領域２０３に２を書き込む。
【００５９】
画像データ取得部１００は、ステップＳ１５３にて、ＴＳ蓄積部に蓄積されたＭＰＥＧ２−ＴＳパケットのうち、パス制御情報格納部１１６のＰＩＤ格納部５２０に記録されたＰＩＤと等しいＰＩＤを持つＭＰＥＧ２−ＴＳから映像データを抽出し、ピクチャ一枚分の圧縮画像データとなるまで圧縮画像データ格納先バッファ２０６における前記圧縮画像データ領域へ圧縮画像データを書き込む。
【００６０】
圧縮画像データの書き込みが完了したら、ステップＳ１５４にて、圧縮画像データ格納先バッファ２０６におけるペイロード長領域２０４に、書き込んだ圧縮画像データのサイズ情報を書き込む。
【００６１】
そして、ステップＳ１５５にて、圧縮画像データ格納領域２０２における末尾アドレス領域２０１に、書き込んだ前記圧縮画像データの先頭アドレス値を書き込む。
【００６２】
上記の手順に従って圧縮画像データを第１の蓄積部１０１に蓄積したら、ステップＳ１５６にて、前記圧縮画像データの先頭アドレス値と要求種別としてＴＹＰＥ＿Ｓを第２の要求蓄積部１０４へ蓄積する。より詳細な説明として、第２の要求蓄積部１０４の構造を図１２に示す。第２の要求蓄積部１０４は、一般的なキュー構造をしており、圧縮画像データの先頭アドレス値と要求種別とを構成要素として持つ要求情報をキューの要素として持つ。上記のように、第２の要求蓄積部１０４へ要求情報を追加することで、パス制御部１０３への要求をキューイングする。
【００６３】
以上のようにして、画像データ取得部１００が圧縮画像データ取得処理及びパス制御部１０３への要求をキューイングした後、ステップＳ１５７にて、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、画像データ取得部１００は定常処理を終了する。また、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦの場合、画像データ取得部１００は再びステップＳ１５１にて圧縮画像データの取得を行う。
【００６４】
次に、本実施の形態における第１のデコード部１０５の動作について、図９を用いて説明する。
【００６５】
ステップＳ２０１にて、第２の蓄積部１０７に、パス制御情報格納部１１６の伸張画像データサイズ格納部５０２で示されるサイズ以上の空き領域が有るか否かを判定する。空き領域がある場合（ステップＳ２０１がＹｅｓ）、ステップＳ２０２にて第１の蓄積部１０１に蓄積されている圧縮画像データを伸張し、第２の蓄積部１０７へ蓄積する。一方、第２の蓄積部１０７に前記サイズ以上の空き領域がない場合（ステップＳ２０１がＮｏ）、ステップＳ２２０の処理に移る。
【００６６】
次に、ステップＳ２２０にて、第１の要求蓄積部１０６に要求データが蓄積されているか否かを判定する。要求データがある場合（ステップＳ２２０がＹｅｓ）、ステップＳ２２１にて推定デコード処理を行う。第１の要求蓄積部１０６に要求データが蓄積されていない場合（ステップＳ２２０がＮｏ）、ステップＳ２４０の処理に移る。
【００６７】
次に、ステップＳ２４０にて終了要求を受けたか否かを判定する。パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、終了要求を受けたと判定し（ステップＳ２４０がＹｅｓ）、第１のデコード部１０５は定常処理を終了する。また、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦであれば、終了要求を受けていないと判定し（ステップＳ２４０がＮｏ）、再びステップＳ２０１へ処理を移す。
【００６８】
次に、第１のデコード部の通常デコード処理（図９のステップＳ２０２）について、図１３を用いて説明する。
【００６９】
第１のデコード部１０５は、ステップＳ２０２にて、通常デコード処理を開始すると、ステップＳ２０５にて第１の蓄積部１０１に蓄積された、タイムスタンプが最も古い圧縮画像データを伸張し、ステップＳ２０６以降の処理にて、第２の蓄積部１０７へ伸張画像データを格納する。
【００７０】
第２の蓄積部１０７の構造図を図１４に示す。即ち、第２の蓄積部１０７は、リングバッファに格納されている先頭の伸張画像データ格納先バッファのアドレスを格納する先頭アドレス領域２２０と、リングバッファに格納されている末尾の伸張画像データ格納先バッファのアドレスを格納する末尾アドレス領域２２１と、伸張画像データを格納するリングバッファである伸張画像データ格納領域２とから構成され、当該伸張画像データ格納先バッファ２は、当該バッファが参照されている回数情報を格納するバッファ使用カウンタ領域２２３と、伸張画像データ領域のサイズを格納するペイロード長領域２２４と、伸張画像データの表示タイミングを示すタイムスタンプを格納するタイムスタンプ領域２２５と、伸張画像データを格納する伸張画像データ領域２とから構成される。
【００７１】
次に、ステップＳ２０６にて、伸張画像データ格納先バッファ２におけるバッファ使用カウンタ領域２２３に値「２」を書き込み、ステップＳ２０７にて、当該伸張画像データを第２の蓄積部１０７へ蓄積する。
【００７２】
伸張画像データの書き込みが完了したら、ステップＳ２０８にて、伸張画像データ格納先バッファにおけるペイロード長領域２２４に、書き込んだ伸張画像データのサイズ情報を書き込む。
【００７３】
そして、ステップＳ２０９にて、伸張画像データ格納領域における末尾アドレス領域２０１に、書き込んだ前記伸張画像データの先頭アドレス値を書き込む。
【００７４】
上記の手順に従って伸張画像データを第２の蓄積部１０７に蓄積したら、ステップＳ２１０にて、前記伸張画像データの先頭アドレス値と要求種別としてＴＹＰＥ＿ＤＡを第２の要求蓄積部１０４へ蓄積する。
【００７５】
次に、第１の蓄積部１０１から不要なデータを除去する。ステップＳ２１１にて、第１の蓄積部１０１に蓄積されている圧縮画像データ格納先バッファ２０６のうち、バッファ使用カウンタ領域２０３に格納されている値を１減らす。
【００７６】
これにより、ステップＳ２１２にて、当該バッファ使用カウンタ領域２０３に格納されている値が０となったか否かを判定する。０となった場合（ステップＳ２１２がＹｅｓ）、当該圧縮画像データが通常デコード処理及び後述する推定デコード処理の両方で参照され終わった状態を意味することになるので、ステップＳ２１３にて、当該圧縮画像データを第１の蓄積部１０１から除去する。より具体的には、第１の蓄積部１０１における先頭アドレス領域２００に格納されている値を、当該消去対象である圧縮画像データ格納先バッファ２０６のペイロード長から求めた圧縮画像データ格納先バッファ２０６のサイズ分だけずらす。上記の処理により、圧縮画像データを伸張して第２の蓄積部１０７へ蓄積した後、当該圧縮画像データがどこからも参照されなくなった場合に、第１の蓄積部１０１から当該圧縮画像データを除去する。
【００７７】
次に、第１のデコード部の推定デコード処理（図９のステップＳ２２１）について、図１５を用いて説明する。
【００７８】
まず、ステップＳ２２２にて、第１の要求蓄積部１０６から圧縮画像データのアドレス値を取得し、ステップＳ２２３にて、当該圧縮画像データのアドレス値を第１の要求蓄積部１０６から除去する。
【００７９】
次に、ステップＳ２２４にて、第１の蓄積部１０１に蓄積された圧縮画像データのうち、前記第１の要求蓄積部１０６から取得した圧縮画像データのアドレス値に係る圧縮画像データを伸張し、ステップＳ２２５にて、伸張された当該伸張画像データを第３の蓄積部１０９へ蓄積する。
【００８０】
第３の蓄積部１０９はリングバッファ構造であり、図１６の構造をしている。即ち、第３の蓄積部１０９は、リングバッファに格納されている先頭の伸張画像データ格納先バッファ３のアドレスを格納する先頭アドレス領域２４０と、リングバッファに格納されている末尾の伸張画像データ格納先バッファ３のアドレスを格納する末尾アドレス領域２４１と、伸張画像データを格納するリングバッファである伸張画像データ格納領域３とから構成され、当該伸張画像データ格納先バッファ３は、当該バッファが参照されている回数情報を格納するバッファ使用カウンタ領域２４３と、伸張画像データ領域のサイズを格納するペイロード長領域２０４と、伸張画像データの表示タイミングを示すタイムスタンプを格納するタイムスタンプ領域２０５と、伸張画像データを格納する伸張画像データ領域とから構成される。
【００８１】
ステップＳ２２５にて、伸張画像データの書き込みが完了したら、ステップＳ２２６にて、伸張画像データ格納先バッファ３におけるバッファ使用カウンタ領域２４３に値「２」を書き込む。
【００８２】
次に、ステップＳ２２７にて、伸張画像データ格納先バッファ３におけるペイロード長領域２４４に、書き込んだ伸張画像データのサイズ情報を書き込む。
【００８３】
そして、ステップＳ２２８にて、伸張画像データ格納領域３における末尾アドレス領域２４１に、前記伸張画像データの先頭アドレス値を書き込む。
【００８４】
上記の手順に従って伸張画像データを第３の蓄積部１０９に蓄積したら、ステップＳ２２９にて前記伸張画像データの先頭アドレス値と要求種別としてＴＹＰＥ＿ＤＢを第２の要求蓄積部１０４へ蓄積する。
【００８５】
次に、第１の蓄積部１０１から不要なデータを除去する。ステップＳ２３０にて、第１の蓄積部１０１に蓄積されている圧縮画像データ格納先バッファ２０６のうち、バッファ使用カウンタ領域２０３に格納されている値を１減らす。
【００８６】
これにより、ステップＳ２３１にて、当該バッファ使用カウンタ領域２０３に格納されている値が０となったか否かを判定する。０となった場合には（ステップＳ２３１がＹｅｓ）、当該圧縮画像データが通常デコード処理及び推定デコード処理の両方で参照され終わった状態を意味するので、ステップＳ２３２にて、当該圧縮画像データを第１の蓄積部１０１から除去する。より具体的には、第１の蓄積部１０１における先頭アドレス領域２００に格納されている値を、当該消去対象である圧縮画像データ格納先バッファ２０６のペイロード長から求めた圧縮画像データ格納先バッファ２０６のサイズ分だけずらす。上記の処理により、圧縮画像データを伸張して第２の蓄積部１０７へ蓄積した後、当該圧縮画像データがどこからも参照されなくなった場合に、第１の蓄積部１０１から当該圧縮画像データを除去する。
【００８７】
次に、画像出力部１０８の処理の流れについて、図１０を用いて説明する。
【００８８】
ステップＳ３００にて、第２の蓄積部１０７に、伸張画像データ格納先バッファが蓄積されているか否か、つまり、データが存在するか否かを判定する。
【００８９】
第２の蓄積部１０７にデータが存在しない場合（ステップＳ３００がＮｏ）、ステップＳ３０１にて、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、終了要求を受けたと判定し（ステップＳ３０１がＹｅｓ）、ステップＳ３０２にて画像出力部１０８は定常処理を終了する。パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦであれば、終了要求を受けていない判定し（ステップＳ３０１がＮｏ）、画像出力部１０８は、再びステップＳ３００にて伸張画像データの取得を試みる。
【００９０】
一方、第２の蓄積部１０７にデータが存在する場合（ステップＳ３００がＹｅｓ）、ステップＳ３０３にて、第２の蓄積部１０７に蓄積された最古の伸張画像データを取得する。ステップＳ３０４にて、取得した伸張画像データに、最適色格納部１１４に格納された値で示される色のマーカ画像データを重畳描画する。
【００９１】
次に、ステップＳ３０５にて、タイマ部１０２に格納された時刻値（現在時刻）が、当該伸張画像データ格納先バッファに係るタイムスタンプ領域２０５に格納されたタイムスタンプ値に達したか否かを判定する。
【００９２】
現在時刻がタイムスタンプ値に達していない場合（ステップＳ３０５がＮｏ）、ステップＳ３０６にて、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、終了要求を受けたと判定し（ステップＳ３０６がＹｅｓ）、ステップＳ３０７にて画像出力部１０８は定常処理を終了する。パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦのであれば、終了要求を受けていない判定し（ステップＳ３０６がＮｏ）、画像出力部１０８は、再びステップＳ３０５にて、タイマ部１０２に格納された時刻値が当該タイムスタンプ値に達しているか否かの判定を行う。
【００９３】
一方、現在時刻がタイムスタンプ値に達している場合（ステップＳ３０５がＹｅｓ）、ステップＳ３０８にて、当該マーカ画像データが重畳された当該伸張画像データ格納バッファ２に係る伸張画像データ領域の画像データを表示する。
【００９４】
そして、ステップＳ３０９にて、当該伸張画像データ格納バッファ２に係るバッファ使用カウンタ２領域に格納されているカウンタ値を１減らす。
【００９５】
当該減算処理により、ステップＳ３１０にて、当該カウンタ値が０となったか否かを判定する。０となった場合（ステップＳ３１０がＹｅｓ）、ステップＳ３１１にて、当該伸張画像データを第２の蓄積部１０７から除去し、再びステップＳ３００の処理に移る。より具体的には、第２の蓄積部１０７における先頭アドレス領域２００に格納されているアドレス値を、当該消去対象である伸張画像データ格納先バッファのペイロード長から求めた伸張画像データ格納先バッファのサイズ分だけずらす。上記の処理により、伸張画像データを表示した後、当該伸張画像データがどこからも参照されなくなった場合に、第２の蓄積部１０７から当該伸張画像データを除去する。一方、ステップＳ３１０にて、当該カウンタ値が０でない場合（ステップＳ３１０がＮｏ）、再びステップＳ３００の処理に移る。以上の処理により、画像出力部１０８は画像データ出力処理を行う。
【００９６】
次に、パス制御部１０３の定常状態における処理について、図１７を用いて説明する。
【００９７】
ステップＳ４０１にて、第２の要求蓄積部１０４に、要求情報が蓄積されているか否か、つまり、データが存在するか否かを判定する。
【００９８】
第２の要求蓄積部１０４にデータが存在しない場合（ステップＳ４０１がＮｏ）、ステップＳ４０２にて、図示しないユーザインターフェースから終了要求を受けたか否かを判定する。終了要求を受けたと判定した場合（ステップＳ４０２がＹｅｓ）、ステップＳ４０３にて、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグを、ＯＦＦに切り替え、処理を終了する。一方、終了要求を受けていないと判定した場合（ステップＳ４０２がＮｏ）、再びステップＳ４０１の判定処理を行う。
【００９９】
一方、第２の要求蓄積部１０４にデータが存在する場合（ステップＳ４０１がＹｅｓ）、ステップＳ４０４にて、第２の要求蓄積部１０４から要求情報を取得する。
【０１００】
ここで、取得した要求情報に係る要求種別を判定する。ステップＳ４０５にて、当該要求情報に係る要求種別がＴＹＰＥ＿Ｓであった場合、ステップＳ４０６にて、読み捨てデコード処理を行い、ステップＳ４１１の処理に移る。ステップＳ４０７にて、要求種別がＴＹＰＥ＿ＤＡであった場合は、ステップＳ４０８にて、解析頻度推定処理を行い、ステップＳ４１１の処理に移る。ステップＳ４０９にて要求種別がＴＹＰＥ＿ＤＢであった場合は、ステップＳ４１０にて、最適色の更新処理を行い、ステップＳ４１１の処理に移る。一方、ステップＳ４０５〜Ｓ４０９にて、要求種別がＴＹＰＥ＿Ｓ／ＴＹＰＥ＿ＤＡ／ＴＹＰＥ＿ＤＢのいずれとも等しくない場合、そのままＳ４１１の処理に移る。
【０１０１】
次に、ステップＳ４１１にて、伝送路から推奨色を受信したか否かの判定を行う。推奨色を受信していない場合（ステップＳ４１１がＮｏ）、再びステップＳ４０１の判定処理を行う。推奨色を受信していた場合（ステップＳ４１１がＹｅｓ）、ステップＳ４１２にて、パス制御情報格納部１１６の推奨色フラグ領域５１５をＯＮに書き換える。最後に、パス制御情報格納部１１６の推奨色格納部５１６に格納された推奨色を、受信した推奨色に書き換え、再びステップＳ４０１の判定処理を行う。
【０１０２】
上記の処理によって、パス制御部１０３は、定常処理を実施する。
【０１０３】
以下、パス制御部１０３の各処理の詳細について説明する。
【０１０４】
まず、パス制御部１０３の読み捨てデコード処理（図１７のステップＳ４０６）について、図１８を用いて説明する。
【０１０５】
まず、パス制御部１０３は、ステップＳ４２１にて、参照画像が基準フレームであるか否かを判定する。
【０１０６】
ステップＳ４０４にて取得した要求情報に係るアドレス値で参照される圧縮画像データ格納先バッファに係る圧縮画像データ（参照画像）が、基準フレームであった場合（ステップＳ４２１がＹｅｓ）、ステップＳ４２２にて、第１の要求蓄積部１０６に当該要求情報に係るアドレス値を追加し、読み捨てデコード処理を終了する。
【０１０７】
一方、当該圧縮画像データが、基準フレームではなかった場合（ステップＳ４２１がＮｏ）、ステップＳ４２３にて、頻度情報格納部１１１に格納された頻度情報を判定する。頻度情報がＯＮの場合（ステップＳ４３２がＹｅｓ）、ステップＳ４２４にて、第１の要求蓄積部１０６に当該要求情報に係るアドレス値を追加し、読み捨てデコード処理を終了する。
【０１０８】
一方、当該参照情報が、基準フレームでもなく、当該頻度情報がＯＦＦの場合（ステップＳ４３２がＮｏ）、ステップＳ４２５にて、当該圧縮画像データ格納先バッファ２０６に係るバッファ使用カウンタ領域２０３に格納された値を、１減らす。
【０１０９】
ここで、ステップＳ４２６にて、当該バッファ使用カウンタ領域２０３に格納された値が０となったか否かを判定する。０となった場合（ステップＳ４２６がＹｅｓ）、ステップＳ４２７にて、当該圧縮画像データ格納先バッファ２０６を第１の蓄積部１０１から除去する。本除去処理の詳細はステップＳ２１３の除去処理と同一であるため、ここでは説明を省略する。
【０１１０】
次に、パス制御部１０３の解析頻度推定処理（図１７のステップＳ４０８）について、図１９を用いて説明する。
【０１１１】
まず、パス制御部１０３は、ステップＳ４０４にて取得した要求情報に係るアドレス値で参照される伸張画像データ格納先バッファに係る伸張画像データを、ステップＳ４４１にて、第２の蓄積部１０７から取得する。
【０１１２】
次に、ステップＳ４４２にて、マーカ周辺の画素の輝度値をピクセル毎に求め、パス制御情報格納部１１６の対応するマーカ矩形情報格納部の画素値和格納バッファに、当該輝度値を加算する。
【０１１３】
また、ステップＳ４４３にて、パス制御情報格納部１１６の対応するマーカ矩形情報格納部の画素値２乗和格納バッファに、当該輝度値を２乗したものを加算する。
【０１１４】
次に、ステップＳ４４３ａにて、パス制御情報格納部１１６の分散カウンタ格納部５１４に格納されているカウンタ値に、１加算する。
【０１１５】
次に、ステップＳ４４４にて、パス制御情報格納部１１６の分散カウンタ格納部５１４に格納されているカウンタ値（分散カウンタ）が、パス制御情報格納部１１６の分散算出トリガ格納部５１５の値（閾値）以上か否かを判定する。分散カウンタが閾値以上になれば（ステップＳ４４４がＮｏ）、ステップＳ４４５で、更新頻度確認処理を行い、更新頻度を求め、ステップＳ４４６に移る。なお、ステップＳ４４５の更新頻度確認処理については、図２０を用いて後ほど詳細に説明する。一方、分散カウンタが閾値よりも小さければ（ステップＳ４４４がＹｅｓ）、ステップＳ４４６に処理を移す。
【０１１６】
ステップＳ４４６では、当該伸張画像データ格納バッファ２に係るバッファ使用カウンタ２領域に格納されているカウンタ値を、１減らす。
【０１１７】
ステップＳ４４７にて、当該減算処理により、当該カウンタ値が０となったか否かを判定する。０となった場合（ステップＳ４４７がＹｅｓ）、ステップＳ４４８にて、当該伸張画像データを第２の蓄積部１０７から除去し、当該解析頻度推定処理を終了する。より具体的には、第２の蓄積部１０７における先頭アドレス領域２００に格納されているアドレス値を、当該消去対象である伸張画像データ格納先バッファのペイロード長から求めた伸張画像データ格納先バッファのサイズ分だけずらすことにより、第２の蓄積部１０７から当該伸張画像データを除去する。一方、当該カウンタ値が０でない場合（ステップＳ４４７がＮｏ）、そのまま当該解析頻度推定処理を終了する。
【０１１８】
以上の処理により、画像出力部１０８は解析頻度推定処理を行う。
【０１１９】
次に、図１９のステップＳ４４５の更新頻度確認処理について、図２０を用いて説明する。
【０１２０】
まず、ステップＳ４５０にて、図２１に示した式を用いて、変化レベルを求める。より詳細には、図２２に示すように、前述したステップＳ４４２の処理によりマーカ周辺の輝度値を時刻毎に足し合わせて２乗した値、即ち、特定画素における輝度値の期待値の２乗値８０３と、前述したステップＳ４４３の処理によりマーカ周辺の輝度値を２乗したものを時刻毎に足し合わせた値、即ち、特定画素における輝度値の２乗の期待値８０２と、ステップＳ４４３ａにて求めた分散カウンタ値とから、画素毎の輝度値の分散８０１を求め、さらに輝度値の分散を画素毎に平均した値８００を求め、当該平均値８００を変化レベルとして求める。より具体的には、図２１に示した式によって変化レベルを求める。
【０１２１】
上記の演算により変化レベルを算出したら、ステップＳ４５１にて、パス制御情報格納部１１６に係る変化レベル閾値格納部５１４に格納されている変化レベル閾値（閾値）と、当該変化レベル（変化度合い）とを比較する。いずれかのマーカに対して、当該変化レベルが閾値よりも大きければ（ステップＳ４５１がＹｅｓ）、ステップＳ４５３にて、頻度情報格納部１１１に「更新頻度大」を意味する値ＯＮを格納する。一方、すべてのマーカに対して当該変化レベルが閾値以下である場合（ステップＳ４５１がＮｏ）、ステップＳ４５２にて、頻度情報格納部１１１に「更新頻度小」を意味する値ＯＦＦを格納する。
【０１２２】
次に、ステップＳ４５４にて、パス制御情報格納部１１６に係る画素値和格納バッファを０クリアし、マーカ周辺色合計値をクリアする。更に、ステップＳ４５５にて、パス制御情報格納部１１６に係る画素値２乗和格納バッファを０クリアし、マーカ周辺色２乗和をクリアする。最後に、ステップＳ４５６にて、パス制御情報格納部１１６に係る分散カウンタ領域を０クリアして、初期化する。
【０１２３】
次に、パス制御部１０３の最適色更新処理（図１７のステップＳ４１０）について、まず、図２３、図２４及び図２５を用いて処理の概要を示す。
【０１２４】
ここでは、説明を簡略化するため、図２３、図２４及び図２５においては、次の値であるとして説明する。マーカ周辺の領域は、縦横それぞれ２ピクセルとする。色成分は、赤・青のみとする。各画素の赤・青成分は、それぞれ０〜２５５の値をとる。ヒストグラムの分割数は、赤・青成分それぞれに対して４分割する。ヒストグラムから重み付けテーブルへの第１の重み付け値は、１６とする。ヒストグラムから重み付けテーブルへの第２の重み付け値は、８とする。ヒストグラムから重み付けテーブルへの第３の重み付け値は、２とする。なお、これらのパラメータはあくまで具体例の一つであって、本発明における固有のパラメータではない。
【０１２５】
まず、手順１．１にて、マーカ領域の１つめの画素に対して、ヒストグラムを求める。図２３の場合、赤成分が２５５であり、青成分が０であるので、赤成分が１９２〜２５５、青成分が０〜６４のセルにマッピングする。
【０１２６】
次に、手順１．２にて、重み付けテーブルに手順１．１で求めたヒストグラムへの射影結果を反映して加算する。具体的には、手順１．１で射影されたヒストグラムへのセル（Ａ）へは、第１の重み（当該例では値‘１６’）を、前記セル（Ａ）に隣接するセル（Ｂ）へは、第２の重み（当該例では値‘８’）を、前記セル（Ｂ）に隣接するセル（Ｃ）（ただしセル（Ａ）は除く）へは、第３の重み（当該例では値‘２’）を、それぞれ加算する。
【０１２７】
上記の手順１．１及び手順１．２を、マーカ周辺領域の各画素に対して行う（上記例においては、手順２．１〜手順４．２）。
【０１２８】
その後、図２５に示す手順Ｎにて、重み付けテーブルの各セルに対して、セルに格納されている値が小さい順に、セルに対して順序付けを行う。これらのセルのうち、もっとも値の小さいセルに相当する色（例の場合は青（２５５，０））が、マーカ周辺領域でより使用されていない色であるとして、マーカ色として決定する。
【０１２９】
次に、パス制御部１０３の最適色更新処理（図１７のステップＳ４１０）について、図２６を用いて説明する。
【０１３０】
まず、ステップＳ４６１にて、重み付けテーブルの各セルを値‘０’で初期化し、テーブルをクリアする。
【０１３１】
次に、ステップＳ４６２にて、マーカ用のカウンタｋを０で初期化し、ステップＳ４６３にて、画素用のカウンタｉを０で初期化する。
【０１３２】
次に、図２３の手順１．１に相当する処理として、ステップ４６４にて、マーカ［ｋ］の周辺領域の画素［ｉ］に対して、ヒストグラムへの射影を行う。次に、図２３の手順１．２に相当する処理として、ステップＳ４６５にて、前記ステップＳ４６４におけるヒストグラムへの射影結果に対して、重み付けしたものを、重み付けテーブルへと加算する。これらの処理を、ステップＳ４６３〜ステップＳ４６７にて各画素に対して行う。
【０１３３】
図２５に示す手順Ｎに相当する処理として、ステップＳ４６７Ａにて、マーカ最適色を選択する。これにより、特定時刻における画面上のマーカ位置とその色を、表示装置の位置を認識しようとする図示しない認識装置へ、通知することが可能となる。上記の処理を、ステップＳ４６２〜ステップＳ４６９にて各画素・各マーカに対して行う。
【０１３４】
この後、ステップＳ４７０では、当該伸張画像データ格納バッファ３に係るバッファ使用カウンタ３領域に格納されているカウンタ値を、１減らす。
【０１３５】
当該減算処理により、ステップＳ４７１にて、当該カウンタ値が０となったか否かを判定する。０となった場合（ステップＳ４７１がＹｅｓ）、ステップＳ４７２にて、当該伸張画像データを第３の蓄積部１０９から除去し、当該最適色更新処理を終了する。より具体的には、第３の蓄積部１０９における先頭アドレス領域に格納されているアドレス値を、当該消去対象である伸張画像データ格納先バッファのペイロード長から求めた伸張画像データ格納先バッファのサイズ分だけずらすことにより、第３の蓄積部１０９から当該伸張画像データを除去する。一方、当該カウンタ値が０でない場合（ステップＳ４７１がＮｏ）、そのまま当該最適色更新処理を終了する。
【０１３６】
以上の処理により、最適色更新処理を行う。
【０１３７】
次に、図２６のステップＳ４６７Ａにおけるマーカ最適色選択処理について、図２７を用いて説明する。
【０１３８】
まず、ステップＳ４８１にて、ステップＳ４６５にて更新した重み付けテーブルの各セルに対して、セルに格納された重み値の若い順に順序付けを行う。この時、図２８に示すように、順序テーブル［ｉ］に、ｉ番目に小さい重み値に対応するセルのインデックス番号が格納されるよう順序付けテーブルを求める。
【０１３９】
次に、ステップＳ４８２にて、パス制御情報格納部１１６の推奨色フラグ領域５１５に格納された推奨色フラグがＯＮかＯＦＦかを判定する。
【０１４０】
当該推奨色フラグがＯＦＦである場合（ステップＳ４８２がＮｏ）、ステップＳ４８３にて、重み付けテーブルの各セルのうち、重み値の最も小さなセルに対する色を、最適色格納部１１４へと格納して最適色を更新し、ステップＳ４９８の処理に移る。
【０１４１】
一方、当該推奨色フラグがＯＮの場合（ステップＳ４８２がＹｅｓ）、ステップＳ４８４〜ステップＳ４８７にて、重み付けテーブルの各セルに対して、重み値の小さい順に最適色として選択すべきか否かを判定する。まず、ステップＳ４８４にて、カウンタｉを初期化し、ステップＳ４８５にて、重み付けテーブルのｉ番目に重み値の小さなセルに対応する色、即ち最適色候補［ｉ］が、パス制御情報格納部１１６の推奨色格納部５１６に格納された推奨色に近いか否かを判定する。具体的には、最適色候補［ｉ］と、パス制御情報格納部１１６の推奨色格納部５１６に格納された推奨色とのユークリッド距離を求め、当該ユークリッド距離が、パス制御情報格納部１１６の推奨色閾値格納部５１９に格納された推奨色閾値よりも小さければ、推奨色に近いと判定する。推奨色に近いと判定した場合（ステップＳ４８５がＹｅｓ）、ステップＳ４８６にて、当該最適色候補を最適色格納部１１４へと格納して最適色を更新し、ステップ４９８の処理に移る。一方、当該ユークリッド距離が当該推奨色閾値以上であれば、推奨色に近くないと判定し（ステップＳ４８５がＮｏ）、ステップＳ４８７にて、カウンタｉを１増やし、再度Ｓ４８５の判定処理を行う。
【０１４２】
最後に、ステップＳ４９８にて、ステップＳ４０４で取得した要求情報に係るアドレス値で示される伸張画像データ格納先バッファ３のタイムスタンプと、マーカの座標及び求めたマーカ色と、パス制御情報格納部１１６の送信識別子格納部５０１に格納された送信識別子とを伝送路へ送出する。
【０１４３】
上記の処理により、当該コンテンツ出力装置はマーカを認識させるのにより適した色情報を伝送路へと送出する。
【０１４４】
以上により、本発明のコンテンツ出力装置によれば、コンテンツと共に表示機器に表示されるマーカの色を、マーカの認識が可能な程度に、背景色と区別可能な色に決定することができる。また、決定した色情報を、リモコン側に事前に通知することで、リモコン側でのマーカ位置の誤認識を低減できる。
【０１４５】
（実施の形態２）
図２９は、コンテンツ出力装置の構成の一例を示すブロック図である。
【０１４６】
コンテンツ出力装置は、画像データ取得部１００と、第１の蓄積部１０１と、タイマ部１０２と、パス制御部１０３と、第２の要求蓄積部１０４と、第１のデコード部１０５と、第１の要求蓄積部１０６と、第２の蓄積部１０７と、画像出力部１０８と、第３の蓄積部１０９と、解析頻度推定部１１０と、頻度情報格納部１１１と、最適色決定制御部１１２と、第２のデコード部１１５とを備えている。
【０１４７】
本実施の形態のコンテンツ出力装置は、第１のデコード部１０５と第２のデコード部１１５の２つのデコード部を有しており、通常デコード処理と推定デコード処理の２種類のデコード処理を、それぞれ異なるデコード部が処理している。
【０１４８】
第１のデコード部１０５は、第２の蓄積部１０７の空き容量が一定量以上になると、第１の蓄積部１０１に蓄積された圧縮画像データを取得し、伸張して伸張画像データを生成し、当該伸張画像データを第２の蓄積部１０７に蓄積する。
【０１４９】
第２のデコード部１１５は、圧縮画像データの伸張要求を受付けた際に、第１の要求蓄積部１０６からデコード要求情報を取得し、当該デコード要求情報から圧縮画像データのアドレス値を取得し、当該アドレス値に係る圧縮画像データを伸張して伸張データを生成し、当該伸張データを第３の蓄積部１０９に蓄積する。
【０１５０】
パス制御部１０３は、画像データ取得部１００から圧縮画像データのアドレス値に係る通知を受け取り、頻度情報格納部１１１よりマーカ色算出頻度情報を取得し、当該マーカ色算出頻度情報に従って、当該圧縮画像データのアドレス値を第１の要求蓄積部１０６へ蓄積し、第２のデコード部１１５を起床させることで、当該通知された圧縮画像データのアドレス値で示される画像データをデコードして第３の蓄積部１０９へ格納するよう第２のデコード部１１５へ要求する。また、第１の蓄積部１０１に蓄積された圧縮画像データの量が閾値よりも大きい場合は、第１のデコード部１０５と画像出力部１０８とを起床させる。
【０１５１】
図３０は、コンテンツ出力装置の処理フローを示している。図５に示した実施の形態１のコンテンツ出力装置との違いは、ステップＳ１０２Ａが追加されていることである。
【０１５２】
パス制御部１０３は、実施の形態１における起動処理に対し、ステップＳ１０２での画像データ取得部１００起動処理の後に、ステップＳ１０２Ａによる第２のデコード部１１５起動処理を実行する。実施の形態１に比べて第２のデコード部１１５を別途起動することにより、第１のデコード部１０５による通常デコード処理と並列に第２のデコード部１１５による推定デコード処理を行う。
【０１５３】
次に、本実施の形態における第１のデコード部１０５の動作について、図３１を用いて説明する。
【０１５４】
ステップＳ２６１にて、第２の蓄積部１０７に、パス制御情報格納部１１６の伸張画像データサイズ格納部５０２で示されるサイズ以上の空き領域が有るか否かを判定する。空き領域がある場合（ステップＳ２６１がＹｅｓ）場合、ステップＳ２０２にて第１の蓄積部１０１に蓄積されている圧縮画像データを伸張し、第２の蓄積部１０７へ蓄積し、ステップＳ２６３へと移る。一方、第２の蓄積部１０７に前記サイズ以上の空き領域がない場合（ステップＳ２６１がＮｏ）、ステップＳ２６３の処理に移る。
【０１５５】
ステップＳ２６３にて、終了要求を受けたか否かを判定する。パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、終了要求を受けたと判定し（ステップＳ２６３がＹｅｓ）、第１のデコード部１０５は定常処理を終了する。また、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦであれば、終了要求を受けていないと判定し（ステップＳ２６３がＮｏ）、再びＳ２６１へ処理を移す。
【０１５６】
なお、図３１のステップＳ２０２での通常デコード処理は、図９のステップＳ２０２での通常デコード処理と同一であるため、説明を省略する。
【０１５７】
次に、本実施の形態における第２のデコード部１１５の動作について、図３２を用いて説明する。
【０１５８】
ステップＳ２６４にて、第１の要求蓄積部１０６に要求データが蓄積されているか否かを判定する。要求データがある場合（ステップＳ２６４がＹｅｓ）、ステップＳ２２１にて、推定デコード処理を行い、ステップＳ２６６の処理に移る。一方、第１の要求蓄積部１０６に要求データが蓄積されていない場合（ステップＳ２６４がＮｏ）、ステップＳ２６６の処理に移る。
【０１５９】
次に、ステップＳ２６６にて終了要求を受けたか否かを判定する。パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＮであれば、終了要求を受けたと判定し（ステップＳ２６６がＹｅｓ）、第２のデコード部１１５は定常処理を終了する。また、パス制御情報格納部１１６の状態フラグ格納部５０３に記録された状態フラグがＯＦＦであれば、終了要求を受けていないと判定し（ステップＳ２６６がＮｏ）、再びステップＳ２６４の判定処理を実行する。
【０１６０】
これにより、通常デコード処理と推定デコード処理とを、第１のデコード部１０５と第２のデコード部１１５とでそれぞれ並列に処理することができる。
【０１６１】
以上により、本発明のコンテンツ出力装置によれば、コンテンツと共に表示機器に表示されるマーカの色を、マーカの認識が可能な程度に、背景色と区別可能な色に決定することができる。また、決定した色情報を、リモコン側に事前に通知することで、リモコン側でのマーカ位置の誤認識を低減できる。
【産業上の利用可能性】
【０１６２】
本発明に係るコンテンツ出力装置は、マーカを認識可能な色に決定するために、適切な頻度で制御する機能を有し、テレビ等の表示機器等として有用である。またパーソナルコンピュータ、プロジェクター等の他の表示機器としての用途にも応用できる。
【符号の説明】
【０１６３】
１０    表示デバイス
１１    マーカ
１００    画像データ取得部
１０１    第１の蓄積部
１０２    タイマ部
１０３    パス制御部
１０４    第２の要求蓄積部
１０５    第１のデコード部
１０６    第１の要求蓄積部
１０７    第２の蓄積部
１０８    画像出力部
１０９    第３の蓄積部
１１０    解析頻度推定部
１１１    頻度情報格納部
１１２    最適色決定制御部
１１３    伝送路
１１４    最適色格納部
１１５    第２のデコード部
１１６    パス制御情報格納部
１２０    チューナ
１２１    復調部
１２２    ＴＳデコーダ
１２３    ＴＳ−Ｖバッファ
【図１】
2011186112.tif 000003
【図２】
2011186112.tif 000004
【図３】
2011186112.tif 000005
【図４】
2011186112.tif 000006
【図５】
2011186112.tif 000007
【図６】
2011186112.tif 000008
【図７】
2011186112.tif 000009
【図８】
2011186112.tif 000010
【図９】
2011186112.tif 000011
【図１０】
2011186112.tif 000012
【図１１】
2011186112.tif 000013
【図１２】
2011186112.tif 000014
【図１３】
2011186112.tif 000015
【図１４】
2011186112.tif 000016
【図１５】
2011186112.tif 000017
【図１６】
2011186112.tif 000018
【図１７】
2011186112.tif 000019
【図１８】
2011186112.tif 000020
【図１９】
2011186112.tif 000021
【図２０】
2011186112.tif 000022
【図２１】
2011186112.tif 000023
【図２２】
2011186112.tif 000024
【図２３】
2011186112.tif 000025
【図２４】
2011186112.tif 000026
【図２５】
2011186112.tif 000027
【図２６】
2011186112.tif 000028
【図２７】
2011186112.tif 000029
【図２８】
2011186112.tif 000030
【図２９】
2011186112.tif 000031
【図３０】
2011186112.tif 000032
【図３１】
2011186112.tif 000033
【図３２】
2011186112.tif 000034