(57)【要約】【課題】番組提供者が表示する情報を最適化するための工数を削減し、視聴者に表示される情報の過不足を少なくする。【解決手段】受信部１２はデータ放送番組情報を受信し、映像情報を表示情報判定部１５に渡し、映像中のオブジェクトの関連情報を関連情報保持部１３に渡す。ポインティング認識部１４は、映像中に表示されているどのオブジェクトをユーザが指しているかを認識し、認識結果を表示情報判定部１５に渡す。表示情報判定部１５は、映像情報と、関連情報保持部１３に記録されている各オブジェクトの詳細度付き関連情報と、ポインティング認識部１４から渡された認識結果とから、オブジェクトごとにどれくらい詳細な関連情報を表示するかを決定する。表示情報判定部１５は、映像情報とオブジェクトごとに決定された関連情報とを表示部１６に渡し、表示部１６は映像情報と関連情報を重畳して表示する。【選択図】      図１
2004297448.tif 000002
【特許請求の範囲】
【請求項１】
映像情報、オブジェクトの詳細度付き関連情報を含むデータ放送番組情報を受信し、映像情報、オブジェクトの詳細度付き関連情報を出力する受信部と、
前記受信部からの詳細度付き関連情報を保持する関連情報保持部と、
ユーザに指定された画面上のポインティング位置を認識し、ポインティング位置情報を出力するポインティング認識部と、
前記ポインティング認識部からのポインティング位置情報、前記受信部からの映像情報、前記関連情報保持部からのオブジェクトの詳細度付き関連情報に基づいて、映像情報に含まれるオブジェクトごとの重要度を算出し、算出した重要度に基づいてオブジェクトごとの詳細度を算出し、算出した詳細度に基づいてオブジェクトの詳細度付き関連情報からオブジェクト対応の表示する関連情報を決定し、映像情報、オブジェクト対応の表示する関連情報を出力する表示情報判定部と、
前記表示情報判定部からの映像情報に、前記表示情報判定部からのオブジェクト対応の表示する関連情報を重畳して表示する表示部と、
を有することを特徴とする情報重畳表示装置。
【請求項２】
映像情報、オブジェクトの詳細度付き関連情報を含むデータ放送番組情報を受信し、映像情報、オブジェクトの詳細度付き関連情報を出力する受信部と、
前記受信部からの詳細度付き関連情報を保持する関連情報保持部と、
ユーザに指定された画面上のポインティング位置を認識し、ポインティング位置情報を出力するポインティング認識部と、
顔方向情報、前記ポインティング認識部からのポインティング位置情報、前記受信部からの映像情報、前記関連情報保持部からのオブジェクトの詳細度付き関連情報に基づいて、映像情報に含まれるオブジェクトごとの重要度を算出し、算出した重要度に基づいてオブジェクトごとの詳細度を算出し、算出した詳細度に基づいてオブジェクトの詳細度付き関連情報からオブジェクト対応の表示する関連情報を決定し、映像情報、オブジェクト対応の表示する関連情報を出力する表示情報判定部と、
前記表示情報判定部からの映像情報に、前記表示情報判定部からのオブジェクト対応の表示する関連情報を重畳して表示する表示部と、
使用者の顔が前記表示部を向いているかどうかを示す顔方向情報を作成し、前記表示情報判定部に出力する顔画像認識部と、
を有することを特徴とする情報重畳表示装置。
【請求項３】
最重要オブジェクトを、
（ａ）使用者がポインティングしている位置にオブジェクトがあれば、そのオブジェクトを最重要オブジェクトとし、
（ｂ）使用者がポインティングしている位置にオブジェクトがなければ、オブジェクトごとにスコアを計算し、最もスコアの大きいものを最重要オブジェクトとし、
（ｃ）オブジェクトごとのスコアは、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合を考慮して、
決定し、
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により算出する前記表示情報決定部を有することを特徴とする請求項１記載の情報重畳表示装置。
【請求項４】
オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合に、重みをつけて足し合わせてオブジェクトのスコアを算出する前記表示情報決定部を有することを特徴とする請求項３記載の情報重畳表示装置。
【請求項５】
（ａ）オブジェクトが最重要オブジェクトなら重要度を増加させ、
（ｂ）オブジェクトのスコアに応じて、重要度を増加させ、
（ｃ）オブジェクトがポインティングされていれば、重要度を一定量だけ増加させ、
（ｄ）連続して画面のどこかがポインティングされていれば、重要度を増加させ、（ｅ）映像中に含まれるオブジェクトの数に応じて、重要度を増減させ、
（ｆ）オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、および、映像中に含まれるオブジェクトの数から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する前記表示情報決定部を有することを特徴とする請求項４記載の情報重畳表示装置。
【請求項６】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により、オブジェクトの重要度を算出する前記表示情報決定部を有することを特徴とする請求項５記載の情報重畳表示装置。
【請求項７】
最重要オブジェクトを、
（ａ）使用者がポインティングしている位置にオブジェクトがあれば、そのオブジェクトを最重要オブジェクトとし、
（ｂ）使用者がポインティングしている位置にオブジェクトがなければ、オブジェクトごとにスコアを計算し、最もスコアの大きいものを最重要オブジェクトとし、
（ｃ）オブジェクトごとのスコアは、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合を考慮して、
決定し、
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により算出する前記表示情報決定部を有することを特徴とする請求項２記載の情報重畳表示装置。
【請求項８】
オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合に、重みをつけて足し合わせてオブジェクトのスコアを算出する前記表示情報決定部を有することを特徴とする請求項７記載の情報重畳表示装置。
【請求項９】
（ａ）オブジェクトが最重要オブジェクトなら重要度を増加させ、
（ｂ）オブジェクトのスコアに応じて、重要度を増加させ、
（ｃ）オブジェクトがポインティングされていれば、重要度を一定量だけ増加させ、
（ｄ）連続して画面のどこかがポインティングされていれば、重要度を増加させ、（ｅ）映像中に含まれるオブジェクトの数に応じて、重要度を増減させ、
（ｆ）オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、および、映像中に含まれるオブジェクトの数から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する前記表示情報決定部を有することを特徴とする請求項８記載の情報重畳表示装置。
【請求項１０】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）＋（連続してユーザの顔の向きが画面方向を向いているときの増加分の重み）＊（連続してユーザの顔の向きが画面方向を向いているときの増加分）＋（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分の重み）＊（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分）により、オブジェクトの重要度を算出する前記表示情報決定部を有することを特徴とする請求項９記載の情報重畳表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報重畳表示装置に関し、特に、データ放送番組の映像中に含まれるオブジェクトに関連した情報の重畳表示装置に関する。
【０００２】
【従来の技術】
データ放送番組では、映像情報と同時に映像中のオブジェクトに関連した情報が送信され、受信機側で映像の進行に合わせて関連情報を表示する。
【０００３】
たとえば、番組と当該番組を補足する情報である補助情報とを有する情報受信する番組受信部と、補助情報を表示する・しないを示すフラグである表示フラグを管理する表示フラグ管理部と、前記番組受信部で受信した番組と補助情報を分離する分離部と、前記分離部で分離された番組を表示する番組表示部と、前記分離部で分離された補助情報を表示する補助情報表示部と、前記表示フラグ管理部の表示フラグを読み取り、表示フラグがオンである場合に補助情報を表示する旨を前記補助情報表示部に指示する補助情報表示制御部とを備える技術がある。（特許文献１）
【特許文献１】
特開２００１−２４５２３４号公報
【０００４】
【発明が解決しようとする課題】
上述の技術の問題点は、視聴者がより詳しく知りたい関連情報がわずかしか表示されなかったり、逆に余分な関連情報が多く表示されたりしてしまうことである。
【０００５】
また、番組提供者側は視聴者が望む情報をなるべく過不足なく提供するためには、表示する情報の量や時間、他の情報との優先順位などをあらかじめ最適化する必要があり、そのための工数が膨大であるという付随的な問題点がある。
【０００６】
本発明の目的は、映像中のオブジェクトに関連する情報を詳細度別に複数準備しておき、視聴者の状態や操作履歴からシステムが表示する情報の詳細度を決定することにより、番組提供者が表示する情報を最適化するための工数を削減し、視聴者に表示される情報の過不足を少なくすることである。
【０００７】
【課題を解決するための手段】
本発明の第１の情報重畳表示装置は、映像情報、オブジェクトの詳細度付き関連情報を含むデータ放送番組情報を受信し、映像情報、オブジェクトの詳細度付き関連情報を出力する受信部と、前記受信部からの詳細度付き関連情報を保持する関連情報保持部と、ユーザに指定された画面上のポインティング位置を認識し、ポインティング位置情報を出力するポインティング認識部と、前記ポインティング認識部からのポインティング位置情報、前記受信部からの映像情報、前記関連情報保持部からのオブジェクトの詳細度付き関連情報に基づいて、映像情報に含まれるオブジェクトごとの重要度を算出し、算出した重要度に基づいてオブジェクトごとの詳細度を算出し、算出した詳細度に基づいてオブジェクトの詳細度付き関連情報からオブジェクト対応の表示する関連情報を決定し、映像情報、オブジェクト対応の表示する関連情報を出力する表示情報判定部と、前記表示情報判定部からの映像情報に、前記表示情報判定部からのオブジェクト対応の表示する関連情報を重畳して表示する表示部と、を有することを特徴とする。
【０００８】
本発明の第２の情報重畳表示装置は、映像情報、オブジェクトの詳細度付き関連情報を含むデータ放送番組情報を受信し、映像情報、オブジェクトの詳細度付き関連情報を出力する受信部と、前記受信部からの詳細度付き関連情報を保持する関連情報保持部と、ユーザに指定された画面上のポインティング位置を認識し、ポインティング位置情報を出力するポインティング認識部と、顔方向情報、前記ポインティング認識部からのポインティング位置情報、前記受信部からの映像情報、前記関連情報保持部からのオブジェクトの詳細度付き関連情報に基づいて、映像情報に含まれるオブジェクトごとの重要度を算出し、算出した重要度に基づいてオブジェクトごとの詳細度を算出し、算出した詳細度に基づいてオブジェクトの詳細度付き関連情報からオブジェクト対応の表示する関連情報を決定し、映像情報、オブジェクト対応の表示する関連情報を出力する表示情報判定部と、前記表示情報判定部からの映像情報に、前記表示情報判定部からのオブジェクト対応の表示する関連情報を重畳して表示する表示部と、使用者の顔が前記表示部を向いているかどうかを示す顔方向情報を作成し、前記表示情報判定部に出力する顔画像認識部と、を有することを特徴とする。
【０００９】
本発明の第３の情報重畳表示装置は、前記第１の情報重畳表示装置であって、最重要オブジェクトを、（ａ）使用者がポインティングしている位置にオブジェクトがあれば、そのオブジェクトを最重要オブジェクトとし、（ｂ）使用者がポインティングしている位置にオブジェクトがなければ、オブジェクトごとにスコアを計算し、最もスコアの大きいものを最重要オブジェクトとし、（ｃ）オブジェクトごとのスコアは、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合を考慮して、決定し、（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により算出する前記表示情報決定部を有することを特徴とする。
【００１０】
本発明の第４の情報重畳表示装置は、前記第３の情報重畳表示装置であって、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合に、重みをつけて足し合わせてオブジェクトのスコアを算出する前記表示情報決定部を有することを特徴とする。
【００１１】
本発明の第５の情報重畳表示装置は、前記第４の情報重畳表示装置であって、（ａ）オブジェクトが最重要オブジェクトなら重要度を増加させ、（ｂ）オブジェクトのスコアに応じて、重要度を増加させ、（ｃ）オブジェクトがポインティングされていれば、重要度を一定量だけ増加させ、（ｄ）連続して画面のどこかがポインティングされていれば、重要度を増加させ、（ｅ）映像中に含まれるオブジェクトの数に応じて、重要度を増減させ、（ｆ）オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、および、映像中に含まれるオブジェクトの数から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する前記表示情報決定部を有することを特徴とする。
【００１２】
本発明の第６の情報重畳表示装置は、前記第５の情報重畳表示装置であって、（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により、オブジェクトの重要度を算出する前記表示情報決定部を有することを特徴とする。
【００１３】
本発明の第７の情報重畳表示装置は、前記第２の情報重畳表示装置であって、最重要オブジェクトを、（ａ）使用者がポインティングしている位置にオブジェクトがあれば、そのオブジェクトを最重要オブジェクトとし、（ｂ）使用者がポインティングしている位置にオブジェクトがなければ、オブジェクトごとにスコアを計算し、最もスコアの大きいものを最重要オブジェクトとし、（ｃ）オブジェクトごとのスコアは、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合を考慮して、決定し、（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）により算出する前記表示情報決定部を有することを特徴とする。
【００１４】
本発明の第８の情報重畳表示装置は、前記第７の情報重畳表示装置であって、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合に、重みをつけて足し合わせてオブジェクトのスコアを算出する前記表示情報決定部を有することを特徴とする。
【００１５】
本発明の第９の情報重畳表示装置は、前記第８の情報重畳表示装置であって、（ａ）オブジェクトが最重要オブジェクトなら重要度を増加させ、（ｂ）オブジェクトのスコアに応じて、重要度を増加させ、（ｃ）オブジェクトがポインティングされていれば、重要度を一定量だけ増加させ、（ｄ）連続して画面のどこかがポインティングされていれば、重要度を増加させ、（ｅ）映像中に含まれるオブジェクトの数に応じて、重要度を増減させ、（ｆ）オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、および、映像中に含まれるオブジェクトの数から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する前記表示情報決定部を有することを特徴とする。
【００１６】
本発明の第１０の情報重畳表示装置は、前記第９の情報重畳表示装置であって、（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）＋（連続してユーザの顔の向きが画面方向を向いているときの増加分の重み）＊（連続してユーザの顔の向きが画面方向を向いているときの増加分）＋（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分の重み）＊（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分）により、オブジェクトの重要度を算出する前記表示情報決定部を有することを特徴とする。
【００１７】
【発明の実施の形態】
本発明の第１の実施の形態について、図面を参照して詳細に説明する。
【００１８】
図１は、本発明の第１の実施の形態の構成を示すブロック図である。
【００１９】
図１を参照すると、本発明の第１の実施の形態は、データ放送番組情報を受信する受信部１２と、データ放送番組情報に含まれるオブジェクトの詳細度付き関連情報を保持する関連情報保持部１３と、ユーザがどのオブジェクトを指しているかを認識するポインティング認識部１４と、ユーザの操作やその履歴から表示する関連情報の詳細度を決定する表示情報判定部１５と、データ放送番組の映像と映像中に含まれるオブジェクトの関連情報を重畳して表示する表示部１６とを備える。
【００２０】
また、システムのプログラムを記録したプログラム記録媒体１１を備える。プログラム記録媒体１１から読み込まれたプログラムが、システムの動作を制御する。
【００２１】
次に、本発明の第１の実施の形態について図面を参照して説明する。
【００２２】
受信部１２はデータ放送番組情報を受信し、データ放送番組情報に含まれる映像情報を表示情報判定部１５に渡す（図１Ｓ２０５）と同時に、データ放送番組情報に含まれるオブジェクトの詳細度付き関連情報を関連情報保持部１３に渡す（図１Ｓ２０３）。
【００２３】
図２は、詳細度付き関連情報の内容の一例を示す説明図である。
【００２４】
詳細度付き関連情報は、ある時点での映像においてどの位置にどれくらいの大きさでどのオブジェクトが表示されているかがわかり、それらのオブジェクトの関連情報が何段階かの詳細度に応じてわかるようになっていればよい。
【００２５】
図２を参照すると、関連情報保持部１３は、詳細度付き関連情報をオブジェクト情報と関連情報とに分けて保持する。
【００２６】
オブジェクト情報は、例えば、映像情報のフレーム番号、そのフレームで表示されているオブジェクトのＩＤ、そのオブジェクトの位置、大きさを持つ。
【００２７】
例えば、あるフレームにおいて二つ以上のオブジェクトが表示されていれば、図２のように同じフレーム番号で異なるオブジェクトＩＤのデータが存在する。
【００２８】
オブジェクトの位置と大きさは、例えばオブジェクトの形を長方形とし、オブジェクトの左上の頂点の座標を位置として大きさを幅と高さで表現してもよいし、オブジェクトの左上の頂点と右下の頂点の座標で表現してもよいし、また例えば、オブジェクトの形を多角形としてある頂点から時計回り、または反時計回りの頂点の座標を並べて表現してもよい。
【００２９】
関連情報は、オブジェクトごとに、詳細度を指定したときに表示する関連情報が決定できればよい。例えば図２のように各オブジェクトに対して詳細度ごとに分けて管理される。また、詳細度を指定したときにその詳細度以下の情報を全て表示すると決めておいてもよい。
【００３０】
表示情報判定部１５は、受信部１２から渡された映像情報を表示部１６に渡し（図１Ｓ５０６）、表示部１６は映像情報を表示する。
【００３１】
ユーザは、表示部１６にて表示された映像情報を見て、映像中に含まれる関心のあるオブジェクトをポインティング認識部１４を使って指定する。ポインティング認識部１４は、例えば、ユーザがレーザポインタを使って画面上のオブジェクトを指定し、レーザポインタの指している位置を認識するというものでもよいし、ユーザがマウスを使ってマウスカーソルをオブジェクト上に動かし、マウスをクリックすることで位置を指定するというものでもよい。またカメラを使った画像認識によりユーザが画面を指差している位置を認識するというものでもよい。
【００３２】
ポインティング認識部１４を通じてユーザが画面上で指定した位置は表示情報判定部１５に渡される（図１Ｓ４０５）。
【００３３】
ポインティング認識部１４から表示情報判定部１５には一定時間ごとに情報が渡されるようになっており、表示情報判定部１５では、ポインティング認識部１４から渡された情報を蓄積する。また、ポインティングされていないときには、情報を送らないようにしてもよいし、ポインティングされていないという情報を渡すようにしてもよい。この蓄積された情報を利用して、表示情報判定部１５は連続してポインティングされているかどうかを判定する。
【００３４】
例えば、ポインティング認識部１４から表示情報判定部１５に映像のフレームと同期したタイミングである１／３０秒間隔で情報が渡される場合には、３０回連続してポインティングされている情報が渡されれば、３０フレーム数（１秒）の間、連続してポインティングされていると判定される。また、例えば、１／１０秒間隔で情報が渡される場合には、１０回連続してポインティングされている情報が渡されれば、３０フレーム数（１秒）の間、連続してポインティングされていると判定される。
【００３５】
表示情報判定部１５は、映像情報の現在のフレーム番号をキーにして、関連情報保持部１３から現在のフレームで表示されているオブジェクトのＩＤと、その位置と大きさを受け取る（図１Ｓ３０５）。
【００３６】
また、表示情報判定部１５はポインティング認識部１４から渡されたユーザの指定位置や、関連情報保持部１３から渡される現在のフレームで表示されているオブジェクトのＩＤとその位置と大きさの履歴を保持する。
【００３７】
表示情報判定部１５は、ユーザが画面をポインティングしている位置と、オブジェクトの位置と大きさの情報から、オブジェクトごとに表示する関連情報を決定し、映像情報とともに表示部１６に渡し（図１Ｓ５０６）、表示部１６では映像情報にオブジェクトの関連情報を重畳して表示する。
【００３８】
表示情報判定部１５における、オブジェクトごとの表示する関連情報の決定の仕方は、まず現在の映像情報に含まれるオブジェクトの中から最重要なオブジェクトを決定し、次に最重要なオブジェクト以外のオブジェクトの重要度を決定する。オブジェクトの重要度に応じて、オブジェクトの関連情報の詳細度を決定する。
【００３９】
最重要オブジェクトの決定の仕方は次のように行う。
【００４０】
（１）ユーザがポインティングしている位置にオブジェクトがあれば、そのオブジェクトを最重要オブジェクトとする。
【００４１】
（２）ユーザがポインティングしている位置にオブジェクトがなければ、オブジェクトごとにスコアを計算し、最もスコアの大きいものを最重要オブジェクトとする。
【００４２】
オブジェクトごとのスコアは、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合を考慮して計算する。例えば次のように行う。
【００４３】
（１）オブジェクトの位置と大きさからオブジェクトの重心と面積を求める。簡単にするために、例えばオブジェクトに外接する長方形を決定し、その長方形の重心と面積で代用してもよい。
【００４４】
（２）オブジェクトの画面中央への近さの指標は、例えば、オブジェクトの重心から画面中央への距離の逆数とする。
【００４５】
（３）連続して表示されていた割合は、例えば、最近１分間の映像に連続して何フレーム表示されていたかの割合とする。
【００４６】
（４）オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合に、重みをつけて足し合わせて、オブジェクトのスコアとする。
【００４７】
オブジェクトのスコアの計算時に重みを０としてもよい。
【００４８】
つまり、オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合、のいずれかだけからスコアを決定してもよいし、全てでなくいくつかの組み合わせだけからスコアを決定してもよい。
【００４９】
また、オブジェクトごとの重要度は、オブジェクトが最重要オブジェクトか、オブジェクトのスコア、そのオブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、を考慮して決定する。例えば、次のようにして決定する。
【００５０】
（１）オブジェクトが最重要オブジェクトなら重要度を増加させる。
【００５１】
（２）オブジェクトのスコアに応じて、重要度を増加させる。
【００５２】
（３）オブジェクトがポインティングされていれば、重要度を一定量だけ増加させる。
【００５３】
（４）連続して画面のどこかがポインティングされていれば、重要度を増加する。例えば、閾値と変化率を定めておき、連続してポインティングされている秒数またはフレーム数が閾値を超えない場合は変化率に応じて重要度を徐々に増加させ、閾値を超えた場合には重要度を一定量だけ増加させる。
【００５４】
（５）映像中に含まれるオブジェクトの数に応じて、重要度を増減させる。例えば、オブジェクトの数が少なければ相対的に各オブジェクトの重要度を増加され、オブジェクトの数が多ければオブジェクトの重要度を減少させる。
【００５５】
（６）オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する。
【００５６】
オブジェクトの重要度の計算時に重みを０としてもよい。
【００５７】
つまり、そのオブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、のいずれかだけからスコアを決定してもよいし、全てでなくいくつかの組み合わせだけからスコアを決定してもよい。
【００５８】
オブジェクトの重要度の計算は、例えば以下のようになる。
【００５９】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）
例えば、表示情報判定部１５における各オブジェクトの詳細度の決定は以下のように行われる。
【００６０】
ある時点でユーザが画面上をポインティングしたとする。
【００６１】
ユーザがポインティングした位置はポインティング認識部１４を通じて表示情報判定部１５に渡される（図１Ｓ４０５）。例えばポインティング位置は（６００，６００）だったとする。
【００６２】
表示情報判定部１５は、映像情報の現在のフレーム番号をキーにして、関連情報保持部１３から現在のフレームで表示されているオブジェクトのＩＤと、その位置と大きさを受け取る（図１Ｓ３０５）。関連情報保持部１３では、図２のようなデータが保持されていたとし、現在の映像情報のフレーム番号が１０００だったとする。関連情報保持部１３はフレーム番号が１０００のデータを検索する。
【００６３】
関連情報保持部１３から表示情報判定部１５へは、オブジェクト１の位置が（８０，８０）で大きさが（１００，２００）、オブジェクト２の位置が（３００，４００）で大きさが（２００，１００）であるというデータが渡される（図１Ｓ３０５）。
【００６４】
表示情報判定部１５は、まず最重要オブジェクトを決定する。
【００６５】
オブジェクト１の位置が（８０，８０）で大きさが（１００，２００）、オブジェクト２の位置が（３００，４００）で大きさが（２００，１００）なので、ユーザがポインティングしている位置（６００，６００）はどのオブジェクトも指しておらず、まだ最重要オブジェクトは決定されない。
【００６６】
最重要オブジェクトが決定されていないので、次にオブジェクトごとのスコアを計算する。
【００６７】
例えば、画面の大きさを（１０００，８００）であるとする。
【００６８】
オブジェクト１に関しては、オブジェクト１の重心は（１３０，１８０）、面積は２００００となる。
【００６９】
画面中央は（５００，４００）なので、重心から画面中央への距離は、√（（５００−１３０）＾２＋（４００−１８０）＾２）＝４３０．５となり、画面中央への近さはその逆数となる。
【００７０】
また、映像は秒３０フレームで表示されているとして１分間では１８００フレームとなる。オブジェクト１は最近１分間の映像に連続して３６０フレーム表示されていたとすると、その割合は０．２となる。
【００７１】
オブジェクト２に関しては、オブジェクト２の重心は（４００，４５０）、面積は２００００となる。
【００７２】
画面中央は（５００，４００）なので、重心から画面中央への距離は、√（（５００−４００）＾２＋（４００−４５０）＾２）＝１１１．８となり、画面中央への近さはその逆数となる。
【００７３】
また、オブジェクト２は最近１分間の映像に連続して３６０フレーム表示されていたとすると、その割合は０．２となる。
【００７４】
オブジェクトの表示面積の大きさ、画面中央への近さ、連続して表示されていた割合、のそれぞれの重みを、０．０００１、５００、１とすると、
スコアの計算は（スコア）＝０．０００１＊（オブジェクトの表示面積の大きさ）＋５００／（画面中央への近さ）＋１＊（連続して表示されていた割合）となる。
【００７５】
オブジェクト１のスコアは、０．０００１＊２００００＋５００／４３０．５＋１＊０．２＝３．３６となり、オブジェクト２のスコアは、０．０００１＊２００００＋５００／１１１．８＋１＊０．２＝６．６７となるので、オブジェクト２が最重要オブジェクトと決定される。
【００７６】
次にオブジェクトごとの重要度を決定する。
【００７７】
オブジェクトがポインティングされているときの重要度の増加分を１とし、ポインティングされていないときは増加分を０とする。
【００７８】
連続して画面のどこかがポインティングされているときのフレーム数の閾値を９００、変化率を０．００２とする。現時点でユーザが６００フレーム連続して画面上のどこかをポインティングしていたとする。映像中に含まれるオブジェクトの数に応じた重要度の増減分は、例えば、映像中に含まれるオブジェクトの数をＮ個として、−１／（１１−Ｎ）とする。ただしＮが１０以上のときはＮを１０として計算するものとする。また、足し合わせるときの重みは、オブジェクトのスコアに対するものを０．２とし、その他を全て１とする。
【００７９】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）なので、オブジェクトの重要度の計算は、（オブジェクトの重要度）＝１＊（オブジェクトが最重要オブジェクトのときの増加分）＋０．２＊（オブジェクトのスコア）＋１＊（ポインティングされているときの増加分）＋０．００２＊（連続して画面をポインティングしているフレーム数）−１／（１１−映像中に含まれるオブジェクトの数）となる。
【００８０】
このとき、オブジェクト１の重要度は、オブジェクト１は最重要オブジェクトでなく、オブジェクトのスコアが３．３６であり、オブジェクトがポインティングされておらず、ユーザは６００フレーム連続で画面上のどこかをポインティングしており、映像中に含まれるオブジェクトの数は２個なので、０＋０．２＊３．３６＋０＋６００＊０．００２−１／（１１−２）＝１．７６となる。
【００８１】
また、オブジェクト２の重要度は、オブジェクト２は最重要オブジェクトであり、オブジェクトのスコアが６．６７であり、オブジェクトがポインティングされておらず、ユーザは６００フレーム連続で画面上のどこかをポインティングしており、映像中に含まれるオブジェクトの数は２個なので、１＋０．２＊６．６７＋０＋６００＊０．００２−１／（１１−２）＝３．４２となる。
【００８２】
オブジェクトの関連情報の詳細度は、オブジェクトの重要度の小数点以下を切り捨てたものとすると、オブジェクト１の関連情報の詳細度は１、オブジェクト２の関連情報の詳細度は３となる。
【００８３】
表示情報判定部１５は、関連情報保持部１３からオブジェクトごとに詳細度に合わせて関連情報を受け取る（図１Ｓ３０５）。
【００８４】
オブジェクト１の関連情報の詳細度は１なので関連情報は「携帯電話」、オブジェクト２の関連情報の詳細度は３なので関連情報は「ＰＤＡ、ポケットギア、３万円」を受け取る。
【００８５】
表示情報判定部１５は、オブジェクトごとに決定された関連情報を映像情報とともに表示部１６に渡し（図１Ｓ５０６）、表示部１６では映像情報にオブジェクトの関連情報を重畳して表示する。
【００８６】
図３は、映像情報に重畳される関連情報の一例を示す説明図である。
【００８７】
図３を参照すると、オブジェクトの下部に関連情報が表示されている。
【００８８】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００８９】
図４は、本発明の第２の実施の形態の構成を示す説明図である。
【００９０】
図４を参照すると、本発明の第２の実施の形態は、第１の実施の形態の構成要素に付加して、ユーザが表示部１６に顔を向けているかどうかを認識する顔画像認識部１７を備える。ポインティング認識部１４からの認識結果が表示情報判定部１５に渡されるときに、顔画像認識部１７から表示情報判定部１５にユーザが表示部１６に顔を向けているかどうかの認識結果も同時に渡され、オブジェクトごとにどれくらい詳細な関連情報を表示するかを決定することに利用される。
【００９１】
顔画像認識部１７から表示情報判定部１５には一定時間ごとに情報が渡されるようになっており、表示情報判定部１５では、顔画像認識部１７から渡された情報を蓄積する。また、ユーザが表示部１６に顔を向けていないときには、情報を送らないようにしてもよいし、ユーザが表示部１６に顔を向けていないという情報を渡すようにしてもよい。この蓄積された情報を利用して、表示情報判定部１５は連続してユーザが表示部１６に顔を向けているかどうかを判定する。
【００９２】
例えば、顔画像認識部１７から表示情報判定部１５に映像のフレームと同期したタイミングである１／３０秒間隔で情報が渡される場合には、３０回連続してユーザが表示部１６に顔を向けているという情報が渡されれば、３０フレーム数（１秒）の間、連続してユーザが表示部１６に顔を向けていると判定される。また、例えば１／１０秒間隔で情報が渡される場合には、１０回連続してユーザが表示部１６に顔を向けているという情報が渡されれば、３０フレーム数（１秒）の間、連続してユーザが表示部１６に顔を向けていると判定される。
【００９３】
本発明の第２の実施の形態においても、本発明の第１の実施の形態と同様に処理が行われる。本発明の第２の第２の実施の形態においては、オブジェクトごとの重要度の決定の仕方が、本発明の第２の第１の実施の形態とは異なる。
【００９４】
本発明の第２の実施の形態では、オブジェクトごとの重要度は、オブジェクトが最重要オブジェクトか、オブジェクトのスコア、そのオブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、に加えて、顔画像の認識結果を考慮して決定する。例えば、次のようにして決定する。
【００９５】
（１）連続してユーザの顔の向きが画面方向を向いていれば、オブジェクトの重要度を増加させる。
【００９６】
（２）連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長ければ、関連情報よりも番組の内容に集中しているとみなし、オブジェクトの重要度を減少させる。
【００９７】
（３）第１の実施例と同様に、オブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、に加えて、顔が画面方向を向いているか、また画面をポインティングしていない時間から増減させる値を決定し、重みをつけて足し合わせて各オブジェクトの重要度を決定する。
【００９８】
オブジェクトの重要度の計算時に重みを０としてもよい。つまり、そのオブジェクトが最重要オブジェクトか、オブジェクトのスコア、オブジェクトがポインティングされているか、どのくらい連続して画面をポインティングしているか、映像中に含まれるオブジェクトの数、顔が画面方向を向いているか、画面をポインティングしていない時間、のいずれかだけからスコアを決定してもよいし、全てでなくいくつかの組み合わせだけからスコアを決定してもよい。
【００９９】
オブジェクトの重要度は、例えば以下のようにして計算される。
【０１００】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）＋（連続してユーザの顔の向きが画面方向を向いているときの増加分の重み）＊（連続してユーザの顔の向きが画面方向を向いているときの増加分）＋（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分の重み）＊（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分）。
【０１０１】
例えば、受信部１２はデータ放送番組情報を受信し、データ放送番組情報に含まれる映像情報を表示情報判定部１５に渡す（図４Ｓ２０５）と同時に、データ放送番組情報に含まれるオブジェクトの詳細度付き関連情報を関連情報保持部１３に渡す（図４Ｓ２０３）。表示情報判定部１５は、受信部１２から渡された映像情報を表示部１６に渡し（図４Ｓ５０６）、表示部１６は映像情報を表示する。顔画像認識部１７から表示情報判定部１５に、ユーザの顔の向きの認識結果が伝えられる（図４Ｓ７０５）。
【０１０２】
また、ユーザは表示部１６にて表示された映像情報を見て、映像中に含まれる関心のあるオブジェクトをポインティング認識部１４を使って指定し、ポインティング認識部１４を通じてユーザが画面上で指定した位置が表示情報判定部１５に渡される（図４Ｓ４０５）。
【０１０３】
また、例えば、表示情報判定部１５における各オブジェクトの詳細度の決定は以下のように行われる。
【０１０４】
ある時点でユーザが画面上をポインティングしたとする。ユーザがポインティングした位置はポインティング認識部１４を通じて表示情報判定部１５に渡される（図４Ｓ４０５）。
【０１０５】
例えばポインティング位置は（６００，６００）だったとする。
【０１０６】
表示情報判定部１５は、映像情報の現在のフレーム番号をキーにして、関連情報保持部１３から現在のフレームで表示されているオブジェクトのＩＤと、その位置と大きさを受け取る（図４Ｓ３０５）。関連情報保持部１３では、図２のようなデータが保持されていたとし、現在の映像情報のフレーム番号が１０００だったとする。関連情報保持部１３はフレーム番号が１０００のデータを検索する。関連情報保持部１３から表示情報判定部１５へは、オブジェクト１の位置が（８０，８０）で大きさが（１００，２００）、オブジェクト２の位置が（３００，４００）で大きさが（２００，１００）であるというデータが渡される（図４Ｓ３０５）。
【０１０７】
本発明の第１の実施の形態と同様に、オブジェクト２が最重要オブジェクトと決定される。
【０１０８】
次にオブジェクトごとの重要度を決定する。
【０１０９】
オブジェクトがポインティングされているときの重要度の増加分を１とする。連続して画面のどこかがポインティングされているときのフレーム数の閾値を９００、変化率を０．００２とする。現時点でユーザが６００フレーム連続して画面上のどこかをポインティングしていたとする。映像中に含まれるオブジェクトの数に応じた重要度の増減分は、例えば、映像中に含まれるオブジェクトの数をＮ個として、−１／（１１−Ｎ）とする。ただしＮが１０以上のときはＮを１０として計算するものとする。
【０１１０】
連続してユーザの顔の向きが画面方向を向いているときのフレーム数の閾値を９００、変化率を０．００１とする。連続してユーザの顔の向きが画面方向を向いていて画面をポインティングしていないときのフレーム数の閾値を９００、変化率を０．００１とする。現時点でユーザが９００フレーム以上連続して顔を画面方向に向けていたとする。
【０１１１】
また、足し合わせるときの重みは、オブジェクトのスコアに対するものを０．２とし、その他を全て１とする。
【０１１２】
（オブジェクトの重要度）＝（オブジェクトが最重要オブジェクトのときの増加分の重み）＊（オブジェクトが最重要オブジェクトのときの増加分）＋（オブジェクトのスコアの重み）＊（オブジェクトのスコア）＋（オブジェクトがポインティングされているときの増加分の重み）＊（オブジェクトがポインティングされているときの増加分）＋（連続して画面をポインティングしているフレーム数の重み）＊（連続して画面をポインティングしているフレーム数）＋（映像中に含まれるオブジェクトの数の重み）＊（映像中に含まれるオブジェクトの数から決定される数値）＋（連続してユーザの顔の向きが画面方向を向いているときの増加分の重み）＊（連続してユーザの顔の向きが画面方向を向いているときの増加分）＋（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分の重み）＊（連続してユーザの顔の向きが画面方向を向いていても、画面をポインティングしていない時間が長いときの減少分）なので、オブジェクトの重要度の計算は、（オブジェクトの重要度）＝１＊（オブジェクトが最重要オブジェクトのときの増加分）＋０．２＊（オブジェクトのスコア）＋１＊（ポインティングされているときの増加分）＋０．００２＊（連続して画面をポインティングしているフレーム数）−１／（１１−映像中に含まれるオブジェクトの数）＋１＊（連続してユーザの顔の向きが画面方向を向いているときのフレーム数＊変化率）−１＊（連続してユーザの顔の向きが画面方向を向いていて画面をポインティングしていないときのフレーム数＊変化率）となる。
【０１１３】
このとき、オブジェクト１の重要度は、オブジェクト１は最重要オブジェクトでなく、オブジェクトのスコアが３．３６であり、オブジェクトがポインティングされておらず、ユーザは６００フレーム連続で画面上のどこかをポインティングしており、映像中に含まれるオブジェクトの数は２個、顔が画面方向を向いているので、０＋０．２＊３．３６＋０＋６００＊０．００２−１／（１１−２）＋９００＊０．００１−０＝２．６６となる。
【０１１４】
また、オブジェクト２の重要度は、オブジェクト２は最重要オブジェクトであり、オブジェクトのスコアが６．６７であり、オブジェクトがポインティングされておらず、ユーザは６００フレーム連続で画面上のどこかをポインティングしており、映像中に含まれるオブジェクトの数は２個、顔が画面方向を向いているので、１＋０．２＊６．６７＋０＋６００＊０．００２−１／（１１−２）＋９００＊０．００１−０＝４．３２となる。
【０１１５】
オブジェクトの関連情報の詳細度は、オブジェクトの重要度の小数点以下を切り捨てたものとすると、オブジェクト１の関連情報の詳細度は２、オブジェクト２の関連情報の詳細度は４となる。
ここで、顔を画面に向けたまま、画面のポインティングをやめて９００フレームすぎたとする。映像中のオブジェクトの数は２個のままとする。
【０１１６】
このとき、オブジェクト１の重要度は、オブジェクト１は最重要オブジェクトでなく、オブジェクトのスコアが３．３６であり、オブジェクトがポインティングされておらず、ユーザは画面上のどこかをポインティングしておらず、映像中に含まれるオブジェクトの数は２個、顔が画面方向を向いているので、０＋０．２＊３．３６＋０＋０−１／（１１−２）＋９００＊０．００１−９００＊０．００１＝０．５６となる。
【０１１７】
また、オブジェクト２の重要度は、オブジェクト２は最重要オブジェクトであり、オブジェクトのスコアが６．６７であり、オブジェクトがポインティングされておらず、ユーザは画面上のどこかをポインティングしておらず、映像中に含まれるオブジェクトの数は２個、顔が画面方向を向いているので、１＋０．２＊６．６７＋０＋０−１／（１１−２）＋９００＊０．００１−９００＊０．００１＝２．２２となる。
【０１１８】
オブジェクトの関連情報の詳細度は、オブジェクトの重要度の小数点以下を切り捨てたものとすると、オブジェクト１の関連情報の詳細度は０、オブジェクト２の関連情報の詳細度は２となる。
【０１１９】
表示情報判定部１５は、関連情報保持部１３からオブジェクトごとに詳細度に合わせて関連情報を受け取る（図４Ｓ３０５）。表示情報判定部１５は、オブジェクトごとに決定された関連情報を映像情報とともに表示部１６に渡し（図４Ｓ５０６）、表示部１６では映像情報にオブジェクトの関連情報を重畳して表示する。
【０１２０】
このようにして、視聴者に提示するオブジェクトの関連情報を自動的に調節することができるようになる。
【０１２１】
【発明の効果】
本発明の効果は、番組提供者が表示する情報を最適化するための工数を削減し、視聴者に表示される情報の過不足を少なくすることができることである。
【０１２２】
その理由は、映像中のオブジェクトに関連する情報を詳細度別に複数準備しておき、視聴者の状態や操作履歴からシステムが表示する情報の詳細度を決定するからである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】オブジェクト情報および関連情報の一例を示す説明図である。
【図３】オブジェクトに関連情報が重畳表示された表示状態を示す説明図である。
【図４】本発明の第２の実施の形態の構成を示すブロック図である。
【符号の説明】
１１    プログラム記録媒体
１２    受信部
１３    関連情報保持部
１４    ポインティング認識部
１５    表示情報判定部
１６    表示部
１７    顔画像認識部
【図１】
2004297448.tif 000003
【図２】
2004297448.tif 000004
【図３】
2004297448.tif 000005
【図４】
2004297448.tif 000006