(57)【要約】【課題】  映像記録装置から、オブジェクトを読み出して表示装置に表示させる表示制御装置、及び表示システムを提供する。【解決手段】  表示すべき映像に含まれる各オブジェクトを圧縮符号化して格納する映像記録装置から、オブジェクトを読み出して表示装置に表示させる表示制御装置であって、表示装置に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する選択部と、映像記録装置から前記オブジェクトを読み出し、選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、表示装置に表示させるオブジェクト制御部とを備える。【選択図】  図１
2005091571.tif 000002
【特許請求の範囲】
【請求項１】
表示すべき映像に含まれる各オブジェクトを圧縮符号化して格納する映像記録装置から、前記オブジェクトを読み出して表示装置に表示させる表示制御装置であって、
前記表示装置に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する選択部と、
前記映像記録装置から前記オブジェクトを読み出し、前記選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、前記表示装置に表示させるオブジェクト制御部と
を備える表示制御装置。
【請求項２】
前記選択部により選択されたオブジェクトよりも低い階調、低い解像度、又は低いフレームレートで、前記他のオブジェクトを、前記オブジェクト制御部は前記表示装置に表示させる請求項１に記載の表示制御装置。
【請求項３】
前記視聴者の視線を検出する視線検出部を更に備え、
前記視線検出部が検出する前記視線に基づき、前記視聴者が注視しているオブジェクトを、前記選択部は選択する請求項１に記載の表示制御装置。
【請求項４】
前記視聴者により選択されたテンプレート画像を格納するテンプレート格納部を更に備え、
前記テンプレート格納部に格納されている前記テンプレート画像と一致するオブジェクトを、前記選択部は選択する請求項１に記載の表示制御装置。
【請求項５】
前記視聴者により選択されたテンプレート画像を格納するテンプレート格納部を更に備え、
前記テンプレート格納部に格納されている前記テンプレート画像と一致しないオブジェクトを、前記選択部は選択する請求項１に記載の表示制御装置。
【請求項６】
オブジェクトのタイプ、又はオブジェクトに含まれるべきタグ情報を、前記視聴者から受け取る受付部を更に備え、
前記受付部が受け取った前記タイプに一致するオブジェクト、又は前記受付部が受け取った前記タグ情報を含むオブジェクトを、前記選択部は選択する請求項１に記載の表示制御装置。
【請求項７】
ＭＰＥＧ４規格により圧縮符号化された前記オブジェクトを含むビットストリームを、前記映像記録装置は格納し、
前記他のオブジェクトに対応して前記映像記録装置から受け取る前記ビットストリームの一部を前記他のオブジェクトの再生に用いないことにより、前記オブジェクト制御部は、前記選択部により選択されたオブジェクトを、前記他のオブジェクトよりも詳細に、前記表示装置に表示させる請求項１に記載の表示制御装置。
【請求項８】
早送りした前記映像、又は逆方向に再生した前記映像を前記表示装置に表示させる場合に、前記選択部は、一部のオブジェクトを選択する請求項１に記載の表示制御装置。
【請求項９】
圧縮符号化されたオブジェクトを復号する復号処理部と、
前記映像に含まれる全てのオブジェクトを前記復号処理部が復号するのに要する復号処理の量を算出する処理量算出部と
を更に備え、
前記表示装置が表示する前記映像に合わせて前記復号処理部が処理可能な復号処理の量よりも、前記処理量算出部が算出する復号処理の量が大きい場合に、前記選択部は、前記映像に含まれる一部のオブジェクトを選択する請求項１に記載の表示制御装置。
【請求項１０】
前記映像記録装置は、圧縮符号化された前記オブジェクトを、前記オブジェクト制御部に、通信回線を介して送信し、
前記選択部により選択されたオブジェクトとして、前記他のオブジェクトよりも低い圧縮率で圧縮符号化されたオブジェクトを、前記オブジェクト制御部は前記映像記録装置から受け取る請求項１に記載の表示制御装置。
【請求項１１】
映像を表示する表示システムであって、
表示すべき映像に含まれる各オブジェクトを圧縮符号化して格納する映像記録装置と、
前記映像を表示する表示装置と、
前記表示装置に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する選択部と、
前記映像記録装置から前記オブジェクトを読み出し、前記選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、前記表示装置に表示させるオブジェクト制御部と
を備える表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、及び表示システムに関する。特に、本発明は、映像記録装置から、オブジェクトを読み出して表示装置に表示させる表示制御装置、及び表示システムに関する。
【背景技術】
【０００２】
近年、ＭＰＥＧ等の動画音声圧縮の技術的な発展により、例えばインターネット等を介して、映像が、利用者へ配信されている。この場合、様々なオブジェクトを含んだ映像が、圧縮符号化された後、ビットストリームとして利用者へ配信される（例えば、非特許文献１参照。）。
【０００３】
【非特許文献１】亀山  渉／花村  剛  監修「ディジタル放送教科書（上・下）」、株式会社ＩＤＧ出版、２００３年２月１日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、数多くのオブジェクトを含んだビットストリームを復号する場合、復号に必要な処理量が、増える場合がある。これにより、表示装置は、全てのオブジェクトを含んだ映像を、適切に表示できない場合がある。
【０００５】
そこで本発明は、上記の課題を解決することのできる表示制御装置、及び表示システムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００６】
即ち、本発明の第一の形態によると、表示すべき映像に含まれる各オブジェクトを圧縮符号化して格納する映像記録装置から、オブジェクトを読み出して表示装置に表示させる表示制御装置であって、表示装置に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する選択部と、映像記録装置からオブジェクトを読み出し、選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、表示装置に表示させるオブジェクト制御部とを備える。
【０００７】
選択部により選択されたオブジェクトよりも低い階調、低い解像度、又は低いフレームレートで、他のオブジェクトを、オブジェクト制御部は表示装置に表示させてよい。
【０００８】
表示制御装置は、視聴者の視線を検出する視線検出部を更に備え、視線検出部が検出する視線に基づき、視聴者が注視しているオブジェクトを、選択部は選択してよい。
【０００９】
表示制御装置は、視聴者により選択されたテンプレート画像を格納するテンプレート格納部を更に備え、テンプレート格納部に格納されているテンプレート画像と一致するオブジェクトを、選択部は選択してよい。
【００１０】
表示制御装置は、視聴者により選択されたテンプレート画像を格納するテンプレート格納部を更に備え、テンプレート格納部に格納されているテンプレート画像と一致しないオブジェクトを、選択部は選択してよい。
【００１１】
表示制御装置は、オブジェクトのタイプ、又はオブジェクトに含まれるべきタグ情報を、視聴者から受け取る受付部を更に備え、受付部が受け取ったタイプに一致するオブジェクト、又は受付部が受け取ったタグ情報を含むオブジェクトを、選択部は選択してよい。
【００１２】
ＭＰＥＧ４規格により圧縮符号化されたオブジェクトを含むビットストリームを、映像記録装置は格納し、他のオブジェクトに対応して映像記録装置から受け取るビットストリームの一部を他のオブジェクトの再生に用いないことにより、オブジェクト制御部は、選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、表示装置に表示させてよい。
【００１３】
早送りした映像、又は逆方向に再生した映像を表示装置に表示させる場合に、選択部は、一部のオブジェクトを選択してよい。
【００１４】
表示制御装置は、圧縮符号化されたオブジェクトを復号する復号処理部と、映像に含まれる全てのオブジェクトを復号処理部が復号するのに要する復号処理の量を算出する処理量算出部とを更に備え、表示装置が表示する映像に合わせて復号処理部が処理可能な復号処理の量よりも、処理量算出部が算出する復号処理の量が大きい場合に、選択部は、映像に含まれる一部のオブジェクトを選択してよい。
【００１５】
映像記録装置は、圧縮符号化されたオブジェクトを、オブジェクト制御部に、通信回線を介して送信し、選択部により選択されたオブジェクトとして、他のオブジェクトよりも低い圧縮率で圧縮符号化されたオブジェクトを、オブジェクト制御部は映像記録装置から受け取ってよい。
【００１６】
本発明の第二の形態によると、映像を表示する表示システムであって、表示すべき映像に含まれる各オブジェクトを圧縮符号化して格納する映像記録装置と、映像を表示する表示装置と、表示装置に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する選択部と、映像記録装置からオブジェクトを読み出し、選択部により選択されたオブジェクトを、他のオブジェクトよりも詳細に、表示装置に表示させるオブジェクト制御部とを備える。
【００１７】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【発明の効果】
【００１８】
上記説明から明らかなように、本発明によれば、映像記録装置から、オブジェクトを読み出して表示装置に表示させる表示制御装置、及び表示システムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２０】
図１は、本発明の一実施形態である表示システム４００の使用例を説明する図である。表示システム４００は、ストリーム映像表示装置１００と、配信サーバ２００とを備える。ストリーム映像表示装置１００は、本体の上部に、例えばカメラを含む視線検出部５０を有している。ストリーム映像表示装置１００は、視線検出部５０を用いて、配信サーバ２００から配信された映像を見ている視聴者の視線を検出する。ストリーム映像表示装置１００は、検出した視線に基づいて、表示された映像内の視聴者が注視するオブジェクトを選択する。そして、ストリーム映像表示装置１００は、選択したオブジェクトを表示画面に詳細に表示させる。このように、本例におけるストリーム映像表示装置１００は、視聴者の視線を検出することにより、視聴者が注視しているオブジェクトを選択し、選択したオブジェクトを詳細に表示させることを目的とする。尚、配信サーバ２００は、映像記録装置の一例である。
【００２１】
図２は、ストリーム映像表示装置１００の表示画面に表示される映像３４について説明する図である。ストリーム映像表示装置１００は、表示部３０を備える。ストリーム映像表示装置１００は、ＭＰＥＧ４規格に準拠した映像３４を、表示部３０に表示する。この場合、ストリーム映像表示装置１００は、複数のオブジェクト３１、３２、及び３３を含む映像３４を表示している。ここで、複数のオブジェクト３１、３２、及び３３は、ＭＰＥＧ４規格に準拠したビジュアル・オブジェクトである。ストリーム映像表示装置１００は、ＭＰＥＧ４規格に準拠して圧縮符号化された複数のオブジェクトを受信する。この場合、ストリーム映像表示装置１００は、圧縮符号化された複数のオブジェクトのそれぞれを、配信サーバ２００より受信する。これにより、ストリーム映像表示装置１００は、複数のビットストリームを、配信サーバ２００より受信する。ストリーム映像表示装置１００は、複数のビットストリームのそれぞれを復号することで、複数のオブジェクト３１、３２、及び３３のそれぞれを含む映像３４を表示する。この場合、ストリーム映像表示装置１００は、１つのオブジェクトを、映像３４における一部分の映像として表示する。本例において、ストリーム映像表示装置１００は、複数のオブジェクト３１、３２、及び３３のそれぞれを、映像３４における、それぞれ対応する一部分の映像として、それぞれ表示する。
【００２２】
図３は、ストリーム映像表示装置１００の詳細な構成の一例を示す図である。ストリーム映像表示装置１００は、通信回線３００を介して、配信サーバ２００と接続される。配信サーバ２００は、例えば映像を配信する会社が備えるサーバである。配信サーバ２００は、表示すべき映像に含まれるオブジェクトを格納している。配信サーバ２００は、ＭＰＥＧ４規格に準拠して複数のオブジェクトを圧縮符号化する。配信サーバ２００は、圧縮符号化されたオブジェクトをストリーム映像表示装置１００へ送信する。この場合、配信サーバ２００は、複数のオブジェクトのそれぞれを、複数のビットストリームとして、通信回線３００を介して、ストリーム映像表示装置１００へ送信する。
【００２３】
ストリーム映像表示装置１００は、例えばＰＣや広告表示装置等である。ストリーム映像表示装置１００は、例えば各家庭や屋外等に設置される。ストリーム映像表示装置１００は、表示制御部１１０、及び表示部３０を備える。表示制御部１１０は、受信した複数のビットストリームを復号する。これにより、表示制御部１１０は、表示部３０に、複数のオブジェクトを表示させる。表示部３０は、ストリーム映像表示装置１００における、モニタ部分である。
【００２４】
表示制御部１１０は、オブジェクト制御部１０、復号処理部２０、処理量算出部４０、視線検出部５０、及び選択部６０を有する。オブジェクト制御部１０、復号処理部２０、及び処理量算出部４０は、通信回線３００を介して、配信サーバ２００から、複数のビットストリームを受け取る。
【００２５】
視線検出部５０は、複数のカメラを含む。視線検出部５０は、そのカメラで撮像された画像に基づき、例えば視聴者の瞳の方向を検出する。これにより、視線検出部５０は、視聴者の視線を検出する。視線検出部５０は、検出した視線を、選択部６０へ通知する。例えば、本例において、視線検出部５０は、表示部３０における表示画面の画角に合わせて、複数のカメラの視野を、予め定める。視線検出部５０は、これらの複数のカメラで、視聴者の顔を撮像する。視線検出部５０は、これらの複数の画像から、表示画面から視聴者の顔までの距離、及び角度を算出する。また、視線検出部５０は、複数の画像を用いることで、視聴者の顔の立体画像を作成する。この立体画像を用いることで、視線検出部５０は、例えば両眼と鼻の位置関係を算出する。これにより、視線検出部５０は、視聴者の顔の向きを特定する。さらに、視線検出部５０は、視聴者の両眼における瞳の位置を求める。このように、視線検出部５０は、視聴者の視線を検知してよい。尚、他の例では、視線検出部５０は、複数の視聴者の視線のそれぞれを、検出してよい。
【００２６】
処理量算出部４０は、復号処理部２０で行われるべき復号処理の量を算出する。この場合、処理量算出部４０は、受信した全てのビットストームの復号が行われた場合の復号処理の量を算出する。処理量算出部４０は、算出した復号処理の量を、予想量として、選択部６０へ通知する。
【００２７】
選択部６０は、視線検出部５０により検出された視線と、処理量算出部４０より通知された予想量とに基づいて、オブジェクトを選択する。本例において、選択部６０は、通知された予想量と、復号処理部２０で処理可能な復号処理の量とを比較する。そして、通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも大きい場合、選択部６０は、映像に含まれる一部のオブジェクトを選択する。本例において、選択部６０は、検出された視線に基づいて、視聴者が注視しているオブジェクトを選択する。また、視聴者が注視しているオブジェクトがない場合、選択部６０は、オブジェクトを選択しない。通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも小さい場合、選択部６０は、全てのオブジェクトを選択する。選択部６０は、オブジェクトの一部、又は全てのオブジェクトを選択したか、オブジェクトを選択しないかを、オブジェクト制御部１０へ通知する。
【００２８】
オブジェクト制御部１０は、受信したビットストリームに基づいて、オブジェクトを表示させる精度を制御する。オブジェクト制御部１０は、受信した複数のビットストリームに含まれる全てのオブジェクトの属性値を、抽出する。オブジェクト制御部１０は、抽出した属性値に基づいて、全てのオブジェクトの階調、解像度、及びフレームレートを指定する。
【００２９】
この場合、オブジェクト制御部１０は、選択部６０により選択されたオブジェクトを、選択されない他のオブジェクトよりも詳細に表示部３０に表示させる。オブジェクト制御部１０は、選択されない他のオブジェクトを、選択されたオブジェクトよりも低い階調、低い解像度、又は低いフレームレートで表示部３０に表示させる。
【００３０】
本例において、選択部６０により一部のオブジェクトが選択された場合、オブジェクト制御部１０は、処理量算出部４０が算出した予想量を下回るように、選択されたオブジェクトを表示部３０に詳細に表示させる。この場合、オブジェクト制御部１０は、選択されないオブジェクトの階調、解像度、又はフレームレートのいずれかを下げる。この場合、オブジェクト制御部１０は、階調、解像度、又はフレームレートのいずれかを下げることで、表示部３０に表示させる映像の品質を、予想量の範囲内で最適とすることができる。
【００３１】
選択部６０により、いずれのオブジェクトも選択されない場合、オブジェクト制御部１０は、処理量算出部４０が算出した予想量を下回るように、全てのオブジェクトの階調、解像度、及びフレームレートのいずれかを下げて、表示部３０に表示させる。オブジェクト制御部１０は、オブジェクトの階調、解像度、及びフレームレートのそれぞれを指定するためのパラメタを、復号処理部２０へ通知する。
【００３２】
復号処理部２０は、ＭＰＥＧ４規格に準拠したデコーダである。復号処理部２０は、受信した複数のビットストリームから、全てのオブジェクトを、復号する。この場合、復号処理部２０は、オブジェクト制御部１０が指定したパラメタを用いて、全てのオブジェクトを復号する。復号処理部２０は、復号したオブジェクトを表示部３０へ与える。表示部３０は、復号されたオブジェクトを表示する。この場合、表示部３０は、オブジェクト制御部１０により指定された階調、解像度、及びフレームレートで、オブジェクトを表示する。
【００３３】
以上のように構成されたストリーム映像表示装置１００は、表示部３０に表示されたオブジェクトの中から、視聴者が選択したオブジェクトを選択する。本例において、ストリーム映像表示装置１００は、視聴者の視線に基づいて選択されたオブジェクトを、選択されない他のオブジェクトより詳細に表示する。例えば、視聴者が注視しているオブジェクト３２（図２参照）が選択された場合、ストリーム映像表示装置１００は、オブジェクト３１、及び３３（図２参照）の、階調、解像度、又はフレームレートを下げる。これにより、ストリーム映像表示装置１００は、視聴者が見たいと考えているオブジェクト３２の映像を、視聴者に詳細に表示させることができる。
【００３４】
また、ストリーム映像表示装置１００は、受信した複数のビットストリームが復号処理部２０で処理可能な復号処理の予想量を越えた場合、選択されないオブジェクトの表示の精度を下げる。これにより、ストリーム映像表示装置１００は、復号処理部２０における復号処理の量を減らす。従って、本例におけるストリーム映像表示装置１００は、処理可能な復号処理の量を超えたビットストリームを受信した場合においても、映像を破綻させることなく、視聴者が必要とする映像を適切に表示することができる。
【００３５】
尚、本例におけるストリーム映像表示装置１００は、早送りの映像、又は逆方向に再生した映像を、表示部３０に表示してよい。この場合、オブジェクト制御部１０は、オブジェクトを再生させる速度を制御してよい。オブジェクト制御部１０が、早送りした映像、又は逆方向に再生した映像を表示部３０に表示させる場合、選択部６０は、一部のオブジェクトを選択する。この場合、選択されない他のオブジェクトに対応して配信サーバ２００から受け取るビットストリームの一部をオブジェクトの再生に用いないことにより、オブジェクト制御部１０は、選択部６０により選択されたオブジェクトを、他のオブジェクトよりも詳細に、表示部３０に表示させる。これにより、ストリーム映像表示装置１００は、早送り、又は逆方向に再生する場合において、映像を破綻させることなく、視聴者が必要とする映像を適切に表示することができる。
【００３６】
図４は、ストリーム映像表示装置１００の動作の一例を示すフローチャートである。ストリーム映像表示装置１００は、複数のオブジェクトを示す複数のビットストリームを、配信サーバ２００から受信する（Ｓ１００）。
【００３７】
選択部６０は、処理量算出部４０により算出された予想量と、視線検出部５０により検出された視線とに基づき、オブジェクトを選択する（Ｓ１０２）。選択部６０は、選択したオブジェクトを、オブジェクト制御部１０へ通知する。
【００３８】
次に、オブジェクト制御部１０は、受信したビットストリームに基づいて、オブジェクトを表示部３０へ表示させる精度を、制御する。この場合、オブジェクト制御部１０は、選択されていないオブジェクトを、例えば、低い階調、低い解像度、又は低いフレームレートで表示部３０に表示させることにより、選択されていないオブジェクトを表示させる精度を下げる（Ｓ１０４）。これにより、選択部６０により選択されたオブジェクトを選択されないオブジェクトよりも詳細に、表示部３０へ表示させる。オブジェクト制御部１０は、全てのオブジェクトの階調、解像度、及びフレームレートのそれぞれを指定するためのパラメタを、復号処理部２０へ通知する。
【００３９】
復号処理部２０は、受信したビットストリームと、オブジェクト制御部１０により指定されたパラメタとに基づいて、オブジェクトを復号する。そして、表示部３０は、復号されたオブジェクトを、オブジェクト制御部１０により指定された階調、解像度、及びフレームレートで、オブジェクトを表示する（Ｓ１０６）。以上で本フローチャートは終了する。
【００４０】
尚、Ｓ１０４において、オブジェクト制御部１０は、選択されたオブジェクトを、選択されたオブジェクトに含まれる全ての周波数成分を用いて表示部３０へ表示させてよい。また、オブジェクト制御部１０は、選択されない他のオブジェクトを、選択されない他のオブジェクトに含まれる一部の周波数成分のみを用いて表示部３０へ表示させてよい。これにより、オブジェクト制御部１０は、選択されたオブジェクトの画質を、選択されないオブジェクトよりも詳細に、表示部３０へ表示させる。更に、受信したビットストリームにエラ−が含まれていた場合、オブジェクト制御部１０は、復号処理部２０に、選択されたオブジェクトを、選択されないオブジェクトよりも詳細に、エラー処理をさせてよい。このように、本例におけるストリーム映像表示装置１００は、選択されたオブジェクトの画質を、選択されないオブジェクトの画質よりも詳細に表示することができる。
【００４１】
図５は、図４のＳ１０２における選択部６０の動作の詳細を説明するフローチャートである。処理量算出部４０は、受信したビットストリームから、復号処理部２０での復号処理の予想量を、算出する（Ｓ２００）。そして、処理量算出部４０は、算出した予想量を、選択部６０へ通知する。また、視線検出部５０は、視聴者の視線を検出する（Ｓ２０２）。そして、視線検出部５０は、検出した視線を選択部６０へ通知する。
【００４２】
選択部６０は、通知された予想量と、復号処理部２０で処理可能な復号処理の量とを比較する（Ｓ２０４）。この場合、選択部６０は、復号処理部２０で処理可能な復号処理の最大の量を、例えば予め格納してよい。これにより、選択部６０は、通知された予想量が、予め格納している復号処理の最大の量の範囲内であるかを判定してよい。そして、通知された予想量が、復号処理の最大の量を超えた場合（Ｓ２０４  ＹＥＳ）、選択部６０は、通知された視線により注視されているオブジェクトを選択する（Ｓ２０６）。また、Ｓ２０４において、通知された予想量が、復号処理の最大の量を超えない場合（Ｓ２０４  ＮＯ）、選択部６０は、全てのオブジェクトを選択する（Ｓ２０８）。以上で本フローチャートは終了する。
【００４３】
このように、選択部６０は、視線検出部５０により検出された視線と、処理量算出部４０により通知された予想量とに基づいて、オブジェクトを適切に選択することができる。
【００４４】
図６は、ストリーム映像表示装置１００の構成の他の例を示す図である。本例におけるストリーム映像表示装置１００は、視聴者が指定するオブジェクトを詳細に表示させることを目的とする。尚、図３と同じ符号を付した構成は、図３における構成と同一又は同様の機能を有するので、以下に述べる点を除いて、説明を省略する。
【００４５】
ストリーム映像表示装置１００は、表示制御部１１０、及び表示部３０を備える。そして、表示制御部１１０は、オブジェクト制御部１０、復号処理部２０、処理量算出部４０、受付部７０、及び選択部６０を有する。オブジェクト制御部１０、復号処理部２０、処理量算出部４０、及び選択部６０は、通信回線３００を介して、配信サーバ２００から、複数のビットストリームを受け取る。
【００４６】
受付部７０は、例えば、キーボードやリモコン等の入力装置を含む。これにより、受付部７０は、オブジェクトのタイプ、又はオブジェクトに含まれるべきタグ情報を、視聴者から受け取る。この場合、受付部７０は、オブジェクトの内容について記述された情報であるタグ情報を、受け取る。受付部７０は、ＭＰＥＧ７規格に準拠したコンテンツ・メタデータを、タグ情報として、受け取ってよい。また、受付部７０は、オブジェクトの形式又は種類について記述された情報であるタイプを、受け取る。受付部７０は、白黒映像、カラー映像、動画映像、自然画映像、アニメーション映像、ＣＧ映像等の映像の種類を、タイプとして受け取る。受付部７０は、例えば、階調、解像度、又はフレームレート等の映像の形式を、タイプとして受け取る。また、受付部７０は、例えばＭＰＥＧ７におけるビジュアル記述子で記述される、画像の特徴量を、タイプとして受け取ってよい。受付部７０は、複数のタグ情報、又は複数のタイプのそれぞれを、受け取ってよい。受付部７０は、視聴者により指定された、タグ情報、又はタイプを、選択部６０へ通知する。
【００４７】
選択部６０は、受付部７０により通知されたオブジェクトのタイプ、又はタグ情報と、処理量算出部４０より通知された予想量と、受信したビットストリームとに基づいて、オブジェクトを選択する。ここで、配信サーバ２００は、タグ情報を含むビットストリームを、ストリーム映像表示装置１００へ送信している。選択部６０は、受信したビットストリームに含まれる全てのオブジェクトのタグ情報、及びタイプを抽出している。選択部６０は、通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも大きい場合、映像に含まれる一部のオブジェクトを選択する。この場合、選択部６０は、受付部７０が受け取ったタイプに一致するオブジェクト、又は受付部７０が受け取ったタグ情報を含むオブジェクトを、選択する。尚、配信サーバ２００は、映像製作者により、予め作成されたタグ情報を、ストリーム映像表示装置１００へ送信してよい。
【００４８】
タグ情報、又はタイプに一致するオブジェクトがない場合、選択部６０は、オブジェクトを選択しない。また、通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも小さい場合、選択部６０は、全てのオブジェクトを選択する。選択部６０は、オブジェクトの一部、又は全てのオブジェクトを選択したか、オブジェクトを選択しないかを、オブジェクト制御部１０へ通知する。
【００４９】
本例におけるストリーム映像表示装置１００は、視聴者により指定されたオブジェクトのタイプ、又はタグ情報に基づいて、選択されたオブジェクトを、選択されない他のオブジェクトより詳細に表示する。これにより、ストリーム映像表示装置１００は、処理可能な復号処理の量を超えたビットストリームを受信した場合においても、映像を破綻させることなく、視聴者に指定されたオブジェクトの映像を適切に表示させることができる。
【００５０】
ここで、本例において、選択部６０は、視聴者により指定されたオブジェクトのタイプ、又はタグ情報に基づき、視聴者が指定するオブジェクトを選択している。他の例において、選択部６０は、視聴者が指定したオブジェクト以外のオブジェクトを選択してもよい。この場合、ストリーム映像表示装置１００は、選択されたオブジェクトを他のオブジェクトよりも詳細に表示することにより、視聴者に指定されていないオブジェクトを、指定されたオブジェクトよりも、詳細に表示する。
【００５１】
図７は、ストリーム映像表示装置１００の他の例における選択部６０の動作の詳細を説明するフローチャートである。処理量算出部４０は、受信したビットストリームから、復号処理部２０での復号処理の予想量を、算出する（Ｓ２２０）。そして、処理量算出部４０は、算出した予想量を、選択部６０へ通知する。
【００５２】
受付部７０は、視聴者よりタグ情報又はタイプを受付ける（Ｓ２２２）。そして、受付部７０は、受付けたタグ情報又はタイプを、選択部６０へ通知する。選択部６０において、処理量算出部４０より通知された予想量が、復号処理の最大の量を超えた場合（Ｓ２２４  ＹＥＳ）、選択部６０は、入力されたタグ情報又はタイプと、抽出されたタグ情報又はタイプとが一致したオブジェクトを選択する（Ｓ２２６）。また、Ｓ２２４において、通知された予想量が、復号処理の最大の量を超えない場合（Ｓ２２４  ＮＯ）、選択部６０は、全てのオブジェクトを選択する（Ｓ２２８）。以上で本フローチャートは終了する。
【００５３】
図８は、ストリーム映像表示装置１００の構成の更に他の例を示す図である。本例におけるストリーム映像表示装置１００は、視聴者によりテンプレート画像を用いて指定されたオブジェクトを、詳細に表示させることを目的とする。尚、図３、又は図６と同じ符号を付した構成は、図３、又は図６における構成と同一又は同様の機能を有するので、以下に述べる点を除いて、説明を省略する。
【００５４】
配信サーバ２００は、通信回線３００を介して、ストリーム映像表示装置１００と接続される。配信サーバ２００は、例えば店内やアーケード等に設置された監視カメラを備える。配信サーバ２００は、この監視カメラにより撮像された映像を、ストリーム映像表示装置１００へ送信する。配信サーバ２００は、撮像した映像に含まれる複数のオブジェクトを、ＭＰＥＧ４規格に準拠して圧縮符号化する。配信サーバ２００は、圧縮符号化されたオブジェクトをストリーム映像表示装置１００へ送信する。この場合、配信サーバ２００は、複数のオブジェクトのそれぞれを、複数のビットストリームとして、ストリーム映像表示装置１００へ送信する。
【００５５】
ストリーム映像表示装置１００は、例えばセキュリティ管理会社や、建物の管理センタに設置される。本例において、これらのセキュリティ管理会社等の従業員が、視聴者として表示部３０に表示される映像を、観察する。ストリーム映像表示装置１００は、表示制御部１１０、及び表示部３０を備える。表示制御部１１０は、オブジェクト制御部１０、復号処理部２０、処理量算出部４０、テンプレート格納部８０、及び選択部６０を有する。オブジェクト制御部１０、復号処理部２０、処理量算出部４０、及び選択部６０は、通信回線３００を介して、配信サーバ２００から、複数のビットストリームを受け取る。
【００５６】
テンプレート格納部８０は、テンプレートマッチング画像処理を行う場合の基準の画像であるテンプレート画像を格納する。この場合、テンプレート格納部８０は、複数のテンプレート画像を含む。また、テンプレート格納部８０は、例えばキーボードやリモコン等の入力装置を含む。テンプレート格納部８０は、この入力装置を用いて視聴者により選択されたテンプレート画像を、格納する。テンプレート格納部８０は、視聴者に選択されたテンプレート画像を、選択部６０へ通知する。また、テンプレート格納部８０は、視聴者により選択された複数のテンプレート画像のそれぞれを、格納してよい。テンプレート格納部８０は、視聴者により入力された新たなテンプレート画像を格納してもよい。
【００５７】
選択部６０は、テンプレート格納部８０により通知されたテンプレート画像と、処理量算出部４０より通知された予想量と、受信したビットストリームとに基づいて、オブジェクトを選択する。選択部６０は、通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも大きい場合、映像に含まれる一部のオブジェクトを選択する。この場合、選択部６０は、テンプレート格納部８０に格納されているテンプレート画像と一致するオブジェクトを、選択する。本例において、選択部６０は、受信したビットストリームに含まれる、全てのオブジェクトに対して、テンプレート画像とのテンプレートマッチング画像処理を行っている。選択部６０は、例えば、所定の値以上の一致度でテンプレート画像と一致した画像を、選択する。
【００５８】
テンプレート画像と一致するオブジェクトがない場合、選択部６０は、オブジェクトを選択しない。また、通知された予想量が、復号処理部２０で処理可能な復号処理の量よりも小さい場合、選択部６０は、全てのオブジェクトを選択する。選択部６０は、オブジェクトの一部、又は全てのオブジェクトを選択したか、オブジェクトを選択しないかを、オブジェクト制御部１０へ通知する。
【００５９】
本例におけるストリーム映像表示装置１００は、視聴者により指定されたテンプレート画像に基づいて、選択されたオブジェクトを、選択されない他のオブジェクトより詳細に表示する。これにより、ストリーム映像表示装置１００は、処理可能な復号処理の量を超えたビットストリームを受信した場合においても、映像を破綻させることなく、視聴者に指定されたオブジェクトの映像を適切に表示させることができる。
【００６０】
尚、本例において、テンプレート格納部８０は、人物の特徴を示すテンプレート画像を含んでよい。この場合、テンプレート格納部８０は、例えば、人物の顔、髪型、服装、又は体型等の画像を、人物の特徴を示すテンプレート画像として含む。テンプレート格納部８０は、これらのテンプレート画像から、視聴者により指定されたテンプレート画像を、格納する。これにより、選択部６０は、指定された人物の特徴と一致した特徴を持つ人物のオブジェクトを、選択する。これにより、オブジェクト制御部１０は、選択されたオブジェクトを、表示部３０に詳細に表示させる。このように、本例におけるストリーム映像表示装置１００は、例えば複数の人物を含む監視カメラ映像を表示する場合、指定された特徴を持つ人物の映像を、詳細に表示することができる。これにより、ストリーム映像表示装置１００は、視聴者に、指定した人物の動きを、詳細に観察させることができる。
【００６１】
尚、他の例において、選択部６０は、視聴者により指定されたテンプレート画像と一致しないオブジェクトを選択してもよい。この場合、テンプレート格納部８０は、例えば従業員等の、映像に予め写ることが予想されている人物を示すテンプレートを格納してよい。この場合、ストリーム映像表示装置１００は、例えば、従業員等以外の人物を示すオブジェクトを、従業員等を示すオブジェクトよりも詳細に表示する。これにより、ストリーム映像表示装置１００は、監視カメラの映像として必要な情報を適切に表示しつつ、映像全体の情報量を低減することができる。
【００６２】
図９は、ストリーム映像表示装置１００の更に他の例における選択部６０の動作の詳細を説明するフローチャートである。処理量算出部４０は、受信したビットストリームから、復号処理部２０での復号処理の予想量を、算出する（Ｓ２４０）。そして、処理量算出部４０は、算出した予想量を、選択部６０へ通知する。
【００６３】
テンプレート格納部８０は、視聴者により選択されたテンプレート画像を格納する（Ｓ２４２）。そして、テンプレート格納部８０は、選択されたテンプレート画像を、選択部６０へ通知する。処理量算出部４０により通知された予想量が、復号処理の最大の量を超えた場合（Ｓ２４４  ＹＥＳ）、選択部６０は、通知されたテンプレート画像と、所定の値以上の一致度で一致したオブジェクトを選択する（Ｓ２４６）。
【００６４】
また、Ｓ２４４において、通知された予想量が、復号処理の最大の量を超えない場合（Ｓ２４４  ＮＯ）、選択部６０は、全てのオブジェクトを選択する（Ｓ２４８）。以上で本フローチャートは終了する。
【００６５】
図１０は、本発明の他の実施形態であるカーナビゲーションシステム４５０の構成の一例を示す図である。カーナビゲーションシステム４５０は、ＧＰＳ衛星５００、配信サーバ２００、及びカーナビゲーション表示装置１４０を備える。本例におけるカーナビゲーション表示装置１４０は、利用者により指定された経路を示す地図情報を詳細に表示させることを目的とする。尚、本例において、利用者は、カーナビゲーション表示装置１４０を注視する視聴者の一例である。
【００６６】
ＧＰＳ衛星５００は、カーナビゲーション表示装置１４０に測位信号を通知する。配信サーバ２００は、例えば交通情報を管理する会社により管理される。配信サーバ２００は、地図情報を、通信回線３００を介してカーナビゲーション表示装置１４０へ配信する。この場合、配信サーバ２００は、地図情報を、ＭＰＥＧ４における静止画を示すオブジェクトとして圧縮符号化して、カーナビゲーション表示装置１４０へ配信する。
【００６７】
この場合、配信サーバ２００は、地図情報をメッシュ状に分割し、分割された地図情報のそれぞれの部分を、静止画を示すオブジェクトとして格納している。また、配信サーバ２００は、同一の縮尺の地図情報を、異なる解像度のオブジェクトとして、予め格納している。この場合、配信サーバ２００は、地図情報を、高解像度の複数のオブジェクト、及び、高解像度のオブジェクトよりも低解像度の複数のオブジェクトとして、格納している。そして、配信サーバ２００は、高解像度の複数のオブジェクトを、低圧縮率で符号化して格納している。また、配信サーバ２００は、低解像度の複数のオブジェクトを、高解像度のオブジェクトよりも高い圧縮率で符号化して格納している。
【００６８】
カーナビゲーション表示装置１４０は、表示制御部１１０及び表示部３０を備える。表示制御部１１０は、オブジェクト制御部１０、復号処理部２０、及び選択部６０を有する。
【００６９】
選択部６０は、例えばリモコン等の入力装置を含む。選択部６０は、この入力装置を用いて利用者により指定された行き先を、受け取る。この場合、選択部６０は、指定された行き先までの経路を検索する。選択部６０は、表示部３０に表示された複数の経路の中から、適切な経路を利用者に指定させてよい。選択部６０は、検索した経路を含む地図情報のオブジェクトを選択する。この場合、選択部６０は、利用者に指定された経路に対応した複数の静止画のオブジェクトのそれぞれを、選択する。選択部６０は、選択した複数のオブジェクトをオブジェクト制御部１０へ通知する。
【００７０】
オブジェクト制御部１０は、ＧＰＳ衛星５００より測位信号を受信する。また、オブジェクト制御部１０は、配信サーバ２００より地図情報を受信する。オブジェクト制御部１０は、測位信号と、地図情報とに基づいて、地図上での現在位置を、表示部３０へ表示させる。また、選択部６０によりオブジェクトが選択された場合、オブジェクト制御部１０は、選択部６０により選択されたオブジェクトとして、選択されない他のオブジェクトよりも低い圧縮率で圧縮符号化されたオブジェクトを、配信サーバ２００から受け取る。また、オブジェクト制御部１０は、選択部６０により選択されない他のオブジェクトとして、高い圧縮率で圧縮符号化されたオブジェクトを、配信サーバ２００から受け取る。これにより、オブジェクト制御部１０は、選択されたオブジェクトを、高解像度で、表示部３０に表示させる。また、オブジェクト制御部１０は、選択されないオブジェクトを、低解像度で、表示部３０に表示させる。尚、オブジェクト制御部１０は、選択部６０に選択されたオブジェクトを、選択されないオブジェクトよりも先に、配信サーバ２００から受け取ってよい。
【００７１】
選択部６０によりオブジェクトが選択されない場合、オブジェクト制御部１０は、地図情報として、高い圧縮率で圧縮符号化されたオブジェクトを、配信サーバ２００から受け取る。この場合、オブジェクト制御部１０は、受け取ったオブジェクトを、低解像度で、表示部３０に表示させる。オブジェクト制御部１０は、受け取ったオブジェクトのビットストリームと、地図上での現在位置とを、復号処理部２０へ与える。
【００７２】
復号処理部２０は、ＭＰＥＧ４規格に準拠したデコーダである。復号処理部２０は、オブジェクト制御部１０より受信した地図情報を示すビットストリームから、オブジェクトを、復号する。復号処理部２０は、復号したオブジェクトを表示部３０へ与える。表示部３０は、復号されたオブジェクトを表示する。
【００７３】
以上のように、構成されたカーナビゲーションシステム４５０において、通信回線３００への伝送量が限られている場合であっても、カーナビゲーション表示装置１４０は、利用者が指定した経路を含む地図情報を、適切に受け取ることができる。また、カーナビゲーション表示装置１４０は、利用者が指定した経路の地図情報を、詳細に表示することができる。
【００７４】
図１１は、カーナビゲーション表示装置１４０の動作の一例を示すフローチャートである。オブジェクト制御部１０は、ＧＰＳ衛星５００より測位信号を受信する。また、オブジェクト制御部１０は、配信サーバ２００より地図情報を受信する（Ｓ３００）。
【００７５】
そして、選択部６０が、利用者から行き先までの経路を受け取った場合（Ｓ３０２  ＹＥＳ）、選択部６０は、利用者により指定された経路を含む地図情報のオブジェクトを選択する。そして、選択部６０は、選択したオブジェクトをオブジェクト制御部１０へ通知する。オブジェクト制御部１０は、選択されたオブジェクトとして、予め低い圧縮率で符号化されていたオブジェクトを、配信サーバ２００からダウンロードする（Ｓ３０４）。
【００７６】
この場合、オブジェクト制御部１０は、選択されない他のオブジェクトとして、予め高い圧縮率で符号化されていたオブジェクトを、配信サーバ２００からダウンロードする。表示部３０は、選択されたオブジェクトを高解像度で表示する。また、表示部３０は、選択されない他のオブジェクトを低解像度で表示する（Ｓ３０８）。
【００７７】
選択部６０が、利用者から行き先までの経路を受け取らない場合（Ｓ３０２  Ｎｏ）、選択部６０は、オブジェクトを選択しない。この場合、オブジェクト制御部１０は、全てのオブジェクトとして、予め高い圧縮率で符号化されたオブジェクトを、配信サーバ２００からダウンロードする（Ｓ３０６）。表示部３０は、全てのオブジェクトを、低解像度で、表示する（Ｓ３０８）。以上で、本フローチャートは終了する。
【００７８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態である表示システム４００の使用例を説明する図である。
【図２】ストリーム映像表示装置１００の表示画面に表示される映像３４について説明する図である。
【図３】ストリーム映像表示装置１００の詳細な構成の一例を示す図である。
【図４】ストリーム映像表示装置１００の動作の一例を示すフローチャートである。
【図５】図４のＳ１０２における選択部６０の動作の詳細を説明するフローチャートである。
【図６】ストリーム映像表示装置１００の構成の他の例を示す図である。
【図７】ストリーム映像表示装置１００の他の例における選択部６０の動作の詳細を説明するフローチャートである。
【図８】ストリーム映像表示装置１００の構成の更に他の例を示す図である。
【図９】ストリーム映像表示装置１００の更に他の例における選択部６０の動作の詳細を説明するフローチャートである。
【図１０】本発明の他の実施形態であるカーナビゲーションシステム４５０の構成の一例を示す図である。
【図１１】カーナビゲーション表示装置１４０の動作の一例を示すフローチャートである。
【符号の説明】
【００８０】
１０・・・オブジェクト制御部、２０・・・復号処理部、３０・・・表示部、３１、３２、３３・・・オブジェクト、３４・・・映像、４０・・・処理量算出部、５０・・・視線検出部、６０・・・選択部、７０・・・受付部、８０・・・テンプレート格納部、１００・・・ストリーム映像表示装置、１１０・・・表示制御部、１４０・・・カーナビゲーション表示装置、２００・・・配信サーバ、３００・・・通信回線、４００・・・表示システム、４５０・・・カーナビゲーションシステム、５００・・・ＧＰＳ衛星
【図１】
2005091571.tif 000003
【図２】
2005091571.tif 000004
【図３】
2005091571.tif 000005
【図４】
2005091571.tif 000006
【図５】
2005091571.tif 000007
【図６】
2005091571.tif 000008
【図７】
2005091571.tif 000009
【図８】
2005091571.tif 000010
【図９】
2005091571.tif 000011
【図１０】
2005091571.tif 000012
【図１１】
2005091571.tif 000013