(57)【要約】【課題】デジタルテレビ受像機にハードウェアを追加することなく、情報処理装置の表示画面での表示のために生成された動画領域を含む表示画像を、デジタルテレビ受像機に表示画面に表示することを可能にする。【解決手段】情報処理装置（１００）が、動画領域の画像を表すデータを圧縮符号化して送信し、静止画領域のデータをビットマップデータとして送信し、デジタルテレビ受像機（２００）が、圧縮された動画領域のデータをデコードして、静止画領域のデータと合成する。【選択図】図２
2014021423.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像内の動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークを介して前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項２】
前記情報処理装置が、
前記表示画像内の前記動画領域の画素値を保持し、その他の領域を予め定めた一定値で置き換えた動画フレームデータと、前記動画領域の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素値を保持した静止画フレームデータとを生成する分離部と、
前記動画フレームデータを圧縮符号化することで前記ビデオストリームを作成して前記ネットワークに送出するビデオエンコード部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記ビデオデコード部で生成された前記デコード画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有する
ことを特徴とする請求項１に記載の遠隔表示装置。
【請求項３】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大することで得られたものであり、
前記情報処理装置が、
前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項４】
前記情報処理装置が、
前記元の画像を表すデータを取得して圧縮符号化することで前記ビデオストリームを作成してネットワークに送出するビデオエンコード部と、
前記表示画像内の前記動画領域の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素値を保持した静止画フレームデータを出力する分離部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ビデオデコード部から出力された前記デコード画像を、ピクチャー・イン・ピクチャーにおける子画面として処理して、拡大及び位置決定を行って、拡大及び位置決め後の画像を生成する子画面生成部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記子画面生成部で生成された画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有し、
前記子画面生成部は、前記静止画フレームデータで表されるフレームの前記透過部分のサイズ及び位置に合致するように、前記デコード画像の拡大及び位置決定を行う
ことを特徴とする請求項３に記載の遠隔表示装置。
【請求項５】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大して得られたものであるか否かの判定を行い、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、受信した前記ビデオストリームを、デコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項６】
前記情報処理装置が、
前記表示画像内の前記動画領域の画素値を保持し、その他の領域を予め定めた一定値で置き換えた動画フレームデータと、前記動画領域の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素値を保持した静止画フレームデータとを生成する分離部と、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを選択し、前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画フレームデータを選択して出力する第１の選択部と、
前記第１の選択部で選択されたデータを圧縮符号化することで前記ビデオストリームを作成して前記ネットワークに送出するビデオエンコード部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ビデオデコード部から出力された前記デコード画像を、ピクチャー・イン・ピクチャーにおける子画面として処理して、拡大及び位置決定を行って、拡大及び位置決め後の画像を生成する子画面生成部と、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記子画面生成部で生成された画像を選択し、前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記ビデオデコード部から出力された前記デコード画像を選択する第２の選択部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記第２の選択部で選択された画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有し、
前記子画面生成部は、前記静止画フレームデータで表されるフレームの前記透過部分のサイズ及び位置に合致するように、前記デコード画像の拡大及び位置決定を行う
ことを特徴とする請求項５に記載の遠隔表示装置。
【請求項７】
前記情報処理装置から前記デジタルテレビ受像機への前記静止画フレームデータの送信がＲＦＢプロトロコルを用いて行われることを特徴とする請求項１乃至６のいずれかに記載の遠隔表示装置。
【請求項８】
前記ビデオデコード部が、ＭＰＥＧ−２規格に基づく圧縮符号化を行うことを特徴とする請求項１乃至７のいずれかに記載の遠隔表示装置。
【請求項９】
前記静止画フレームデータがＧＵＩ表示のためのデータを含み、
前記デジタルテレビ受像機が、前記ＧＵＩ表示に応じて行われる、操作入力を受け付ける入力部を有し、
前記入力部で受け付けられる操作入力を前記情報処理装置に送信し、
前記情報処理装置において、前記操作入力に応じて、前記ＧＵＩ表示の内容を変更する
ことを特徴とする請求項１乃至８のいずれかに記載の遠隔表示装置。
【請求項１０】
前記情報処理装置が、前記表示画像内の各領域が動画領域か否かの判定を行う領域判定部をさらに有し、
前記分離部が前記領域判定部による判定結果に基づいて、前記動画フレームデータ及び前記静止画フレームデータのうちの少なくとも一方の生成を行う
ことを特徴とする請求項１乃至９のいずれかに記載の遠隔表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パーソナルコンピュータ（ＰＣ）などの情報処理装置の表示画面での表示のために生成された画像（表示画像）を、該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置に関する。
【背景技術】
【０００２】
オフィスや家庭内のネットワークの普及と共に情報処理装置、例えばＰＣの表示画像を、該ＰＣにネットワークを介して接続された表示装置の表示画面上に表示する方法が提案されている（特許文献１）。このような用途では、ＲＦＢ（Ｒｅｍｏｔｅ  Ｆｒａｍｅ  Ｂｕｆｆｅｒ）と呼ばれるプロトコルが一般に用いられている。しかし、このプロトコルは、基本的にビットマップデータの転送処理のためのものであり、動画像の伝送には適さない。
【０００３】
また、動画像の伝送を効率的に実現する手法が特許文献２に記載されている。特許文献２の方法では、画面のうち、画像が変化した領域の画素データのみを抽出して、画像圧縮して伝送している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２８４１９５号公報
【特許文献２】特開２００４−０８６５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び２の構成では、表示画像が動画を含む場合、迅速な画面更新のためにはソフトウェア負荷の増加や専用ハードウェアの追加等が必要になり、製品化に際してコストアップに繋がる可能性があった。
【０００６】
本発明の目的は、情報処理装置でその表示画面での表示のために生成された画像を、該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面で表示することにより、例えば、ある場所、例えば一つの部屋に置かれた情報処理装置を他の場所、例えば別の部屋にあるデジタルテレビ受像機から操作することなどを、ソフトウェアの複雑化を最小限に抑えると共に、従来から用いられている、デジタルテレビ受像機のハードウェアをそのまま使用して実現することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像内の動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークを介して前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
本発明の第２の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大することで得られたものであり、
前記情報処理装置が、
前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
本発明の第３の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大して得られたものであるか否かの判定を行い、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、受信した前記ビデオストリームを、デコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、デジタルテレビ受像機にハードウェアを追加することなく、動画を含む情報処理装置の表示画像を、デジタルテレビ受像機の表示画面に表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１の遠隔表示装置の全体的構成を示すブロック図である。
【図２】図１のＰＣの構成を示すブロック図である。
【図３】図２のＰＣの領域判定部、分離部、ビデオエンコード部、ビットマップ送出部、及び制御部の機能を実現するための構成を、表示画像生成部、表示部及びネットワークインターフェース部とともに示すブロック図である。
【図４】図１のデジタルテレビ受像機の構成を示すブロック図である。
【図５】（ａ）〜（ｄ）は、図２及び図４に示す遠隔表示装置における処理の流れを示す概念図である。
【図６】本発明の実施の形態２の遠隔表示装置のＰＣの構成を示すブロック図である。
【図７】本発明の実施の形態２の遠隔表示装置のデジタルテレビ受像機の構成を示すブロック図である。
【図８】（ａ）〜（ｆ）は、図６及び図７に示す遠隔表示装置における処理の流れを示す概念図である。
【図９】本発明の実施の形態３の遠隔表示装置のＰＣの構成を示すブロック図である。
【図１０】本発明の実施の形態３の遠隔表示装置のデジタルテレビ受像機の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１の遠隔表示装置を示すもので、情報処理装置の一例としてのＰＣ１００と、デジタルテレビ受像機２００がネットワーク３００を介して接続されている。
ＰＣ１００は例えば一つの場所、例えば一つの部屋、例えば家庭内の書斎に配置され、デジタルテレビ受像機２００は、別の場所、例えば、別の部屋、例えば居間に配置されている。
【００１１】
図１の遠隔表示装置は、ＰＣ１００で、その表示画面での表示のために生成された画像（表示画像）を表すデータ（画面データ）をデジタルテレビ受像機２００に送り、デジタルテレビ受像機２００の表示画面上に表示するためのものである。
【００１２】
ＰＣ１００は、例えば図２に示すように、表示画像生成部１０１と、領域判定部１０２と、分離部１０３と、ビデオエンコード部１０４と、ビットマップ送出部１０５と、ネットワークインターフェース部１０６と、表示部１０７と、制御部１０８とを備える。
【００１３】
上記のうち、領域判定部１０２、分離部１０３、ビデオエンコード部１０４、ビットマップ送出部１０５、及び制御部１０８は、ソフトウェア１１０により、即ちプログラムされたコンピュータにより実現される。即ち、ＰＣ１００は、図３に示すように、表示画像生成部１０１、表示部１０７及びネットワークインターフェース部１０６のほか、ＣＰＵ１１１と、プログラムメモリ１１２と、データメモリ１１３とを備え、ＣＰＵ１１１がプログラムメモリ１１２に格納されたプログラムを実行することにより、領域判定部１０２、分離部１０３、ビデオエンコード部１０４、ビットマップ送出部１０５、及び制御部１０８の機能を実現する。ＣＰＵ１１１によるプログラムの実行の際に生成される演算結果、データ等はデータメモリ１１３に一時的に格納される。
【００１４】
表示画像生成部１０１は、表示部１０７の表示画面１０７ａでの表示のための画像（表示画像）を表す画像データ（画面データ）を生成する。この表示画像は、画面全体が動画である場合もあり、画面全体が静止画である場合もある。また、画面のうちの一部が動画であって、他の部分が静止画であることもある。
【００１５】
表示画像生成部１０１は、ＰＣ１００に内蔵されたグラフィックス処理回路で構成されている。この回路には、フレームバッファ１０１ａが実装されており、フレームバッファ１０１ａには、表示部１０７の表示画面１０７ａ上の表示画像を表す画像データが１フレーム分蓄えられる。
【００１６】
領域判定部１０２は、表示画像生成部１０１で生成された表示画像を表すデータを取り込み、各フレームの表示画像（表示画面）のうちの各部が動画を構成するものか否かの判定を行う。
【００１７】
分離部１０３は、表示画像を領域判定部１０２によって動画を構成すると判定された部分（動画領域）とそれ以外の部分（静止画領域）とに分離する。
【００１８】
ビデオエンコード部１０４は、分離部１０３で分離された動画領域の画像データを圧縮符号化して符号化データを生成し、ビデオストリームとして出力する。
ビットマップ送出部１０５は、静止画領域の画像データをビットマップデータとして出力する。
【００１９】
ネットワークインターフェース部１０６は、ビデオエンコード部１０４から出力された動画領域の画像データ及びビットマップ送出部１０５から出力された静止画領域の画像データをネットワーク３００に送り出す。
【００２０】
デジタルテレビ受像機２００は、例えば図４に示すように、ネットワークインターフェース部２０１と、ビデオストリーム受信部２０２と、ビデオデコード部２０３と、ビットマップ受信部２０４と、グラフィックス処理部２０５と、合成部２０６と、表示部２０７と、制御部２０８と、入力部２０９とを備える。  
【００２１】
ネットワークインターフェース部２０１は、ＰＣ１００からネットワーク３００を介して送られてきた画像データを受信する。
【００２２】
ビデオストリーム受信部２０２は、ネットワークインターフェース部２０１が受信した画像データのうち、動画領域の画像データ（圧縮符号化により生成されたビデオストリーム）を取り出して、ビデオデコード部２０３に供給する。
【００２３】
ビデオデコード部２０３は、ビデオストリーム受信部２０２で受信された動画領域の画像データをデコードする。
【００２４】
ビットマップ受信部２０４は、ネットワークインターフェース部２０１が受信した画像データのうち、静止画領域の画像データ（ビットマップデータ）を取り出してグラフィックス処理部２０５に供給する。
【００２５】
グラフィックス処理部２０５は、ビットマップ受信部２０４で受信された静止画領域の画像データを、デジタルテレビ受像機２００の表示画面２０７ａ上での表示に適した形式のデータに変換する。
【００２６】
合成部２０６は、ビデオデコード部２０３の出力とグラフィックス処理部２０５の出力を合成してデジタルテレビ受像機２００の表示部２０７の表示画面２０７ａに表示すべき画像（テレビ表示画像）を表すデータ（画面データ）を生成し、表示部２０７に供給する。
表示部２０７は合成部２０６から供給されたデータに対応する画像を表示する。
【００２７】
上記のうち、ビデオストリーム受信部２０２、ビデオデコード部２０３、ビットマップ受信部２０４、グラフィックス処理部２０５、及び制御部２０８は、デジタルテレビ受像機用集積回路（ＤＴＶデコーダチップ）２１０で構成されている。
【００２８】
入力部２０９は、ユーザによる操作入力に対応した信号を生成するものである。
この操作入力は、例えば、表示画面２０７ａ上の表示画像に含まれるＧＵＩ（グラフィカル・ユーザ・インターフェース）に応じて行なわれる。
操作入力に応じた信号がユーザイベント（を表すもの）Ｕｅとして制御部２０８に入力され、制御部２０８からネットワークインターフェース部２０１を介してネットワーク３００に送出され、ＰＣ１００では、上記ユーザイベントを表す信号Ｕｅを、ネットワークインターフェース１０６で受信して、制御部１０８に伝え、制御部１０８は、このユーザイベントに基づいて、ＰＣ１００の各部の制御を行う。該制御の一環として、表示画像生成部１０１を制御して、表示画像生成部１０１により生成される画像に変更を加える。例えば、メニュー選択画面が表示されているときに、操作入力により操作ボタンを押すことにより一つの選択肢を選択すると、該選択肢の選択に応じて次の操作を促す画面を表示する。このような処理を繰り返すことで、入力部２０９によるＰＣ１００に対する遠隔操作が行われる。  
【００２９】
以下、図５（ａ）〜（ｄ）を参照して、上記の遠隔表示装置の動作をより詳細に説明する。
表示画像生成部１０１で生成され、フレームバッファ１０１ａに蓄えられている画像の一例を図５（ａ）に示す。図示の画像３１０は、動画領域３１１、３１２と、それ以外の領域（静止画領域）３１３とを含む。
【００３０】
領域判定部１０２では、フレームバッファ１０１ａに蓄えられた画像データを読み出して、画像データで表される画像の各部分が動画領域（動画部分）であるか否かの判定を行い、判定結果を示す情報ＭＳを出力する。この情報ＭＳとして動画領域と判定された部分の位置を示す情報（フレームバッファアドレス）を出力しても良い。
【００３１】
画像の各部が動画領域か否か判定方法としては、様々な方法が提案されており、いずれの方法を用いても良い。
例えば、連続する（相前後する）フレーム間で同じ表示位置の画素のデータの差分を取り、所定値よりも大きな差分が検出された画素を多く含む領域を動画領域と判定する。
このような判定においては、画面を複数の矩形の領域に分割し、各領域について、上記差分（絶対値）が所定値よりも大きい画素の占める割合が所定値よりも大きい場合に当該領域を動画領域と判定しても良い。
【００３２】
また、表示画像生成部１０１で、その外部から供給される動画と静止画を合成して表示画像データを生成する場合であって、動画の画像データ、及び静止画の画像データとともに、動画であるか静止画であるかを示す付加情報が供給される場合には、該付加情報を、領域判定部１０２に送り、領域判定部１０２で上記付加情報に基づいて各部が動画であるか否かの判定を行うこととしても良い。
この場合にも、例えば、画面を複数の矩形の領域に分割することで形成された領域の各々について、上記付加情報に基づいて動画領域か否かの判定結果を出力するようにしても良い。
【００３３】
分離部１０３は、各フレームの表示画像（表示画面）を領域判定部１０２によって動画と判定された部分（動画領域）と、それ以外の部分（静止画領域）とに分離し、動画領域の画像データを含む動画フレームデータ３２０（図５（ｂ））と、静止画領域の画像データを含む静止画フレームデータ３３０（図５（ｃ））とを生成する。
【００３４】
動画フレームデータ３２０は、検出された動画領域３１１、３１２の画素値を保持するとともに、静止画領域３１３の画素値を予め定めた一定値に置き換えたものであり、上記置き換えにより生成された領域が符号３２３で示されている。
静止画フレームデータ３３０は、静止画領域３１３の画素値を保持するとともに、動画領域３１１、３１２の画素値をグラフィックスデータにおける透過部分に相当する値に置き換えたものであり、上記置き換えにより生成された領域が符号３３１、３３２で示されている。
動画フレームデータ３２０で表される画像及び静止画フレームデータ３３０で表される画像はともに、ＰＣ１００の表示画面１０７ａの画像と同じサイズ（画素数）のものである。
【００３５】
図５（ｂ）に示される動画フレームデータ３３０は、ビデオエンコード部１０４で圧縮符号化され、エンコード画面が生成される。エンコード画面（を表すデータ）は、データメモリ１１３内のメモリ領域で構成されるフレームバッファに格納された後、符号化されたビデオストリームとしてネットワークインターフェース部１０６に送られ、ネットワークインターフェース部１０６からネットワーク３００に送出される。
【００３６】
ビデオエンコード部１０４における圧縮は、デジタルテレビ受像機２００内のビデオデコード部２０３でデコード可能な方式を用いて行なわれる。
一般にデジタルテレビ受像機は、デジタル放送で用いられる圧縮方式ＭＰＥＧ−２に対応したハードウェアデコーダをデジタルテレビ受像機用集積回路２１０の一部として搭載しており、該ハードウェアデコーダが図４のビデオデコード部２０３として用いられるので、ビデオエンコード部１０４におけるエンコードは、ＭＰＥＧ−２に従って行うのが望ましい。
【００３７】
ストリーミング方式としてＭＰＥＧ−２  ＴＳ（トランスポートストリーム）方式を用いれば、デジタルテレビ受像機２００では放送受信時と同じ処理でデコードして動画を表示することができるので好適である。
【００３８】
分離部１０３から出力された静止画フレームデータ３３０（図５（ｃ））は、ビットマップ送出部１０５により、ネットワーク伝送に適した形式のもの（ビットマップ画面を表すデータ）に変換され、データメモリ１１３内に格納された後、ネットワークインターフェース部１０６を介してネットワーク３００に送出され、デジタルテレビ受像機２００のネットワークインターフェース部２０１を介してビットマップ受信部２０４に届けられる。
【００３９】
画像生成部１０１で生成されるビットマップ画面の画像データ（ビットマップデータ）の形式として、透過度（アルファ値）を含む色フォーマットＡＲＧＢ３２（アルファ値８ビット、赤８ビット、緑８ビット、青８ビット）や、ＡＲＧＢ１５５５（アルファ値１ビット、赤５ビット、緑５ビット、青５ビット）等を採用し、動画領域３１１、３１２については完全透過を表す値（アルファ値：０）に設定しても良い。
【００４０】
上記の色フォーマットが使用できない場合には、動画領域の各画素の画素値を、予め定められた色を表す値に置き換えたものを静止画フレームデータとして、ビットマップ送出部１０５から、ネットワークインターフェース部１０６、２０１、ビットマップ受信部２０４及びグラフィクス表示部２０５を介して合成部２０６に供給し、合成部２０６で、グラフィックス処理部２０５から上記の動画領域の各画素の画素値を受け取った際には、その部分を透過させて、ビデオデコード部２０３の出力で表される動画を表示させる、いわゆるクロマキー合成と呼ばれる手法を用いても良い。
【００４１】
ビットマップ画像のネットワーク伝送方式としては、例えば、ＲＦＢプロトコル（リモートフレームバッファプロトコル）を用いることができる。例えば、ＶＮＣ（Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｃｏｍｐｕｔｉｎｇ）と呼ばれるソフトウェアパッケージを導入することでＲＦＢプロトコルによるネットワーク経由のビットマップ転送を実現できる。
【００４２】
本実施の形態では、ＶＮＣを用いるに当たり、ＰＣ１００にＶＮＣサーバソフトを実装し、デジタルテレビ受像機２００にＶＮＣクライアントソフトを実装し、ＶＮＣサーバソフトが実装されたＰＣ１００で作成されたＧＵＩ（グラフィカルユーザインターフェース）をビットマップデータの一部として、ＶＮＣクライアントソフトが実装されたデジタルテレビ受像機２００にネットワーク経由で送り、デジタルテレビ受像機２００では、このＧＵＩに対応する画面を表示部２０７に表示させ、入力部２０９により入力された操作に対応するユーザイベントをＰＣ１００に送り返すことで、ＰＣ１００の遠隔操作を行う。
【００４３】
本実施の形態では、デジタルテレビ受像機２００に入力部２０９として、本体に設けられた操作キー、及び本体の受信部（図示しない）に対して赤外線通信で信号を送るリモコンに加えて、キーボード及びマウスをも接続可能とする場合を想定している。その場合、デジタルテレビ受像機２００の制御部２０８を構成するプロセッサ（組込みプロセッサ）に、キーボード、マウスの接続のためのソフト（ドライバ）が実装されている必要がある。
【００４４】
通常操作ボタン等のＰＣ画面上のＧＵＩはビットマップ転送によって行われるため、動画領域が分離されていても、ＶＮＣ動作には影響はなく、デジタルテレビ受像機２００に接続されたキーボード、マウス等を含む入力部２０９を接続することで、デジタルテレビ受像機２００の画面を見ながら、再生する動画を選んだりする操作を行うことができる。
【００４５】
デジタルテレビ受像機２００では、ネットワーク３００経由で受け取った動画領域の画像データ（ビデオエンコード部１０４の出力）及び静止画領域の画像データ（ビットマップ送出部１０５の出力）は、それぞれビデオストリーム受信部２０２及びビットマップ受信部２０４によってネットワークインターフェース部２０１から取り出されて、それぞれビデオデコード部２０３及びグラフィックス処理部２０５に供給される。
【００４６】
ビデオデコード部２０３では、画面全体の中で動画領域（図５（ｂ）の領域３１１、３１２）に対応する、デジタルテレビ受像機２００の表示画面２０７ａ上の位置に、動画領域の画像データに応じた描画が行われ、図５（ｂ）に示されるのと同内容の画面（画面を表すデータ）が再生乃至復元される。
【００４７】
グラフィックス処理部２０５では、画面全体の中で静止画領域（図５（ｃ）の領域３１３）に対応する、デジタルテレビ受像機２００の表示画面２０７ａ上の位置に、静止画領域の画像データ（ビットマップデータ）に応じた描画が行われ、図５（ｃ）に示されるのと同内容の画面（画面を表すデータ）が再生乃至復元される。
【００４８】
ビデオデコード部２０３の出力及びグラフィックス処理部２０５の出力は合成部２０６で合成されて合成画像３４０（図５（ｄ））となり、表示部２０７に供給され、表示部２０７の表示画面２０７ａに表示される。
【００４９】
動画領域は、元の位置（ＰＣ画面上の位置に対応する位置）に配置されているためビデオデコード部２０３の出力画像を、グラフィックス処理部２０５から出力されるビットマップ画像と座標位置を合わせて重畳するだけで元のＰＣ画面（ＰＣの画面での表示のために生成された画像）を再現できる。
【００５０】
すなわち、図５（ｂ）の画面のうちの動画領域３１１、３１２のデータが抽出され、図５（ｃ）の画面のうちの領域３１１、３１２（透過部分）に嵌め込まれた合成画像が得られる。
デジタルテレビ受像機２００の表示画面２０７ａのサイズ（画素数）が、ＰＣ１００の表示画面の１０７ａのサイズ（画素数）と異なる場合には、スケーリングが行われる。
このスケーリングは、合成部２０６で、画面合成後に行ってもよく、合成前に動画領域と静止画領域とで別々に行ってもよい。
スケーリングの機能も、デジタルテレビ受像機用集積回路２１０が通常備えている。
【００５１】
デジタルテレビ受像機２００で行なっている処理は、すべて一般にデジタルテレビの製品化の際に導入されるデジタルテレビ受像機用集積回路で行なわれ得るものであり、従って、特にハードウェアを追加することなく実現できる。
【００５２】
上記のようにビデオエンコード部１０４においてＭＰＥＧ−２規格に基づいて圧縮符号化するソフトウェアを用いることにより、集積回路２１０内のＭＰＥＧ−２デコーダを使用することができ、ハードウェアを追加する必要もなく動画像の再生が可能となる。
【００５３】
ビットマップ画像についても、デジタルテレビ受像機制御用のプロセッサ２０８にオンスクリーンディスプレイ（ＯＳＤ）等を表示するためのグラフィックス機能を実行させることで容易に実現できる。
【００５４】
従って、図４に示す構成は、従来のデジタルテレビ受像機のソフトウェアを一部変更し、或いは追加することで実現できる。
【００５５】
また、ＰＣ１００の領域判定部１０２、分離部１０３、ビデオエンコード部１０４、及びビットマップ送出部１０５は、上記のようにソフトウェアのみで実現可能である。
【００５６】
特に、ビットマップデータの送・受信は、広く用いられているＶＮＣソフトウェアを利用することで容易に実現できる。このとき、ＶＮＣ機能によりデジタルテレビ受像機２００にマウス及び／又はキーボードを接続することで、デジタルテレビ受像機２００の表示部２０７に表示された画像（本来ＰＣ１００の表示部１０７で表示するために作成された画像）を見ながらＰＣ１００を操作することができる。
【００５７】
表示画面２０７ａ上のＧＵＩの操作ボタン等は、動画領域以外の領域に配置されており、ビットマップ送信される。従って、操作によって生じるＰＣの表示画像の変化は、動画像符号化に伴って発生する遅延等の影響を受けることがなく、操作に対する表示画像の変化に殆ど遅延が生じない。
【００５８】
実施の形態２．
図６及び図７は、本発明の実施の形態２の遠隔表示装置を構成するＰＣ１００及びデジタルテレビ受像機２００を示す。
図示のＰＣ１００及びデジタルテレビ受像機２００は、図２及び図４を参照して説明した実施の形態１のＰＣ１００及びデジタルテレビ受像機２００と概して同じであるが、ＰＣ１００にストリーミングデコード部１２１が付加され、デジタルテレビ受像機２００に子画面生成部２２１が付加されており、また、図２の分離部１０３の代わりに、分離部１２３が設けられている点で異なる。
【００５９】
ＰＣで動画像を表示する場合、外部から送られてきた映像を表示画像生成部１０１で拡大した上で画面上に表示する場合もある。拡大画像が、大きい場合、例えば画面のほとんどすべての領域を占める場合に、上記の実施の形態１の方法で処理を行うと、ビデオエンコード部１０４の処理負荷が大きくなる。実施の形態２ではこのような場合に、ビデオエンコード部１０４の処理負荷を減らし、ビデオエンコード部１０４などの処理を行うＣＰＵ１１１の性能が低くても、実施の形態１と同様に、デジタルテレビ受像機のハードウェア構成を変えることなく、動画領域と静止画領域を含む画像をデジタルテレビ受像機で表示することができるようにしたものである。
【００６０】
図６及び図７は、実施の形態２の遠隔表示装置のＰＣ１００及びデジタルテレビ受像機２００を示すブロック図であり、図２及び図４と同様の部材には、同じ符号が付されている。
ストリーミングデコード部１２１は、インターネットなどのネットワークを介して送信された、映像を表すストリームデータを受信してデコードする。
ストリーミングデコード部１２１の出力３５１（図８（ａ））は、表示画像生成部１０１に供給されるとともに、直接ビデオエンコード部１０４に供給される。
【００６１】
表示画像生成部１０１に供給された動画像データ３５１（図８（ａ））は、別途作成されるビットマップ画像データと合成されて合成画像３５０（図８（ｂ））となる。この合成に際し、動画像３５１が拡大されて図８（ｂ）に示すように領域３５２を占めるようになり、ビットマップ画像は、動画像が占める領域３５２以外の領域３５３に配置される。図８（ｂ）に示す例では、拡大された動画像が占める矩形の領域３５２の周囲に、ビットマップ画像の領域３５３が形成される。
【００６２】
インターネット経由で映像を送る場合には、伝送帯域が必ずしも充分に確保できるとは限らないため、ＰＣ画面の表示解像度よりかなり低い映像が送られてくることが多く、視聴時にＰＣ１００の表示画像生成部１０１のグラフィックス機能により、拡大して表示を行うことが頻繁にある。このような場合、拡大された画像のデータがフレームバッファ１０１ａに格納される。
従って、表示画像生成部１０１のフレームバッファ１０１ａの内容を読み出して動画領域の画像データをビデオエンコード部１０４でエンコードすると、元のサイズの画像をエンコードする場合に比較して、処理負荷が増える上、画質劣化に繋がる可能性がある。
【００６３】
本実施の形態では、このような事態を避けるため、拡大前の動画像を表すデータをビデオエンコード部１０４に送り、エンコードを行わせる。このようにするためには、ＰＣ１００のソフトウェアを変更して、拡大前の動画像を表すデータをビデオエンコード部１０４に供給し、一方、分離部１２３では、動画領域の画素値を保持した画像データ（実施の形態１における「動画フレームデータ」）を生成しないこととすれば良い。
【００６４】
ビデオエンコード部１０４では、ストリーミングデコード部１２１から供給された動画を表す画像データ（図８（ａ））を圧縮符号化して、ビデオストリーム３６１（図８（ｃ））を生成する。
ビデオストリーム３６１（図８（ｃ））は、ネットワークインターフェース部１０６によりネットワーク３００に送出される。
【００６５】
領域判定部１０２は、表示画像生成部１０１から出力される画像データで表される画像の各部が動画を表すものか否かの判定を行う。この判定においては、表示画像生成部１０１における画像の合成の際、ストリーミングデコード部１２１からの画像を拡大した後に配置した画面上の位置を示すデータ（配置データ）を得て、この配置データに基づいて、画面の各領域が動画領域か否かの判定を行うようにすることができる。
【００６６】
分離部１２３は、領域判定部１０２による判定結果に基づいて、静止画領域を抽出する。即ち、動画領域３５２の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え（置き換え後の領域を符号３６２で示す）、その他の領域３５３を元の画素値で構成した静止画フレームデータ３６０（図８（ｄ））を生成する。
【００６７】
ビットマップ送出部１０５は、分離部１２３で分離された静止画フレームデータ３６０を、ネットワーク伝送に適した形式のものに変換し、ネットワークインターフェース部１０６を介してネットワーク３００に送出する。
【００６８】
ネットワーク３００に送出されたビデオエンコード部１０４の出力及びビットマップ送出部１０５の出力は、デジタルテレビ受像機２００のネットワークインターフェース部２０１で受信される。
ビデオストリーム受信部２０２は、ネットワークインターフェース部２０１が受信したデータのうち、ビデオエンコード部１０４の出力を取り出してビデオデコード部２０３に供給する。
ビットマップ受信部２０４は、ネットワークインターフェース部２０１が受信したデータのうち、ビットマップ送出部１０５の出力を取り出してグラフィックス処理部２０５に供給する。
【００６９】
ビットマップ受信部２０４に届けられた静止画領域の画像データは、グラフィックス処理部２０５に供給される。
【００７０】
グラフィックス処理部２０５では、画面全体の中で静止画領域（図８（ｂ）、図８（ｄ）の３５３）に対応する、デジタルテレビ受像機２００の表示画面２０７ａ上の位置に、静止画領域の画像データ（ビットマップデータ）に応じた描画が行われ、図８（ｄ）に示されるのと同じ画面（画面を表すデータ）が再生乃至復元される。
【００７１】
一方、ビデオデコード部２０３は、動画データ３６１（図８（ｃ））をデコードして、ストリーミングデコード部１２１の出力で表される画像３５１（図８（ａ））と同じ内容の画像３７１（図８（ｅ））を再生乃至復元する。
【００７２】
ビデオデコード部２０３の出力３７１は子画面生成部２２１に供給される。
子画面生成部２２１は、ピクチャー・イン・ピクチャー（ＰＩＰ）における子画面を生成する機能を有するものであり、ビデオデコード部２０３の出力で表される画像を拡大して、ＰＣ画面上の動画領域（図８（ｂ）の３５２）と同じ大きさ、従って、静止画フレームデータの透過部分３６２と同じ大きさとし、その画面上の配置位置を、静止画フレームデータの透過領域３６２の位置に一致するように決定する。拡大率は、動画３７１のサイズと透過部分３６２のサイズとに基づいて算出される。透過部分３６２のサイズ、及び位置を示す情報ＳＰはグラフィックス処理部２０５から供給される。代わりに、ＰＣ１００の表示画像生成部１０１で動画の拡大を行って、合成画像３５０を生成したときに用いた、拡大率、及び動画領域３５２の位置を示す情報を、ＰＣ１００からデジタルテレビ受像機２００に送信し、子画面生成部２２１でこの情報を利用するようにしても良い。
【００７３】
合成部２０６では、子画面生成部２２１で生成された動画と、グラフィックス処理部２０５から出力された静止画とを合成し、合成画像３８０（図８（ｆ））を生成する。
この合成によって、子画面生成部２２１で生成された画像（拡大され、位置が決定された画像）が、図８（ｄ）に示される画像のうちの領域３６２（透過部分）に嵌め込まれた合成画像が得られる。合成画像のうち、子画面生成部２２１で生成され嵌め込まれた画像が符号３８１で示されている。
【００７４】
ＰＩＰの機能は、多くのデジタルテレビ受像機に実装されている。
ＰＩＰは、本来２つの映像ソースの何れかを画面全体に表示し、もう一方の映像を子画面として、画面の一部に表示する機能である。この機能を活用することによって、送られてきた動画を拡大することで所定のサイズの映像とし、ビットマップ画像を表示するグラフィックス画面と合成し、これによりＰＣ１００の表示画像を再現する。
【００７５】
実施の形態２の構成の場合も、多くのデジタルテレビ受像機用集積回路がサポートしている機能の一つであるＰＩＰ機能を利用することで、特別なハードウェアやソフトウェアを用意することなくＰＣの表示画像をデジタルテレビ受像機の画面上に動画も含めて表示できる。
【００７６】
実施の形態３．
図９及び図１０は、本発明の実施の形態３の遠隔表示装置を構成するＰＣ１００及びデジタルテレビ受像機２００を示す。
図示のＰＣ１００及びデジタルテレビ受像機２００は、図６及び図７を参照して説明した実施の形態２のＰＣ１００及びデジタルテレビ受像機２００と概して同じであるが、ＰＣ１００に選択部１３１が付加され、デジタルテレビ受像機２００に選択部２３１が付加されている。
【００７７】
選択部１３１は、表示画像生成部１０１で、入力された動画を拡大したか否かを示す情報Ｅｙを受けて、該情報に基づいて、ストリーミングデコード部１２１から出力される動画を表すデータと、分離部１０３から出力される動画フレームデータのいずれかを選択して出力する。即ち、拡大が行われた場合には、ストリーミングデコード部の出力をビデオエンコード部１０４に供給し、拡大が行われなかった場合には、分離部１０３から出力された動画フレームデータをビデオエンコード部１０４に供給する。
【００７８】
拡大が行われた否かを示す情報Ｅｙは、デジタルテレビ受像機２００の選択部２３１にも伝送され、選択部２３１は、この情報に基づいて、子画面生成部２２１の出力と、ビデオデコード部２０３の出力のいずれかを選択して出力する。即ち、拡大が行われた場合には、子画面生成部２２１の出力を合成部２０６に供給し、拡大が行われなかった場合には、ビデオデコード部２０３の出力を合成部２０６に供給する。
【００７９】
拡大が行われた否かを示す情報Ｅｙを、図１０に点線で示すように、デジタルテレビ受像機２００内の子画面生成部２２１にも送り、拡大が行われなかった場合には、子画面生成部２２１における拡大処理を中止させるようにしても良い。さらに、拡大が行われた否かを示す情報Ｅｙを、図９に点線で示すように、分離部１０３にも送り、拡大が行われた場合には、分離部１０３における、動画フレームデータの生成をさせないようにしても良い。
このような処理により、表示画像生成部１０１で生成した画像の状態に応じて、切り替え動作をさせることができ、それぞれの場合に最適の処理を行うことができる。
【符号の説明】
【００８０】
１００  パーソナルコンピュータ（ＰＣ）、  １０１  表示画像生成部、  １０２  領域判定部、  １０３  分離部、  １０４  ビデオエンコード部、  １０５  ビットマップ送出部、  １０６  ネットワークインターフェース部、  １０７  表示部、  １０８  制御部、  １１０  ソフトウェア、  １２１  ストリーミングデコード部、  １２３  分離部、  １３１  選択部、  ２００  デジタルテレビ受像機、  ２０１  ネットワークインターフェース部、  ２０２  ビデオストリーム受信部、  ２０３  ビデオデコード部、  ２０４  ビットマップ受信部、  ２０５  グラフィックス処理部、  ２０６  合成部、  ２０７  表示部、  ２０８  制御部、  ２０９  入力部、  ２１０  デジタルテレビ受像機用集積回路、  ２２１  子画面生成部、  ２３１  選択部、  ３００  ネットワーク。
【図１】
2014021423.tif 000003
【図２】
2014021423.tif 000004
【図３】
2014021423.tif 000005
【図４】
2014021423.tif 000006
【図５】
2014021423.tif 000007
【図６】
2014021423.tif 000008
【図７】
2014021423.tif 000009
【図８】
2014021423.tif 000010
【図９】
2014021423.tif 000011
【図１０】
2014021423.tif 000012