【手続補正書】
【提出日】平成27年5月14日(2015.5.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像内の動画領域の画素の画素値を保持し、その他の領域の画素の画素値を予め定めた一定値で置き換えることで生成した動画フレームデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークを介して前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードして動画領域を含む画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域を含む画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項２】
前記情報処理装置が、
前記動画フレームデータと、前記動画領域の画素の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素の画素値を保持した静止画フレームデータとを生成する分離部と、
前記動画フレームデータを圧縮符号化することで前記ビデオストリームを作成して前記ネットワークに送出するビデオエンコード部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記ビデオデコード部で生成された前記デコード画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有する
ことを特徴とする請求項１に記載の遠隔表示装置。
【請求項３】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大することで得られたものであり、
前記情報処理装置が、
前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項４】
前記情報処理装置が、
前記元の画像を表すデータを取得して圧縮符号化することで前記ビデオストリームを作成してネットワークに送出するビデオエンコード部と、
前記表示画像内の前記動画領域の画素の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素値を保持した静止画フレームデータを出力する分離部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ビデオデコード部から出力された前記デコード画像を、ピクチャー・イン・ピクチャーにおける子画面として処理して、拡大及び位置決定を行って、拡大及び位置決め後の画像を生成する子画面生成部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記子画面生成部で生成された画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有し、
前記子画面生成部は、前記静止画フレームデータで表されるフレームの前記透過部分のサイズ及び位置に合致するように、前記デコード画像の拡大及び位置決定を行う
ことを特徴とする請求項３に記載の遠隔表示装置。
【請求項５】
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大して得られたものであるか否かの判定を行い、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、受信した前記ビデオストリームを、デコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示する
遠隔表示装置。
【請求項６】
前記情報処理装置が、
前記表示画像内の前記動画領域の画素の画素値を保持し、その他の領域を予め定めた一定値で置き換えた動画フレームデータと、前記動画領域の画素の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え、その他の領域の画素の画素値を保持した静止画フレームデータとを生成する分離部と、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを選択し、前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画フレームデータを選択して出力する第１の選択部と、
前記第１の選択部で選択されたデータを圧縮符号化することで前記ビデオストリームを作成して前記ネットワークに送出するビデオエンコード部と、
前記分離部で生成された前記静止画フレームデータをビットマップデータの形式で前記ネットワークに送出するビットマップ送出部とを有し、
前記デジタルテレビ受像機が、
前記ネットワークから受信された前記ビデオストリームをデコードしてデコード画像を出力するビデオデコード部と、
前記ビデオデコード部から出力された前記デコード画像を、ピクチャー・イン・ピクチャーにおける子画面として処理して、拡大及び位置決定を行って、拡大及び位置決め後の画像を生成する子画面生成部と、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記子画面生成部で生成された画像を選択し、前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記ビデオデコード部から出力された前記デコード画像を選択する第２の選択部と、
前記ネットワークから受信された前記ビットマップデータを、前記デジタルテレビ受像機の表示画面での表示に適した形式に変換して前記静止画領域の画像を再生するグラフィックス処理部と、
前記第２の選択部で選択された画像と、前記グラフィックス処理部で再生された前記静止画領域の画像とを合成して前記合成画像を生成する合成部とを有し、
前記子画面生成部は、前記静止画フレームデータで表されるフレームの前記透過部分のサイズ及び位置に合致するように、前記デコード画像の拡大及び位置決定を行う
ことを特徴とする請求項５に記載の遠隔表示装置。
【請求項７】
前記情報処理装置から前記デジタルテレビ受像機への前記静止画フレームデータの送信がＲＦＢプロトロコルを用いて行われることを特徴とする請求項２、４又は６に記載の遠隔表示装置。
【請求項８】
前記ビデオエンコード部が、ＭＰＥＧ−２規格に基づく圧縮符号化を行うことを特徴とする請求項２、４、６又は７に記載の遠隔表示装置。
【請求項９】
前記静止画フレームデータがＧＵＩ表示のためのデータを含み、
前記デジタルテレビ受像機が、前記ＧＵＩ表示に応じて行われる、操作入力を受け付ける入力部を有し、
前記入力部で受け付けられる操作入力を前記情報処理装置に送信し、
前記情報処理装置において、前記操作入力に応じて、前記ＧＵＩ表示の内容を変更する
ことを特徴とする請求項２、４、６、７又は８に記載の遠隔表示装置。
【請求項１０】
前記情報処理装置が、前記表示画像内の各領域が動画領域か否かの判定を行う領域判定部をさらに有し、
前記分離部が前記領域判定部による判定結果に基づいて、前記動画フレームデータ及び前記静止画フレームデータのうちの少なくとも一方の生成を行う
ことを特徴とする請求項２又は６に記載の遠隔表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の第１の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像内の動画領域の画素の画素値を保持し、その他の領域の画素の画素値を予め定めた一定値で置き換えることで生成した動画フレームデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークを介して前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードして動画領域を含む画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域を含む画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
本発明の第２の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大することで得られたものであり、
前記情報処理装置が、
前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
受信した前記ビデオストリームをデコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
本発明の第３の態様の遠隔表示装置は、
情報処理装置の表示画面での表示のために生成された表示画像を該情報処理装置にネットワークを介して接続されたデジタルテレビ受像機の表示画面上に表示する遠隔表示装置において、
前記情報処理装置が、
前記表示画像に含まれる動画領域の画像が、前記情報処理装置内で元の画像を拡大して得られたものであるか否かの判定を行い、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、前記元の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、前記動画領域の画像を表すデータを圧縮符号化して、ビデオストリームとして前記ネットワークに送出し、
前記表示画像内の静止画領域のデータをビットマップデータとして、前記ネットワークに送出し、
前記デジタルテレビ受像機が、
前記ネットワークから前記ビデオストリーム及び前記ビットマップデータを受信し、
前記動画領域の画像が、前記元の画像を拡大することで得られたものである場合には、受信した前記ビデオストリームを、デコードし、さらにピクチャー・イン・ピクチャー機能により拡大して前記動画領域の画像を再生し、
前記動画領域の画像が、前記元の画像を拡大することなく得られたものである場合には、受信した前記ビデオストリームをデコードして前記動画領域の画像を再生し、
受信した前記ビットマップデータから前記静止画領域の画像を再生し、
前記再生された動画領域の画像と前記再生された静止画領域の画像を合成して、合成により得られた合成画像を前記デジタルテレビ受像機の表示部で表示することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
動画フレームデータ３２０は、検出された動画領域３１１、３１２の画素の画素値を保持するとともに、静止画領域３１３の画素の画素値を予め定めた一定値に置き換えたものであり、上記置き換えにより生成された領域が符号３２３で示されている。
静止画フレームデータ３３０は、静止画領域３１３の画素の画素値を保持するとともに、動画領域３１１、３１２の画素の画素値をグラフィックスデータにおける透過部分に相当する値に置き換えたものであり、上記置き換えにより生成された領域が符号３３１、３３２で示されている。
動画フレームデータ３２０で表される画像及び静止画フレームデータ３３０で表される画像はともに、ＰＣ１００の表示画面１０７ａの画像と同じサイズ（画素数）のものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
図５（ｂ）に示される動画フレームデータ３２０は、ビデオエンコード部１０４で圧縮符号化され、エンコード画面が生成される。エンコード画面（を表すデータ）は、データメモリ１１３内のメモリ領域で構成されるフレームバッファに格納された後、符号化されたビデオストリームとしてネットワークインターフェース部１０６に送られ、ネットワークインターフェース部１０６からネットワーク３００に送出される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
すなわち、図５（ｂ）の画面のうちの動画領域３１１、３１２のデータが抽出され、図５（ｃ）の画面のうちの領域３３１、３３２（透過部分）に嵌め込まれた合成画像が得られる。
デジタルテレビ受像機２００の表示画面２０７ａのサイズ（画素数）が、ＰＣ１００の表示画面の１０７ａのサイズ（画素数）と異なる場合には、スケーリングが行われる。
このスケーリングは、合成部２０６で、画面合成後に行ってもよく、合成前に動画領域と静止画領域とで別々に行ってもよい。
スケーリングの機能も、デジタルテレビ受像機用集積回路２１０が通常備えている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
本実施の形態では、このような事態を避けるため、拡大前の動画像を表すデータをビデオエンコード部１０４に送り、エンコードを行わせる。このようにするためには、ＰＣ１００のソフトウェアを変更して、拡大前の動画像を表すデータをビデオエンコード部１０４に供給し、一方、分離部１２３では、動画領域の画素の画素値を保持した画像データ（実施の形態１における「動画フレームデータ」）を生成しないこととすれば良い。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
分離部１２３は、領域判定部１０２による判定結果に基づいて、静止画領域を抽出する。即ち、動画領域３５２の画素の画素値をグラフィックスデータにおける透過部分に相当する値に置き換え（置き換え後の領域を符号３６２で示す）、その他の領域３５３を元の画素の画素値で構成した静止画フレームデータ３６０（図８（ｄ））を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
一方、ビデオデコード部２０３は、ビデオストリーム３６１（図８（ｃ））をデコードして、ストリーミングデコード部１２１の出力で表される画像３５１（図８（ａ））と同じ内容の画像３７１（図８（ｅ））を再生乃至復元する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
選択部１３１は、表示画像生成部１０１で、入力された動画を拡大したか否かを示す情報Ｅｙを受けて、該情報に基づいて、ストリーミングデコード部１２１から出力される動画を表すデータと、分離部１０３から出力される動画フレームデータのいずれかを選択して出力する。即ち、拡大が行われた場合には、ストリーミングデコード部１２１の出力をビデオエンコード部１０４に供給し、拡大が行われなかった場合には、分離部１０３から出力された動画フレームデータをビデオエンコード部１０４に供給する。