(57)【特許請求の範囲】
【請求項１】
ＴＶ会議端末、映像データの送信を行うＴＶ会議サーバ含むＴＶ会議システムと連携さ
れ、データおよびデータ作成プログラムを管理するシンクライアントサーバと、上記シン
クライアントサーバのデータ作成プログラムを外部からの遠隔操作をもって起動し、該プ
ログラムのデータ作成プログラムに基づき作成されるデータを受信表示することが可能な
シンクライアント端末と、上記シンクライアント端末と上記シンクライアントサーバを結
合し、上記シンクライアント端末と上記シンクライアントサーバの各リモートコントロー
ル部を通して上記データを通信するネットワークとから構成されるシンクライアントシス
テムにおいて、
上記ネットワークに上記映像データの送信制御を行い、該映像データを上記シンクライ
アント端末に送信する映像送信するＴＶ会議制御部を含む上記ＴＶ会議サーバを結合し、
上記シンクライアントサーバには、
上記シンクライアント端末で表示され、映像データが再生される領域を決定する透過色
を含む画面データを作成する手段と、
シンクライアント端末用ＴＶ会議プログラムと、
上記シンクライアント端末用ＴＶ会議プログラムに基づき上記画面データ作成手段により
作成された画面データを記憶する画面データ表示用記憶手段と、
上記シンクライアント端末用ＴＶ会議プログラムに基づき、上記画面データに更新があった場合、上記記憶手段の画面データを分割したブロック毎に更新されているかを検査し、上記画面データの中から更新されているブロックのみを取り出し、当該更新されたブロックごとに透過色を含むかを検査し、透過色を含まないブロックのみに圧縮処理を行い、上記更新されたブロック、及び、映像表示位置と映像表示サイズと上記透過色からなる映像表示制御データを上記ネットワークを通して上記シンクライアント端末に送信する上記リモートコントロール部を含む画面データ送信手段を設け、
上記シンクライアント端末には、
上記シンクライアントサーバから送られてくる上記画面データを受信する画面データ受
信手段と、
上記ＴＶ会議サーバから送られてくる映像データを受信する映像受信手段と、
上記画面データと上記映像データを記憶する表示用記憶手段と、
上記記憶手段の上記画面データと上記映像データとを同一画面として表示する映像描画手
段を設け、
上記シンクライアントサーバは上記シンクライアント端末用ＴＶ会議プログラムに基づ
き、上記透過色を含むブロックが更新されると、上記ＴＶ会議サーバのＴＶ会議制御部に映像フォーマットを含む上記映像データの上記シンクライアント端末への送信要求をし、
上記ＴＶ会議サーバのＴＶ会議制御手段は上記送信要求に応答して上記映像データを上
記シンクライアント端末に送信し、
上記シンクライアント端末は上記シンクライアントサーバから上記リモートコントロー
ル部を含む上記ネットワークからなる遠隔操作通信路を通して送られてくる画面データと
上記ＴＶ会議サーバから上記リモートコントロール部を含まない上記ネットワークからな
る非遠隔操作通信路を通して送られてくる映像データとを別々の通信路にて受信し、
上記映像描画手段は上記映像表示制御データに基づき上記画面データの透過色部に上記映像データを重ね合わせ表示し、上記シンクライアント端末をＴＶ会議端末として利用可能とすることを特徴とする
シンクライアントシステム。
【請求項２】
データおよびデータ作成プログラムを管理するシンクライアントサーバであって、
シンクライアント端末からの遠隔操作をもってアプリケーションプログラムが起動され
、該アプリケーションプログラムに基づき、上記シンクライアント端末で表示され、かつ
映像が再生される領域を決定する透過色が設定された複数の画面ブロックデータからなる
アプリケーション画面データを生成する手段と、
該アプリケーション画面データを、シンクライアントサーバとシンクライアント端末と
を結合するネットワークおよび上記シンクライアント端末から上記シンクライアントサー
バを遠隔操作するリモートコントロール手段とから構成される遠隔操作通信路を介して配
信する手段と、
上記画面データの透過色部に重ね合わせて表示される映像データを上記透過色を含む画面ブロックデータが更新された場合に上記遠隔操作通信路とは別の非遠隔操作通信路により上記シンクライアント端末に配信する映像送信手段と、
を具備し、
上記リモートコントロール手段が、上記アプリケーション画面データに更新があった場合、上記画面データを分割したブロック毎に更新されているかを検査し、上記画面データの複数の画面ブロックデータに上記透過色を含むかどうかの判定を行い、該判定により透過色を含む場合は、該ブロックを圧縮せずにそのまま上記映像送信手段を通して送信し、及び、映像表示位置と映像表示サイズと上記透過色からなる映像表示制御データを送信する手段を有したシンクライアントサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シンクライアントシステムおよびシンクライアントシステムに使用して好適なシンクライアント端末、シンクライアントサーバ装置等に関し、さらに詳しくはシンクライアントシステムに適用されるシンクライアント端末が、例えばＴＶ電話端末やＴＶ会議端末としても利用可能なシステム、端末、サーバ装置、方法等に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータ（ＰＣ）やネットワーク機器の低価格化が進み、従業員の大半にＰＣのような端末を配布し、業務の効率化を図っている企業が多数を占めるようになっている。ＰＣが低価格化し、利用が増えると、企業内の機器管理者のメンテナンス作業もＰＣの数に比例して増える。このメンテナンス作業とは、例えばオペレーティングシステム（ＯＳ）や業務アプリケーション（ＡＰ）のバージョンアップやバグフィックス、ハードウェア的な障害への対応、ウィルス対策やウィルス駆除などが挙げられる。このようなメンテナンスなどにかかる運用管理コストは非常に大きくなり、無視できない問題となってきている。これは、従業員数が増加すると、それに比例して莫大なものになる。
【０００３】
この管理コストを低減する一手法として、サーバベースコンピューティングと呼ばれるシステム運用の方式がある。これは、例えば、従業員が使うＰＣ（クライアント）には最低限の機能しか持たせないようにし、サーバ側でアプリケーション（プログラム）やファイル（含データ）などの資源を一括管理し、該プログラムやデータを、ＰＣ端末からリモート操作でアクセスするシステムである。
【０００４】
更に詳しくは、ＰＣ端末で作業を実行する際には、ＰＣ端末側のキーボードやマウス等の操作をもって、サーバ側のアプリケーションプログラムを起動し、該アプリケーションに基づきＰＣ端末側で表示される画面データを作成し、該画面データをＰＣ端末側にリモートコントロール（以下、リモコンと称する）にて送信してなるものであり、また端末側にはデータが保存できないように構成してなるものである。端末とサーバとを結合するＩＰネットワークには、ＰＣ端末からのキーボート（キーストローク）／マウス（マウスクリック）データやサーバからのアプリケーションの画面データ（画面遷移）等の情報が流れる。ここで、リモコンによる画面データの送信は、つまりサーバ側からネットワークを通してＰＣ端末側に送信され、ＰＣ端末側で表示される画面データの送信方法は、サーバ側にて画面の更新部分を検出し、更新された画面データを圧縮して送信し、ＰＣ端末側ではこれを受信して画面情報として設定することにより画面更新を行う。この方式では、更新された差分情報だけが転送される事により、ネットワーク上を流れるデータ転送量は低く抑えることができる。
【０００５】
以上のように、ＰＣ端末にリモート操作プログラム以外のアプリケーションプログラムやデータを保存させないようにすることによって、ハードディスク装置などの記憶装置を持たないシンクライアント（Thin Client：以下ＴＣと略す）端末を、サーバベースコンピューティングの端末として利用することが可能である。ＴＣ端末は、昨今の個人情報保護法施行に基づき、個人情報を漏洩しない端末として注目されており、このＴＣ端末を使ったサーバベースコンピューティングシステムが普及しつつある。
【０００６】
シンクライアント端末を利用したサーバベースコンピューティングシステムは、情報漏洩対策システムとして非特許文献１にて解説されている。従来方式の画面転送型のほか、ネットワークブート型、ブレードＰＣ型などの特長が解説されている。
【０００７】
【非特許文献１】日経コミュニケーション(2005.11.25号)P50-P53
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記従来ＴＣシステムにおいて、転送画面データの変更差分データ量が比較的少ない静止画を含む画面データを送る場合には特に問題はない。しかし、動画などの映像を画面データとしてリモートコントロール（以下、リモコンと略す）を通して送信（リモコンによる画面データ転送）しようとすると、動画の場合、上記変更差分データの量が大きくなり、その結果として常に膨大な量の変更差分データがＩＰネットワーク上に流れることになる。その結果、ＩＰネットワークの負荷が上がり、ＩＰネットワーク帯域を確保できない場合は、変更差分データの欠落が発生し、映像（動画）画質が落ちるという課題があった。
【０００９】
本願発明の目的は、映像（動画）をＴＣ端末側に転送（又は送信や配信）するに適したシンクライアントシステム、サーバ装置および、該転送情報を受信し表示するＴＣ端末を提供することにある。
【００１０】
また、他の目的は、ＴＣ端末をＴＶ会議端末として利用することが可能なシンクライアントシステム、サーバ装置、端末、方法を提供することにある。
【課題を解決するための手段】
【００１１】
本願発明は、係る課題に鑑みなされたものであり、ＴＣサーバ装置側では、ＴＣ端末で表示される、画面データ（静止画）を作成し、リモコン−ＩＰネットワーク（論理的な通信路）、つまりリモコンを含む遠隔操作通信路を通してＴＣ端末側に送信（配信）する。画面データには、該画面データとは別に配信される映像が再生される領域を予め決定する透過色を設定してある。また、映像（動画）は、リモコン（遠隔操作通信路）とは別の通信路（ＩＰネットワークの論理的な通信路）、つまりリモコンを通さずにＴＣ端末側に配信する。
【００１２】
ＴＣ端末側では、ＴＣサーバ装置から送られてくる画面データと映像（動画）をそれぞれ別の通信路を介して受信し、これらの画面データと映像をオーバーレイ表示（screen overlay）方法により重ね合わせて表示可能に構成する。
【発明の効果】
【００１３】
本発明によれば、映像（動画）は、画面データを送信する遠隔操作通信路とは別の通信路にて、映像データ送信に最適なデータ形式にてＴＣ端末へ送信することにより、ネットワーク帯域消費を抑えることができる。
【００１４】
また、静止画ではなく動画再生するために最適なデータ形式で送ることができるため、動画再生するＴＣ端末側で高画質の映像を再生することができる。
【００１５】
また、ＴＣ端末側に音声の送受信手段と映像の送信手段を実装することにより、ＴＣサーバ装置とは異なる他の通信端末（例えば映像配信サーバ装置）と音声と映像の送受信ができるＴＶ電話端末またはＴＶ会議端末として利用可能である。
【００１６】
また、ＴＣ端末ではデータ、音声、映像等を保存することができないように構成しているため、上記通信端末が音楽や映像の配信サーバ装置である場合は、音楽や映像配信サービス時の著作権保護が可能な特徴を持つ端末となりうる。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明の一実施例を説明する上で、前提となるＴＣ端末を利用したＴＣシステムの概略図である。
【００１８】
同図において、ＴＣシステムは、主に個人が自由に利用可能なＴＣ端末１３０と、ＴＣ端末１３０が接続して実行することができるアプリケーションプログラムやデータ等を管理するＴＣサーバ装置１１０と、それらを接続するＩＰネットワーク１９０から構成される。
【００１９】
ＴＣサーバ装置１１０は、ＯＳ（オペレーションシステム）１１４、各種のアプリケーションプログラム１１５、記憶装置１１３、ＣＰＵ１１１、メモリ１１２、リモコン（リモコンＳＶ）１１６等を備えている。
【００２０】
ＴＣ端末１３０は、該ＴＣサーバ装置１１０から転送されるデータを固定磁気ディスク装置などの外部記憶装置に記憶できないように構成されており、入出力デバイス（表示装置１３６、キーボード１３７、マウス１３８）とその制御部（デバイス制御部１３３）、データ送受信を行うリモコン（リモコンＣＬ）１３５、ＯＳ１３４、ＣＰＵ１３１、メモリ１３２を主な構成要素としている。
【００２１】
ユーザが所望するＴＣ端末１３０のデータ処理は、ＴＣサーバ装置１１０側のアプリケーション１１５で実行される。このため、ＴＣ端末１３０におけるアプリケーションプログラムの更新等が不要になり、端末側の管理コスト削減が図れると共に、ＴＣ端末１３０には機密データなどが保持されないため、万が一、ＴＣ端末１３０の紛失や盗難などが発生しても、情報の外部漏洩を防ぐ、高いセキュリティを実現できる。
【００２２】
ＴＣサーバ装置１１０とＴＣ端末１３０との間の入出力情報（画面データ及びキーボート／マウスデータ）の送受信は、リモコンＳＶ１１６とＩＰネットワーク１９０（論理的な通信路）とリモコンＣＬ１３５とをもって構成される通信路（セッション）で、それぞれＩＰパケットの送受信により実行される。
【００２３】
ＴＣサーバ１１０側の画面データを、リモコンＳＶ１１６、ＩＰネットワーク１９０、リモコンＣＬ１３５を通してＴＣ端末１３０側に転送する通信経路（セッション）は、以下遠隔操作通信路と称する。
【００２４】
かかるＴＣシステムにおいて、ＴＣサーバ１１０のアプリケーションプログラム１１５に基づき作成される画面データ（アプリケーションの画面）１６０は、遠隔操作通信路を通してＴＣ端末１３０側に転送され、ＴＣ端末１３０側の表示装置１３６にて表示される。
【００２５】
図２は、ＴＣサーバ装置の出力情報である画面データがＴＣ端末で表示される一連の処理を示す概略図である。
【００２６】
図２のＴＣサーバ装置およびＴＣ端末は、構成の一部を省略して示しているが、図１のＴＣサーバ装置１１０およびＴＣ端末１３０と同一の構成を備えており、ＴＣサーバ装置１１０の画面表示用メモリであるＶＲＡＭ（Video Random Access Memory）−ＳＶ２１０はメモリ１１２の一部であり、ＴＣ端末１３０の画面表示用メモリであるＶＲＡＭ−ＣＬ２２０はメモリ１３２の一部である。
【００２７】
図２において、ＴＣサーバ装置１１０上のアプリケーションプログラム１１５が画面表示処理として動作した場合、該アプリケーションプログラムから画面データ２３１がＶＲＡＭ−ＳＶ２１０に書き込まれる。リモコンＳＶ１１６は、ＶＲＡＭ−ＳＶ２１０の画面データを常に監視しており、画面データの更新を検知すると変更差分データを取得２３２し、遠隔操作通信路を通してリモコンＣＬ１３５に送信する。リモコンＣＬ１３５はこの変更差分データを受信し、画面の更新情報としてＶＲＡＭ−ＣＬ２２０に書き込む２３３。これにより更新された画面情報は、デバイス制御１３３を経由して表示装置１３６に表示されることになる。
【００２８】
以上の一連の動作により、ＴＣサーバ装置１１０側のアプリケーションの処理結果が、ＴＣ端末１３０側で表示されることになる。
【００２９】
次に、図２の画面データ転送処理におけるリモコンの処理フローを、図３および図４を利用して以下に詳述する。
【００３０】
図３（ａ）は、ＴＣサーバ装置１１０の画面イメージを示す図であり、画面データ３００はすべてＶＲＡＭ−ＳＶ２１０に保持される。画面データ３００は画面解像度と表示色数に応じた情報を持つ。例えば、画面解像度が１２８０×１０２４ドット、１０２４×７６８ドットなどであり、表示色数は２４ビット色／１６ビット色／８ビット色などである。また、画面更新の検出のために、画面を一定の大きさ単位に分割する。ここでは、例えば、画面解像度が１０２４×７６８ドットで、ブロックの大きさを１６×１６ドットにした場合の画面イメージ３００と画面ブロック３０１を図示している。
【００３１】
図３（ｂ）は、画面ブロックテーブル３１０を説明する図である。画面ブロックテーブル３１０は、前記画面ブロックの左上の画面ブロックから右向きに順にブロック番号３１１を付与し、対応するブロックデータ３１２を保持しておくテーブルである。ブロックデータ３１２は、１ドット毎の色情報をデータ並びで保持しており、例えば、２４ビット色で「白」を表す場合は、ＲＧＢデータで(ＦＦ，ＦＦ，ＦＦ)となる。この画面ブロックテーブル３１０は、リモコンＳＶ１１６が画面更新の有無を検出するために利用するものである。
【００３２】
図４（ａ）はリモコンＳＶ１１６の画面データ送信処理フローを示し、図４（ｂ）はリモコンＣＬ１３５の画面データ受信フローを示すものである。
【００３３】
図４（ａ）において、リモコンＳＶ１１６は、最初に画面ブロックテーブル３１０を初期化する（処理４１１）。例えば、画面ブロックテーブル３１０の全ブロックデータを（ＦＦ，ＦＦ，ＦＦ）に設定する。
【００３４】
次に、画面情報に更新があればリモコンＣＬに変更差分データを送信するループに入る（処理４１２〜処理４１７）。すなわち、図３（ａ）に示す画面左上のブロックから右側に順番に画面情報を取り出し、画面右下のブロックまで取り出したら再び左上のブロックに戻る画面監視ループである。
【００３５】
画面監視ループの最初では、ＶＲＡＭ−ＳＶ２１０から指定されたブロック番号に対応する画面ブロックデータを取得する（処理４１２）。
【００３６】
次に、取得した画面ブロックデータと、画面ブロックテーブルに格納されている、該当ブロック番号のデータとを比較する（処理４１３）。
【００３７】
データ比較の結果、データが一致する場合は画面が更新されていないと判断し、次のブロックデータ取り出し処理(処理４１２)に戻る。
【００３８】
データ比較の結果、データが不一致の場合は画面が更新されていると判断し、取得した画面ブロックデータを画面ブロックテーブルの該当するブロック番号の値として格納する（処理４１４）。
【００３９】
次に、取得した画面ブロックデータを圧縮する（処理４１５）。圧縮方法にはさまざまな方式があるが、例えば、減色（例えば２４ビット色を１６ビット色または８ビット色に変換）や、静止画圧縮方式であるＪＰＥＧ圧縮などを利用する。
【００４０】
次に、圧縮結果の画面ブロックデータをブロック番号と共に遠隔操作通信路を通してリモコンＣＬ１３５に送信する（処理４１６）。
【００４１】
最後に、この一連の処理を一定間隔で繰り返し、リモコンＳＶ１１６のプログラムが終了するまで続ける（処理４１７）。
【００４２】
次に図４（ｂ）を用いて、リモコンＣＬ１３５の処理フローを説明する。
【００４３】
リモコンＣＬ１３５では、リモコンＳＶ１１６から送られてくる画面ブロックデータを受信し、これを該当するＶＲＡＭ−ＣＬ２２０に書き込むことにより、ＴＣ端末１３０側の表示装置１３６に更新画面を表示するものである。
【００４４】
まず、リモコンＳＶ１１６から送られてくるブロック番号と画面ブロックデータを受信する（処理４３１）。
【００４５】
次に、圧縮されている画面ブロックデータを伸張する（処理４３２）。
【００４６】
次に、受信したブロック番号に対応するＶＲＡＭ−ＣＬ２２０の該当箇所に、伸張した画面ブロックデータを書き込む（処理４３３）。これにより、受信した画面更新内容が表示装置１３６に表示される。
【００４７】
最後に、リモコンＣＬ１３５の動作が終了するまで前記の一連の処理を繰り返す。
【００４８】
以上の図４（ａ）および（ｂ）に示すリモコン間の画面データの受け渡し処理では、画面変化のあるブロックだけを効率良く送信できることになる。
【００４９】
係る画面データ転送技術にあっては、上述したように静止画を基本とする画面データを送る場合には特に問題はない。文書や表計算などのアプリケーションプログラムの画面表示は静止画であるため、その変更差分データ量、つまり転送データが比較的少なくて済むので、ネットワーク上の負荷は特に問題となることはない。
【００５０】
しかし、映像（動画）を再生するアプリケーションプログラムの場合は、画面更新の頻度が非常に高くなる。特に映像（動画）の画面サイズが大きい場合には画面更新の頻度および更新される領域が大きくなる。これを前述の図４の処理方式にて実施した場合は、画面ブロックの変更判定（処理４１３）では映像を再生するほぼすべてのブロックが変更ありの判定となり、これらすべてのブロックがＴＣ端末側に送信されることになる。すなわち、ＴＣサーバ装置１１０側では、一つの映像（動画）データを複数のブロックに分割して、これをブロック単位に圧縮して送信し、ＴＣ端末１３０側では、ブロック単位に受信したデータを伸張して、最終的に元の一つの映像画面に組み立てるということをすることになる。このように前述の処理方式は、映像（動画）を送る場合には効率が悪く、ネットワーク負荷も大きくなるという課題がある。
【００５１】
本発明は、係る課題を是正するためになされたものである。以下、その実施例について説明する。
【実施例１】
【００５２】
図５は、本発明の方式を概略的に示す図である。すなわち、図１に示すＴＣ端末を利用したＴＣシステムにおいて、映像（動画）を高画質で再生するための方式を示している。
【００５３】
ＴＣサーバ装置５１０は、その一部の構成を省略しているが、図１および図２に示すＴＣサーバ装置１１０と同一の構成を備えており、さらに、映像データの映像をＩＰネットワーク１９０の論理的な通信路（非遠隔操作通信路）を介して送信するための映像再生処理部５１１を備えている。サーバ装置と端末間の呼制御は、例えばＴＣＰ（Transmission Control Protocol）またはＵＤＰ（User Datagram Protocol）で実行し、映像通信は、例えばＴＣＰやＵＤＰを使用する。ＴＣ端末５２０は、その一部の構成を省略しているが、図１および図２に示すＴＣ端末１３０と同一の構成を備えており、さらに、映像描画処理部５２１を備えている。
【００５４】
本発明では、図５に示すように、ＴＣサーバ装置５１０からＴＣ端末５２０に画面データを伝えるとき、従来の画面データを通知する通信路５４４と、映像データを通知する通信路５４３を分けて送信し、受信側で重ねあわせて表示させる方式である。
【００５５】
映像再生処理部５１１は、映像データ格納部５４０に格納されている映像データを取得し、ＩＰネットワーク１９０の論理的な通信路（非遠隔操作通信路）、つまりリモコンを含む遠隔操作通信路とは別の通信路５４３を通してＴＣ端末５２０へ配信する。この画面イメージは図５の５６１に示すとおりである。ＴＣ端末５２０はこの映像を受信し、映像描画処理部５２１にてＶＲＡＭ−ＣＬ２２０に書き込まれる。一方、ＶＲＡＭ−ＣＬ２２０には、リモコンＣＬを介した画面データが既に書き込まれている。この画面イメージは図５の５６２に示すとおりである。映像描画処理部５２１では、映像データを書き込む際には重ね合わせ表示をする。この重ね合わせ表示は、オーバーレイ表示（screen overlay）手法を用いる。このオーバーレイ表示を用いることにより、静止画の中に映像（動画）を再生した画面を組合せて表示することができるため、映像（動画）を高画質で表示することができる。これにより、表示装置１３６に最終的に表示される画面イメージは例えば、図５の５６３に示すとおりである。
【００５６】
次に、本発明による映像（動画）の転送および表示について図６の処理フローを用いて詳述する。
【００５７】
図６（ａ）は、ＴＣサーバ装置５１０側の映像再生処理フローを示し、図６（ｂ）はＴＣ端末５２０側の映像描画処理フローを示すものである。
【００５８】
まず、表示する映像の制御データを、遠隔操作通信路を通してＴＣ端末５２０側に送信する（処理６１１）。映像表示制御データとしては、映像表示位置、映像表示サイズ、透過色である。映像表示位置は、映像再生処理部５１１が設定した映像を表示する画面位置であり、画面の左上からのドット数で表され、例えば（１００，１００）のようになる。映像表示サイズは、映像再生処理部５１１が設定した映像を表示する画面サイズであり、縦横の画面ドット数で表される。映像表示サイズは映像フォーマットによりサイズが決まっていることもあり、ＱＣＩＦ（Quarter Common Intermediate Format）では１７６×１４４ドット、ＱＶＧＡ（Quarter Video Graphics Array）では３２０×２４０である。透過色は、オーバーレイ表示用に定義する色データである。透過色は、透過色が設定されているドットが透過になる性質上、あまり利用されない色を定義するのが普通であり、例えばＲＧＢが（ＦＦ，００，ＦＦ）のようなものである。
【００５９】
次に、ＶＲＡＭ−ＳＶ上の映像表示領域に透過色を設定する（処理６１２）本処理によりＶＲＡＭ−ＳＶに透過色が設定されると、前述した図４に示すリモコンの画面データ転送処理により、画面の変更差分データとしてＴＣ端末側に送られ、リモコンＣＬ５２２を介してＶＲＡＭ−ＣＬ２２０中に書き込まれる。
【００６０】
次に、映像送信処理を実行する（処理６１３）。映像送信処理は、映像データ読込み６１４、映像データのフォーマット変換６１５、映像データの送信処理６１６を繰り返し、一連の映像データを送り出す。一般に映像データはさまざまな形式（映像フォーマット）で記録されているため、映像フォーマット変換６１５により、ＴＣ端末側で読込める形式に変換する。映像フォマット変換はネットワークの負荷が軽減され、ＴＣ端末にとって最適化となるようにすると良い。
【００６１】
図６（ｂ）は、ＴＣ端末５２０側の映像描画部５２１の処理フローを示す。
【００６２】
まず、ＴＣサーバから送られて来る映像表示制御データを受信し、映像表示位置、映像表示サイズ、透過色をメモリ１３２に記憶する（処理６２１）。
【００６３】
次に映像受信処理では、ＴＣサーバ装置からの映像データを順次受信し、映像データを組立てＶＲＡＭ−ＣＬに書き込むことにより映像を再生する処理である（処理６２２）。映像受信処理６２２では、映像データ受信６２３、映像データデコード６２４、オーバーレイ描画６２５の一連の処理により映像をＶＲＡＭ−ＣＬに書き込む。映像を書き込む場合には処理６２１で受信した表示位置、表示サイズに従い書き込み、透過色を使ってオーバーレイ方式により書き込む。
【００６４】
本方式により、映像データを転送するのに最適な映像フォーマットを利用することによりネットワーク負荷を最小限にすることが出来る。
【００６５】
また、映像データを高画質で再生し、オーバーレイ表示により、映像データは高画質で再生できるために、ＴＣ端末側で高画質な映像表示が可能となる。
【実施例２】
【００６６】
図５および図６に示す本発明による映像表示時に、図４に示すリモコンの画面データ処理をそのまま用いると、映像表示領域で正しくオーバーレイ表示されない。すなわち、透過色を含む画面ブロックデータに対して減色処理をすると、透過色の色情報が変わることになり、変更された色情報の部分には正しくオーバーレイ表示されない。
【００６７】
図７は、この問題を解決するためのリモコンの処理方式を示したフローである。すなわち、図４（ａ）のＴＣサーバ側処理に、画面ブロックデータに透過色を含むかどうかの判定を追加する（ステップ７１１）。この判定により、透過色を含む場合は、そのブロックを圧縮せずにそのまま送信する。一方、図４（ｂ）のＴＣ端末側の処理には、データ受信後、圧縮データかどうかの判定を設ける（ステップ７３１）。これはブロックデータの容量から圧縮されているかどうかを判定するものである。圧縮されていないデータである場合は、このデータをそのままＶＲＡＭ−ＣＬに書き込むようにする。
【００６８】
これによりＴＣサーバ装置側で設定した透過色は、正しくＴＣ端末側に伝わりＶＲＡＭ−ＣＬに設定されるため、映像表示領域には正しくオーバーレイ表示がなされるようになる。
【実施例３】
【００６９】
図８は、ＴＣ端末をＴＶ会議端末として利用する場合の構成および動作を説明する図である。
【００７０】
ＴＶ会議システムは、ＴＶ会議サーバ装置９２０とＴＶ会議端末９３０、９４０、９５０とこれらを結合するＩＰネットワーク１９０から構成される。
【００７１】
ＴＶ会議サーバ装置９２０は、ＴＶ会議システム全体を制御するＴＶ会議制御部９２１が搭載されている。ＴＶ会議では複数拠点間で音声と映像を共有する必要があり、このための機能としてＭＣＵ（Multipoint Control Unit：多地点接続装置）９２２が、ＴＶ会議制御部９２１内部に搭載されている。ＭＣＵ９２２は、多地点でのＴＶ会議では、各ＴＶ会議端末から音声・映像データを受信し、音声はミキシングした後にＴＶ会議端末に送信し、映像は送信する端末の種別に応じて合成やフォーマット変換を施した後にＴＶ会議端末に送信している。
【００７２】
ＴＶ会議端末は、ＴＶ会議専用端末９５０とＰＣ端末９４０とＴＣ端末９３０であるが、ＴＣ端末９３０をＴＶ会議端末として機能させるためにＴＣサーバ装置９１０が構成される。
【００７３】
ＴＶ会議専用端末９５０は、カメラ９５１、映像表示画面９５２、マイク９５４、スピーカ９５３などから構成され、ＴＶ会議サーバ装置９２０と音声・映像データの送受信９６３が可能である。
【００７４】
ＰＣ端末９４０はＴＶ会議端末として機能するために、カメラ９４２およびヘッドセット９４３をＵＳＢポートに接続し、本体にはこれらのデバイスをコントロールして、ＴＶ会議サーバ装置９２０と音声・映像データの送受信９６４ができるアプリケーションプログラム９４１を搭載している。
【００７５】
ＴＣ端末９３０をＴＶ会議端末として利用するために、図５のＴＣサーバ装置５１０およびＴＣ端末５２０の構成に必要機能を追加している。すなわち、ＴＣサーバ装置９１０には、ＴＣ端末用ＴＶ会議プログラム９１１を追加し、ＴＣ端末９３０には、カメラ９４２およびヘッドセット９４３を接続し、これらを制御する映像送信部９３１および音声送受信部９３２を追加している。本構成によるＴＣサーバ装置９１０とＴＣ端末９３０とで、ＴＶ会議端末として機能するＰＣ端末９４０と同等の位置づけになる。
【００７６】
前記構成されているＴＶ会議システムで送受信される音声・映像データは、すべてＩＰネットワーク１９０を経由するものであり、音声・映像データはＩＰネットワーク上ではＩＰパケットとして受け渡されるものである。また、ＴＶ会議サーバ装置９２０と各ＴＶ会議端末とはお互いのＩＰアドレスを元に双方向通信がなされており、ＴＣ端末用ＴＶ会議プログラム９１１はＴＶ会議サーバ装置に対してはクライアントの関係で通信がなされている。
【００７７】
ＴＣ端末９３０における音声の送受信は、音声送受信部９３２が行う。音声送受信部９３２は、ヘッドセット９４３のマイクから入力される自音声をＭＣＵ９２２に伝え、逆にＭＣＵ９２２から送られてくる音声を受信して、ヘッドセット９４３のスピーカを鳴らす。
【００７８】
ＴＣ端末９３０における映像データの送信は、映像送信処理部９３１が行う。映像送信部９３１は、接続されたカメラ９４２から入力される自映像をＭＣＵ９２２に送信するものである。
【００７９】
ＴＣ端末９３０における映像データの受信処理には、本発明の方式を利用するものである。すなわち、図５では、映像データはＴＣサーバ装置５１０が送信しているが、図８の構成では映像データはＭＣＵ９２２が送信することになる。
【００８０】
ＭＣＵからの映像データを映像描画処理部５２１にて受信し、ＴＣ端末で高画質表示するために、本発明の方式を利用する。
【００８１】
まず、ＴＣ端末用ＴＶ会議プログラム９１１は、ＭＣＵ９２２から受信する映像の表示領域に透過色を設定してＶＲＡＭ−ＳＶ２１０に書き込む。この後、リモコンＳＶ５１２およびリモコンＣＬ５２２が図７に示す処理フローに従って、透過色を含む画面データをＶＲＡＭ−ＣＬ２２０に書き込む。
【００８２】
次に、ＴＣ端末用ＴＶ会議プログラム９１１は、ＴＣ端末９３０に映像表示のための制御データとして、映像の表示位置、表示サイズおよび透過色を通知する（９６２）。これは図６に示す処理６１１および処理６２１である。加えて、実際の映像データが送られてくるＴＶ会議サーバのＩＰアドレスも通知する。
【００８３】
その後、ＴＣ端末用ＴＶ会議プログラム９１１は、ＴＶ会議制御部９２１に映像データ送信要求９６５を出す。このときのパラメータとして、送信先ＩＰアドレスとしてＴＣ端末９３０のＩＰアドレスを、また映像フォーマットとして映像描画処理部５２１が扱う映像フォーマットを指定する。
【００８４】
これを受けたＴＶ会議制御部９２１は、指定されたＩＰアドレスに指定された映像フォーマットで映像データを送信する（９６７）。
【００８５】
映像描画処理部５２１は、この映像データ９６７を受信し、既に透過色が設定されているＶＲＡＭ−ＣＬ２２０に、オーバーレイ手法を用いて重ね合わせ表示を行う。
【００８６】
これにより、ＴＣ端末９３０の表示装置１３６には、ＭＣＵ９２２で合成された多地点の映像データが高画質で表示されることになる。
【００８７】
本方式を利用することにより、２者間のＴＶ電話や、多地点のＴＶ会議での映像が高画質で表示できることになり、ＴＶ会議で重要となる相手の顔の表情などをより鮮明に表現することが可能となる。
【００８８】
また、音声・映像データはＩＰネットワーク上を最適なフォーマットで通すことができるため、ネットワーク負荷を最小限にとどめることができる。
【００８９】
また、ＴＶ会議サーバ９２０は任意の映像配信サーバであっても良く、図８に示すＴＣサーバ装置９１０およびＴＣ端末９３０の構成にて音声・映像を受信することが可能である。これにより、映像広告や映画などをＴＣ端末において高画質で鑑賞することが可能となる。
【産業上の利用可能性】
【００９０】
企業情報システムにおいて、ＴＣ端末上で映像広告などの映像コンテンツを高画質で見ることができる。またＴＣ端末をＴＶ電話やＴＶ会議の端末としても利用できるようになる。
【図面の簡単な説明】
【００９１】
【図１】一般的なシンクライアントシステムの概略構成を示す図
【図２】シンクライアントシステムにおける画面表示の流れを説明する図
【図３】画面ブロックイメージと画面ブロックテーブルを示す図
【図４】リモコンによる画面データの送受信フローを示す図
【図５】本発明における高画質映像表示を実現する構成を示す図
【図６】本発明における映像送信処理および映像描画処理フローを示す図
【図７】本発明におけるリモコンによる画面データの送受信フローを示す図
【図８】シンクライアント端末をＴＶ会議端末として利用可能とする構成を示した図
【符号の説明】
【００９２】
５１０：シンクライアントサーバ装置、５２０：シンクライアント端末、５１１：映像再生処理部、５１２：リモコンＳＶ、２１０：ＶＲＡＭ−ＳＶ、５２１：映像描画処理部、５２２：リモコンＣＬ、２２０：ＶＲＡＭ−ＣＬ、１３３:デバイス制御部、１３６：表示装置
【図１】
0004577267.tif 000002
【図２】
0004577267.tif 000003
【図３】
0004577267.tif 000004
【図４】
0004577267.tif 000005
【図５】
0004577267.tif 000006
【図６】
0004577267.tif 000007
【図７】
0004577267.tif 000008
【図８】
0004577267.tif 000009