(57)【要約】【課題】情報処理装置の表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、遠隔の表示端末装置で表示画面を快適に閲覧できるようにすること。【解決手段】情報処理装置のビデオコントローラから出力される表示画面のフレームデータをフレーム単位で格納するメモリ領域、前後のフレーム間で比較を行い所定の矩形領域単位での相違を検出し、更新された矩形領域を抽出する手段、表示画面の更新された領域を通知するフラグを記録するフラグテーブル、フラグテーブルを参照して伝送すべき表示画面の伝送画面領域を決定する伝送画面領域決定手段、伝送画面領域の画素データを抽出する伝送画面データ抽出手段、伝送画面データを圧縮する画像圧縮手段、圧縮された伝送画面データを表示端末装置に伝送する通信手段を備える。【選択図】　図５
2004086550.tif 000002
【特許請求の範囲】
【請求項１】
表示端末装置に表示画面を伝送する表示画面更新システムであって、
ビデオコントローラと、
ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、
前記実表示画面フレーム記憶手段に記憶された２フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、
前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、
前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、
前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、
前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、
前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システム。
【請求項２】
表示端末装置に表示画面を伝送する表示画面更新システムであって、
ビデオコントローラと、
ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、
前記ビデオコントローラから前記実表示画面フレーム記憶手段へのフレームのデータの出力記録と同時にその出力記録データと前記実表示画面フレーム記憶手段に記録された前フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、
前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、
前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、
前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、
前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、
前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システム。
【請求項３】
前記実表示画面フレーム記憶手段は２以上のメモリで構成され、
フレーム毎に記憶するメモリを変更することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項４】
前記伝送画面データ抽出手段は前記伝送画面領域決定手段によって決定された伝送画面領域の画素データを前記実表示画面フレーム記憶手段から抽出することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項５】
前記実表示画面フレーム記憶手段に記録するフレームの間隔を定めるフレーム間隔数を格納し、フレーム間隔数毎に前記実表示画面フレーム記憶手段にフレームデータの記録をする制御を行うフレーム格納レート制御手段を有することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項６】
所定の期間毎もしくは所定のフレームの発生回数期間毎に表示画面が更新された更新回数を検出し、前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する表示画面更新回数検出手段を有することを特徴とする請求項５記載の表示画面更新システム。
【請求項７】
前記通信手段の送信バッファの残量を検出し、前記バッファの残量に基づいて前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する送信バッファ残量検出手段を有することを特徴とする請求項５記載の表示画面更新システム。
【請求項８】
前記更新矩形領域抽出手段は更新の有無を画面の相違が一定以上か否かにより抽出することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項９】
前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違が１画素でも所定の値以上の場合は更新有とすることを特徴とする請求項８記載の表示画面更新システム。
【請求項１０】
前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違を検出した数が所定の値以上の場合は更新有とすることを特徴とする請求項８記載の表示画面更新システム。
【請求項１１】
前記更新矩形領域抽出手段は所定の矩形領域の画素データを周波数成分へ変換して所定の周波数の成分に相違があると更新有とすることを特徴とする請求項８記載の表示画面更新システム。
【請求項１２】
前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送必要な相違未満の相違の有無を抽出し、
前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、
前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域については所定時間毎に伝送画面領域として決定することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項１３】
前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送不要な相違の有無を抽出し、
前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、
前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域についてはフラグ発生回数が所定の回数以上となった場合に伝送画面領域として決定することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項１４】
分割された画面領域毎に優先度を設定する領域優先度設定手段を有し、
前記領域優先度設定手段で設定した優先度に基づいて画面領域毎の更新時間間隔を決定することを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【請求項１５】
前記フラグテーブルの更新有のフラグが発生した回数を計数し、計数回数に応じて表示画面を幾つかの矩形領域から構成される複数の画面領域に分割して前記領域優先度設定手段に優先度を設定するフラグ更新回数計数手段を有することを特徴とする請求項１４記載の表示画面更新システム。
【請求項１６】
動作中のアプリケーションプログラムを検出して画面領域を検出するアプリケーションプログラム表示位置検出手段と、アプリケーションプログラムが描画する画面の特性を格納したアプリケーションプログラム描画画面特性テーブルを有し、前記アプリケーションプログラム表示位置検出手段が検出した画面領域と前記アプリケーションプログラム描画画面特性テーブルに格納された画面の特性に基づいて前記領域優先度設定手段に優先度を設定することを特徴とする請求項１４記載の表示画面更新システム。
【請求項１７】
分割された画面領域毎に圧縮方法を設定する領域別圧縮方法選択手段を有し、前記画像圧縮手段は前記領域別圧縮方法選択手段で選択した圧縮方法に基づいて伝送画面データに所定の圧縮処理を施すことを特徴とする請求項１乃至請求項２いずれかに記載の表示画面更新システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置の表示画面更新システムに関し、特に情報処理装置の表示画面を通信回線を介して結ばれた遠隔の表示端末装置に伝送し、表示端末装置側に情報処理装置の表示画面を表示する情報処理装置の表示画面更新システムに関する。
【０００２】
【従来の技術】
近年、携帯電話や無線ＬＡＮ等の移動体通信の発展とともに、ノート型パーソナルコンピュータやＰＤＡなどの携帯型端末装置を用いたモバイルコンピューティングがさかんに行われており、これらの携帯型端末装置で、会社や自宅などの遠隔にあるパーソナルコンピュータ等の情報処理装置を操作して情報処理装置の画面を閲覧したいという要望が高まっている。
【０００３】
従来、電話回線やネットワーク等の通信回線を利用した情報処理装置の遠隔表示画面更新システムして、例えば、ＶＮＣ（Ｖｉｒｔｕａｌ　Ｎｅｔｗｏｒｋ　Ｃｏｍｐｕｔｉｎｇ）方式を用いた情報処理装置の遠隔表示画面更新システムがある。ＶＮＣ方式を用いた従来の情報処理装置の遠隔表示画面更新システムの全体構成を図２３に示す。情報処理装置３０１と、遠隔の表示端末装置３０２は通信回線３０３を介して接続されている。この従来の情報処理装置の遠隔表示画面更新システムにおいて、従来の情報処理装置は、制御装置であるＣＰＵ３０４と、ＣＰＵ３０４で処理される各種データや、処理の手順を示すプログラムを格納するメインメモリ３０５と、同じく各種データやプログラムを記録しているハードディスク等の大容量記憶装置３０６と、表示画面の画素データを格納する表示バッファ３０７と、ＣＰＵ３０４からの制御命令に従い、画面データの処理や、情報処理装置の表示装置に表示を行うビデオコントローラ３０８と、遠隔の表示端末装置３０２と通信を行う通信装置３０９と、ユーザからの操作を入力するための入力装置３１０から構成されており、情報処理装置３０１が描画する表示画面を遠隔の表示端末装置３０２に表示する。情報処理装置３０１上では、メインメモリ３０５や大容量記憶装置３０６に記憶されたオペレーションシステムや様々なアプリケーションプログラムがＣＰＵ３０４により実行されており、アプリケーションプログラムそれぞれが描画命令を発行し、その命令に従い、ＣＰＵ３０４やビデオコントローラ３０８が表示バッファ３０７に表示画面を描画している。
【０００４】
次に、ＶＮＣを利用した従来の情報処理装置の遠隔表示画面更新システムでは、各アプリケーションプログラムが発行する描画命令を監視し、表示画面の伝送領域候補を抽出し、抽出した表示画面の伝送領域候補を統合する。次に統合した伝送領域候補の画素データを表示バッファ３０７から読み出して、読み出した画素データの値を前回表示端末装置に伝送した画素データの値と比較し、前回から変化した更新画面領域を決定する。次に、決定した更新画面領域の画素データを表示バッファ３０７から読み出し、画素データを可逆圧縮して、通信装置３０９から遠隔の表示端末装置に伝送するといった方法で情報処理装置３０１の表示画面の伝送を実現している。
【０００５】
また、他の従来の情報処理装置の遠隔表示画面更新システムとして、他に特開平８−２９７６１７号公報のように、アプリケーションプログラムが発行する命令から描画命令だけを抽出し、その描画命令を通信回線を介して遠隔の表示端末装置に伝送し、遠隔の表示端末装置では、受け取った描画命令を実行することでコンピュータの表示画面を遠隔の表示端末装置に伝送するコンピュータの遠隔表示装置も提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ＶＮＣ方式による従来の情報処理装置の遠隔表示画面更新システムにおいては、伝送候補領域の抽出、伝送候補領域の画素データの読み込み、画素データの比較などの処理をすべてＣＰＵで行うため、情報処理装置の負荷が非常に大きく、画面の更新が行われない場合でも負荷が高い。また、伝送候補領域の抽出から更新画面領域の決定までに時間を要するため、高速に変化する画面に迅速に対応できない。また、表示バッファから伝送する表示画面データを取り出すため、ビデオコントローラのアクセラレーション機能を使用する表示バッファに画素データを直接書き込まないような描画命令（例えば、ＷＩＮＤＯＷＳのＤｉｒｅｃｔ　Ｄｒａｗによる画面描画）によって描かれた表示画面には、表示バッファに画素データがないため対応できない。また、情報処理装置の描画画面は、遠隔の表示端末装置側でも忠実に再現することを要求される場合が多く、ボケや歪み等が許されない場合が多いことから、全更新画面を可逆圧縮して伝送していたため、ユーザが視覚的に認識できない画面更新によるデータや注視していない画面領域のデータ等の必ずしも必要でない画面データもユーザが視覚的に認識できるような画面の更新による画面データ等の本来、優先的に伝送すべき画面データも同条件で伝送するため、ユーザにとって、本来は不要なデータの伝送、データの処理が行われていた。
【０００７】
また、特開平８−２９７６１７号公報によるコンピュータの遠隔表示装置では、情報処理装置側で処理される描画コマンドをそのまま、遠隔の表示端末装置に送信して表示画面を更新させるため、迅速に表示画面を更新するには、遠隔の表示端末装置は、操作する情報処理装置と同等以上の描画処理能力が必要となり、遠隔の表示端末装置が携帯端末装置のような描画処理能力の低い端末装置であれば、迅速に表示画面を更新するができない。
【０００８】
それ故に、本発明の目的は、情報処理装置の遠隔表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示端末装置の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、ユーザが視覚的に違和感を感じることなく伝送するデータ量を削減でき、遠隔の表示端末装置は例えば、低消費電力が要求される携帯端末装置のような描画処理能力が情報処理装置よりも劣る場合でも、情報処理装置の表示画面を迅速に更新できることである。
【０００９】
【課題を解決するための手段】
前記従来の課題を解決するため、第１の発明（請求項１に対応）は、表示端末装置に表示画面を伝送する表示画面更新システムであって、ビデオコントローラと、ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、前記実表示画面フレーム記憶手段に記憶された２フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システムである。
【００１０】
また、第２の発明（請求項２に対応）は、表示端末装置に表示画面を伝送する表示画面更新システムであって、ビデオコントローラと、ビデオコントローラから出力される表示画面の２フレーム分のデータを格納する実表示画面フレーム記憶手段と、前記ビデオコントローラから前記実表示画面フレーム記憶手段へのフレームのデータの出力記録と同時にその出力記録データと前記実表示画面フレーム記憶手段に記録された前フレームのデータ比較を所定の矩形領域単位で行って更新の有無を抽出する更新矩形領域抽出手段と、前記更新矩形領域抽出手段が抽出した更新の有無に基づくフラグを記録するフラグテーブルと、前記フラグテーブルに記録されたフラグに基づいて表示端末装置に伝送する画面領域を決定する伝送画面領域決定手段と、前記伝送画面領域決定手段が決定した伝送画面領域の画素データを抽出する伝送画面データ抽出手段と、前記伝送画面データ抽出手段によって抽出された伝送画面データに所定の圧縮処理を施す画像圧縮手段と、前記画像圧縮手段により圧縮された伝送画面データを前記表示端末装置に伝送する通信手段とを備えたことを特徴とする表示画面更新システムである。
【００１１】
また、第３の発明（請求項３に対応）は、前記実表示画面フレーム記憶手段は２以上のメモリで構成され、フレーム毎に記憶するメモリを変更することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１２】
また、第４の発明（請求項４に対応）は、前記伝送画面データ抽出手段は前記伝送画面領域決定手段によって決定された伝送画面領域の画素データを前記実表示画面フレーム記憶手段から抽出することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１３】
また、第５の発明（請求項５に対応）は、前記実表示画面フレーム記憶手段に記録するフレームの間隔を定めるフレーム間隔数を格納し、前記フレーム間隔数毎に前記実表示画面フレーム記憶手段にフレームデータの記録をする制御を行うフレーム格納レート制御手段を有することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１４】
また、第６の発明（請求項６に対応）は、所定の期間毎もしくは所定のフレームの発生回数期間毎に表示画面が更新された更新回数を検出し、前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する表示画面更新回数検出手段を有することを特徴とする第５の発明記載の表示画面更新システムである。
【００１５】
また、第７の発明（請求項７に対応）は、前記通信手段の送信バッファの残量を検出し、前記バッファの残量に基づいて前記更新回数に基づいて前記フレーム格納レート制御手段のフレーム間隔数を設定する送信バッファ残量検出手段を有することを特徴とする第５の発明記載の表示画面更新システムである。
【００１６】
また、第８の発明（請求項８に対応）は、前記更新矩形領域抽出手段は更新の有無を画面の相違が一定以上か否かにより抽出することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００１７】
また、第９の発明（請求項９に対応）は、前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違が１画素でも所定の値以上の場合は更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００１８】
また、第１０の発明（請求項１０に対応）は、前記更新矩形領域抽出手段は所定の矩形領域内の画素の相違を検出した数が所定の値以上の場合は更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００１９】
また、第１１の発明（請求項１１に対応）は、前記更新矩形領域抽出手段は所定の矩形領域の画素データを周波数成分へ変換して所定の周波数の成分に相違があると更新有とすることを特徴とする第８の発明記載の表示画面更新システムである。
【００２０】
また、第１２の発明（請求項１２に対応）は、前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送必要な相違未満の相違の有無を抽出し、前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域については所定時間毎に伝送画面領域として決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２１】
また、第１３の発明（請求項１３に対応）は、前記更新矩形領域抽出手段はデータ比較を所定の矩形領域単位で行って伝送必要な相違の有無と伝送不要な相違の有無を抽出し、前記フラグテーブルは伝送必要な相違の有無に基づくフラグと伝送必要な相違未満の相違の有無に基づくフラグを記録し、前記伝送画面領域決定手段は前記フラグテーブルの出力に基づいて、伝送必要な相違を有するフラグに対応する矩形領域は伝送画面領域として決定し、伝送必要な相違未満の相違を有するフラグに対応する矩形領域についてはフラグ発生回数が所定の回数以上となった場合に伝送画面領域として決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２２】
また、第１４の発明（請求項１４に対応）は、分割された画面領域毎に優先度を設定する領域優先度設定手段を有し、前記領域優先度設定手段で設定した優先度に基づいて画面領域毎の更新時間間隔を決定することを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システムである。
【００２３】
また、第１５の発明（請求項１５に対応）は、前記フラグテーブルの更新有のフラグが発生した回数を計数し、計数回数に応じて表示画面を幾つかの矩形領域から構成される複数の画面領域に分割して前記領域優先度設定手段に優先度を設定するフラグ更新回数計数手段を有することを特徴とする第１４の発明記載の表示画面更新システムである。
【００２４】
また、第１６の発明（請求項１６に対応）は、動作中のアプリケーションプログラムを検出して画面領域を検出するアプリケーションプログラム表示位置検出手段と、アプリケーションプログラムが描画する画面の特性を格納したアプリケーションプログラム描画画面特性テーブルを有し、前記アプリケーションプログラム表示位置検出手段が検出した画面領域と前記アプリケーションプログラム描画画面特性テーブルに格納された画面の特性に基づいて前記領域優先度設定手段に優先度を設定することを特徴とする第１４の発明記載の表示画面更新システムである。
【００２５】
また、第１７の発明（請求項１７に対応）は、分割された画面領域毎に圧縮方法を設定する領域別圧縮方法選択手段を有し、前記画像圧縮手段は前記領域別圧縮方法選択手段で選択した圧縮方法に基づいて伝送画面データに所定の圧縮処理を施すことを特徴とする第１の発明乃至第２の発明いずれかに記載の表示画面更新システム。
【００２６】
【発明の実施の形態】
（実施の形態１）
図面により本発明の実施の形態１について説明する。図１は情報処理装置の遠隔表示画面更新システムの実施の形態１の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に自身の表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置２を結ぶ通信回線３で構成されている。
【００２７】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００２８】
メインメモリ５はオペレーションシステムのプログラムや各種アプリケーションプログラムを格納する半導体のＲＡＭやＲＯＭであり、大容量記憶装置６は、ハードディスク、ＣＤ−ＲＯＭ装置などであり、入力装置１０は、キーボード、マウスなどユーザが操作を入力するための装置であり、通信装置９はモデム、ＬＡＮ、無線ＬＡＮなどの表示端末装置と通信を行うための装置である。
【００２９】
ＣＰＵ４は、メインメモリ５や大容量記憶装置６に記録されているオペレーションシステムのプログラムや各種アプリケーションプログラムの命令に従って情報処理装置１の制御を行い、これらの各種プログラムの命令に従い、表示する画面データを表示バッファ７に随時書き込む制御装置である。
【００３０】
ビデオコントローラ８は、ＣＰＵ４からの命令に従い、表示画面の画面データの処理を行い、表示画面を表示装置で表示させるために、フレーム制御信号と表示画面のフレームデータの出力を行う装置である。
【００３１】
画像圧縮装置１１は、伝送する画面データを圧縮する装置であり、情報処理装置の画面は一般に、静止画が多く、表示内容の正確さが求められることが多いため、ハフマン符号化等の可逆圧縮を用いる。なお、ここで画像圧縮装置１１は、専用のハードウエア回路を用いてもいいし、アプリケーションプログラムをメインメモリ５や大容量記憶装置６に記録し、ＣＰＵ４によって処理するように構成してもかまわない。
【００３２】
また、メモリＡ１２、メモリＢ１３は、ビデオコントローラ８から出力される表示画面のフレームデータを格納する実表示フレーム記憶手段であって、ビデオコントローラ８から出力されるフレーム制御信号（例えば、垂直同期信号）に従い、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２、メモリＢ１３を交互に切り替えて、ビデオコントローラ８から出力される表示画面のフレームデータをピクセルクロックレートで格納する。
【００３３】
更新矩形領域抽出回路１５は、フレーム制御信号により、垂直非表示区間を検出して、メモリＡ１２、メモリＢ１３に格納された前後フレームの表示画面のフレームデータを１画素ずつ読み出して、比較し、相違を検出すると、フラグテーブル１６の相違のあった画素に対応したフラグに反映する。
【００３４】
図２はフラグと表示画面の関係を示した図である。表示画面領域を所定の矩形領域で分割した１つの矩形領域毎に１つのフラグが割り当てられており、例えば、図２に示されるように、８×８画素の矩形領域２１に対して１つのフラグ２２がフラグテーブル１６に割り当てられている。フラグテーブル１６は、システムバスＩ／Ｆ（インターフェイス）１７経由でＣＰＵ４から読み取ることができ、ＣＰＵ４は、フラグテーブル１６のどのフラグがセットされているかをみれば、どの領域を送ればよいのかわかる。図２の例では、８×８画素の矩形領域に１つのフラグを対応づけたが、１つのフラグに対応する矩形領域の大きさは、１６×１６画素とか１６×８画素であってもよく、これに限るものではない。
【００３５】
次に実施の形態１の情報処理装置の遠隔表示画面更新システムの動作について説明する。図３は、実施の形態１の情報処理装置の処理を示したフローチャートである。
【００３６】
まず、接続された表示端末装置２から表示画面要求を受け付けると、処理が開始され、ステップＳ１０１で、ビデオコントローラから１フレーム単位での表示画面のフレームデータの取り込みを開始する。次にステップＳ１０２で表示バッファに記録されている表示画面の全データを抽出する。次にステップＳ１０３で、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ１０４では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ１０５で更新矩形領域抽出回路１５がメモリＡ１２、メモリＢ１３に格納された表示画面のフレームデータを比較し、更新矩形領域が抽出されフラグテーブル１６への反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ１０６に進む。ステップＳ１０６では、フラグテーブル１６のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ１０７で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ１０８では、伝送すべき領域の表示画面データを表示バッファ７から抽出し、ステップＳ１０９では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ１１０で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ１０５へ戻り、次のフレーム間の更新矩形領域が抽出されるのを待ち、この処理を表示端末装置２から切断要求がくるまで繰り返す。
【００３７】
よって、本実施の形態により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域を抽出することが可能となる。
【００３８】
（実施の形態２）
図面により本発明の実施の形態２について説明する。図４は情報処理装置の遠隔表示画面更新システムの実施の形態２の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置を結ぶ通信回線３で構成されている。
【００３９】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００４０】
実施の形態２では、ビデオコントローラ８のフレーム制御信号（例えば、垂直同期信号）に従って、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２とメモリＡ１３を交互に切り替えて、表示画面のフレームデータをピクセルクロックレートで格納しつつ、同時に更新矩形領域抽出回路１５は、ビデオコントローラ８から出力された表示画面のフレームデータとメモリＡ１２もしくはメモリＢ１３の一方に格納された前回のフレームデータとをリアルタイムで比較し、所定の矩形領域内の画素データの相違を検出すると、フラグテーブル１６の対応するフラグに反映する。
【００４１】
実施の形態２の情報処理装置の遠隔表示画面更新システムの動作については、実施の形態１で説明した処理の流れと同様であり、実施の形態１の情報処理装置の遠隔表示画面更新システムの動作を示した図３のフローチャートで説明する。
【００４２】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ１０１で、ビデオコントローラ８から１フレーム単位での表示画面のフレームデータのメモリへの格納を開始する。次にＳ１０２で表示バッファに記録されている表示画面の全データを抽出する。次にステップＳ１０３で、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ１０４では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ１０５で更新矩形領域抽出回路１５がメモリＡ１２、メモリＢ１３の一方に取り込まれた前回のフレームデータと現在のビデオコントローラ８から出力されたフレームデータを比較し、更新矩形領域が抽出されフラグテーブルへの反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ１０６に進む。ステップＳ１０６では、フラグテーブル１６のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ１０７で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ１０８では、伝送すべき領域の表示画面データを表示バッファ７から抽出し、ステップＳ１０９では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ１１０で通信装置が受け取った圧縮済みの表示画面データを表示端末装置２に伝送する。そして、ステップ１０５へ戻り、次のフレーム間の更新矩形領域抽出処理の完了を待ち、この処理を表示端末装置から切断要求がくるまで繰り返す。
【００４３】
以上により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域をリアルタイム抽出することが可能となり、表示画面の更新に迅速に対応可能となる。
【００４４】
（実施の形態３）
図面により本発明の実施の形態３について説明する。図５は情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成を示すブロック図であり、遠隔で表示画面を表示する表示端末装置２と遠隔の表示端末装置２に自身の表示画面を伝送する情報処理装置１と情報処理装置１と表示端末装置２を結ぶ通信回線３で構成されている。
【００４５】
ここで、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、フラグテーブル１６で構成される。
【００４６】
実施の形態３では、ビデオコントローラ８のフレーム制御信号（垂直同期信号に従って、メモリ切り替え制御回路１４がフレーム単位にメモリＡ１２とメモリＡ１３を交互に切り替えて、表示画面のフレームデータをピクセルクロックレートで格納しつつ、同時に更新矩形領域抽出回路１５は、ビデオコントローラから出力された表示画面のフレームデータとメモリＡ１２もしくはメモリＡ１３の一方に格納された前回のフレームデータとをリアルタイムで比較し、所定の矩形領域内の画素データの相違を検出すると、フラグテーブル１６の対応するフラグに反映する。またメモリＡ１２とメモリＢ１３は、システムバスＩ／Ｆ１７を経由してＣＰＵ４から直接読み取ることができる。
【００４７】
次に実施の形態３の情報処理装置の遠隔表示画面更新システムの動作について説明する。図６は、実施の形態３の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャートである。
【００４８】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ２０１で、ビデオコントローラから１フレーム分の表示画面のフレームデータのメモリＡ１２への格納を開始する。次にステップＳ２０２で、１フレーム分の表示画面のフレームデータの格納が終了するのを待つ。１フレーム分の表示画面のフレームデータの格納が終了すると、ステップＳ２０３で、メモリＡ１２から格納した表示画面のフレームデータを抽出する。ステップＳ２０４では、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ２０５では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。次に、ステップＳ２０６で更新矩形領域抽出回路１５がメモリＡ１２に取り込まれた表示画面のフレームデータとビデオコントローラから出力される次の表示画面のフレームデータとを比較し、更新矩形領域が抽出されフラグテーブルへの反映が終了するのを待ち、更新矩形領域抽出処理の完了を検出すると、ステップＳ２０７に進む。ステップＳ２０７では、フラグテーブルのフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ２０８で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ２０９では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリＢ１３から抽出し、ステップＳ２１０では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ２１１で通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ２０６へ戻り、次のフレームの更新矩形領域が抽出されるのを待ち、これを繰り返す。
【００４９】
以上により、情報処理装置のＣＰＵに負担をかけることなく、フレーム間の更新画面領域をリアルタイム抽出することが可能となり、表示画面の更新に迅速に対応可能で、さらに、ビデオコントローラから出力される実際の表示画面データを表示端末装置に伝送できるため、ビデオコントローラのアクセラレーション機能を使用した表示バッファに画素データを直接書き込まないような描画命令（例えば、ＷＩＮＤＯＷＳのＤｉｒｅｃｔ　Ｄｒａｗによる画面描画）によって描かれた表示画面の更新も可能となる。
【００５０】
なお、実施の形態３で、実表示フレーム記憶手段として、２つのメモリを使用する例で説明したが、メモリは１つでも２つ以上の複数あってもよいが、１つのメモリで実現するには、２つ以上のメモリで実現するよりも、帯域制限の少ないより高速なメモリが必要となる。
【００５１】
（実施の形態４）
次に本発明の実施の形態４について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態４の全体構成のブロック図を図７に示す。実施の形態４では、実施の形態３の構成に加えて、ビデオコントローラ８から出力される表示画面のフレームデータをフレーム単位で実表示画面フレーム記憶手段に複数フレーム間隔毎に格納するようにフレーム格納レート制御を行うフレーム格納レート制御回路３１を有する構成である。フレーム格納レート制御回路３１は、ビデオコントローラのフレーム制御信号からフレーム数を計数するカウンタと、メモリに格納するフレームレートを設定するフレームレート設定レジスタで構成されている。
【００５２】
フレーム格納レート制御回路は、ビデオコントローラのフレーム制御信号（例えば、垂直同期信号等）からフレーム数を計数し、計数した数がフレームレート設定レジスタに設定された数と一致すると、メモリ切り替え制御回路１４にメモリＡ１２とメモリＢ１３を切り替えさせ、一方のメモリにビデオコントローラの表示画面データの格納を開始させると同時にもう一方のメモリを更新矩形領域抽出回路１５に接続し、更新領域抽出処理を開始させる。そして、ビデオコントローラのフレーム制御信号（垂直同期信号等）からフレーム数を計数し、計数した数がフレームレート設定レジスタに設定された数と一致しない間は、メモリにビデオコントローラ８の表示画面データの格納する処理や更新矩形領域抽出処理は動作させない。
【００５３】
以上により、表示画面の更新に迅速に対応する必要がない場合には、ユーザが更新検出フレームレートを設定することにより、不必要な更新領域を抽出する処理を削減でき、情報処理装置１の消費電力を削減でき、さらに、不必要な更新領域の表示画面データを表示端末に伝送しなくて済み、伝送帯域の節約が可能となる。
【００５４】
（実施の形態５）
次に本発明の実施の形態５について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態５の全体構成は、実施の形態４と同様である。実施の形態５では、情報処理装置１が、所定の期間毎もしくは所定のフレーム格納回数期間毎にその期間内に表示画面が更新されたかどうかを判定する表示画面更新判定手段を有するように構成される。
【００５５】
次に表示画面更新判定手段の動作について図８のフローチャートを用いて説明する。まず、ステップＳ３０１で所定の時間、もしくは、所定のフレーム格納回数をカウントするタイマを動作させる。タイマは動作を開始すると、所定の時間、もしくは、所定のフレーム回数をカウントするたびにカウント終了通知を出す。次にステップＳ３０２で表示画面が更新された回数を数える表示画面更新回数計数処理を開始する。次にステップＳ３０３で、タイマのカウント終了通知を待つ。タイマのカウント終了通知を検出すると、ステップＳ３０４で表示画面更新回数計数処理のカウント値を読み込み、カウント値をクリアする。次に、ステップＳ３０５で、読み込んだ表示画面更新回数により、フレーム格納レート設定レジスタに所定の値を書き込み、フレーム格納レートを変更し、ステップＳ３０３に戻り、次の期間のカウント終了を待つ。
【００５６】
ここで、表示画面更新回数計数処理の動作について説明する。図９は、表示画面更新回数計数処理のフローチャートである。ステップＳ４０１で更新画面領域抽出回路１５が更新画面領域抽出処理が終了するのを待つ。更新画面領域抽出処理の終了を検出するとステップＳ４０２で、フラグテーブルに更新を通知するフラグがセットされているかを見て、セットされていれば、ステップＳ４０３で表示画面更新回数に１を足し、ステップＳ４０１に戻り、次のフレームの更新画面抽出処理が終了するのを待ち、フラグがセットされていなければ、何もしないで、ステップＳ４０１に戻り、次のフレームの更新画面抽出処理が終了するのを待つ。
【００５７】
以上により、表示画面の更新がほとんどない時では、更新検出フレームレートを下げることができ、不必要な更新領域を抽出する処理を削減でき、情報処理装置１の消費電力を削減できる。
【００５８】
（実施の形態６）
次に本発明の実施の形態６について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態６の全体構成は、実施の形態４と同様である。実施の形態６では、情報処理装置１の通信装置９は所定の大きさの送信バッファを持ち、情報処理装置１は、所定の時間毎に送信バッファの残量を検出する手段を有し、送信バッファの残量が所定の値以下であれば、フレーム格納レート制御回路３１のフレーム格納レートを下げ、残量が所定の値以上であれば、フレーム格納レート制御回路のフレーム格納レートを上げるように構成する。
【００５９】
次に、このフレーム格納レート制御の動作について図１０のフローチャートを用いて説明する。まず、ステップＳ５０１で所定の時間、もしくは、所定のフレーム格納回数をカウントするタイマを動作させる。タイマは動作を開始すると、所定の時間、もしくは、所定のフレーム回数をカウントするたびにカウント終了通知を出す。次にステップＳ５０２でタイマのカウント終了通知を待つ。タイマのカウント終了通知を検出すると、ステップＳ５０３で、通信装置９の送信バッファの残量を確認する。次にステップＳ５０４で通信装置９の送信バッファの残量が所定の値以上であれば、フレーム格納レート制御回路３１のフレーム格納レートを上げ、所定の値以下であれば、フレーム格納レートを下げるようにフレーム格納レートの設定を変更し、ステップＳ５０２に戻り、この処理を繰り返す。
【００６０】
以上により、通信装置のバッファの残量を確認することで、通信容量を越える無駄な更新領域を抽出する処理を削減でき、情報処理装置の消費電力を削減でき、さらに、不必要な更新領域の表示画面データを表示端末に伝送しなくて済み、伝送帯域の節約が可能となる。
【００６１】
（実施の形態７）
次に本発明の実施の形態７について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態７の全体構成は、実施の形態３と同様である。以下は、実施の形態７の更新矩形領域抽出回路１５の構成について述べる。
【００６２】
図１１に示されるように更新矩形領域抽出回路１５はビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素毎に各ＲＧＢ成分それぞれの差分の絶対値を演算する演算器４１と、演算の結果から所定矩形領域内の画素の相違が１画素でも所定の値以上であれば、所定の矩形領域に伝送すべき相違があると判断し、所定の矩形領域の画素が所定の値以下で零ではない場合、伝送すべき相違ではないが、相違はあると判断する更新判断回路４２とで構成される。
【００６３】
次に動作について説明する。更新矩形領域抽出処理が開始されると演算器４１は、ビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ずつ、各画素成分の差分の絶対値を計算する。次に、更新判断回路では、演算の結果、１画素毎の差分の絶対値が所定の値（例えば４）以上であれば、所定の矩形領域に伝送すべき相違があるとして、フラグテーブル１６のその画素が含まれる矩形領域に対応するフラグに反映し、１画素毎の差分の絶対値が所定の値（例えば４）より小さい場合には、伝送すべき相違ではないと判断して，フラグテーブル１６への反映は行わないように動作する。
【００６４】
以上により、前後のフレーム間で所定矩形領域内の各画素の色成分の変化がわずかである場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、人間の目でみて分からないようなわずかな色の変化しかない領域の表示端末装置の画面更新は行われず、伝送帯域の節約が可能となる。
【００６５】
（実施の形態８）
次に本発明の実施の形態８について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成と同様である。以下は、実施の形態８の更新矩形領域抽出回路１５の構成について述べる。
【００６６】
図１２に示されるように更新矩形領域抽出回路１５はビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ごとに比較する比較器５１と、比較器５１により検出された所定矩形領域内の画素の相違の数を計数する相違画素計数回路５２と、相違画素計数回路５２が計数した所定矩形領域内の画素の相違の数が所定の値以上であれば矩形領域内に伝送すべき領域があると判断し、所定の矩形領域内の画素の相違の数が所定の値よりも少ない場合、伝送すべき領域はないと判断する更新判断回路５３とで構成される。
【００６７】
次に動作について説明する。更新矩形領域抽出処理が開始されると比較器５１は、ビデオコントローラ８からのフレームデータと前回メモリに格納されたフレームデータとを１画素ずつ、フラグテーブルの１フラグに対応する所定の矩形領域（例えば、８×８画素で構成される領域）単位で比較する。次に、相違画素計数回路５２は、１矩形領域内で相違があると検出された画素の数をカウントする。更新判断回路５３は、１矩形領域内のすべての画素の比較が終了し、相違画素計数回路５２によりカウントされた１矩形領域の相違画素の数が所定の値（例えば、１つの矩形領域が８×８画素の領域である場合、１６）以上であれば、所定の矩形領域に伝送すべき相違があるとして、フラグテーブルのその画素が含まれる矩形領域に対応するフラグに反映し、相違画素計数回路５２によりカウントされた１矩形領域の相違画素の数が所定の値（例えば、１つの矩形領域が８×８画素の領域である場合、１６）より小さい場合には、伝送すべき相違はないと判断して、フラグテーブルへの反映は行わないように動作する。
【００６８】
以上により、前後のフレーム間で所定矩形領域内の画素の変化した数が少ない場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、表示画面の大きく変化があった領域のみの更新画面データを伝送するだけで済み、伝送帯域の節約が可能となる。
【００６９】
（実施の形態９）
次に本発明の実施の形態９について説明する。情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成と同様である。以下は、実施の形態９の更新矩形領域抽出回路１５の構成について述べる。
【００７０】
図１３に示されるように更新矩形領域抽出回路１５はビデオコントローラからのフレームデータと前回メモリに格納されたフレームデータとをそれぞれ所定の矩形領域単位で周波数成分に変換するＤＣＴ（離散コサイン変換）演算器６１と、ＤＣＴ演算器により得られた所定の矩形領域の周波数成分データを比較する比較器６２と、所定の周波数よりも低い周波数成分に相違があれば矩形領域内に伝送すべき領域があると判断し、所定の周波数よりも低い周波数成分に相違がなければ、伝送すべき領域はないと判断する更新判断回路６３とで構成される。
【００７１】
次に動作について説明する。更新矩形領域抽出処理が開始されると、更新矩形領域抽出回路１５は、ビデオコントローラからのフレームデータと前回メモリに格納されたフレームデータとをそれぞれフラグテーブルの１フラグに対応する所定の矩形領域（例えば、８×８画素で構成される領域）単位でＤＣＴ演算器６１で画素データを周波数成分のデータに変換する。次に、比較器６２は、それぞれの周波数成分ごとに比較する。更新判断回路６３は、比較器の結果を参照し、所定の低周波成分領域内で周波数成分に相違がある場合、所定の矩形領域に伝送すべき相違があるとして、フラグテーブルのその画素が含まれる矩形領域に対応するフラグに反映し、所定の低周波成分領域内で周波数成分に相違がない場合は、所定の低周波成分領域外の周波数領域で相違があっても所定の矩形領域に伝送すべき相違はないと判断して，フラグテーブルへの反映は行わないように動作する。なお、この実施の形態９では、画素データを周波数成分へ変換する手段として、ＤＣＴ変換を用いたが、これに限るものではなく、他の直交変換（例えばアダマール変換、カルーネンレーベ変換）を用いてもよい。
【００７２】
以上により、前後のフレーム間で所定矩形領域内の画素データの直流および低周波の成分が変化していない場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、人間の目では認識できない高周波成分のみが変化した領域の更新画面データは伝送されず、伝送帯域の節約が可能となる。
【００７３】
（実施の形態１０）
次に本発明の実施の形態１０について説明する。図１４は実施の形態１０の全体構成を示すブロック図である。実施の形態１０では、情報処理装置１は、ＣＰＵ４、メインメモリ５、大容量記憶装置６、通信装置９、ビデオコントローラ８、表示バッファ７、入力装置１０、画像圧縮装置１１と表示画面のフレームデータをフレーム単位で格納する実表示フレーム記憶手段であるメモリＡ１２、メモリＢ１３と、メモリ切り替え制御回路１４と更新矩形領域抽出回路１５と、伝送通知フラグテーブル７１、更新通知フラグテーブル７２で構成される。
【００７４】
ここで、更新矩形領域抽出回路１５は、ビデオコントローラからのフレームデータと、前回メモリに格納されたフレームデータとを所定の矩形領域単位で演算を行った後、演算結果から所定の判断基準でこの矩形領域に伝送すべき相違があるかどうかを判定する判断をし、伝送すべき相違があると判断した場合は、伝送通知フラグテーブル７１の該当するフラグをセットし、相違はあるが伝送すべき相違でないと判断した場合には、更新通知フラグテーブル７２の該当するフラグをセットする。また、更新通知フラグテーブルのフラグは、伝送通知フラグテーブルの同一矩形領域に対応するフラグがセットされた場合は、クリアされる。なお、伝送すべき矩形領域かどうかの判断については、実施の形態７〜９で述べた矩形領域内のそれぞれの画素の色成分の差の絶対値を用いたり、矩形領域内で相違がある画素の数を用いたり、矩形領域の画素データを周波数成分に変換してどの周波数成分に相違があるかを用いて判断することが可能である。
【００７５】
次に本実施の形態１０の動作について説明する。図１５は、実施の形態１０の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャートである。
【００７６】
まず、接続された表示端末装置２から表示画面要求を受け付けると、ステップＳ６０１で、所定の時間を計測するタイマの動作を開始する。タイマは動作を開始すると、所定の時間をカウントするたびにカウント終了通知を出す。次にステップＳ６０２でビデオコントローラ８から１フレーム分のフレームデータのメモリＡ１２もしくはメモリＢ１３のいずれか一方への格納を開始する。次にステップＳ６０３で、１フレーム分のフレームデータの格納の終了を待つ。１フレーム分の表示画面のフレームデータの格納が終了すると、ステップＳ６０４で、メモリＡ１２、メモリＢ１３のいずれか一方に格納した表示画面のフレームデータを抽出する。ステップＳ６０５では、抽出された表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。ステップＳ６０６では、通信装置が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。
【００７７】
次に、ステップＳ６０７で更新矩形領域抽出回路１５がメモリに格納されたフレームデータとビデオコントローラから出力される次のフレームデータから、伝送矩形領域の抽出処理が終了するのを待ち、伝送矩形領域抽出処理の完了を検出すると、ステップＳ６０８に進む。ステップＳ６０８では、タイマのカウント終了通知を受け取ったかどうかを確認し、カウント終了通知を受け取っていない場合は、所定の時間に到達していないので、ステップＳ６０９へ進み、ステップＳ６０９では、伝送通知フラグテーブル７１のフラグ情報を読み出し、読んだフラグはクリアする。次にステップＳ６１０で抽出したフラグ情報から伝送すべき画面領域を決定する。次にステップＳ６１１では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリＡ１２もしくはメモリＢ１３から抽出し、ステップＳ６１２では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ６１３で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置２に伝送する。そして、ステップＳ６０７へ戻り、次のフレームの伝送矩形領域が抽出されるのを待ち、これを繰り返す。そして、所定の時間が経過し、ステップＳ６０８でカウント終了通知を受け取ると、ステップＳ６１４へ進み、ステップＳ６１４では、伝送通知フラグテーブル７１のフラグ情報を読み出し、読んだフラグはクリアし、次のステップＳ６１５で更新通知フラグテーブル７２のフラグ情報を読み出し、読み出したフラグはクリアする。次に、ステップＳ６１６では、伝送通知フラグテーブル７１から抽出したフラグ情報に対応する画面領域と更新通知フラグテーブル７２から抽出したフラグ情報に対応する画面領域を伝送すべき画面領域として決定し、次にステップＳ６１１では、伝送すべき領域の表示画面データを今回の表示画面のフレームデータが格納されたメモリから抽出し、ステップＳ６１２では、抽出された伝送すべき領域の表示画面データを画像圧縮装置１１により圧縮し、通信装置９に送る。次にステップＳ６１３で通信装置９が受け取った圧縮済みの表示画面データを表示端末装置に伝送する。そして、ステップＳ６０７へ戻り、次のフレームの伝送矩形領域が抽出されるのを待ち、以降も同じ処理を繰り返す。
【００７８】
以上により、実施の形態１０によれば、前後のフレーム間で所定矩形領域の変化がわずかである場合には、その矩形領域は、伝送すべき領域ではないと判断され、表示端末装置に伝送されないため、伝送帯域の節約が可能となり、さらに、前後のフレーム間で所定矩形領域の変化がわずかであり、その矩形領域は、伝送すべき領域ではないと判断された矩形領域も、一定時間毎に伝送されるため、正確な表示画面が求められる場合でも、定期的に全画面を更新する必要もなくなる。
【００７９】
（実施の形態１１）
次に本発明の実施の形態１１について説明する。実施の形態１１の全体構成は、実施の形態１０と同様であるが、図１６に示すように、更新通知フラグテーブル７２は、更新矩形領域抽出回路１５が、相違はあるが伝送すべき矩形領域でないと判断した場合に、フラグをセットする領域８１と、さらに各フラグ毎にフラグがセットされる回数を記憶するフラグセット回数記憶領域８２を持ち、更新矩形領域抽出回路が、更新通知フラグテーブル７２のそれぞれのフラグをセットする度に、フラグセット回数記憶領域８２の値をインクリメントし、その値が所定の値に達すると、フラグセット回数記憶領域８２の値とフラグをクリアし、伝送通知フラグテーブル７１の同じ矩形領域に対応するフラグをセットする。また、実施の形態１１の更新通知フラグテーブル７２のフラグ同様に、フラグ伝送通知フラグテーブル７１の同一矩形領域に対応するフラグがセットされた場合は、更新通知フラグテーブル７２のフラグはクリアされる。
【００８０】
このような構成の場合、前後のフレーム間で所定矩形領域の変化がわずかである場合には、伝送すべき領域ではないと判断され、表示端末装置に伝送されなかった矩形領域も、わずかな変化が一定回数検出された場合には、伝送通知フラグテーブルに反映され、伝送すべき領域として、表示端末装置に伝送が可能となり、表示画面が非常にゆっくりと変化するような場合にも対応が可能となる。
【００８１】
（実施の形態１２）
次に本発明の実施の形態１２について説明する。実施の形態１２の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００８２】
これを、図を用いて説明する。例えば、図１７は、表示画面の一例である。この画面では、いくつかのウインドウが重なり合っている。図１７では、ウインドウＸ１０１が最上位のウインドウであり、現在、アクティブである。
【００８３】
ここで、領域優先度設定手段は、このウインドウＸ１０１に対応する領域を領域Ａ１０２、それ以外の領域を領域Ｂ１０３として、それぞれに優先度を設定する。例えば、領域Ａ１０２の優先度を１、領域Ｂ１０３の優先度を４とする。優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／１０秒毎、優先度４の場合、４秒毎といった具合である。すると、情報処理装置は、１／１０秒毎に、領域Ａ１０２に対応するフラグテーブルのフラグを読み取り、領域Ａ１０２の更新された矩形領域のみを抽出して表示端末装置２に伝送し、４秒毎に領域Ｂ１０３に対応するフラグテーブルのフラグを読み取り、領域Ｂ１０３の更新された矩形領域を抽出して表示端末装置２に伝送する。
【００８４】
なお、この例では、領域を２つに分割したが、領域は幾つに分割してもよく、また、フラグ優先度のレベルに応じてそれぞれの領域を更新する更新時間で設定されていたが、たとえば、優先度１の場合、１フレーム毎、優先度４の場合は、４０フレーム毎といったようにフレーム数で設定されていてもよい。
【００８５】
以上により、表示画面を複数の画面領域に分割し、その分割した領域毎に画面を更新するレートを変更できるため、重要でない領域の更新レートを下げることにより、伝送するデータ量の削減が可能となる。
【００８６】
（実施の形態１３）
次に本発明の実施の形態１３について説明する。実施の形態１３の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は所定の時間内にフラグテーブルの各フラグがセットされた回数を計数するフラグ更新回数検出手段を持ち、計数された各フラグがセットされた回数に応じて、表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００８７】
次に、これを図を用いて説明する。図１８は、所定時間（例えば、１０秒間）にフラグがセットされた回数をフラグ更新回数計数手段によって計数した一例である。このフラグ更新回数検出手段は、例えば、主記憶に、フラグ更新回数を記録する領域を設け、フラグテーブルからフラグをリードするたびに、セットされているフラグがあれば、そのフラグに対応するフラグ更新回数を記録する領域に記録された更新回数をインクリメントすることによって実現できる。ここで、領域優先度設定手段は、まず、それぞれのフラグの更新回数によって、表示画面を複数の画面領域に分割する。例えば、図１８では、フラグの更新回数が０〜２回のグループである領域Ｘ１１１、３〜１０回のグループである領域Ｙ１１２、１０回以上のグループである領域Ｚ１１３としている。そして、最もフラグの更新回数が多い領域Ｚ１１３の優先度を１、次にフラグの更新回数が多い領域Ｙ１１２の優先度を２、最もフラグの更新回数が少ない領域Ｘ１１１の優先度を５と設定する。
【００８８】
ここで、優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／１０秒毎、優先度２の場合、１秒毎、優先度５の場合、５秒毎といった具合である。
【００８９】
すると、情報処理装置は、１／１０秒毎に、領域Ｚ１１３に対応するフラグテーブルのフラグを読み取り、領域Ｚ１１３の更新された矩形領域のみを抽出して表示端末装置２に伝送し、１秒毎に領域Ｙ１１２に対応するフラグテーブルのフラグを読み取り、領域Ｙ１１２の更新された矩形領域を抽出して表示端末装置２に伝送し、５秒毎に領域Ｘ１１１に対応するフラグテーブルのフラグを読み取り、領域Ｘ１１１の更新された矩形領域を抽出して表示端末装置２に伝送する。
【００９０】
以上、フラグ更新の頻度により、画面領域を複数の領域に分割して、その領域毎の画面の更新レートを変更でき、表示画面の変化の活性度が高い領域を優先して更新することが可能となる。
【００９１】
（実施の形態１４）
次に本発明の実施の形態１４について説明する。実施の形態１４の構成は実施の形態３の全体構成と同様である、本方法では、さらに、情報処理装置１は、現在動作しているアプリケーションプログラムを検出して、個々のアプリケーションプログラムが表示画面のどの領域に表示を行っているかを検出するアプリケーション表示位置検出手段と、個々のアプリケーションプログラムとそのアプリケーションプログラムが描画する画面の特性を対応づけたアプリケーションプログラム描画画面特性テーブルを持ち、アプリケーションプログラム表示位置検出手段が検出したアプリケーションプログラム描画領域毎にアプリケーションプログラム描画画面特性テーブルを用いて優先度を設定する領域優先度設定手段を有し、設定された優先度に従い、領域に対応する画面領域をそれぞれ所定の時間毎に更新するようにする。
【００９２】
次に、これを図を用いて説明する。アプリケーション表示位置検出手段は、例えば、情報処理装置１のオペレーションシステム上で、オペレーションシステムに対するコマンドをモニタするプログラムを動作させておき、オペレーションシステムに対して、各アプリケーションプログラムが発行する描画コマンドを検出することで、現在、アプリケーションプログラムが表示画面のどの領域に表示を行っているか知ることができる。また、あらかじめ、情報処理装置で実行されうるアプリケーションプログラムが描画する画面の特性（例えば、動画、静止画、文字列等）を関連付けたアプリケーションプログラム描画画面特性テーブル１２１を用意しておく。図１９はアプリケーションプログラム描画画面特性テーブルの一例を示す。
【００９３】
例えば、図２０では、アプリケーションプログラム▲１▼が表示画面の領域α１３１に描画を行っており、アプリケーションプログラム▲２▼が表示画面の領域β１３２に描画を行っている。ここで、アプリケーションプログラム表示位置検出手段により、領域α１３１は、アプリケーションプログラム▲１▼が描画を行っており、領域β１３２はアプリケーションプログラム▲２▼が描画を行っていることを検出できる。次に、図１９に示したアプリケーションプログラム描画画面特性テーブル１２１より、領域α１３１は動画が描画されている領域、領域β１３２は、文字列が描画されている領域、それ以外の領域γ１３３は、アプリケーションプログラムが描画を行っていない領域と判断でき、領域優先度設定手段は、例えば、領域α１３１は、動画が描画されているので優先度を１、領域β１３２は、文字列が描画されているので優先度を３、領域γ１３３は、アプリケーションプログラムが描画を行っていないので、優先度を１０と設定できる。
【００９４】
ここで、優先度はさまざまなレベルがあり、それぞれの優先度毎に画面の更新する時間があらかじめ設定されていて、例えば、優先度１の場合、１／３０秒毎、優先度３の場合、３秒毎、優先度１０の場合、１０秒毎といった具合である。
【００９５】
すると、情報処理装置は、１／３０秒毎に、領域α１３１に対応するフラグテーブルのフラグを読み取り、領域α１３１の更新された矩形領域のみを抽出して表示端末装置に伝送し、３秒毎に領域β１３２に対応するフラグテーブルのフラグを読み取り、領域β１３２の更新された矩形領域を抽出して表示画面に伝送し、１０秒毎に領域γ１３３に対応するフラグテーブルのフラグを読み取り、領域γ１３３の更新された矩形領域を抽出して表示画面に伝送する。
【００９６】
以上により、表示画面に描画を行っているアプリケーションプログラムを検出して、あらかじめ登録したアプリケーションプログラムが描画する画面特性を参照することにより、表示画面の画面特性に適した画面の更新を行うことが可能となる。
【００９７】
（実施の形態１５）
次に本発明の実施の形態１５について説明する。実施の形態１５の構成は実施の形態３の全体構成と同様であるが、図２１に示すように画像圧縮装置１１は、少なくとも１つの可逆圧縮手段１４１と少なくとも１つの非可逆圧縮手段１４２を持つようにする。可逆圧縮手段１４１は、例えば、ハフマン符号化、算術符号化等があり、また、非可逆圧縮手段１４２は、例えば、ＤＣＴ（離散コサイン変換）を利用したＪＰＥＧ等がある。
【００９８】
本方法では、情報処理装置１は表示画面を幾つかの画面領域に分割し、それぞれ分割された各領域毎に圧縮方法を設定する領域別圧縮方法選択手段を有し、分割された領域に対応する画面領域をそれぞれ領域別圧縮方法選択手段で選択された圧縮方法で圧縮して表示端末装置に伝送するようにする。
【００９９】
次に動作について説明する。図２２は、実施の形態１５の情報処理装置１の表示画面の一例である。この画面では、いくつかのウインドウが重なり合っている。図２２では、ウインドウＷ１５１が最上位のウインドウであり、現在、アクティブである。
【０１００】
領域別圧縮方法選択手段は、例えば、オペレーションシステムに現在、どのウインドウがアクティブであるかを問い合わせて、ウインドウＷ１５１がアクティブであることを認識し、ウインドウＷ１５１に対応する領域を領域Ａ１５２、それ以外の領域を領域Ｂ１５３として、それぞれに圧縮方法を設定する。例えば、領域Ａ１５２はアクティブウィンドウであり、ボケや歪みのない画像が求められるため、可逆圧縮手段１４１であるハフマン符号化を設定し、領域Ｂ１５３は、非アクティブな領域であるため、画像の正確さや鮮明さは要求されないため、非可逆圧縮手段１４２であるＪＰＥＧを設定する。すると、情報処理装置１は、領域Ａ１５２に対応するフラグテーブル１６のフラグを読み取り、領域Ａ１５２で更新された矩形領域を抽出し、伝送する矩形領域の画面データを可逆圧縮手段１４１によりハフマン符号化して表示端末装置２に伝送し、次に領域Ｂ１５３に対応するフラグテーブル１６のフラグを読み取り、領域Ｂ１５３で更新された矩形領域を抽出し、表示端末装置２に伝送する。
【０１０１】
なお、本実施の形態では、領域別圧縮方法選択手段は、表示画面領域を複数の領域に分割して、それぞれの領域の圧縮方法を設定する方法として、アクティブウインドウを検出して、そのアクティブウインドウの領域かそうでないかで表示画面領域を複数に分割して、圧縮方法を設定する方法で説明したが、例えば、実施の形態１３で説明したように所定時間のフラグの更新回数により、領域を複数に分割してそれぞれの領域の圧縮方法を設定してもよいし、実施の形態１４で説明したように、アプリケーションプログラムが描画する画面領域によって領域を分割して、それぞれの領域の圧縮方法を設定してもよい。
【０１０２】
以上により、表示画面を複数の画面領域に分割し、その分割した領域毎に圧縮方法を変更できるため、重要でない領域や動画の領域に非可逆圧縮を用いることができ、伝送するデータ量の削減が可能となる。
【０１０３】
【発明の効果】
本発明により、情報処理装置の表示画面を遠隔の表示画面に伝送し、表示する情報処理装置の遠隔表示画面更新システムにおいて、表示画面を伝送する情報処理装置のＣＰＵの負荷を軽減し、遠隔の表示端末装置の表示画面の更新を迅速に行い、どのような描画命令による表示画面の更新にも対応でき、ユーザが視覚的に違和感を感じることなく伝送するデータ量を削減でき、遠隔の表示端末装置は例えば、低消費電力が要求される携帯端末装置のような描画処理能力が情報処理装置よりも劣る場合でも、情報処理装置の表示画面を迅速に更新することができるといった効果がある。
【図面の簡単な説明】
【図１】情報処理装置の遠隔表示画面更新システムの実施の形態１の全体構成を示すブロック図
【図２】フラグと表示画面の関係を示した図
【図３】実施の形態１の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図４】情報処理装置の遠隔表示画面更新システムの実施の形態２の全体構成を示すブロック図
【図５】情報処理装置の遠隔表示画面更新システムの実施の形態３の全体構成を示すブロック図
【図６】実施の形態３の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図７】情報処理装置の遠隔表示画面更新システムの実施の形態４の全体構成を示すブロック図
【図８】実施の形態５の表示画面更新判定手段の処理を示したフローチャート
【図９】実施の形態５の表示画面更新回数計数処理を示したフローチャート
【図１０】実施の形態６のフレーム格納レート制御の処理を示したフローチャート
【図１１】実施の形態７の更新矩形領域抽出回路の構成を示すブロック図
【図１２】実施の形態８の更新矩形領域抽出回路の構成を示すブロック図
【図１３】実施の形態９の更新矩形領域抽出回路の構成を示すブロック図
【図１４】情報処理装置の遠隔表示画面更新システムの実施の形態１０の全体構成を示すブロック図
【図１５】実施の形態１０の情報処理装置の遠隔表示画面更新システムの処理を示したフローチャート
【図１６】実施の形態１１の更新通知フラグテーブルの構成を示す図
【図１７】実施の形態１２の情報処理装置の表示画面の一例を示す図
【図１８】実施の形態１３の所定時間（例えば、１０秒間）にフラグがセットされた回数をフラグ更新回数計数手段によって計数した結果の一例を示す図
【図１９】実施の形態１４のアプリケーションプログラム描画画面特性テーブルの一例を示す図
【図２０】実施の形態１４の情報処理装置の表示画面の一例を示す図
【図２１】実施の形態１５の画像圧縮装置のブロック図
【図２２】実施の形態１５の情報処理装置の表示画面の一例を示す図
【図２３】従来の情報処理装置の遠隔表示画面更新システムの構成を示すブロック図
【符号の説明】
１　情報処理装置
２　表示端末装置
３　通信回線
４　ＣＰＵ
５　メインメモリ
６　大容量記憶装置
７　表示バッファ
８　ビデオコントローラ
９　通信装置
１０　入力装置
１１　画像圧縮装置
１２　メモリＡ
１３　メモリＢ
１４　メモリ切り替え制御回路
１５　更新矩形領域抽出回路
１６　フラグテーブル
１７　システムバスＩ／Ｆ（インターフェイス）
２１　８×８画素の矩形領域
２２　矩形領域に対応するフラグ
３１　フレーム格納レート制御回路
４１　ＲＧＢ成分毎に差分の絶対値を演算する演算器
４２　画素成分の差分の絶対値から所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断回路
５１　フレームデータを１画素毎に比較する比較器
５２　所定矩形領域内の画素の相違の数を計数する相違画素計数回路
５３　所定矩形領域内の画素の相違の数により所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断回路
６１　所定の矩形領域の画素を周波数成分に変換するＤＣＴ（離散コサイン変換）演算器
６２　所定の矩形領域の周波数成分を比較する比較器
６３　所定の周波数よりも低い周波数成分で相違があるかどうかで所定の矩形領域に伝送すべき相違があったかどうか判断する更新判断器
７１　伝送通知フラグテーブル
７２　更新通知フラグテーブル
８１　更新通知フラグテーブルのフラグをセットする領域
８２　更新通知フラグテーブルのフラグセット回数記憶領域
１０１　ウインドウＸ
１０２　ウインドウＸに対応する領域Ａ
１０３　ウインドウＸ以外の表示画面の領域である領域Ｂ
１１１　更新回数が０〜２回である領域Ｘ
１１２　更新回数が３〜１０回である領域Ｙ
１１３　更新回数が１０回以上である領域Ｚ
１２１　アプリケーションプログラム描画画面特性テーブル
１３１　アプリケーションプログラム▲１▼が描画を行っている領域α
１３２　アプリケーションプログラム▲２▼が描画を行っている領域β
１３３　領域α、領域β以外の表示画面領域である領域γ
１４１　可逆圧縮手段
１４２　非可逆圧縮手段
１５１　ウインドウＷ
１５２　ウインドウＷに対応する領域Ａ
１５３　ウインドウＷ以外の表示画面の領域である領域Ｂ
３０３　通信回線
３０４　ＣＰＵ
３０５　メインメモリ
３０６　大容量記憶装置
３０７　表示バッファ
３０８　ビデオコントローラ
３０９　通信装置
３１０　入力装置
Ｓ１０１〜Ｓ６１６　フローチャートのステップ
【図１】
2004086550.tif 000003
【図２】
2004086550.tif 000004
【図３】
2004086550.tif 000005
【図４】
2004086550.tif 000006
【図５】
2004086550.tif 000007
【図６】
2004086550.tif 000008
【図７】
2004086550.tif 000009
【図８】
2004086550.tif 000010
【図９】
2004086550.tif 000011
【図１０】
2004086550.tif 000012
【図１１】
2004086550.tif 000013
【図１２】
2004086550.tif 000014
【図１３】
2004086550.tif 000015
【図１４】
2004086550.tif 000016
【図１５】
2004086550.tif 000017
【図１６】
2004086550.tif 000018
【図１７】
2004086550.tif 000019
【図１８】
2004086550.tif 000020
【図１９】
2004086550.tif 000021
【図２０】
2004086550.tif 000022
【図２１】
2004086550.tif 000023
【図２２】
2004086550.tif 000024
【図２３】
2004086550.tif 000025