(57)【要約】  同時に表示すべき複数の差分領域の表示タイミングのずれを防止することができる画面伝送システムを提供する。差分領域集合抽出部５４は、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する。通信部５６は、差分領域の符号化データを画面情報受信装置６１に送信する。判定部６３は、差分領域の符号化データが復号されたときに、その差分領域と同じ差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する。差分領域集合に属する全ての差分領域の符号化データが復号された場合、更新部６４は、その差分領域に該当する領域の画像情報を、復号された画像情報で更新する。
2014174802.tif 000002
【特許請求の範囲】
【請求項１】
画面の画像情報を送信する画面情報送信装置と、
前記画像情報を受信し、画面を表示する画面情報受信装置とを備え、
前記画面情報送信装置は、
現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、
前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、
差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、
差分領域の符号化データを前記画面情報受信装置に送信する通信手段とを含み、
前記画面情報受信装置は、
前記画面情報送信装置から受信した差分領域の符号化データを復号する復号手段と、
差分領域の符号化データが復号されたときに、前記差分領域が属する差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、
前記差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、前記画面情報受信装置が記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを含む
ことを特徴とする画像伝送システム。
【請求項２】
画面情報送信装置は、
差分領域同士の非類似度を算出する非類似度算出手段を備え、
差分領域集合抽出手段は、差分領域同士の非類似度に基づいて差分領域集合を抽出する
請求項１に記載の画像伝送システム。
【請求項３】
画面情報送信装置は、画面内のブロック毎に変化の有無の履歴を記憶する変化履歴記憶手段を含み、
非類似度算出手段は、前記変化履歴記憶手段に記憶された変化の有無の履歴に基づいて、差分領域同士の非類似度を算出する
請求項２に記載の画像伝送システム。
【請求項４】
画面情報送信装置は、差分領域集合毎に、符号化データの送信順序の優先度を決定する優先度決定手段を含み、
通信手段は、差分領域集合の優先度順に、差分領域集合に属する差分領域の画像情報の符号化データを送信する
請求項２または請求項３に記載の画像伝送システム。
【請求項５】
非類似度算出手段は、同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が多いほど、差分領域同士の非類似度を小さな値とする請求項２から請求項４のうちのいずれか１項に記載の画像伝送システム。
【請求項６】
非類似度算出手段は、同じタイミングでともに変化が生じている頻度と、同じタイミングでともに変化が生じていない頻度とでは、同じタイミングでともに変化が生じている頻度をより重視して、同じタイミングでともに変化が生じている頻度が多いほど、差分領域同士の非類似度を小さな値とする
請求項５に記載の画像伝送システム。
【請求項７】
同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が、現在時刻により近い時刻で多くなっているほど、差分領域同士の非類似度を小さな値とする
請求項５または請求項６に記載の画像伝送システム。
【請求項８】
差分領域抽出手段は、差分領域内の部分領域同士の非類似度を算出し、前記差分領域内で、他の部分領域との非類似度が閾値以上である部分領域を、当該差分領域から分割して別の差分領域とする
請求項１から請求項７のうちのいずれか１項に記載の画像伝送システム。
【請求項９】
通信手段は、差分領域の符号化データ、当該差分領域が属する差分領域集合の識別子および前記差分領域集合に属する差分領域の数を画面情報受信装置に送信し、
判定手段は、差分領域の符号化データが復号されたときに、前記差分領域の符号化データとともに送信された差分領域集合の識別子および前記差分領域集合に属する差分領域の数に基づいて、前記識別子が示す差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する
請求項１から請求項８のうちのいずれか１項に記載の画像伝送システム。
【請求項１０】
現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、
前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、
差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、
差分領域の符号化データを送信する通信手段とを備える
ことを特徴とする画面情報送信装置。
【請求項１１】
差分領域同士の非類似度を算出する非類似度算出手段を備え、
差分領域集合抽出手段は、差分領域同士の非類似度に基づいて差分領域集合を抽出する
請求項１０に記載の画面情報送信装置。
【請求項１２】
画面内のブロック毎に変化の有無の履歴を記憶する変化履歴記憶手段を備え、
非類似度算出手段は、前記変化履歴記憶手段に記憶された変化の有無の履歴に基づいて、差分領域同士の非類似度を算出する
請求項１１に記載の画面情報送信装置。
【請求項１３】
差分領域集合毎に、符号化データの送信順序の優先度を決定する優先度決定手段を備え、
通信手段は、差分領域集合の優先度順に、差分領域集合に属する差分領域の画像情報の符号化データを送信する
請求項１１または請求項１２に記載の画面情報送信装置。
【請求項１４】
非類似度算出手段は、同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が多いほど、差分領域同士の非類似度を小さな値とする
請求項１１から請求項１３のうちのいずれか１項に記載の画面情報送信装置。
【請求項１５】
非類似度算出手段は、同じタイミングでともに変化が生じている頻度と、同じタイミングでともに変化が生じていない頻度とでは、同じタイミングでともに変化が生じている頻度をより重視して、同じタイミングでともに変化が生じている頻度が多いほど、差分領域同士の非類似度を小さな値とする
請求項１４に記載の画面情報送信装置。
【請求項１６】
同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が、現在時刻により近い時刻で多くなっているほど、差分領域同士の非類似度を小さな値とする
請求項１４または請求項１５に記載の画面情報送信装置。
【請求項１７】
差分領域抽出手段は、差分領域内の部分領域同士の非類似度を算出し、前記差分領域内で、他の部分領域との非類似度が閾値以上である部分領域を、当該差分領域から分割して別の差分領域とする
請求項１０から請求項１６のうちのいずれか１項に記載の画面情報送信装置。
【請求項１８】
通信手段は、差分領域の符号化データ、当該差分領域が属する差分領域集合の識別子および前記差分領域集合に属する差分領域の数を送信する
請求項１０から請求項１７のうちのいずれか１項に記載の画面情報送信装置。
【請求項１９】
記憶している画面から変化した領域である差分領域の符号化データを復号する復号手段と、
差分領域の符号化データが復号されたときに、前記差分領域が属し、同時に表示すべき差分領域の集合である差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、
前記差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、前記記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを備える
ことを特徴とする画面情報受信装置。
【請求項２０】
判定手段は、差分領域の符号化データが復号されたときに、前記差分領域の符号化データとともに送信された差分領域集合の識別子および前記差分領域集合に属する差分領域の数に基づいて、前記識別子が示す差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する
請求項１９に記載の画面情報受信装置。
【請求項２１】
画面情報送信装置が、
現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出し、
前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出し、
差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化し、
差分領域の符号化データを画面情報受信装置に送信し、
前記画面情報受信装置が、
前記画面情報送信装置から受信した差分領域の符号化データを復号し、
差分領域の符号化データを復号したときに、前記差分領域が属する差分領域集合に属する全ての差分領域の符号化データを復号したか否かを判定し、
前記差分領域集合に属する全ての差分領域の符号化データを復号したと判定したときに、前記画面情報受信装置が記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する
ことを特徴とする画面伝送方法。
【請求項２２】
コンピュータに、
現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出処理、
前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出処理、
差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化処理、および、
差分領域の符号化データを送信する通信処理
を実行させるための画像情報送信プログラム。
【請求項２３】
コンピュータに、
記憶している画面から変化した領域である差分領域の符号化データを復号する復号処理、
差分領域の符号化データが復号されたときに、前記差分領域が属し、同時に表示すべき差分領域の集合である差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定処理、および、
前記差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、前記記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新処理
を実行させるための画像情報受信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を効率的に伝送する画面伝送システム、およびその画面伝送システムに適用される画像情報送信装置、画像情報受信装置、画面伝送方法、画像情報送信プログラムおよび画像情報受信プログラムに関する。
【背景技術】
【０００２】
コンピュータの画面の画像情報をサーバからクライアントに送信する画面伝送システムが知られている。このような画面伝送システムにおいて、サーバとクライアントの通信データ量を削減するために、前画面から表示内容が変化した領域である差分領域の画像情報をサーバが送信する技術が適用されている。また、特許文献１には、個々の差分領域の優先度を定め、その優先度に応じて差分領域の送信順序を制御する技術が記載されている。特許文献１に記載の技術により、優先度の高い差分領域がクライアント側で表示されるまでの遅延時間を短縮でき、また、表示内容の更新頻度を高くすることができる。【０００３】
そして、特許文献１には、優先度を決定する方法の一例として、差分領域に含まれる画素の画素値と差分領域の面積とに基づいて優先度を決定することが記載されている。さらに、差分領域に含まれる画素の画素値と差分領域の面積とに基づいて、前画面に対する画素値の変化の度合いを示す変化情報密度を算出し、変化情報密度に基づいて優先度を決定することが記載されている。そして、変化情報密度の計算例として、画素値の変化量の合計を面積の２乗で除算することが記載されている。また、変化情報密度に対して重み付けを行う技術も特許文献１に記載されている。例えば、差分領域の画像情報が最後に送信された時刻と現在時刻との差分や、あるいは、画面に含まれるブロックの送信頻度に基づいて、変化情報密度に対して重み付けを行うことが記載されている。また、クライアントから送られてきた操作情報に基づいて、変化情報密度に対して重み付けを行うことも記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】再表２００９／００４９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のシステムは、最新の画面を生成したときにその画面から抽出されるそれぞれの差分領域に対して優先度を定める。このとき、クライアント側で同時に表示すべき複数の差分領域に異なる優先度が定められることがある。すると、クライアント側で差分領域が更新されるタイミングがずれ、ユーザにとって見づらい表示となってしまう。具体的には、意味的に同一の内容を表示する差分領域（以下、同一意味画像表示領域と記す場合がある。）は、クライアント側で同時に表示すべきである。しかし、その差分領域に異なる優先度が定められると、その差分領域の表示タイミングがずれてしまう。例えば、一つの動画領域が分割されて、複数の差分領域として抽出されることがある。このような複数の差分領域は、同一意味画像表示領域に該当する。このような場合に、それらの各差分領域に異なる優先度が割り当てられると、クライアント側では、動画領域から分割された各差分領域の画像更新タイミングがずれる。その結果、ユーザが動画を見づらくなってしまう。さらに、特許文献１に記載の技術のように、差分領域の画像情報が最後に送信された時刻と現在時刻との差分が優先度に反映される場合、一度生じたタイミングのずれが後の時刻で検出された差分領域の送信順序に影響することがあり、動画の視認性が低下する問題がある。【０００６】
そこで、本発明は、同時に表示すべき複数の差分領域の表示タイミングのずれを防止することができる画面伝送システム、およびその画面伝送システムに適用される画像情報送信装置、画像情報受信装置、画面伝送方法、画像情報送信プログラムおよび画像情報受信プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像伝送システムは、画面の画像情報を送信する画面情報送信装置と、画像情報を受信し、画面を表示する画面情報受信装置とを備え、画面情報送信装置は、  現画面と、現画面に変化する前の前画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する差分領域抽出手段と、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、差分領域の符号化データを画面情報受信装置に送信する通信手段とを含み、画面情報受信装置は、画面情報送信装置から受信した差分領域の符号化データを復号する復号手段と、差分領域の符号化データが復号されたときに、その差分領域が属する差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、その差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、画面情報受信装置が記憶している画面の画像情報のうち、その差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを含むことを特徴とする。【０００８】
また、本発明による画面情報送信装置は、現画面と、現画面に変化する前の前画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する差分領域抽出手段と、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、差分領域の符号化データを送信する通信手段とを備えることを特徴とする。【０００９】
また、本発明による画面情報受信装置は、記憶している画面から変化した領域である差分領域の符号化データを復号する復号手段と、差分領域の符号化データが復号されたときに、その差分領域が属し、同時に表示すべき差分領域の集合である差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、その差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、記憶している画面の画像情報のうち、その差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを備えることを特徴とする。【００１０】
また、本発明による画面伝送方法は、画面情報送信装置が、現画面と、現画面に変化する前の前画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出し、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出し、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化し、差分領域の符号化データを画面情報受信装置に送信し、画面情報受信装置が、画面情報送信装置から受信した差分領域の符号化データを復号し、差分領域の符号化データを復号したときに、その差分領域が属する差分領域集合に属する全ての差分領域の符号化データを復号したか否かを判定し、その差分領域集合に属する全ての差分領域の符号化データを復号したと判定したときに、画面情報受信装置が記憶している画面の画像情報のうち、その差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新することを特徴とする。【００１１】
また、本発明による画像情報送信プログラムは、コンピュータに、現画面と、現画面に変化する前の前画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する差分領域抽出処理、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出処理、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化処理、および、差分領域の符号化データを送信する通信処理を実行させることを特徴とする。【００１２】
また、本発明による画像情報受信プログラムは、コンピュータに、記憶している画面から変化した領域である差分領域の符号化データを復号する復号処理、差分領域の符号化データが復号されたときに、前記差分領域が属し、同時に表示すべき差分領域の集合である差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定処理、および、その差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、記憶している画面の画像情報のうち、その差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新処理を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、同時に表示すべき複数の差分領域の表示タイミングのずれを防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の画面伝送システムの例を示すブロック図である。
【図２】画面内のブロックの例を示す模式図である。
【図３】変化履歴記憶部が記憶するブロック毎の履歴の例を示す説明図である。
【図４】本発明の画面伝送システムの処理経過の例を示すフローチャートである。
【図５】画面内で移動可能な領域の例を示す説明図である。
【図６】本発明の画面伝送システムの主要部を示すブロック図である。
【図７】本発明の画像情報送信装置の主要部を示すブロック図である。
【図８】本発明の画像情報受信装置の主要部を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面を参照して説明する。
【００１６】
図１は、本発明の画面伝送システムの例を示すブロック図である。本発明の画面伝送システムは、画面送信サーバ（画像情報送信装置）１と、画面受信クライアント（画像情報受信装置）２とを備える。画面送信サーバ１は、通信ネットワーク（図示略）を介して、コンピュータの画面の画像情報を画面受信クライアント２に送信し、画面受信クライアント２は、その画像情報に基づいて画面を表示する。例えば、画面受信クライアント２は、シンクライアントであり、画面送信サーバ１はシンクライアントに画像情報を送信するサーバである。
【００１７】
画面送信サーバ１は、画面生成部８と、画面取得部９と、現画面情報記憶部１１と、送信画面情報記憶部１２と、差分領域抽出部１３と、変化履歴記憶部１４と、非類似度算出部１５と、差分領域集合抽出部１６と、優先度決定部１７と、符号化部１８と、サーバ通信部１９と、送信画面情報更新部１０とを備える。
【００１８】
現画面情報記憶部１１は、最新の画面（以下、現画面と記す場合がある。）の画像情報を記憶する。
【００１９】
画面生成部８は、現画面の画像情報を生成する。画面取得部９は、画面生成部８によって生成された現画面の画像情報を取得し、現画面情報記憶部１１に記憶させる。
【００２０】
送信画面情報記憶部１２は、画面送信サーバ１が既に画面受信クライアント２に送信したことになっている直近の画面（前画面）の画像情報を記憶する。現画面から抽出された差分領域の画像情報が符号化され、符号化された差分領域の画像情報が画面受信クライアント２に送信された後、送信画面情報更新部１０は、送信画面情報記憶部１２に記憶されている画面の画像情報において、その差分領域に該当する領域の画像情報を更新する。この動作により、送信画面情報記憶部１２は、前画面の画像情報を記憶する。
【００２１】
差分領域抽出部１３は、現画面情報記憶部１１に記憶されている現画面の画像情報と、送信画面情報記憶部１２に記憶されている前画面の画像情報とを比較して、前画面から変化している領域である差分領域を抽出する。差分領域は、現画面から変化した、一続きになっている画素の集合であるということもできる。差分領域抽出部１３は、差分領域が複数存在する場合、各差分領域を抽出する。
【００２２】
変化履歴記憶部１４は、画面内のブロック毎に、変化の有無の履歴を記憶する。ブロックとは、一画面を固定サイズの領域で分割した場合の個々の領域である。１画素を１つのブロックとして定めてもよい。すなわち、変化履歴記憶部１４は、画面内の画素毎に、変化の有無の履歴を記憶してもよい。
【００２３】
図２は、ブロックの例を示す模式図である。図２では、１画面を１６ブロックに分割した場合の例を示しているが、１画面の分割数は特に限定されない。既に述べたように、１画素を１ブロックとしてもよい。図３は、変化履歴記憶部１４が記憶するブロック毎の履歴の例を示す説明図である。変化履歴記憶部１４は、過去Ｎ枚の画像における各ブロックの変化の有無を記憶する。ここで、画面の時刻をｔで表す。時刻ｔの画面の一つ前の時刻はｔ−１である。ある時刻ｔにおける画面のあるブロックｉが、その１つ前の時刻ｔ−１における画面の同じブロックｉから変化した場合、変化履歴記憶部１４は、時刻ｔにおけるそのブロックｉに関して、「変化有り」を記憶する。また、ある時刻ｔにおける画面のあるブロックｉが、その１つ前の時刻ｔ−１における画面の同じブロックｉから変化していない場合、変化履歴記憶部１４は、時刻ｔにおけるそのブロックｉに関して、「変化無し」を記憶する。以下、「変化有り」を“１”で表し、「変化なし」を“０”で表すものとする。
【００２４】
変化履歴記憶部１４は、過去Ｎ枚の各画面に関して、ブロック毎に変化の有無を記憶する。図２では、ブロック１，２における変化の履歴を図示しているが、変化履歴記憶部１４は、他のブロックに関しても同様に、変化の履歴を記憶する。図３に示す例では、ブロック１の変化の履歴は、（１，０，・・・，０，１，０）というＮ次元ベクトルで表される。他のブロックの変化の履歴も、それぞれＮ次元ベクトルで表すことができる。
【００２５】
以下、ブロックｉの時刻ｔにおける変化の有無をf(i,t)と表す。このとき、ブロックｉにおける過去Ｎ枚の画面での変化の履歴を表すベクトルをx(i)とすると、ベクトルx(i)は、以下に示す式（１）で表される。
【００２６】
x(i)=(f(i,t-1), f(i,t-2), ... , f(i,t-N))          式（１）
【００２７】
また、Ｎ次元ベクトルx(i)のｎ番目の要素を、xn(i) と記す。ここでは、ブロックｉを例にして説明したが、他のブロックに関しても同様である。
【００２８】
なお、変化履歴記憶部１４にブロック毎の変化の履歴を記憶させる動作は、例えば、差分領域抽出部１３が行えばよい。
【００２９】
非類似度算出部１５は、ブロック毎の変化の有無の履歴に基づいて、現画面から抽出された差分領域同士の非類似度を算出する。「非類似度」は、差分領域同士の非類似の程度を表す値である。差分領域同士が類似していないほど、非類似度は大きな値となる。また、差分領域同士が類似しているほど、非類似度は小さな値となる。
【００３０】
以下、差分領域同士の非類似度の算出例を示す。差分領域抽出部１３によって抽出される差分領域の形状は任意の形状であるが、ここでは、説明を簡単にするために、各差分領域が、１つのブロックに該当する場合を例にして説明する。以下に示す各例では、非類似度算出部１５が、差分領域に該当するブロックでの変化の履歴を示すＮ次元ベクトルを特徴ベクトルとして用いて、差分領域同士の非類似度を算出する。以下に示す各例では、一方の差分領域がブロックｉであり、他方の差分領域がブロックｊであり、この二つの差分領域の非類似度を求める場合を例にする。
【００３１】
［例１］
非類似度算出部１５は、ブロックｉの特徴ベクトルx(i)と、ブロックｊの特徴ベクトルx(j)の単純なハミング距離（換言すれば、不一致の回数）を、両者の非類似度として算出してもよい。特徴ベクトルx(i)およびx(j)の距離をd(i,j)とする。例１では、非類似度算出部１５は、以下に示す式（２）の計算によって、d(i,j)を算出し、d(i,j)をブロック同士の非類似度とする。
【００３２】
【数１】
2014174802.tif 000003
【００３３】
なお、式（２）におけるg(a,b)は、式（３）に示す演算である。
【００３４】
【数２】
2014174802.tif 000004
【００３５】
すなわち、a,bが等しければg(a,b)=0であり、a,bが異なっていればg(a,b)=1である。式（２）において、xn(i), xn(j)が等しいということは、同じタイミングでブロックｉ，ｊに変化が生じているか、あるいは、同じタイミングでブロックｉ，ｊのどちらにも変化が生じていないことを意味する。また、式（２）において、xn(i), xn(j)が異なっているということは、一方で変化が生じているが、他方では変化が生じていないことを意味する。
【００３６】
上記のように非類似度を算出する場合、一方のブロックで変化が生じるときには、他方のブロックでも変化が生じ、一方のブロックで変化が生じないときには、他方のブロックでも変化が生じないという傾向が強いほど、非類似度は低くなる。すなわち、変化の生じるタイミングの傾向が類似しているほど、非類似度は低くなる。
【００３７】
例１では、同時に変化が生じることと同時に無変化であることを同様に扱って、非類似度を算出する方法である。
【００３８】
［例２］
例２では、ブロックｉ，ｊに同時に変化が生じることと、ブロックｉ，ｊが同時に無変化であることの評価に差を付け、ブロックｉ，ｊに同時に変化が生じる傾向が高い場合に、特に非類似度を低く評価する（類似の程度が高いと評価する。）。すなわち、例２は、同時に変化が生じることを重視して、同時に変化が生じる回数が多い傾向が強いと、非類似度を低く評価する方法である。例２では、非類似度算出部１５は、例えば、以下に示す式（４）の計算によってd(i,j)を算出し、d(i,j)をブロック同士の非類似度とする。
【００３９】
【数３】
2014174802.tif 000005
【００４０】
ただし、式（４）におけるg(a,b)は、例えば、式（５）に示す演算である。
【００４１】
【数４】
2014174802.tif 000006
【００４２】
すなわち、a,bがともに１であればg(a,b)=0であり、a,bがともに０であればg(a,b)=1/4であり、a,bが異なっていればg(a,b)=1である。式（４）において、xn(i), xn(j)がともに１であるということは、同じタイミングでブロックｉ，ｊに変化が生じていることを意味する。また、式（４）において、xn(i), xn(j)がともに０であるということは、同じタイミングでブロックｉ，ｊのどちらにも変化が生じていないことを意味する。また、式（４）において、xn(i), xn(j)が異なっているということは、一方で変化が生じているが、他方では変化が生じていないことを意味する。
【００４３】
［例３］
例３は、ブロックｉ，ｊで同時に変化が生じたり、同じタイミングで両者ともに変化しないという傾向が、過去よりも現在に近づくほど、強まっている場合に、非類似度を低く評価する（類似の程度が高いと評価する）方法である。非類似度算出部１５は、例えば、以下に示す式（６）の計算によってd(i,j)を算出し、d(i,j)をブロック同士の非類似度とする。
【００４４】
【数５】
2014174802.tif 000007
【００４５】
ただし、w1>w2> ... >wNであり、かつ、w1,w2, ... ,wNは、いずれも０以上の値である。例えば、C を１未満の値とし、wn=Cn-1としてもよい。
【００４６】
なお、例３におけるg(a,b)は、式（３）に示す演算であっても、式（５）に示す演算であってもよい。
【００４７】
上記の例１から例３に示した非類似度の算出方法は、履歴における変化および無変化の傾向に基づいて非類似度を算出する方法である。
【００４８】
［例４］
例４は、履歴における変化および無変化の傾向とともに、ブロックｉ，ｊの画像特徴間の距離も用いて非類似度を算出する方法である。例４では、非類似度算出部１５は、以下に示す式（７）の計算によって、d(i,j)を算出し、d(i,j)をブロック同士の非類似度とする。
【００４９】
【数６】
2014174802.tif 000008
【００５０】
［例５］
例５は、履歴における変化および無変化の傾向とともに、画面内におけるブロックｉ，ｊの空間的な距離も用いて非類似度を算出する方法である。例５では、非類似度算出部１５は、以下に示す式（８）の計算によって、d(i,j)を算出し、d(i,j)をブロック同士の非類似度とする。
【００５１】
【数７】
2014174802.tif 000009
【００５２】
式（７）および式（８）における右辺の第１項は、例１または例２と同様に計算すればよい。また、例３で示した式（６）の右辺を、式（７）および式（８）における右辺の第１項として用いてもよい。
【００５３】
以上の例では、２つのブロック間の非類似度d(i,j)を、過去の変化の有無の履歴に基づいて算出する場合を示した。非類似度算出部１５は、非類似度を算出する際に、２つのブロックの画面内位置が近いほど値が小さくなる項を、履歴に基づいて算出した値に加算してもよい。また、意味的に同一の内容を表す領域に２つのブロックが属している可能性を示す情報を、コンピュータ上で動作しているＯＳ（Operating System）やアプリケーションソフトウェアから得られた場合には、非類似度算出部１５は、その情報も用いて、ブロック間の非類似度を算出してもよい。
【００５４】
上記の各例では説明を簡単にするために、各差分領域が１つのブロックに該当する場合を例にして説明した。差分領域の形状は任意の形状であるので、必ずしも１つの差分領域が１つのブロックに該当するとは限らず、差分領域が１つまたは複数のブロックの集合によって構成される。この場合、例えば、差分領域抽出部１３が差分領域に含まれるブロックの個数が１になるように差分領域を分割し、非類似度算出部１５が差分領域間の非類似度をブロック間の非類似度に置き換えて算出することが、差分領域間の非類似度を算出する１つの手法である。
【００５５】
他には、非類似度算出部１５は、２つの差分領域を構成するブロック同士の非類似度の平均値を、差分領域同士の非類似度として用いてもよい。具体的には、差分領域１がＫ個のブロックi1, i2,..., iKから構成され、差分領域２がL個のブロックj1, j2,..., jLから構成されている場合、非類似度算出部１５は、K×L組のブロック間非類似度d(ik,jl)の平均値を算出し、それを差分領域１と差分領域２の非類似度とする。ここで、差分領域を構成するブロックとは、当該ブロック内の画素の全部あるいは一部が差分領域に属するブロックのことを意味するとする。他には、一部分が差分領域に含まれるブロックに低い重みを付加し、全部が差分領域に含まれるブロックに高い重みを付加してブロック間非類似度の重み付き平均を算出する手法を用いてもよい。あるいは、ブロック間非類似度の平均値ではなく、中間値等を差分領域同士の非類似度として用いてもよい。
【００５６】
この他、非類似度算出部１５が、差分領域のＮ次元特徴ベクトルを、差分領域を構成するブロックのＮ次元特徴ベクトルの最頻値や中間値等によって算出し、そのＮ次元特徴ベクトルを用いて、ブロック間の非類似度算出と同様の演算を行って差分領域間の非類似度を算出してもよい。あるいは、非類似度算出部１５は、差分領域を構成するブロックのＮ次元特徴ベクトルの平均値を差分領域のＮ次元特徴ベクトルとし、式（４）に従って差分領域間の非類似度を算出してもよい。ただし、g(a,b)は、０≦a≦１，０≦b≦１に対して定義された、次のいずれかの条件を満たす実数値関数として定める。
【００５７】
（条件１）
aとbの差が小さいほどg(a,b)は小さい値を取る。
（条件２）
条件１を満たすとともに、aとbの差が同程度である場合、aおよびbが（aおよびbの平均値が）０または１に近いほどg(a,b)は小さい値を取る。
（条件３）
条件２を満たすとともに、aおよびbがともに０に近い値である場合よりも、aおよびbがともに１に近い値である場合の方が、g(a,b)は小さい値を取る。
【００５８】
条件１を満たすg(a,b)の例として、式（９）、式（１０）がある。この場合、２つの差分領域の中で変化があったブロックの数の割合と、変化のなかったブロックの数の割合が同程度の場合に、非類似度は小さく評価される。
【００５９】
条件２を満たすg(a,b)の例として、式（１１）がある。この場合、２つの差分領域内でそれぞれ、大半のブロックが変化した場合、または、２つの差分領域内でそれぞれ、大半のブロックが変化しなかった場合に、非類似度は小さく評価される。また、２つの差分領域内でそれぞれ、変化のあったブロックと変化しなかったブロックとが混在している場合には、非類似度は大きな値となる。
【００６０】
条件３を満たすg(a,b)の例として、式（１２）がある。この場合、２つの差分領域内でそれぞれ大半のブロックが変化しない場合（a,bがともに０に近い場合）における非類似度が、２つの差分領域内でそれぞれ大半のブロックが変化した場合（a,bがともに１に近い場合）における非類似度よりも大きく評価される。
【００６１】
g(a,b)=|a-b|2                式（９）
【００６２】
g(a,b)=|a-b|                 式（１０）
【００６３】
g(a,b)=a(1-b)+b(1-a)          式（１１）
【００６４】
【数８】
2014174802.tif 000010
【００６５】
なお、任意の形状の差分領域に対応するＮ次元の特徴ベクトルを定める方法は、上記の例に限定されない。
【００６６】
差分領域集合抽出部１６は、差分領域同士の非類似度に基づいて、同時に表示すべき差分領域の集合（換言すれば、意味的に同一の内容を表示する差分領域の集合）をそれぞれ抽出する。以下、差分領域集合抽出部１６によって抽出される差分領域の各集合を意味集合と記す。差分領域集合抽出部１６は、差分領域抽出部１３によって現画面から抽出された各差分領域を対象にして、差分領域同士の非類似度に基づいてクラスタリングを行うことによって、意味集合を抽出する。このクラスタリングの手法は、例えば、ｋ近傍法、ｋ平均法、自己組織化写像等の一般的なクラスタリング手法でよい。あるいは、非類似度の小ささだけでなく、意味的に同一の内容を表示する差分領域の集合に含まれる差分領域の連結性が高くなるように補正したクラスタリングに基づく画像領域分割手法を用いてもよい。
【００６７】
また、差分領域集合抽出部１６は、抽出したそれぞれの意味集合に対して、意味集合の識別子を付与する。さらに、差分領域集合抽出部１６は、抽出した意味集合毎に、意味集合に属する差分領域の数をカウントする。
【００６８】
優先度決定部１７は、差分領域集合抽出部１６によって抽出された各意味集合に対して、それぞれ、符号化データの送信順序の優先度を決定する。符号化データとは、差分領域の画像情報を符号化したデータである。優先度決定部１７は、例えば、意味集合毎に、意味集合に属している各差分領域に含まれる画素の画素値と、その各差分領域全体の面積とに基づいて、以下の計算を行う。
【００６９】
（意味集合に属している各差分領域に含まれる画素の画素値の変化量の合計）／（意味集合に属している各差分領域全体の面積）の２乗
【００７０】
この計算結果を、変化情報密度と記す。変化情報密度は、意味集合に属する各差分領域における画素値の変化の度合い、すなわち意味集合に属する各差分領域内の絵としての変化の大きさを表す値である。優先度決定部１７は、変化情報密度に基づいて、各意味集合の優先度を決定する。ここでは、変化情報密度そのものを優先度として用いる場合を例にする。
【００７１】
なお、優先度の決定方法は、上記の例に限定されず、優先度決定部１７は、他の方法で意味集合の優先度を決定してもよい。
【００７２】
符号化部１８は、優先度の高い意味集合から順に、意味集合に属する差分領域の画像情報を符号化し、サーバ通信部１９が保持するバッファ（図示略）に書き込む。前述のように、差分領域の画像情報を符号化したデータを符号化データと記す。
【００７３】
サーバ通信部１９は、バッファに書き込まれた差分領域の符号化データをバッファに書き込まれた順に画面受信クライアント２に送信する。従って、サーバ通信部１９は、優先度が高い意味集合に属している差分領域の符号化データから順次送信することになる。
【００７４】
また、サーバ通信部１９は、差分領域の符号化データを画面受信クライアント２に送信するときに、差分領域の符号化データに、その差分領域が属する意味集合の識別子、およびその意味集合に属している差分領域の数の情報を付加して、画面受信クライアント２に送信する。意味集合の識別子および意味集合に属している差分領域の数の情報は、差分領域集合抽出部１６によって定められた情報である。
【００７５】
画面生成部８、画面取得部９、送信画面情報更新部１０、差分領域抽出部１３、非類似度算出部１５、差分領域集合抽出部１６、優先度決定部１７、符号化部１８およびサーバ通信部１９は、例えば、画像情報送信プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが画像情報送信プログラムを読み込み、そのプログラムに従って、画面生成部８、画面取得部９、送信画面情報更新部１０、差分領域抽出部１３、非類似度算出部１５、差分領域集合抽出部１６、優先度決定部１７、符号化部１８およびサーバ通信部１９として動作してもよい。画像情報送信プログラムは、コンピュータが読み取り可能な記録媒体に記憶されていてもよい。また、これらの各要素が別々のハードウェアによって実現されてもよい。
【００７６】
画面受信クライアント２は、クライアント通信部２１と、復号部２２と、差分領域更新部２３と、画面情報記憶部２４と、画面出力部２５とを備える。
【００７７】
クライアント通信部２１は、サーバ通信部１９によって送信された差分領域の符号化データ、その差分領域が属する意味集合の識別子、およびその意味集合に属している差分領域の数の情報の組み合わせをそれぞれ受信する。
【００７８】
復号部２２は、クライアント通信部２１が受信した差分領域の符号化データを復号する。
【００７９】
差分領域更新部２３は、一つの識別子によって特定される意味集合に属する差分領域の数の分だけ、その識別子に対応する差分領域の符号化データの復号が完了すると、画面情報記憶部２４に記憶されている画面の画像情報の中から、その各差分領域に該当する領域の画像情報を特定する。差分領域更新部２３は、その特定した領域の画像情報を、復号された各差分領域の画像情報と入れ替える。すなわち、差分領域更新部２３は、一つの意味集合に属する全ての差分領域の符号化情報が受信され、復号部２２によって復号された後に、画面情報記憶部２４に記憶されている画面の画像情報におけるそれらの各差分領域に該当する画像情報を更新する。
【００８０】
画面情報記憶部２４は、画面出力部２５に対して出力する画像情報を記憶する。
【００８１】
画面出力部２５は、画面情報記憶部２４に記憶されている画像情報に基づいて、画像を表示するディスプレイ装置である。上記のように、一つの意味集合に属する全ての差分領域の符号化情報が全て復号された後に、それらの差分領域に該当する領域の画像情報が、復号された情報に入れ替えられる。従って、画面出力部２５は、一つの意味集合に属する全ての差分領域の画像を同時に更新することになる。
【００８２】
クライアント通信部２１、復号部２２および差分領域更新部２３は、例えば、画像情報受信プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが画像情報受信プログラムを読み込み、そのプログラムに従って、クライアント通信部２１、復号部２２および差分領域更新部２３として動作してもよい。画像情報受信プログラムは、コンピュータが読み取り可能な記録媒体に記憶されていてもよい。また、これらの各要素が別々のハードウェアによって実現されてもよい。
【００８３】
図４は、本発明の画面伝送システムの処理経過の例を示すフローチャートである。
【００８４】
画面生成部８は、最新の画面（現画面）の画像情報を生成すると、その画像情報を画面取得部９に渡す（ステップＳ１）。そして、画面取得部９は、画面生成部８から取得した現画面の画像情報を現画面情報記憶部１１に記憶させる（ステップＳ２）。
【００８５】
差分領域抽出部１３は、現画面情報記憶部１１に記憶されている現画面の画像情報と、送信画面情報記憶部１２に記憶されている前画面の画像情報とに基づいて、差分領域を現画面から抽出する（ステップＳ３）。
【００８６】
非類似度算出部１５は、変化履歴記憶部１４に記憶されているブロック毎の変化の有無の履歴を参照し、ブロック毎の変化の有無の履歴に基づいて、ステップＳ３で抽出された差分領域同士の非類似度を算出する（ステップＳ４）。
【００８７】
なお、例えば、ステップＳ４の後、差分領域抽出部１３は、前画像から現画像に変化が生じているか否かをブロック毎に判定し、ブロック毎の判定結果を変化履歴記憶部１４に記憶させる。また、このとき、差分領域抽出部１３は、変化履歴記憶部１４に記憶されている各ブロックの最も古い履歴を削除する。この結果、変化履歴記憶部１４が記憶する各ブロックの変化の有無の履歴（具体的には、ブロック毎のＮ次元ベクトル）が更新される。なお、変化履歴記憶部１４に記憶されている各ブロックの履歴の更新方法や、更新タイミングは、上記の例に限定されない。他の態様で、変化履歴記憶部１４に記憶されている各ブロックの履歴を更新してもよい。
【００８８】
ステップＳ４の後、差分領域集合抽出部１６は、差分領域同士の非類似度に基づいて、ステップＳ３で抽出された各差分領域を対象にしてクラスタリングを行うことによって、意味集合を抽出する（ステップＳ５）。１つの意味集合には、意味的に同一の内容を表示する各差分領域が属している。また、差分領域集合抽出部１６は、ステップＳ５において、抽出した個々の意味集合に対して意味集合の識別子を付与する。さらに、差分領域集合抽出部１６は、ステップＳ５において、意味集合毎に、意味集合に属する差分領域の数をカウントする。
【００８９】
次に、優先度決定部１７は、ステップＳ５で抽出された各意味集合に対して、それぞれ優先度を決定する（ステップＳ６）。
【００９０】
そして、符号化部１８は、優先度の高い意味集合から順に、意味集合に属する差分領域の画像情報をそれぞれ符号化し、サーバ通信部１９が保持するバッファ（図示略）に書き込む（ステップＳ７）。
【００９１】
サーバ通信部１９は、バッファに書き込まれた順に、差分領域の符号化データに対して、その差分領域が属する意味集合の識別子、およびその意味集合に属している差分領域の数の情報を付加し、符号化データ、意味集合の識別子、意味集合に属している差分領域の数の情報の組み合わせを画面受信クライアント２に送信する（ステップＳ８）。
【００９２】
そして、送信画面情報更新部１０は、送信画面情報記憶部１２に記憶されている画面の画像情報のうち、符号化データが送信済みの差分領域に該当する領域の画像情報を、その差分領域の画像情報で更新する（ステップＳ９）。
【００９３】
なお、画面生成部８が新たに画面の画像情報を生成した場合、画面送信サーバ１は、ステップＳ１以降の処理を繰り返す。
【００９４】
また、画面受信クライアント２のクライアント通信部２１は、ステップＳ８でサーバ通信部１９によって送信された差分領域の符号化データ、その差分領域が属する意味集合の識別子、およびその意味集合に属している差分領域の数の情報の組み合わせを、それぞれ受信する（ステップＳ２１）。
【００９５】
復号部２２は、クライアント通信部２１が受信した差分領域の符号化データを、受信順に復号する（ステップＳ２２）。
【００９６】
差分領域更新部２３は、差分領域の符号化データが復号されると、その差分領域の符号化データとともに送信された識別子が示す意味集合に属している全ての差分領域の符号化データの復号が完了したか否かを判定する（ステップＳ２３）。差分領域更新部２３は、意味情報の識別子とともに送信された差分領域の数（すなわち、識別子が示す意味集合に属している差分領域の数）と、その識別子に対応する復号済みの差分領域の数とを比較する。そして、差分領域更新部２３は、両者が一致した場合に、復号された差分領域が属する意味集合の各差分領域が全て復号済みであると判定する（ステップＳ２３のＹｅｓ）。また、差分領域更新部２３は、両者が一致していない場合、復号された差分領域が属する意味集合の全ての差分領域の復号がまだ完了していないと判定する（ステップＳ２３のＮｏ）。
【００９７】
復号された差分領域が属する意味集合の全ての差分領域の復号がまだ完了していない場合（ステップＳ２３のＮｏ）、ステップＳ２２，Ｓ２３の処理を繰り返す。
【００９８】
復号された差分領域が属する意味集合の全ての差分領域の復号が完了した場合（ステップＳ２３のＹｅｓ）、差分領域更新部２３は、画面情報記憶部２４に記憶されている画面の画像情報の中から、その意味集合に属する各差分領域に該当する領域の画像情報を特定する。そして、差分領域更新部２３は、その特定した領域の画像情報を、その意味集合に属する各差分領域の画像情報と入れ替える（ステップＳ２４）。従って、ステップＳ２４では、差分領域更新部２３は、意味集合単位で、画面情報記憶部２４に記憶されている画像情報を更新する。
【００９９】
画面出力部２５は、画面情報記憶部２４に記憶されている画面の画像情報が更新されると、その画像情報に基づいて、画像を表示する（ステップＳ２５）。
【０１００】
ステップＳ２５の後、再度、画面情報記憶部２４に記憶されている画像情報が意味集合単位で更新されると（ステップＳ２４）、その画像情報に基づいて、新たに画像を表示する（ステップＳ２５）。このように、ステップＳ２４，Ｓ２５が繰り返される。
【０１０１】
本実施形態によれば、差分領域集合抽出部１６が、現画面から抽出された差分領域を意味集合に分類する。そして、優先度決定部１７が、意味集合の優先度を決定し、意味集合の優先度順に、差分領域の画像情報が符号化され、画面受信クライアント２に送信される。そして、画面受信クライアント２では、一つの意味集合に属する全ての差分領域の符号化データの復号が完了したときに、差分領域更新部２３が、画面情報記憶部２４に記憶されている画面情報のうち、その各差分領域に該当する領域の画像情報を更新し、画面出力部２５が更新後の画像情報に基づいて画像を表示する。
【０１０２】
このように、本実施形態では、画面送信サーバ１が意味集合を定め、画面受信クライアント２が意味集合単位で、画像情報を更新する。そして、同時に表示すべき複数の差分領域は、同じ意味集合に分類される。従って、同時に表示すべき複数の差分領域の表示タイミングのずれを防止することができる。
【０１０３】
また、意味的に同一の内容を表示する差分領域は、同じタイミングで変化したり、同じタイミングで無変化であったりすると考えられる。本発明では、変化の有無の履歴に基づいて、差分領域同士の非類似度を算出し、差分領域に対してクラスタリングを行う。よって、意味集合を適切に抽出することができる。
【０１０４】
次に、本発明の実施形態の種々の変形例について説明する。
【０１０５】
画面内に一部の領域が定められ、その領域内で画像が表示されるとともに、ユーザの操作によって、その領域が移動する場合がある。図５は、画面内で移動可能な領域の例を示す説明図である。図５に示す領域３２は、画面３１内で定められた領域であり、ユーザの操作により移動可能である。このような領域３２の例として、画面内に表示されるウィンドウ等が挙げられる。
【０１０６】
図５（ａ）は、領域３２の移動前の画面の例である。図５（ｂ）は、領域３２の移動後の画面の例である。例えば、シンクライアントである画面受信クライアント２において、領域３２を移動させる操作が行われた場合、画面送信サーバ１は、図５（ｂ）に示す画面の画面情報を生成する。
【０１０７】
移動前の領域３２が占める範囲を範囲Ａと記す。また、移動後の領域３２が占める範囲を範囲Ｂと記す。図５に示すように、領域３２が範囲Ａから範囲Ｂに移動したとする。この場合、例えば、差分領域抽出部１３が、変化履歴記憶部１４に記憶されている範囲Ｂと重なる各ブロックの変化有無の履歴を、範囲Ａと重なる各ブロックの変化有無の履歴で更新してもよい。すなわち、差分領域抽出部１３は、範囲Ｂと重なる各ブロックに、範囲Ａと重なる各ブロックの履歴を引き継がせてもよい。ここでは、差分領域抽出部１３の動作として説明するが、移動後の領域３２が占める範囲Ｂと重なる各ブロックの履歴を、移動前の領域３２が占める範囲Ａと重なる各ブロックの履歴で更新する処理を、差分領域抽出部１３以外の処理部が行ってもよい。あるいは、この処理を行う専用の処理部が画面送信サーバ１に設けられていてもよい。
【０１０８】
領域３２内の画像変化の傾向は、移動後においても、移動前の画像変化の傾向と同様であると考えられる。そのため、上記のように、範囲Ｂと重なる各ブロックの変化有無の履歴を、範囲Ａと重なる各ブロックの変化有無の履歴で更新することにより、差分領域同士の非類似度がより高い精度で計算され、その結果、意味集合の抽出精度を向上させることができる。
【０１０９】
また、差分領域抽出部１３は、領域３２が移動した後、移動前の領域３２が占めていた範囲Ａと重なる各ブロックの履歴を、変化の有無が不定であることを示す値で更新してもよい。変化の有無が不定であることを示す値として、例えば、１／２を用いてもよい。例えば、差分領域抽出部１３は、領域３２が移動した後、移動前の領域３２が占めていた範囲Ａと重なる各ブロックの履歴を表すＮ次元ベクトルを、それぞれ、（１／２，１／２，・・・，１／２）に更新してもよい。
【０１１０】
また、ブロックの履歴に、変化の有無が不定であることを示す値（本例では、１／２）を用いる場合、非類似度算出部１５は、前述のg(a,b)の演算を変更すればよい。
【０１１１】
例えば、非類似度算出部１５は、前述の例１の方法で非類似度を計算する場合、式（３）の演算に代えて、以下に示す式（３ａ）の演算を行えばよい。
【０１１２】
【数９】
2014174802.tif 000011
【０１１３】
次に、前述の実施形態の他の変形例について説明する。
差分領域抽出部１３は、抽出した個々の差分領域に関して、所定の条件が満たされている場合に、差分領域を別々の差分領域に分割してもよい。差分領域抽出部１３は、例えば、抽出した差分領域を一つずつ順に選択する。そして、差分領域抽出部１３は、選択した差分領域内で複数の画素集合を定める（すなわち、差分領域内で複数の部分領域を定める）。この定め方は、特に限定されない。差分領域抽出部１３は、この画素集合同士の非類似度を算出する。この非類似度の算出方法は、非類似度算出部１５が差分領域同士の非類似度を算出する方法と同様でよい。そして、他の画素集合との非類似度が著しく高い画素集合が存在する場合、差分領域抽出部１３は、差分領域から、その画素集合を分割し、その画素集合を別個の差分領域として定めてもよい。なお、他の画素集合との非類似度が著しく高いか否かは、他の画素集合との非類似度が予め定められた閾値以上であるか否かによって判断してもよい。
【０１１４】
また、前述の実施形態では、優先度決定部１７が、意味集合毎に算出した変化情報密度そのものを優先度として用いる場合を例にして説明した。優先度決定部１７は、他の方法で意味集合の優先度を決定してもよい。
【０１１５】
例えば、優先度決定部１７は、前述のように計算した意味集合の変化情報密度に対して重み付けを行った結果を意味集合の優先度として決定してもよい。以下、変化情報密度に対して重み付けを行う種々の方法を説明する。
【０１１６】
例えば、優先度決定部１７は、意味集合に属する差分領域と重なるブロックのうち、少なくとも一部分が符号化され画面受信クライアント２に送信されたブロックを特定し、そのブロックの符号化データの送信時刻から現在時刻までの時間を計算する。優先度決定部１７は、この時間が長いほど重みを重くして、変化情報密度に対して重み付けを行い、その結果を優先度として決定してもよい。
【０１１７】
また、例えば、優先度決定部１７は、意味集合に属する差分領域と重なる各ブロックが符号化され画面受信クライアント２に送信される送信頻度を定量的に評価する。そして、優先度決定部１７は、その送信頻度が少ないほど重みを重くして、変化情報密度に対して重み付けを行い、その結果を優先度として決定してもよい。
【０１１８】
また、優先度決定部１７は、マウス等のポインティングデバイスの画面内のカーソルの位置と、意味集合に属する差分領域全体の重心位置との距離の逆数を重みとしてもよい。優先度決定部１７は、その重みを用いて変化情報密度に対して重み付けを行い、その結果を優先度として決定してもよい。
【０１１９】
また、優先度決定部１７は、カーソルの移動速度が閾値未満の場合に重みを１とし、カーソルの移動速度が閾値以上の場合には、意味集合に属する差分領域全体の面積が小さくなるほど大きな値となる重みを用いてもよい。優先度決定部１７は、その重みを用いて変化情報密度に対して重み付けを行い、その結果を優先度として決定してもよい。
【０１２０】
また、優先度決定部１７は、画面受信クライアント２におけるキーの操作頻度が閾値未満の場合に重みを１とし、キーの操作頻度が閾値以上の場合には、意味集合に属する差分領域全体の面積が小さくなるほど大きな値となる重みを用いてもよい。優先度決定部１７は、その重みを用いて変化情報密度に対して重み付けを行い、その結果を優先度として決定してもよい。
【０１２１】
なお、カーソルの位置、カーソルの移動速度、あるいは、キーの操作頻度等の情報は、画面受信クライアント２が画面送信サーバ１にユーザの操作情報として送信すればよい。
【０１２２】
以下、本発明の主要部について説明する。図６は、本発明の画面伝送システムの主要部を示すブロック図である。図７は、本発明の画像情報送信装置の主要部を示すブロック図である。図８は、本発明の画像情報受信装置の主要部を示すブロック図である。
【０１２３】
本発明の画面伝送システムは、画像情報送信装置５１（例えば、画面送信サーバ１）と、画像情報受信装置６１（例えば、画面受信クライアント２）とを備える。
【０１２４】
画像情報送信装置５１は、差分領域抽出部５２と、差分領域集合抽出部５４と、符号化部５５と、通信部５６とを備える（図６、図７参照）。
【０１２５】
差分領域抽出部５２（例えば、差分領域抽出部１３）は、現画面と、現画面に変化する前の前画面とを比較し、前画面に対して変化した現画面上の領域を差分領域として抽出する。
【０１２６】
差分領域集合抽出部５４（例えば、差分領域集合抽出部１６）は、差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する。
【０１２７】
符号化部５５（例えば、符号化部１８）は、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する。
【０１２８】
通信部５６（例えば、サーバ通信部１９）は、差分領域の符号化データを画面情報受信装置６１に送信する。
【０１２９】
また、画像情報受信装置６１は、復号部６２と、判定部６３と、更新部６４とを備える（図６、図８参照）。
【０１３０】
復号部６２（例えば、復号部２２）は、画面情報送信装置５１から受信した差分領域の符号化データを復号する。
【０１３１】
判定部６３（例えば、差分領域更新部２３）は、差分領域の符号化データが復号されたときに、その差分領域が属する差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する。
【０１３２】
更新部６４（例えば、差分領域更新部２３）は、その差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、画面情報受信装置６１が記憶している画面の画像情報のうち、その差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する。
【０１３３】
そのような構成により、同時に表示すべき複数の差分領域の表示タイミングのずれを防止することができる。
【０１３４】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【０１３５】
（付記１）画面の画像情報を送信する画面情報送信装置と、前記画像情報を受信し、画面を表示する画面情報受信装置とを備え、前記画面情報送信装置は、現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、差分領域の符号化データを前記画面情報受信装置に送信する通信手段とを含み、前記画面情報受信装置は、前記画面情報送信装置から受信した差分領域の符号化データを復号する復号手段と、差分領域の符号化データが復号されたときに、前記差分領域が属する差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、前記差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、前記画面情報受信装置が記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを含むことを特徴とする画像伝送システム。
【０１３６】
（付記２）画面情報送信装置は、差分領域同士の非類似度を算出する非類似度算出手段を備え、差分領域集合抽出手段は、差分領域同士の非類似度に基づいて差分領域集合を抽出する付記１に記載の画像伝送システム。
【０１３７】
（付記３）画面情報送信装置は、画面内のブロック毎に変化の有無の履歴を記憶する変化履歴記憶手段を含み、非類似度算出手段は、前記変化履歴記憶手段に記憶された変化の有無の履歴に基づいて、差分領域同士の非類似度を算出する付記２に記載の画像伝送システム。
【０１３８】
（付記４）画面情報送信装置は、差分領域集合毎に、符号化データの送信順序の優先度を決定する優先度決定手段を含み、通信手段は、差分領域集合の優先度順に、差分領域集合に属する差分領域の画像情報の符号化データを送信する付記２または付記３に記載の画像伝送システム。
【０１３９】
（付記５）非類似度算出手段は、同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が多いほど、差分領域同士の非類似度を小さな値とする付記２から付記４のうちのいずれかに記載の画像伝送システム。
【０１４０】
（付記６）非類似度算出手段は、同じタイミングでともに変化が生じている頻度と、同じタイミングでともに変化が生じていない頻度とでは、同じタイミングでともに変化が生じている頻度をより重視して、同じタイミングでともに変化が生じている頻度が多いほど、差分領域同士の非類似度を小さな値とする付記５に記載の画像伝送システム。
【０１４１】
（付記７）同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が、現在時刻により近い時刻で多くなっているほど、差分領域同士の非類似度を小さな値とする付記５または付記６に記載の画像伝送システム。
【０１４２】
（付記８）差分領域抽出手段は、差分領域内の部分領域同士の非類似度を算出し、前記差分領域内で、他の部分領域との非類似度が閾値以上である部分領域を、当該差分領域から分割して別の差分領域とする付記１から付記７のうちのいずれかに記載の画像伝送システム。
【０１４３】
（付記９）画面情報送信装置は、画面内で移動可能な領域が移動した場合、移動後に前記領域が占める範囲と重なるブロックでの変化の有無の履歴を、移動前に前記領域が占めていた範囲と重なるブロックでの変化の有無の履歴で更新する履歴書き換え手段を含む付記３から付記８のうちのいずれかに記載の画像伝送システム。
【０１４４】
（付記１０）通信手段は、差分領域の符号化データ、当該差分領域が属する差分領域集合の識別子および前記差分領域集合に属する差分領域の数を画面情報受信装置に送信し、判定手段は、差分領域の符号化データが復号されたときに、前記差分領域の符号化データとともに送信された差分領域集合の識別子および前記差分領域集合に属する差分領域の数に基づいて、前記識別子が示す差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する付記１から付記８のうちのいずれかに記載の画像伝送システム。
【０１４５】
（付記１１）現画面と、前記現画面に変化する前の前画面とを比較し、前記前画面に対して変化した前記現画面上の領域を差分領域として抽出する差分領域抽出手段と、前記差分領域から、同時に表示すべき差分領域の集合である差分領域集合を抽出する差分領域集合抽出手段と、差分領域集合毎に、差分領域集合に属する差分領域の画像情報を符号化する符号化手段と、差分領域の符号化データを送信する通信手段とを備えることを特徴とする画面情報送信装置。
【０１４６】
（付記１２）差分領域同士の非類似度を算出する非類似度算出手段を備え、差分領域集合抽出手段は、差分領域同士の非類似度に基づいて差分領域集合を抽出する付記１１に記載の画面情報送信装置。
【０１４７】
（付記１３）画面内のブロック毎に変化の有無の履歴を記憶する変化履歴記憶手段を備え、非類似度算出手段は、前記変化履歴記憶手段に記憶された変化の有無の履歴に基づいて、差分領域同士の非類似度を算出する付記１２に記載の画面情報送信装置。
【０１４８】
（付記１４）差分領域集合毎に、符号化データの送信順序の優先度を決定する優先度決定手段を備え、通信手段は、差分領域集合の優先度順に、差分領域集合に属する差分領域の画像情報の符号化データを送信する付記１２または付記１３に記載の画面情報送信装置。
【０１４９】
（付記１５）非類似度算出手段は、同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が多いほど、差分領域同士の非類似度を小さな値とする付記１２から付記１４のうちのいずれかに記載の画面情報送信装置。
【０１５０】
（付記１６）非類似度算出手段は、同じタイミングでともに変化が生じている頻度と、同じタイミングでともに変化が生じていない頻度とでは、同じタイミングでともに変化が生じている頻度をより重視して、同じタイミングでともに変化が生じている頻度が多いほど、差分領域同士の非類似度を小さな値とする付記１５に記載の画面情報送信装置。
【０１５１】
（付記１７）同じタイミングでともに変化が生じている頻度および同じタイミングでともに変化が生じていない頻度が、現在時刻により近い時刻で多くなっているほど、差分領域同士の非類似度を小さな値とする付記１５または付記１６に記載の画面情報送信装置。
【０１５２】
（付記１８）差分領域抽出手段は、差分領域内の部分領域同士の非類似度を算出し、前記差分領域内で、他の部分領域との非類似度が閾値以上である部分領域を、当該差分領域から分割して別の差分領域とする付記１２から付記１７のうちのいずれかに記載の画面情報送信装置。
【０１５３】
（付記１９）画面内で移動可能な領域が移動した場合、移動後に前記領域が占める範囲と重なるブロックでの変化の有無の履歴を、移動前に前記領域が占めていた範囲と重なるブロックでの変化の有無の履歴で更新する履歴書き換え手段を備える付記１３から付記１８のうちのいずれかに記載の画面情報送信装置。
【０１５４】
（付記２０）通信手段は、差分領域の符号化データ、当該差分領域が属する差分領域集合の識別子および前記差分領域集合に属する差分領域の数を送信する付記１１から付記１９のうちのいずれかに記載の画面情報送信装置。
【０１５５】
（付記２１）記憶している画面から変化した領域である差分領域の符号化データを復号する復号手段と、差分領域の符号化データが復号されたときに、前記差分領域が属し、同時に表示すべき差分領域の集合である差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する判定手段と、前記差分領域集合に属する全ての差分領域の符号化データが復号されたと判定されたときに、前記記憶している画面の画像情報のうち、前記差分領域集合に属する全ての差分領域に該当する領域の画像情報を、復号された画像情報で更新する更新手段とを備えることを特徴とする画面情報受信装置。
【０１５６】
（付記２２）判定手段は、差分領域の符号化データが復号されたときに、前記差分領域の符号化データとともに送信された差分領域集合の識別子および前記差分領域集合に属する差分領域の数に基づいて、前記識別子が示す差分領域集合に属する全ての差分領域の符号化データが復号されたか否かを判定する付記２１に記載の画面情報受信装置。
【０１５７】
この出願は、２０１３年４月２６日に出願された日本特許出願２０１３−０９３１５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１５８】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用の可能性】
【０１５９】
本発明は、画像情報送信装置および画像情報受信装置間で画像情報を伝送する画面伝送システムに好適に適用される。
【符号の説明】
【０１６０】
１  画面送信サーバ
２  画面受信クライアント
１１  現画面情報記憶部
１２  送信画面情報記憶部
１３  差分領域抽出部
１４  変化履歴記憶部
１５  非類似度算出部
１６  差分領域集合抽出部
１７  優先度決定部
１８  符号化部
１９  サーバ通信部
２１  クライアント通信部
２２  復号部
２３  差分領域更新部
２４  画面情報記憶部
２５  画面出力部
【図１】
2014174802.tif 000012
【図２】
2014174802.tif 000013
【図３】
2014174802.tif 000014
【図４】
2014174802.tif 000015
【図５】
2014174802.tif 000016
【図６】
2014174802.tif 000017
【図７】
2014174802.tif 000018
【図８】
2014174802.tif 000019
【国際調査報告】
2014174802.tif 000020
2014174802.tif 000021
2014174802.tif 000022
2014174802.tif 000023