(57)【要約】【課題】  ＰＣ等の画面をプロジェクター等の表示装置との間をネットワークを介して映像信号を高速に、正確に伝送する手段、システムを供給する。【解決手段】  所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段１５と、（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段１６と、取り出し手段により取り出された映像信号を出力する出力手段１７とを備える。【選択図】  図３
2005033763.tif 000002
【特許請求の範囲】
【請求項１】
所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置。
【請求項２】
所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置。
【請求項３】
前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有する場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、請求項１または請求項２に記載の送信装置。
【請求項４】
前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、請求項３記載の送信装置。
【請求項５】
前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有し、それらの矩形領域が横または縦方向で接している場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、請求項１または請求項２に記載の送信装置。
【請求項６】
前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、請求項５記載の送信装置。
【請求項７】
前記取り出し手段は、前記取り出された映像信号を符号化する符号化手段を有する、請求項１または２に記載の送信装置。
【請求項８】
前記各所定のブロックは、前記送信された映像信号を受信する受信装置がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている、請求項１または２に記載の送信装置。
【請求項９】
前記映像信号は、映像信号発生装置によって発生されたものであり、
前記各所定のブロックのサイズは、前記映像信号発生装置の画面解像度に応じて変更される、請求項１または２に記載の送信装置。
【請求項１０】
前記映像信号は、映像信号発生装置によって発生されたものであり、
前記映像信号発生装置は、パーソナルコンピュータである、請求項１または２に記載の送信装置。
【請求項１１】
所定の数のブロックに区域分けされた各フレームで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システム。
【請求項１２】
所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システム。
【請求項１３】
前記取り出し手段は、前記取り出された映像信号を符号化する符号化手段を有し、
前記送信手段は、前記符号化された映像信号を送信し、
前記受信装置は、前記送信装置から送信された符号化された映像信号を前記符号化手段の符号化方式に対応する方式で復号する復号化手段を有し、
前記出力手段は、前記復号化手段により復号化された映像信号を出力する、請求項１１または１２に記載の画像処理システム。
【請求項１４】
前記復号化手段と、前記出力手段とは、同時に実行される、請求項１３記載の画像処理システム。
【請求項１５】
前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、
前記受信装置は、液晶プロジェクターである、請求項１１または１２に記載の画像処理システム。
【請求項１６】
前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、前記受信装置は、ネットワーク機能を搭載したＤＬＰプロジェクターである、請求項１１または１２に記載の画像処理システム。
【請求項１７】
所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法。
【請求項１８】
所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法。
【請求項１９】
請求項１記載の送信装置の、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラム。
【請求項２０】
請求項２記載の送信装置の、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラム。
【請求項２１】
請求項１９または２０記載のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を画像処理して出力する送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＰＣの普及とともにインターネットやイントラネットによるワイヤード／ワイヤレスのＬＡＮの普及と環境の整備が進んだ。液晶プロジェクターや大型ディスプレイ等にＰＣの画面を表示を行い、プレゼンテーション等が盛んに行われている。ところが、ＰＣと液晶プロジェクター等を接続する映像信号ケーブルは一般に太くて取り扱いが面倒である。また、プレゼンテーションを行う上でノートＰＣをプレゼンテーションを行うホールまで運んでから行うことが多かった。このため、イントラネット等のネットワークを使用し、ＰＣの持ち運びや環境の再構築を必要としない、ワイヤレス／ワイヤードのＬＡＮ通信によるＰＣ画面のリアルタイム伝送が求められている。
【０００３】
ＰＣの画面を液晶プロジェクターへワイヤレスで伝送するシステムとしては特許文献１で開示されたシステムがある。このシステムはＰＣからの映像信号を符号化を行い送信装置から信号の送信を行い、受信部で受信した信号を復号し、復号化された映像信号をプロジェクターから投影を行う。この時、フレーム間で比較を行い前フレームから変わった部分のみを伝送する。
【０００４】
図１５は従来の問題を示したモデル図である。６１は画面データ持っているＰＣ（パーソナルコンピュータ）である。６２はＰＣの画面データそのものである。６３は前フレームとの比較の結果、差分値が検出された領域と見なされ、その中に含まれる映像信号が全て伝送される伝送領域である。この領域内の画像データが伝送される。６４は前フレームとの比較の結果、差分値が検出された差分領域である。
【０００５】
前フレームとの差分値が検出された領域（以降、差分領域とする）を算出した後、算出された差分領域６４を全て含む最小の矩形領域を伝送領域６３として求め、この伝送領域６３に含まれる部分の映像信号を全て伝送する。
【０００６】
また、図１６は、図１５の画面データ６２の別の例である。図１６において、６２ａは、画面データそのものである。６４ａは、前フレームとの比較の結果、差分値が検出された差分領域である。６３ａは、前フレームとの比較の結果、差分値が検出された領域と見なされ、その中に含まれる映像信号が全て伝送される伝送領域である。
【０００７】
前フレームとの差分値が検出された領域すなわち差分領域６４ａは、図１６に×印で示すように点状に分布しているが、このように点状に分布している場合でも差分領域６４ａと呼ぶことにする。画面６２ａの場合も、画面６２の場合と同様に処理される。すなわち、差分領域６４ａを算出した後、 算出された差分領域６４ａを全て含む最小の矩形領域を伝送領域６３ａとして求め、この伝送領域６３ａに含まれる部分の映像信号を全て伝送する。
【特許文献１】特開平１０−１４５７９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら上記の構成では、前フレームと比較して画素値が異なる差分領域を算出するために、前フレームと画素が変わった領域の座標を差分領域とする場合、これらの座標の最大値と最小値の間の領域が伝送領域となる。このとき、図１５や図１６に示すように、差分領域が２つ以上存在し、離れた場所にあるとき、差分領域ではない領域、つまり、前のフレームと画素が同じ画像も伝送領域として捕らえてしまう。例えば、図１５では、伝送領域６３が、差分領域６４以外のかなり広い領域を含んでいる。このことにより、伝送する画像データの量が増えてしまい、トラフィックによる負荷が増大し、リアルタイム伝送に必要な即時性が損なわれる、と言う問題点を有していた。
【０００９】
すなわち、従来のシステムでは、伝送する画像データの量が増えてしまい、トラフィックによる負荷が増大し、リアルタイム伝送に必要な即時性が損なわれるという課題がある。
【００１０】
本発明は上記課題を考慮し、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれない送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
上述した課題を解決するために、第１の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置である。
【００１２】
また、第２の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、
前記取り出し手段により取り出された映像信号を出力する出力手段とを備えた、送信装置である。
【００１３】
また、第３の本発明は、前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有する場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、第１また２の本発明の送信装置である。
【００１４】
また、第４の本発明は、前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、第３の本発明の送信装置である。
【００１５】
また、第５の本発明は、前記所定の規則とは、横または縦方向に隣接する前記所定のブロックがともに前記領域決定手段で決定された矩形領域を有し、それらの矩形領域が横または縦方向で接している場合、その横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域を生成する規則である、第１または２の本発明の送信装置である。
【００１６】
また、第６の本発明は、前記横または縦方向に隣接する前記所定のブロックの矩形領域がともに含まれるような矩形領域とは、前記横または縦方向に隣接する前記所定のブロックの矩形領域をともに含む最小の矩形領域である、第５の本発明の送信装置である。
【００１７】
また、第７の本発明は、前記取り出し手段は、取り出された前記映像信号を符号化する符号化手段を有し、
前記出力手段は、符号化された前記映像信号を出力する、第１または２の本発明の送信装置である。
【００１８】
また、第８の本発明は、前記各所定のブロックは、前記送信された映像信号を受信する受信装置がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている、第１または２の本発明の送信装置である。
【００１９】
また、第９の本発明は、前記映像信号は、映像信号発生装置によって発生されたものであり、
前記各所定のブロックのサイズは、前記映像信号発生装置の画面解像度に応じて変更される、第１または２の本発明の送信装置である。
【００２０】
また、第１０の本発明は、前記映像信号は、映像信号発生装置によって発生されたものであり、
前記映像信号発生装置は、パーソナルコンピュータである、第１または２の本発明の送信装置である。
【００２１】
また、第１１の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システムである。
【００２２】
また、第１２の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号を発生する映像信号発生装置と、
前記映像信号発生装置が発生した映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段と、前記取り出し手段により取り出された映像信号を送信する送信手段とを有する送信装置と、
前記送信装置から送信された映像信号を出力する出力手段を有する受信装置とを備えた、画像処理システムである。
【００２３】
また、第１３の本発明は、前記取り出し手段は、取り出された前記映像信号を符号化する符号化手段を有し、
前記送信手段は、符号化された前記映像信号を送信し、
前記受信装置は、前記送信装置から送信された符号化された映像信号を前記符号化手段の符号化方式に対応する方式で復号する復号化手段を有し、
前記出力手段は、前記復号化手段により復号化された映像信号を出力する、第１１または１２の本発明の画像処理システムである。
【００２４】
また、第１４の本発明は、前記復号化手段と、前記出力手段とは、同時に実行される、第１３の本発明の画像処理システムである。
【００２５】
また、第１５の本発明は、前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、
前記受信装置は、液晶プロジェクターである、第１１または１２の本発明の画像処理システムである。
【００２６】
また、第１６の本発明は、前記送信装置は、前記映像信号発生装置を兼ねており、
前記映像信号発生装置及び前記送信装置は、パーソナルコンピュータであり、前記受信装置は、ネットワーク機能を搭載したＤＬＰプロジェクターである、第１１または１２の本発明の画像処理システムである。
【００２７】
また、第１７の本発明は、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法である。
【００２８】
また、第１８の本発明は、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定ステップと、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出しステップと、
前記取り出しステップにより取り出された映像信号を出力する出力ステップとを備えた、画像処理方法である。
【００２９】
また、第１９の本発明は、第１の本発明の送信装置の、所定の数のブロックに区域分けされた各フレームで構成された映像信号の所定のフレームの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定のフレームの直前のフレームの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラムである。
【００３０】
また、第２０の本発明は、第２の本発明の送信装置の、所定の数のブロックに区域分けされた各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、前記所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定する領域決定手段と、
（１）その決定された矩形領域（２）またはその決定された矩形領域から所定の規則を適用して得られる矩形領域に含まれる映像信号を取り出す取り出し手段としてコンピュータを機能させるためのプログラムである。
【００３１】
また、第２１の本発明は、第１９または２０の本発明のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体である。
【００３２】
本発明によれば、離れた位置に存在する差分領域を別々の領域と捕えることができるため、差分領域ではない領域を伝送することが少なくなると言う効果が得られる。
【発明の効果】
【００３３】
本発明は、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれない送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体を提供することが出来る。
【発明を実施するための最良の形態】
【００３４】
以下に、本発明の実施の形態を図面を参照して説明する。
【００３５】
（実施の形態１）
図１は、本発明の画像処理方法を実施するシステムの形態を示す図である。１１はワイヤアレスＬＡＮのインターフェースにより信号の伝送を行うことのできるＰＣ（パーソナルコンピュータ）である。１２は信号を受信するワイヤレスＬＡＮインターフェースを持ち、受信した信号を復号化し、得られた画像データを投影できる液晶プロジェクターである。１３は、液晶プロジェクターにより投影された画像を表示するスクリーンである。すなわち、本実施の形態は、映像信号を発生させるＰＣ等の映像信号発生装置、及びプロジェクターやディスプレイ等の表示装置を備えた映像表示システムに係り、特にワイヤレスＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等によってＰＣやカメラ等で発生した映像信号を表示装置へ送信して表示を行う、ネットワーク入力方式の映像表示システムに関する。
【００３６】
このシステムでは、ＰＣ１１はＰＣ１１のディスプレイに表示されている画面データの取得を行る。ここで、画面データは、複数のフレームで構成された映像信号である。そして、ＰＣ１１は、この画面データを動画像と見なし直前のフレームと比較して差分が生じる領域（以降、差分領域と言う）の検出を行い、検出された差分領域を含む最小の矩形領域である伝送領域を求める。そして、画面データからその伝送領域の画像データの抽出を行う。ここで抽出された画像データを圧縮等の符号化を行い、符号化されたデータの送信をＬＡＮインターフェースを介して行う。この動作をＰＣ１１が行う。
【００３７】
また、プロジェクター１２はＬＡＮのインターフェースを介して信号を受信し、受信した信号を復号化し画像データを取得し、その画像データにより更新された画像データの投影を行う。
【００３８】
また、ここではプロジェクター１２を例にしているが、ＣＲＴディスプレイやプラズマディスプレイ、液晶ディスプレイやＤＬＰプロジェクター等の表示機器での代用ができる。
【００３９】
また、この例ではＬＡＮインターフェースとしているが、このＬＡＮの形態はワイヤレスでもワイヤードでも対応できる。また、ワイヤレスＬＡＮの場合、ピアツーピアのアドホックモードでもインフラストラクチャーモードでも動作する。
【００４０】
また、ここではＰＣ１１を例にしているが、ＬＡＮのインターフェースを持ち画面データを持つ端末や携帯電話のような小型の携帯端末でも良い。
【００４１】
また、映像信号を発生させる装置として、ＴＶやＶＴＲ等から画像データを取得し直前のフレームとの差分領域を検出、抽出を行い、その差分領域を含む最小の矩形領域である伝送領域を求めその伝送領域内の画像データを取得し、符号化を行いネットワークへ送信を行う機能を持った小型のアタッチメントパーツでも良い。また、これらの機能を有したＴＶやＶＴＲでも良い。
【００４２】
また、ここではＬＡＮのインターフェースを例にしているが、Ｂｌｕｅｔｏｏｔｈなどのようにネットワークを構築できるシステムへのインターフェースでも良い。
【００４３】
図３は、ＰＣ１１の構成を示すブロック図である。
【００４４】
１４は、ＰＣ１１の画面データを取得する画面データ取得手段である。１５は、各ブロック毎に伝送領域を算出する領域決定手段１５である。１６は、決定された伝送領域に含まれる映像信号を取り出す取り出し手段１６である。１７は、取り出された映像信号を送信する出力手段である。なお、これらの手段は、ＰＣ１１のメモリに格納されたプログラムとそのプログラムを実行するＣＰＵによって実現されても構わない。
【００４５】
このシステムのＰＣ１１の画面を転送する方法について説明する。図２では、本発明の実施の形態の画像信号の送信の方法の手順を示すフローチャートである。ＳＴＥＰ１１は、画面データ取得手段１４がＰＣ１１の画面データを一括でキャプチャし、表示されている画面を映像データとしてメモリ内に取得するステップである。
【００４６】
ＳＴＥＰ１２は、領域決定手段１５が取得した画像データをブロック単位に区域分けを行うステップである。
【００４７】
ＳＴＥＰ１３は、領域決定手段１５が各ブロック内で直前のフレームとの差分値を求め差分領域の検出を行い、検出された差分領域を含む最小の矩形領域である伝送領域を求めるステップである。
【００４８】
ＳＴＥＰ１４は、取り出し手段１６が検出された伝送領域内の画像データを抽出し、抽出された画像データを可逆符号化形式、または、不可逆符号化形式により画像データを圧縮し、転送に最適な符号化を行うステップである。
【００４９】
ＳＴＥＰ１５は、出力手段１７が符号化された信号データの送信を行うステップである。
【００５０】
ＳＴＥＰ１６は、領域決定手段１５が、現在伝送領域を算出したブロックが画面中の最後のブロックであるか、全てのブロックで伝送領域の算出を行ったかを判別するステップである。このステップで全ブロックの伝送領域の検出が行われていない場合はＳＴＥＰ１３へ処理を戻す。
【００５１】
ＳＴＥＰ１７は、転送の終わった画面データの破棄を行うステップである。
【００５２】
ＳＴＥＰ１８は、この画面転送システムを用いた処理を終了させるかの判定を行うステップである。
【００５３】
ＳＴＥＰ１１では、画面データ取得手段１４がＰＣ１１の画面データの取得を行っている。通常、ＰＣ１１の画面のデータを持つメモリ領域からＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）に対応したＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を用いて画面データをメインメモリへコピーする。
【００５４】
この時、画面データの取得（ＳＴＥＰ１１）では、画面を一括で取得する。よって、画面を分割して取り込んだときに発生する画面ワレを防ぐことができる。また、デバイスドライバやカーネルから表示デバイスへ画面の変更を行うために送られる信号を検出するまで、画面の取り込み処理を待つ処理を入れて、画面の変更が無い場合のＰＣ１１の負荷を下げることもできる。また、ＯＳへ依存するＡＰＩのみでなくグラフィックドライバから画面データの新しく書き換えられた所の情報を取得してその領域の画面データのみを取得しても有用である。また、複数のモニターが存在する場合、そのうちの一つのモニターの画像データか、そのうちのいくつかのモニターの画像データか、もしくはそ全ての画像データの情報を取得するのか、ユーザーからの設定によって変更できる。
【００５５】
ＳＴＥＰ１２では、領域決定手段１５がブロック単位での区域分けを行う。抽出した画像データの符号化方式にもよるが、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式の様にＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）のような行列による８×８の直行変換を行う場合、最低でも８ピクセル×８ピクセルの大きさが必要となる。したがって、この場合ではブロックの大きさは最小単位が８ピクセルで８の倍数の大きさのブロックでの検出を行った方が効率は良い。
【００５６】
また、画像を出力するプロジェクター等の表示形式にもよるが復号化された画像が走査ライン順に表示されるデバイスの場合、横方向のみのブロック区域分けを行った方が画面の切り替わりがスムーズとなる。なお、横方向のみのブロック区域分けを行う場合については、後述する。
【００５７】
しかし、ブロックのサイズを小さくしブロックによる区域分けを多く行う場合、転送でのオーバーヘッドが増えるため転送に時間を要し、即時性を損なう。そして、ブロックのサイズが大きくブロックによる区域分けを少なく行う場合、従来と同じように差分領域ではない画像データを転送することが増え、即時性を損なう恐れがある。
【００５８】
例えば、ＰＣ１１の画面解像度が縦７６８ピクセル横１０２４ピクセルの場合、区域分けを行うブロックの大きさは横１０２４ピクセル縦９６ピクセルが最適である。また、ＰＣ１１の画面解像度が縦６００ピクセル横８００ピクセルの場合、ブロックの大きさは縦１５０ピクセル横８００ピクセルが最適である。また、それ以外の画面解像度の場合、画面解像度の縦のピクセル数が８×８で割り切れるものはブロックサイズの縦が画面解像度の縦の１／８とする。
【００５９】
また、ＰＣ１１の画面解像度の縦が、先ほど例で述べたように縦６００ピクセル×横８００ピクセルのようにが８×８で割り切れなかった場合、８×５で割り切れる場合、ブロックのサイズ１／５とする。また、それ以外の場合はリサイズを行い、アスペクト比を変更しないように割り切れる値までリサイズを行う、または、黒のラインでサイズの変更を行う等の処理を行う。
【００６０】
また、画面解像度の縦、横のサイズが８で割り切れない場合、同じようにリサイズ等の処理を行う。この処理を行わないと、ＪＰＥＧのＤＣＴにおける処理について画素補完の処理が加わるため処理に時間を要するようになり即時性を損なう。
【００６１】
ＳＴＥＰ１３では、領域決定手段１５が画面データをブロックによる区域分けを行ったブロック毎に直前のフレームとの差分領域の検出を行い、検出された差分領域から伝送領域を算出する。以下に、伝送領域の算出について図を用いて説明を行う。
【００６２】
図４では実施の形態の画面のブロックの区域分けによる伝送領域の検出方法についてのモデルを示す。１１は画面を持つＰＣである。２２はＰＣの画面である。２３はＰＣの画面の区域分けをこのブロックのサイズで行うブロックである。この例ではブロックのサイズを縦が画面解像度の縦の１／４、横が画面解像度の横の１／４である。２５は直前のフレームと比較したとき差分が検出される差分領域である。なお、図４では、差分領域２５は、×印で示されるように点状に分布しているが、差分領域２５は点状に分布していても構わないし、隣接する複数の画素から構成されて面積を有するように分布していても構わない。２６は、一つのブロック２３内の差分領域を全て含む最小の矩形領域である伝送領域である。
【００６３】
画面２２をブロック２３単位で処理する。すなわち、領域決定手段１５は、ブロック２３毎に、ブロック２３内で直前のフレームの画像データと現在の画面データとを比較し、差分が検出される領域すなわち差分領域２５を検出する。そして、一つのブロック２３内の検出した差分領域２５を含む最小の矩形領域である伝送領域２６を導き出す。すなわち、伝送領域２６は、差分領域２５の最小のＸ座標と最大のＸ座標を求め、また同時に差分領域２５の最小のＹ座標と最大のＹ座標とを求め、最小のＸ座標と最小のＹ座標で決まる点と最大のＸ座標と最大のＹ座標とで決まる点とを結ぶ線分を対角線とする矩形領域として求める。
【００６４】
この際、ブロック２３による区域分けを行わない場合、差分領域の右上と左下の座標から転送を行う伝送領域を算出した場合、差分領域では無い、つまり、伝送する必要のない画像データまで転送してしまい、即時性を損ない、ネットワークリソースの無駄遣いになる恐れがある。
【００６５】
また、検出された差分領域の輪郭を抽出し、各差分領域でのグループ化、組み合わせ処理を行う場合、これらの処理を行う上での演算に時間がかなりかかるため、リアルタイム性、即時性が損なわれる。
【００６６】
従って、本実施の形態では、領域決定手段１５が画面２２をブロック２３単位で処理するために、上記のような問題は発生しない。
【００６７】
ＳＴＥＰ１４は、取り出し手段１６が検出された差分領域２５を含む最小の矩形である伝送領域２６の画像データを抽出し、抽出された画像データの符号化を行う。まず、取り出し手段１６は、ブロック２３内の検出された差分領域２５を含む最小の矩形領域である伝送領域２６を取得し、その伝送領域２６の画像データの抽出を行う。
【００６８】
ここで抽出された画像データは転送に適した形で符号化される。ホワイトボードのデータ（圧縮前の元のデータ）をそのまま転送した場合、データが非常に大きくなるため転送に時間が必要であるのと、ネットワークリソースを占有するため、ネットワークへの負荷が重くなる。そのため、データを圧縮することで転送するデータを減らすことで、転送にかかる時間とネットワークへの負荷を少なくすることができる。
【００６９】
圧縮の形態に関しては、ブロック２３毎に状況に応じて画像の可逆圧縮、不加逆圧縮を使い分け、アプリケーションを提供することができる。また、ＪＰＥＧ符号化の場合、ＪＰＥＧの圧縮率を変えることができ、用途に応じて変更させる、または、自動的に状況を判別し圧縮率を変えることが有用である。
【００７０】
ＳＴＥＰ１５では、出力手段１７が伝送領域２６から抽出された画面データを符号化されたデータをネットワークを介して転送を行う。
【００７１】
ＳＴＥＰ１６では、現在、伝送領域２６の検索、抽出、符号化、転送を行ったブロック２３が最後のブロックであるかの判断を行っている。まだ、転送を行っていないブロック２３が存在した場合は、そのブロック２３へ処理を移してＳＴＥＰ１３から処理を行う。このブロックの操作順序は左上からラスタ順に走査していく方式が最適と考える。
【００７２】
ＳＴＥＰ１７では取得した画像データを保存していたメモリ領域や抽出してきた画像データ、送信が終わったデータ領域を開放する。この処理を行うことによって、ＰＣ２１側のシステムリソースの枯渇を防ぐことができ、メモリを有効に使うことができる。ＳＴＥＰ１８では、ユーザーから終了のシグナルがあったかどうかを判別する。ユーザーから終了のシグナルがあった場合、アプリケーション終了させなければいけないため、終了する処理へと移る。終了のシグナルが無かった場合、処理を続行させなければいけないため、次の画面データの取得を行い、順次繰り返す。シグナルが無い場合はＳＴＥＰ１１へ処理を移し、実行する。また、ブロックでの伝送領域の算出を全ブロックで行ってから、抽出、符号化、転送を行っても良い。この抽出処理の際、隣接するブロック間でブロック間にまたがる伝送領域があった場合、ブロック間の相関関係を用いて１つの伝送領域とすることができる。なお、この点については、後述する実施の形態３で詳細に説明する。
【００７３】
このように本実施の形態では、画面をブロック単位で区域分けを行い、そのブロック単位で前フレームとの差分領域を求める。このため、離れた位置に存在する差分領域を別々の領域と捕えることができるため、差分領域ではない領域を伝送することが少なくなる。
【００７４】
なお、上述したように、画像を出力するプロジェクター等の表示形式にもよるが復号化された画像が走査ライン順に表示されるデバイスの場合、横方向のみのブロックの区域分けを行った方が画面の切り替わりがスムーズとなる。図５にこのような横方向のみのブロックの区域分けを行った場合の画面例を示す。
【００７５】
図５において、画面２２ａの左から右への方向が走査ラインの方向である。この場合各ブロック２３は、送信された映像信号を受信するプロジェクター１２がその映像信号を表示する際に走査する方向に直交する方向を区域分けするように構成されている。すなわちブロック２３の横方向の長さは、画面２２ａの横方向の幅と一致し、ブロック２３の縦方向の長さは、画面２２ａの縦方向幅を８等分に区域分けした長さになっている。また、図５において、２５ａは、差分領域であり、２６ａは伝送領域である。
【００７６】
さらに、本実施の形態では、画面データは、複数のフレームで構成された映像信号であるとして説明したが、これに限らず、複数の偶数フィールド及び奇数フィールドで構成された映像信号であってもかまわない。画面データが複数の偶数フィールド及び奇数フィールドで構成された映像信号の場合には、領域決定手段１５は、各偶数フィールド及び奇数フィールドで構成された映像信号の所定の偶数フィールドまたは奇数フィールドの各ブロック毎に、それらのブロックと、それらのブロックに対応する、所定の偶数フィールドまたは奇数フィールドの直前の偶数フィールドまたは奇数フィールドの各ブロックとを比較し、異なる画素値の領域を含む矩形領域を決定すればよい。
【００７７】
さらに、本実施の形態では、画面データは、ＰＣ１１の画面に表示されている映像信号を画面データ取得手段１４によって取得されたものであるとして説明したが、ＰＣ１１に外部から入力されてくる映像信号であってもかまわない。
【００７８】
さらに、本実施の形態では、取り出し手段１６は、伝送領域２６の画像データを抽出し、抽出された画像データの符号化を行うとして説明したが、これに限らない。取り出し手段１６が、伝送領域２６の画像データを抽出し、抽出した画像データをそのまま出力手段１７に出力してもかまわない。すなわち、画像データを符号化せずにプロジェクター１２に送信してもかまわない。
【００７９】
さらに、本実施の形態では、出力手段１７が伝送領域２６の画像データをプロジェクター１２に送信するとして説明したが、これに限らず、出力手段１７がハードディスクなどの記録メディアに伝送領域２６の画像データを出力しても構わない。
【００８０】
さらに、本実施の形態では、伝送領域２６が一つのブロック２３に含まれる差分領域２５を全て含む最小の矩形領域であるとして説明したが、これに限らず、伝送領域２６が一つのブロック２３に含まれる差分領域２５を全て含む矩形領域でありさえすれば、最小の矩形領域でなくても構わない。
【００８１】
さらに、本実施の形態の画像データは本発明の映像信号の例であり、本実施の形態の差分領域は、本発明の領域の例であり、本実施の形態の伝送領域は本発明の矩形領域の例である。
【００８２】
（実施の形態２）
図１では、本発明のシステムの実施の形態を示す図である。１１はワイヤアレスＬＡＮのインターフェースにより信号の伝送を行うことのできるＰＣである。１２は信号を受信するワイヤレスＬＡＮインターフェースを持ち、受信した信号を復号化し、得られた画像データを投影できる液晶プロジェクターである。１３は、液晶プロジェクターにより投影された画像を表示するスクリーンである。なお、ＰＣ１１、液晶プロジェクター１２は、第１の実施の形態と同様のものである。また、ＰＣ１１の構成は、実施の形態１と同様に図３で示される。
【００８３】
このシステムでは、ＰＣ１１はＰＣ１１のディスプレイに表示されている画面データ、または、セカンダリモニターが存在する場合は、プライマリモニターまたはセカンダリモニター、もしくは、その両方の画面データの取得を行い、取得した映像信号をブロックに区域分けし、この画面データを動画像と見なし直前のフレームと比較して差分が生じる領域（以降、差分領域と言う）の検出を行い、一つのブロック内の差分領域を全て含む最小の矩形領域である伝送領域を算出し、画面データからその伝送領域の画像データの抽出を行う。ここで抽出された画像データを圧縮等の符号化を行い、符号化されたデータの送信をＬＡＮインターフェースを介して行う。この動作をＰＣ１１が行う。
【００８４】
また、プロジェクター１２はＬＡＮのインターフェースを介して信号を受信し、受信した信号を復号化し画像データを取得し、その画像データにより更新された画像データの投影を行う。
【００８５】
また、ここではプロジェクター１２を例にしているが、ＣＲＴディスプレイやプラズマディスプレイ、液晶ディスプレイやＤＬＰプロジェクター等の表示機器での代用ができる。
【００８６】
また、この例ではＬＡＮインターフェースとしているが、このＬＡＮの形態はワイヤレスでもワイヤードでも対応できる。また、ワイヤレスＬＡＮの場合、ピアツーピアのアドホックモードでもインフラストラクチャーモードでも動作する。
【００８７】
また、ここではＰＣ１１を例にしているが、ＬＡＮのインターフェースを持ち画面データを持つ端末や携帯電話のような小型の携帯端末でも良い。
【００８８】
また、映像信号を発生させる装置として、ＴＶやＶＴＲ等から画像データを取得し直前のフレームとの差分領域を検出、抽出を行い、抽出された差分領域を含む最小の矩形領域である伝送領域を算出し、その伝送領域内の画像データを取得し、符号化を行いネットワークへ送信を行う機能を持った小型のアタッチメントパーツでも良い。また、これらの機能を有したＴＶやＶＴＲでも良い。また、ここではＬＡＮのインターフェースを例にしているが、Ｂｌｕｅｔｏｏｔｈなどのようにネットワークを構築できるシステムへのインターフェースでも良い。
【００８９】
本実施の形態では、領域決定手段１５が動画像の直前のフレームとの差分の存在する差分領域を検出及び抽出し、抽出した差分領域を含む最小の矩形領域である伝送領域を算出することをブロック単位で行い、抽出された伝送領域に含まれる映像信号のみを出力手段１７がワイヤレス／ワイヤードのＬＡＮを用いて伝送する。
【００９０】
画面データの取得に関しては、画面データ取得手段１４がＰＣ１１で表示されている画面データをメインメモリ上にコピーする。このとき、分割して画面データを取得するのではなく、一括して画面データの取得を行う。このことにより、動画像のように動いている画面の区域分け領域の境目で画像が変化してしまう画面ワレを防ぐことができる。ＰＣ１１ではこれらの処理を行う。
【００９１】
また、ＰＣ１１ではなく映像信号を発生させるＴＶチューナーやＤＶＤプレーヤー、ＶＴＲでもかまわないが、この際、映像信号をブロックによる区域分けを行い、前後のフレーム間の差分領域を検出し、一つのブロックに含まれる差分領域を全て含む最小の矩形領域である伝送領域を算出し、その算出した伝送領域内の画像データを抽出し、符号化を行い送信する、と言う処理を実行するための装置を内蔵、または、付属させることが必要となる。
【００９２】
図７はＰＣ１１からネットワークを介して転送されたデータを表示するプロジェクター１２のブロック図である。１２がプロジェクター本体である。３２Ａは転送されてきたデータ、処理を行うプログラム等を保持、保存するためのメモリである。３２Ｂは符号化されて伝送されてきたデータを復号化するためのデコーダーである。３２Ｃはデコーダーが復号した画像データをスクリーンに向けて投射するための投影部である。３２ＤはＬＡＮを介した信号を受信するためのＬＡＮインターフェースである。
【００９３】
このプロジェクター１２での処理の手順を図６に示す。
【００９４】
ＳＴＥＰ２１では、ＬＡＮインターフェース３２ＤがＬＡＮを介して送信されてくるデータを受信しメモリ３２Ａへ蓄える。
【００９５】
ＳＴＥＰ２２では、メモリ３２Ａに蓄えられた受信したデータをデコーダー３２Ｂへ送りデコーダー３２Ｂが、そのデータを復号化する。
【００９６】
ＳＴＥＰ２３では、投影部３２Ｃが復号化された画像データを表示デバイスによる表示を行う。
【００９７】
このシステムでは、ＬＡＮインターフェース３２Ｄから信号が伝送されてくる。この時点では符号化が行われており、伝送時のヘッダー情報により画像の情報、エンコード形式等を判別し、そのデータを次の処理へ渡す。エンコード形式については細かい値については画像データのヘッダーに情報があるが、この信号をどのデコーダー３２Ｂで復号化すればよいのか、の情報があればよい。受信データのヘッダー情報が示す形式のデコーダー３２Ｂでの復号化を行う。
【００９８】
また、受信ステップ（ＳＴＥＰ２１）と復号化ステップ（ＳＴＥＰ２２）とをパラレルで処理を進めることのできるシステムであることが好ましい。表示ステップ（ＳＴＥＰ２１）では復号化された信号をビデオメモリとして確保したメモリ領域に復号化して取得できた画像データを書き込む。この書き込みが終了した時点で表示デバイスへシグナルを送り、表示デバイスはビデオメモリ内のデータの表示を行う。
【００９９】
図８では画面データをブロック単位で区域分けした処理の例を示す。このシステムでは受信ステップ（ＳＴＥＰ２１）を行っている間にデコーダー３２Ｂによる処理を同時に行うことができる。これは、デコーダー３２Ｂを司るチップとＬＡＮによる受信を司るチップが異なるからである。また、同一のチップにより処理を行う場合でも、ＴＳＳ（Ｔｉｍｅ  Ｓｈａｒｉｎｇ  Ｓｙｓｔｅｍ）等の時分割処理によるマルチプロセッシング処理を行うことにより、解決ができる。
【０１００】
画面を４ブロックによって区域分けした場合、送信側では１／４の画面データでの差分領域の検出、検出された差分領域からの伝送領域の算出、及び検出された画像データの符号化、伝送を行う。このため、受信側の処理は随時処理となる。
【０１０１】
５１Ａは１つ目のブロックの画像データの受信動作である。５１Ｂは１つ目のブロックの復号化処理である。復号化処理は信号を全て受信しなければ行うことはできない。また、ストリーミングムービー形式での伝送処理場合、受信しながら、受信したデータを即座にデコーダーに送り復号化を行う。
【０１０２】
５２Ａは２つめのブロックの受信処理である。この時、５１Ｂの処理とは同時に行うことができる。５２Ｂは２つめのブロックの復号化処理である。
【０１０３】
５３Ａは３つ目のブロックの受信処理である。この時、５３Ａの処理は５２Ｂの処理と同時に行われる。
【０１０４】
５４Ａは４つ目のブロックの画像データの受信処理である。この時、５３Ｂの処理と同時に行われる。５４Ｂは４つ目のブロックの復号化処理である。
【０１０５】
この例では受信処理の方が復号化処理よりも処理時間が長かったが、逆の場合、受信したデータをバッファに貯めておくことで受信処理を止めることなく処理を行うことができる。このシステムでは上記のような処理を行うことのできる装置が必要となる。
【０１０６】
なお、本実施の形態のプロジェクター１２は、上記のような構成及び動作をするものに限らず、従来の技術で用いられるプロジェクターを用いることも可能である。本実施の形態では、伝送領域が１フレームにつき複数現れるだけであって、従来の技術で用いられるような決まった伝送領域の符号化された映像信号を受信する機能を持っているプロジェクターであれば、本実施の形態に適用可能である。
【０１０７】
（実施の形態３）
図９において、１０１はＰＣ（パーソナルコンピュータ）である。ＰＣはディスプレイ装置を持ち、ディスプレイ装置の中に画面を表示する。１０２は表示された画面である。そして、連続で画面を表示している時、１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ、１０３ｅ、１０３ｆ、１０３ｇ、１０３ｈは、それぞれ、直前のフレームと比較した結果、直前のフレームから変化のあった部分を含む最小の矩形領域である。この領域を実施の形態３でも伝送領域と呼ぶ。画面を任意の数に区切ったブロック内で伝送領域を検出し、それぞれで伝送した場合、伝送時のオーバーヘッドがかかり効率が良くない。そのため、隣接するブロック内の伝送領域のグループ化を行い、グループ単位で行う。このことにより伝送時のオーバーヘッド削減だけではなく、受信側での画面の表示時に表示ズレを防ぐこともできる。１１１、１１２は、伝送領域１０３ａ、１０３ｂ、１０３ｃ、１０３ｄ、１０３ｅ、１０３ｆ、１０３ｇ、１０３ｈをこのようにしてグループ化することによって生成したグループ化された伝送領域である。以下に、グループ化された伝送領域１１１、１１２を生成するためのグループ化のアルゴリズムについて、説明する。なお、グループ化アルゴリズムは、図３の領域決定手段１５が実行するアルゴリズムである。
【０１０８】
図１０のように、画面をブロックに区域分けし、各ブロックに名前を付ける。左上から（０，０）、（１，０）・・・とする。そして、このブロック毎に伝送領域を検索し、上隣のブロックと左隣のブロックに伝送領域領域が存在した場合、隣の伝送領域とグループとする。この際の矩形座標の決定方法は、左上の座標を各矩形の左上の座標のうち最小の座標とし、右下の座標は各矩形の最大の座標とする。なお、図９で画面１０２に設けられた座標系の原点は、画面１０２の左上端であり、Ｘ軸は、画面１０２の左から右向きが正の向きであり、Ｙ軸は、画面１０２の上から下向きが正の向きである。
【０１０９】
図１１は、この処理のフローチャートである。前提条件として、ブロックの区域分け数を横方向ｎ、縦方向ｍ とする（図１０では簡単のため横方向４、縦方向４の区域分け数とした）。各ブロックは差分領域の有無を示すsig_flagと、現在、そのブロックが属しているグループのナンバーのパラメータを持つ。グローバルパラメータとして、GroupNoとして、伝送を行うグループの数を持つ。このGroupNoが０の時は、変化領域が存在しないため、伝送を行う必要な無い。
【０１１０】
ＳＴＥＰ３０１は、各ブロックのsig_flagパラメータとグループのナンバーを初期化を行うステップである。この時、ＸとＹパラメータは、現在指し示すブロックの位置を示すパラメータである。
【０１１１】
ＳＴＥＰ３０２は、現在指し示しているブロック内で直前のフレームとの差分領域の検出を行い検出した差分領域から伝送領域を算出するステップである。
【０１１２】
ＳＴＥＰ３０３は、ＳＴＥＰ３０２の実行結果からパラメータ判別を行うステップである。このブロック内に伝送領域が存在する場合はＳＴＥＰ３０３へ、伝送領域の存在しない場合はＳＴＥＰ３１０へ処理を送る。
【０１１３】
ＳＴＥＰ３０４はＳＴＥＰ３０２での処理結果が「伝送領域あり」だったので、sig_flagにＴＲＵＥの値を入力するステップである。
【０１１４】
ＳＴＥＰ３０５は、右側に隣接するブロックのパラメータの判別を行うステップである。このとき、画面の右端に位置するブロックにおいては、この処理は行われない。右隣のブロックのsig_flagがＴＲＵＥであればＳＴＥＰ３０６、ＦＡＬＳＥであればＳＴＥＰ３０７へ処理を送る。
【０１１５】
ＳＴＥＰ３０６は、現在注目しているブロックと左隣のブロックとをグループ化するステップである。そして、グループ化時の処理は、左隣のブロックと同じグループナンバーをブロックが持つパラメータに登録し、グループの矩形を、現在のブロック内の伝送領域と比較し、左上の座標を最小、右下の座標を最大、とする値をセットする。
【０１１６】
ＳＴＥＰ３０７では上側に隣接するブロックのパラメータ判別を行うステップである。このステップは左隣のブロックに伝送領域を存在する時と、画面の上端に位置するブロックでは行わない。上隣のブロックのsig_flagパラメータがＴＲＵＥであればＳＴＥＰ３０９へ、ＦＡＬＳＥであればＳＴＥＰ３１０へ処理を送る。ＳＴＥＰ３０８は、現在注目しているブロックと上隣のブロックとを、グループ化を行うステップである。このとき、そして、グループ化時の処理は、上隣のブロックと同じグループナンバーをブロックが持つパラメータに登録し、グループの矩形を、現在のブロック内の伝送領域と比較し、左上の座標を最小、右下の座標を最大、とする値をセットする。
【０１１７】
ＳＴＥＰ３０９は、隣接するブロックに伝送領域が存在しないため、新しいグループを生成するステップである。新しいグループを生成し、GroupNoパラメータをインクリメントする。そして、新しく生成したグループに現在注目しているグループの伝送領域を登録する。
【０１１８】
ＳＴＥＰ３１０は、注目するブロックを右隣のブロックへ移すステップである。
【０１１９】
ＳＴＥＰ３１１は注目するブロックが右端であったかを判別するステップである。変更前の注目ブロックが左端だった場合は、パラメータをインクリメントした結果が横方向の区域分け数以上になった場合は、右側に隣接するブロックが存在しないため、以前、注目していたブロックが左端に位置していたと判断することができる。このとき、パラメータ変更前の注目ブロックが、右端に位置していた場合はＳＴＥＰ３１２へ、左端ではない場合はＳＴＥＰ３０２へ、それぞれ処理を送る。
【０１２０】
ＳＴＥＰ３１２では、注目するブロックを１つ下の左端のブロックとするステップである。  ＳＴＥＰ３１３では現在ＳＴＥＰ３１２でパラメータを変更する前の注目ブロックが下端に位置していたかを判別するステップである。インクリメントした結果が縦方向の区域分け数以上の場合、パラメータ変更前の注目ブロックが下端に位置すると分かる。この時、パラメータ変更前の注目ブロックが下端に位置する場合は終了、下端ではない場合はＳＴＥＰ３０２へ処理を送る。
【０１２１】
図１２を例にして説明する。図１２において、１０２は図９に示したものと同じ画面である。この画面を今回は４×４のブロックに区域分けを行い、それぞれのブロックに名前をつける。初期化処理を行い、グループ化アルゴリズムを実施する。まず、（０,０）ブロックの伝送領域１０３ａを算出する。このとき、このブロックの伝送領域矩形は(Ｘ１-１,Ｙ１-１)-(Ｘ１-２,Ｙ１)となる。このブロックは、上方向と左方向に隣接するブロックが無いため、１つ目のグループを生成する。このグループを「グループ１」と呼ぶ。このグループ１に矩形(Ｘ１-１,Ｙ１-１)-(Ｘ１-２,Ｙ１)を登録する。次に、(１,０)ブロックに注目する。このブロックの伝送領域１０３ｄは(Ｘ２-１,Ｙ２-１)-(Ｘ２-２,Ｙ２-２)である。左隣のブロックには伝送領域１０３ａが存在するため、左隣のブロックの伝送領域が含まれるグループ１に、(１,０)ブロックの伝送領域を加える。左上の座標は、Ｘ１-１ < Ｘ２-２、Ｙ１-１ > Ｙ２-１なので(Ｘ１-１,Ｙ２-１)となる。また、右下の座標は、Ｘ１-２<Ｘ２-２、Ｙ１>Ｙ２-２なので(Ｘ２-２,Ｙ１)となる。
【０１２２】
(２,０)ブロック、(３,０)ブロックにも同様の処理を行う。これらのブロックには伝送領域が存在しないため、グループ化処理は行われない。(０,１)(１,１)(２,１)(３,１)(０,２)(１,２)の順で同様の処理を行う。(２,２)ブロックの場合の処理では、このブロックには伝送領域１０３ｅが存在する。しかし、上方向、左方向に隣接するブロックには伝送領域が存在しないので、新しいグループ、「グループ２」を生成する。そして、全てのブロックの処理が終了した段階で、グループは２つ生成される。そして、伝送矩形は、グループ１がグループされた伝送領域１１１である(Ｘ１-１,Ｙ２-１)-(Ｘ２-２,Ｙ１-２)と、グループ２がグループ化された伝送領域１１２である(Ｘ３-１,Ｙ３-１)-(Ｙ３-２,Ｙ３-２)となる。
このように、横または縦方向に隣接するブロックがともに領域決定手段１５で決定された伝送領域を有する場合、その横または縦方向に隣接するブロックの伝送領域がともに含まれるような矩形領域をグループ化された伝送領域とすれば、伝送時のオーバーヘッドを小さくすることが出来る。
【０１２３】
また、上記の方法では図１２にあるような、伝送領域１０３ａ、１０３ｂ、１０３ｃと伝送領域１０３ｄとは、繋がっていないが、同じグループであるグループ化された伝送領域１１１として伝送される。このとき、伝送領域１０３ａ、１０３ｂ、１０３ｃと伝送領域１０３ｄとの間の領域は伝送する必要が無いが伝送されてしまう。この問題を解決するため、次の方式を行っても良い。
【０１２４】
その方式とは、隣り合ったブロックの境界線を伝送領域が跨いでいるかを判別する方式である。このアルゴリズムのシーケンスを図１３に示す。図１３において、ＳＴＥＰ５０１は初期化処理を行うステップである。Ｘ, Ｙ, GroupNoのパラメータを全て０にして、各ブロックのパラメータを初期化する。
【０１２５】
ＳＴＥＰ５０２は、ブロック内で直前のフレームとの伝送領域を算出するステップである。
【０１２６】
ＳＴＥＰ５０３は、ＳＴＥＰ５０２の処理結果から伝送領域の有無を検出し判別を行うステップである。注目ブロック内に伝送領域が存在する場合はＳＴＥＰ５０４へ、存在しない場合はＳＴＥＰ５１５へ処理を送る。
【０１２７】
ＳＴＥＰ５０４は注目しているブロック内の伝送領域が右隣のブロックとの境界線に接しているかを判別するステップである。このとき、伝送領域が右側に隣接するブロックとの境界線に接している場合はＳＴＥＰ５０５へ、接していない場合はＳＴＥＰ５０６へ処理を送る。
【０１２８】
ＳＴＥＰ５０５は注目ブロックの伝送領域が右側の境界線に接している事を示すパラメータを持たせる処理を行うステップである。このブロックが持つRight_sig_flagにＴＲＵＥのパラメータをセットする。
【０１２９】
ＳＴＥＰ５０６は、このブロック内の伝送領域が下方向に隣接するブロックとの境界線に接しているかを判別するステップである。このとき、このブロック内の伝送領域が下方向に隣接するブロックとの境界線に接している場合ＳＴＥＰ５０７へ、接していない場合ＳＴＥＰ５０８へ処理を送る。
【０１３０】
ＳＴＥＰ５０７は注目ブロックの伝送領域が下側の境界線に接している事を示すパラメータを持たせる処理を行うステップである。このブロックが持つBottom_sig_flagにＴＲＵＥのパラメータをセットする。
【０１３１】
ＳＴＥＰ５０８は注目ブロックの伝送領域が上方向に隣接するブロックとの境界線に接しているかどうかを判別するステップである。このとき、注目しているブロック内の伝送領域が下方向に隣接するブロックとの境界線に接している場合ＳＴＥＰ５０９へ、接していない場合ＳＴＥＰ５１１へ処理を送る。
【０１３２】
ＳＴＥＰ５０９は、このブロックが左端に位置していない、かつ、左隣のブロックの伝送領域が注目ブロックとの境界線に接しているかを判別するステップである。このとき、このブロックが左端に位置している場合、左隣のブロックは存在しないためパラメータの判別は行わずにＳＴＥＰ５１１へ処理を送る。また、左隣のブロックの伝送領域が注目ブロックとの境界線に接しているかどうかは、左隣のブロックのRight_sig_flagパラメータをチェックし、このパラメータの値がＴＲＵＥであればＳＴＥＰ５１０へ、このパラメータがＦＡＬＳＥならばＳＴＥＰ５１１へ処理を送る。
【０１３３】
ＳＴＥＰ５１０は、注目しているブロック内の伝送領域を左隣のブロック内の伝送領域が属するグループへ追加するステップである。グループへの追加方法は前の方式と同様である。
【０１３４】
ＳＴＥＰ５１１は注目ブロック内の伝送領域が上方向に隣接するブロックとの境界線に接しているかをチェックするステップである。このとき、このブロック内の伝送領域が上隣のブロックとの境界線に接している場合はＳＴＥＰ５１２へ、接していない場合はＳＴＥＰ５１４へ処理を送る。
【０１３５】
ＳＴＥＰ５１２は現在、注目しているブロックが上端に位置していない、かつ、上隣のブロック内の伝送領域が現在の注目ブロックとの境界線に接しているかどうかを判別するステップである。現在、注目するブロックが上端に位置する場合、上方向に隣接するブロックは存在しないため、パラメータをチェックする必要は無い。この時はＳＴＥＰ５１４へ処理を送る。また、このブロックが上端に位置していない場合、上方向に隣接するブロック内の差分領域が注目ブロックとの境界線に接しているかどうかを、上隣のBottom_sig_flagパラメータを用いて判別を行う。このとき、Bottom_sig_flagパラメータがＴＲＵＥの場合はＳＴＥＰ５１３へ、ＦＡＬＳＥの場合はＳＴＥＰ５１４へそれぞれ処理を送る。
【０１３６】
ＳＴＥＰ５１３は上方向に隣接するブロック内の伝送領域が属するグループへ注目ブロック内の伝送領域を追加する。追加処理については、前方式と同様である。
【０１３７】
ＳＴＥＰ５１５は、注目ブロックを右のブロックへ移すステップである。Ｘパラメータをインクリメントする。
【０１３８】
ＳＴＥＰ５１６はＸの値が横方向の区域分け数以上になっているかを判別するステップである。このとき、Ｘをインクリメントした値が横方向の区域分け数以上になる場合、パラメータを変更する前の注目していたブロックは右端に位置するブロックであることから、処理を右隣へ渡すことができない。このとき、パラメータの値が横方向区域分け数以上の場合ＳＴＥＰ５１７へ、パラメータの値が横方向の区域分け数未満の場合ＳＴＥＰ５０２へ処理を送る。
【０１３９】
ＳＴＥＰ５１７は、最右端まで行った処理を次のカラムの左端のブロックへ移す処理を行うステップである。Ｙパラメータの値をインクリメントし、Ｘパラメータの値を０にする。
【０１４０】
ＳＴＥＰ５１８はインクリメントしたＹパラメータが縦方向の区域分け数以上になっているかを判別するステップである。このとき、Ｙパラメータの値が、縦方向の区域分け数以上になる場合は、最下端に位置していることから、これ以上下のブロックへ処理を移すことはできなくなるため、この判別を行う。Ｙパラメータの値が縦方向の区域分け数未満の場合はＳＴＥＰ５０２へ、以上の場合は終了へ処理を送る。
【０１４１】
図１４を用いてこのアルゴリズムの例を示す。まず、初期化処理を行い、(０,０)ブロックから差分検索、グループ化処理を行う。(０,０)ブロックは伝送領域１０３ａとして伝送領域(Ｘ１-１,Ｙ１-１)-(Ｘ１-２,Ｙ１)を持つ。この伝送領域１０３ａは右方向に隣接するブロック１０３ｄとの境界線には接していないが、下方向に隣接するブロック１０３ｂとの境界線には接している。このため、このグループのBottom_sig_flagパラメータにＴＲＵＥの値をセットする。また、このブロックは左方向、上方向に接しているブロックを持たないため、新しくグループ（グループ１）を生成し、このブロックが持つ伝送領域の矩形をグループの矩形とする。そして、次のブロックへ処理を送る。(１,０)ブロックは伝送領域１０３ｄとして伝送領域(Ｘ２-１,Ｙ２-１)-(Ｘ２-２,Ｙ２-２)を持つ。このブロック内の伝送領域１０３ｄは右方向、下方向と隣接するブロックとの境界線には接していないため、パラメータの変化は無い。そして、この伝送領域１０３ｄは上方向、左方向に隣接するブロックとの境界線とも接していないため、新しいグループ（グループ２）を生成し、このグループに注目グループの伝送領域１０３ｄを登録する。(０,２)ブロック、(０,３)ブロックは伝送領域が存在しないため、グループ化処理は行われない。(１,０)ブロックは、伝送領域１０３ｂとして伝送領域(Ｘ１-１,Ｙ１)-(Ｘ１-２,Ｙ２)を持つ。この伝送領域１０３ｂは下方向の隣接ブロックとの境界線に接しているため、Bottom_sig_flagパラメータの値をＴＲＵＥにする。また、この伝送領域１０３ｂは上隣のブロックとの境界線に接している。そして、上隣のブロックのBottom_sig_flagパラメータはＴＲＵＥなので、上隣のブロック内の伝送領域１０３ａが属しているグループ１に注目しているブロックの伝送領域を追加する。以降、最後の(３,３)ブロックまでこの処理を行う。このような処理を行うことにより、３つのグループ化された伝送領域１１３、１１４、１１５を得ることができる。
【０１４２】
このように横または縦方向に隣接するブロックがともに領域決定手段１５で決定された伝送領域を有し、それらの伝送領域が横または縦方向で接している場合、その横または縦方向に隣接するブロックの伝送領域がともに含まれるような伝送領域をグループ化された伝送領域とすれば、伝送時のオーバーヘッドを小さくすることが出来る。
【０１４３】
本実施の形態によれば、ＰＣ画面をプロジェクター等の表示機器へ画面データをリアルタイムに伝送するシステムについて、画面データを区域分けして処理することで直前フレームとの差分領域を詳細に検出することができるため、不必要な情報を伝送することが無くなる。このため、伝送に要する時間の短縮、リアルタイム伝送における全般の処理時間の短縮を行うことができ、ネットワークにかかる負荷の軽減、ネットワークへの伝送におけるＰＣの負荷の軽減、また、ネットワークからの受信を行う表示システム側のネットワーク処理の軽減を行うことができる。
【０１４４】
また、本実施の形態によれば、画面データを分割しパラレルに伝送することによって、受信しながら復号化を行うことができる。このため、処理時間を大幅に短縮することができ、リアルタイム性、即時性を保つことができる。
【０１４５】
なお、本実施の形態のグループ化された伝送領域は、本発明のその決定された矩形領域から所定の規則を適用して得られる矩形領域の例である。
【０１４６】
尚、本発明のプログラムは、上述した本発明の送信装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【０１４７】
又、本発明の記録媒体は、上述した本発明の送信装置の全部又は一部の手段の機能をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する記録媒体である。
【０１４８】
尚、本発明の上記「一部の手段」とは、それらの複数の手段の内の、一つ又は幾つかの手段を意味する。
【０１４９】
又、本発明の上記「手段の機能」とは、前記手段の全部又は一部の機能を意味する。 
【０１５０】
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【０１５１】
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【０１５２】
又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【０１５３】
又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【０１５４】
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【産業上の利用可能性】
【０１５５】
本発明に係る送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体は、伝送する画像データの量が増えることなく、トラフィックによる負荷が増大せず、リアルタイム伝送に必要な即時性が損なわれないという効果を有し、映像信号を画像処理して出力する送信装置、画像処理システム、画像処理方法、プログラム、及び記録媒体などに有用である。
【図面の簡単な説明】
【０１５６】
【図１】本発明の実施の形態１及び２のシステムの形態を示す図である。
【図２】本発明の実施の形態１の画像信号の送信側の手法の手順を示すフローチャート図である。
【図３】本発明の実施の形態１及び２のＰＣの構成を示すブロック図である。
【図４】本発明の実施の形態１及び２の画面のブロック区域分けによる差分領域の検出方法についてのモデル図である。
【図５】本発明の実施の形態１及び２の画面のブロック区域分けによる差分領域の検出方法についての別のモデル図である。
【図６】本発明の実施の形態２のプロジェクターでの処理の手順を示すフローチャート図である。
【図７】本発明の実施の形態２のＰＣからネットワークを介して転送されたデータを表示するプロジェクターのモデル図である。
【図８】本発明の実施の形態２における画面データをブロック単位で区域分けした処理の例のモデル図である。
【図９】本発明の実施の形態３の画面のブロック区域分けによる伝送領域の算出方法についてのモデル図である。
【図１０】本発明の実施の形態３の各ブロックの名前の付けかたを示す説明図である。
【図１１】本発明の実施の形態３のブロック区域分けによる伝送領域の算出方法を示すフローチャート図である。
【図１２】本発明の実施の形態３のブロック区域分けによる伝送領域の算出方法を示す説明図である。
【図１３】本発明の実施の形態３のブロック区域分けによる伝送領域の算出方法を示す別のフローチャート図である。
【図１４】本発明の実施の形態３のブロック区域分けによる伝送領域の算出方法を示す別の説明図である。
【図１５】従来システムの差分領域検出のモデル図である。
【図１６】従来のシステムの画面データの別の例を示す図である。
【符号の説明】
【０１５７】
１１  パーソナルコンピュータ
１２  プロジェクター
１３  スクリーン
ＳＴＥＰ１１  画像データの取得を行うステップ
ＳＴＥＰ１２  画像データをブロックによる区域分けを行うステップ
ＳＴＥＰ１３  前後のフレームから差分領域を検出するステップ
ＳＴＥＰ１４  差分領域の画像データを抽出し、符号化を行うステップ
ＳＴＥＰ１５  符号化された画像データのネットワークを介した送信を行うステップ
ＳＴＥＰ１６  最後のブロックであるかの判定を行うステップ
ＳＴＥＰ１７  取得した画像データ領域の解放を行うステップ
ＳＴＥＰ１８  このアプリケーションの終了を判別するステップ
２１  パーソナルコンピュータ
２２  画面
２３  ブロック
２４  差分検出ブロック
２５  フレーム間差分領域
ＳＴＥＰ２１  ネットワークを介した信号の受信を行うステップ
ＳＴＥＰ２２  受信した信号を符号化方式に対応した形式での復号化を行うステップ
ＳＴＥＰ２３  復号化された画像データの表示を行うステップ
３１  プロジェクター
３２Ａ  メモリ
３２Ｂ  デコーダー
３２Ｃ  投影部
３２Ｄ  ＬＡＮインターフェース
４１  パーソナルコンピュータ
４２  プロジェクター
４３  スクリーン
５１Ａ  １つ目のブロックの画像データの受信ステップ
５１Ｂ  １つ目のブロックの画像データの復号化ステップ
５２Ａ  ２つ目のブロックの画像データの受信ステップ
５２Ｂ  ２つ目のブロックの画像データの復号化ステップ
５３Ａ  ３つ目のブロックの画像データの受信ステップ
５３Ｂ  ３つ目のブロックの画像データの復号化ステップ
５４Ａ  ４つ目のブロックの画像データの受信ステップ
５４Ｂ  ４つ目のブロックの画像データの復号化ステップ
６１  パーソナルコンピュータ
６２  画面
６３  伝送領域
６４  差分領域
【図１】
2005033763.tif 000003
【図２】
2005033763.tif 000004
【図３】
2005033763.tif 000005
【図４】
2005033763.tif 000006
【図５】
2005033763.tif 000007
【図６】
2005033763.tif 000008
【図７】
2005033763.tif 000009
【図８】
2005033763.tif 000010
【図９】
2005033763.tif 000011
【図１０】
2005033763.tif 000012
【図１１】
2005033763.tif 000013
【図１２】
2005033763.tif 000014
【図１３】
2005033763.tif 000015
【図１４】
2005033763.tif 000016
【図１５】
2005033763.tif 000017
【図１６】
2005033763.tif 000018