(57)【要約】【課題】画像データ処理の負担を軽減し、擬似的な動画像処理を行うことができ、伝送側と受信側の画像の追従性を向上する。【解決手段】画像の変化部分である部分画像データとその領域を示す更新領域情報を取得する受信部と、前記更新領域情報を記憶する第１の記憶部と、前記部分画像データを記憶する第２の記憶部と、前記第１の記憶部の更新領域情報を参照して、前記更新領域の画像データを一方のフレームメモリに書き込む書き込み処理部と、前記一方のフレームメモリが書き込み状態のとき他方のフレームメモリを読出しする読出し処理部と、前記書き込み処理部と読出し処理部の動作を一定周期で切り替えるための同期検出部とを有する。【選択図】      図５
2007248635.tif 000002
【特許請求の範囲】
【請求項１】
画像の変化部分である部分画像データとこの部分画像データの領域を示す更新領域情報を含む部分更新データを取得する受信部と、
前記部分更新データから前記更新領域情報と、前記部分画像データを取り出す受信信号処理部と、
前記更新領域情報を管理して記憶する第１の記憶部と、
前記部分画像データを記憶する第２の記憶部と、
前記第１の記憶部の更新領域情報を参照して、前記第２の記憶部の更新領域の画像データを一方のフレームメモリに書き込む書き込み処理部と、
前記一方のフレームメモリが書き込み状態のとき他方のフレームメモリを読出しする読出し処理部と、
前記書き込み処理部と読出し処理部の動作を一定周期で切り替えるための同期検出部と
を有する画像データ処理装置。
【請求項２】
前記受信信号処理部は、
前記部分更新データから、前記更新領域情報と部分画像データを分離するための判断を行う判断部と、
判断結果により分離された前記部分画像データを復号処理する復号部を含む請求項１記載の画像データ処理装置。
【請求項３】
前記書き込み処理部は、
現フレームの部分画像データを前記一方のフレームメモリに書き込み処理するときに、前記第１の記憶部の更新領域情報を参照して、１フレーム前に変化した前記第２の記憶部の部分画像データを前記前記一方のフレームメモリにコピーする
請求項１記載の画像データ処理装置。
【請求項４】
前記第１の記憶部は、更新領域情報をフレーム内を表す矩形座標情報で管理しているか、又は、フレーム内をブロック単位に分割して、変化したブロックを示すフラグで管理する手段を有する請求項１記載の画像データ処理装置。
【請求項５】
前記更新領域情報が、全体画像が切り替わることを示すときは、例えば数フレーム期間、前記一方と他方のフレームメモリに全体画像データの書き込み処理を実行する手段を有する請求項１記載の画像データ処理装置。
【請求項６】
受信部と、受信信号処理部と、第１の記憶部と、第２の記憶部と、書き込み処理部と、読出し処理部と、同期検出部とを制御する画像データ表示処理方法において、
受信部により、画像の変化部分である部分画像データとこの部分画像データの領域を示す更新領域情報を含む部分更新データを取得し、
受信信号処理部により、前記部分更新データから前記更新領域情報と、前記部分画像データを取り出し、
前記第１の記憶部により、前記更新領域情報を管理して記憶し、
前記第２の記憶部により、前記部分画像データを記憶し、
前記書き込み処理部により、前記第１の記憶部の更新領域情報を参照して、前記第２の記憶部の更新領域の画像データを一方のフレームメモリに書き込み、
前記読出し処理部により、前記一方のフレームメモリが書き込み状態のとき他方のフレームメモリを読出し、
前記同期検出部により、前記書き込み処理部と読出し処理部の動作を一定周期で切り替える
を有する画像データの表示処理方法。
【請求項７】
前記受信信号処理部では、前記部分更新データから、前記更新領域情報と部分画像データを分離するための判断を行い、
分離された前記部分画像データを復号処理することを特徴とする
請求項６記載の画像データの表示処理方法。
【請求項８】
前記書き込み処理部では、
現フレームの部分画像データを前記一方のフレームメモリに書き込み処理するときに、前記第１の記憶部の更新領域情報を参照して、１フレーム前に変化した前記第２の記憶部の部分画像データを前記前記一方のフレームメモリにコピーすることを特徴とする
請求項６記載の画像データの表示処理方法。
【請求項９】
前記第１の記憶部は、前記更新領域情報をフレーム内を表す矩形座標情報で管理することを特徴とする
請求項６記載の画像データの表示処理方法。
【請求項１０】
前記第１の記憶部は、前記更新領域情報を、フレーム内をブロック単位に分割して、変化したブロックを示すフラグで管理することを特徴とする
請求項６記載の画像データの表示処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データ処理装置及び画像データ表示処理方法に関するもので、例えばパーソナルコンピュータで処理した画像データを電子プロジェクタに送信して投射する際に有効な装置及び方法である。
【背景技術】
【０００２】
プレゼンテーションでは、パーソナルコンピュータで処理した画像データを電子プロジェクタに送信している。パーソナルコンピュータにおいて、マウスを操作するとポインタとしてのカーソルが移動する。カーソルの移動により、スクリーンに投射された画像の所望の位置を指摘することができる。また、カーソルによりアイコンをクリックすると、ページ切換えのように画像を変化させることもできる。
【０００３】
上記したようにカーソルが移動すること、画像が変化することは、順次パーソナルコンピュータからプロジェクタへ画像データが伝送されているからである。
【特許文献１】特開２０００−６６７９９公報
【特許文献２】特開２０００−２０９５６０公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の画像データの伝送方法及び画像データの処理方法では、処理するデータ量が多く、パーソナルコンピュータ側における動画の動きと、プロジェクタ側における動画の動きとに比較的大きな時間差が生じることがある。特に伝送ラインが他の機器と共用されているような場合は、さらに時間差が大きくなることがある。特に画像の解像度が高いと時間差がさらに大きくなる。このために利用者が例えばパーソナルコンピュータを操作して画像をみながら、プレゼンテーション説明を行なうと、プロジェクタを介してスクリーンに投影された画像のポインタの移動が、音声に追従しない場合が見られる。
【０００５】
そこでこの発明は、伝送側及び受信側の画像データ処理の負担を軽減し、擬似的な動画像処理を行うことができ、伝送側と受信側の画像の追従性を向上した画像データ処理装置及び画像データ表示処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するためにこの発明の一面では、画像の変化部分である部分画像データとこの部分画像データの領域を示す更新領域情報を含む部分更新データを取得する受信部と、前記部分更新データから前記更新領域情報と、前記部分画像データを取り出す受信信号処理部と、前記更新領域情報を管理して記憶する第１の記憶部と、前記部分画像データを記憶する第２の記憶部と、前記第１の記憶部の更新領域情報を参照して、前記第２の記憶部の更新領域の画像データを一方（又は他方）のフレームメモリに書き込む書き込み処理部と、前記一方（又は他方）のフレームメモリが書き込み状態のとき他方（又は一方）のフレームメモリの読出しを行なう読出し処理部と、前記書き込み処理部と読出し処理部の動作を一定の周期に合わせて切り替えるための同期検出部とを有する。
【発明の効果】
【０００７】
上記の手段により伝送側及び受信側の画像データ処理の負担を軽減し、擬似的な動画像処理を行うことができ、伝送側と受信側の画像の追従性を向上できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照してこの発明の実施の形態を説明する。図１は、この実施の形態で使用されるカラープロジェクタ１１の外観を示している。このカラープロジェクタ１１は、ほぼ薄型の箱状に形成されたキャビネット１２を有している。
【０００９】
このキャビネット１２には、その前面パネル１２ａに、映像投射面となる後述するスクリーンに映像を拡大投射するための投射レンズ１３と、測距部１４とが近接して配置されている。
【００１０】
この測距部１４は、投射レンズ１３からスクリーンまでの距離を測定するもので、キャビネット１２を移動させることなく、スクリーン上で水平方向に異なる２つの位置までの距離をそれぞれ自動的に測定する機能を有している。
【００１１】
図２は、パーソナルコンピュータ２０と接続された上記カラープロジェクタ１１の信号処理系を概略的に示している。
【００１２】
パーソナルコンピュータ２０に表示される画像の画像データは、例えばイーサネット（登録商標）などのネットワークを介して映像表示装置であるプロジェクタ１１に転送される。パーソナルコンピュータ２０にはマウス２１が接続され、マウス２１が操作示されることで、ポインタとしてのカーソル２２が画面上を移動する。この画面は、プロジェクタ１１により投射されるスクリーン上にも表示される。
【００１３】
プロジェクタ１１は、パーソナルコンピュータ２０から転送されてくる画像データを受信部３０１で受信し、映像信号処理部３０２において、後述する復元処理を行う。復元された映像信号は、投射部３０３の投射レンズ１３を介してスクリーン（図示せず）上に表示される。
【００１４】
図３にはパーソナルコンピュータ２０からプロジェクタ１１に転送される画像データの伝送方法を示している。パーソナルコンピュータ２０では、画面２０１上で変化した部分だけの画像２０２の画像データを圧縮して送信し、プロジェクタ１１では、受信した画像データを伸張して表示する。実際には、パーソナルコンピュータ２０は、変換した部分の部分画像データと、その領域を示す座標データを含めた部分更新データとして伝送する。
【００１５】
このようなシステムではパーソナルコンピュータ２０の性能によって送信データの作成時間が異なり、またネットワークにおいても遅延が発生することがあり、データが発信される時間間隔は一定にはならない。
【００１６】
上記の送信データに対して、プロジェクタ１１においては、表示される画像は映像信号として一定周期であり、常に画像データが出力されている状態である。したがって、部分更新データを用いた画像の復元処理は、表示処理とは非同期となる。
【００１７】
図４は、表示処理に対して非同期で受信され、かつ復元される画像データを、円滑に受信してかつ画面に表示するための処理方法を示している。
【００１８】
表示用のフレームメモリ１０１，１０２が複数用意される。複数のフレームメモリ１０１、１０２が利用された場合、受信した部分画像データを一方のフレームメモリに書き込む間であっても、他方のフレームメモリから画像データを読出し、映像を表示することができる。図４の左側は、フレームメモリ１０１に受信した部分画像データが書き込まれ、フレームメモリ１０２のデータが表示用として読み出されている様子を示している。図４の右側は、次のフレーム周期であり、フレームメモリ１０２に受信した部分画像データが書き込まれ、フレームメモリ１０１のデータが表示用として読み出されている様子を示している。
【００１９】
フレームメモリ１０１と１０２から読み出される映像データは、映像同期信号に合わせて交互に定期的に出力される。映像同期信号とは非同期に復元された画像データは、読出しされていないフレームメモリ１０２又は１０１に書き込まる。そして書き込みが終わった後に、当該フレームメモリの画像データが映像同期信号にあわせて出力される。
【００２０】
ここで、受信した画像が更新される度に、更新された復元画像を空いている方のフレームメモリにコピーすることになる。つまり、図４の右側にあるように、フレームメモリ１０２に対して部分画像データが無かった場合、次のフレーム周期の表示を行なうために、フレーム１０１の画像データは、フレームメモリ１０２にコピーする必要がある。
【００２１】
しかし、更新された部分画像データを除く他の画像データをそのまま他方のメモリにコピーすると、解像度が大きくなるほどコピー時間が長くなってしまい更新が遅れることになる。
【００２２】
そこで本実施形態では、画像を復元するために部分画像データと一緒に送られてくる座標データを利用し、受信した部分画像データと座標データから、フレームメモリのどの部分が更新されたかを画像とは別の領域に登録する。
【００２３】
図５は、上記の映像信号処理部３０２の具体的構成例を示している。受信部３０１より得た受信データは、中央演算処理部（ＣＰＵ）３１１によって制御される判断部３１２によって部分画像データと座標データに分離される。分離された部分画像データは、ＣＰＵ３１１により制御される復号部３１３によって表示可能な部分画像データに変換される。この変換処理では、部分画像データは座標データに従って作業領域となる記憶部３１４に保存され、送信元と同じ画像として復元される。
【００２４】
また座標データと復号された部分画像データのサイズから、記憶部３１３が更新された領域がどの部分かを示す更新領域情報が記憶部３１５に保存される。
【００２５】
保存する更新領域情報は、矩形座標情報で管理してもよいし、領域をブロック単位に分割して変化したブロックを示すフラグなどで管理してもよい。つまり、記憶部３１５は、更新領域情報をフレーム内を表す矩形座標情報で管理しているか、又は、フレーム内をブロック単位に分割しており、変化したブロックを示すフラグで管理する手段を有する。
【００２６】
記憶部３１４の部分画像データは、複数ページ分のフレームメモリを有するフレームメモリ部３１７にコピーされる。そしてフレームメモリ部３１７の画像データは、信号処理回路３１８を介して映像信号として出力される。信号処理回路３１８は、一定の周期の同期信号に基づいて投射用の映像信号を出力している。
【００２７】
メモリ制御部３２０は、フレームメモリ部３１７の制御を行い、同期検出部３１６より得た同期信号のタイミングに合わせて切り替え処理を行ったり、記憶部３１４に保存された部分画像データのコピーを行ったりする。フレームメモリ部３１７にコピーされた画像データは、信号処理回路３１８を介して映像信号として出力される。
【００２８】
上記したように、フレームメモリ部３１７は、複数のフレームメモリを有する。そしてメモリ制御部３２０は、第２の記憶部の更新領域の画像データを一方のフレームメモリに書き込む書き込み処理部３２０ａと、一方のフレームメモリが書き込み状態のとき他方のフレームメモリを読出しする読出し処理部３２０ｂを含む。同期検出部３１６は、書き込み処理部３２０ａと読出し処理部３２０ｂの動作を一定周期で切り替えるための同期検出を行なっている。
【００２９】
図６には、フレームメモリ部３１７内に、バッファとして複数(２ページ分)のフレームメモリ１０１、１０２が設けられた例を示している。図の左側には、画像の更新領域情報を記憶する記憶部３１５の記憶内容が変化している様子を示している。更新領域情報が示す領域の部分画像データは、記憶部３１４に保存される。
【００３０】
矢印で指示された部分は、記憶部３１５から更新領域情報を取得して、記憶部３１５の部分画像データをフレームメモリ１０１又は１０２にコピーするときのルートを図式化したものである。このケースでは、映像信号が時分割されており、そのうちフレーム１Ｆ〜４Ｆまでの状態変化を示しており、フレームＦ１の何もない状態から始まり、左上の矩形画像データＰ１が描画され、次に右下の矩形画像データＰ２がフレームメモリ部３１７に描画された様子を示している。
【００３１】
フレーム１Ｆがフレームメモリ１０１から読み出されている間に、フレームメモリ１０２にフレーム２Ｆの矩形画像データＰ１が書き込まれる。次に、フレームメモリ１０２の画像データ（フレーム２Ｆで取得した矩形画像データＰ２）が読み出される。
【００３２】
フレームメモリ１０２の画像データが読み出されている間に、次の映像信号出力タイミングで出画するために、以下の処理が行われる。フレーム２からフレーム３への変化分が復元処理されると同時に更新情報が登録される。このとき新たに変化した部分は右下の矩形画像データＰ２であるが、表示のためには新たなバッファ領域（フレームメモリ１０１）が使用されるため前回変化した左上の矩形画像データＰ１と新たな矩形画像データＰ２との両方のコピーがフレームメモリ１０１に対して行われる。そして、フレームメモリ１０１の画像データの表示が行なわれる。
【００３３】
フレーム３からフレーム４に至る過程では画面に変化がない。このとき既にフレーム１Ｆからフレーム２Ｆの過程で生じた更新領域の矩形画像データＰ１がすでに書き込まれているため、フレーム２Ｆからフレーム３Ｆで変化した領域の矩形画像データＰ２がフレームメモリ１０２に反映される。これにより復元処理された集合画像と同じ映像を出力できる。
【００３４】
上記のように、受信部３０１は、画像の変化部分である部分画像データとこの部分画像データの領域を示す更新領域情報を含む部分更新データを取得する。そして記憶部３１５は、画像データの変化部分の更新領域情報を記憶し、記憶部３１４は、部分更新された部分画像データを記憶する。次に、メモリ制御部３２０の書き込み処理部３２０ａは、記憶部３１５の更新領域情報を参照して、記憶部３１４の更新領域の画像データを一方（又は他方）のフレームメモリ１０１、又は１０２に書き込む。一方、読出し処理部３２０ｂは、一方（又は他方）のフレームメモリ１０１、又は１０２が書き込み状態のとき他方（又は一方）のフレームメモリ１０２、又は１０１を読出しする。ここで、同期検出部３１６は書き込み処理部３２０ａと読出し処理部３２０ｂの動作を表示に合わせて一定周期で切り替えるための同期信号を取得している。
【００３５】
また書き込み処理部３２０ａは、現フレームの部分画像データを一方（又は他方）のフレームメモリに書き込み処理するときに、記憶部３１５の更新領域情報を参照して、１フレーム前に変化した記憶部３１４の部分画像データを一方（又は他方）のフレームメモリにコピーする。
【００３６】
上記した説明は、説明を分かり易く、かつ簡単にするために、更新される部分画像データの領域が１−２箇所の例である。しかし、実際には、複数の領域で画像データが更新される。このような場合の画像処理として、上記した方法及び構成が有効に機能し、パーソナルコンピュータ２０の部分的な画像変化はプロジェクタ１１が投射する画像上でリアルタイムにて反映される。
【００３７】
上記の説明は、変化のあった画像データに関して更新処理を行う説明である。しかし、プレゼンテーションでは、カーソルだけの画像変化ではなく、全体画像が切り替わることもある。このような場合は、例えば数フレーム期間フレームメモリ１０１、１０２に全体画像の書き込みが実行される。そして部分画像データ処理モードに移る。また表示装置としてはプロジェクタに限定されるものではなく、プラズマディスプレイのように平面型表示装置に適用できることは勿論である。
【００３８】
図７は、図５に示した装置の動作例を示すフローチャートである。受信部３０１により、画像の変化部分である部分画像データとこの部分画像データの領域を示す更新領域情報を含む部分更新データを取得する（ステップＳＡ１）。受信信号処理部３０２ａにより、前記部分更新データから前記更新領域情報と、前記部分画像データを判断して取り出す（ステップＳＡ２）。更新領域情報が全画面の画像の変化を示しているか、部分画像の変化を示しているかを判定し（ステップＳＡ３）、全画面の変化を示している場合には全画面の画像データを記憶部３１４に書き込む（ステップＳＡ４）。この場合、コンピュータの処理能力と解像度に応じて数フレーム期間を要する場合もある。
【００３９】
ステップＳＡ３で部分画像の変化が判定された場合は、記憶部３１５により、前記更新領域情報を管理して記憶し、記憶部３１４により、部分画像データを記憶する（ステップＳＡ５）。同期検出部３１６が同期信号を検出したかどうかを判定する（ステップＳＡ６）。同期信号が検出されたときは、書き込み側と読出し側のフレームメモリの切り替えが行なわれる（ステップＳＡ７）。同期信号が検出されない期間は、書き込み・読出しメモリが現状の選択状態に維持される（ステップＳＡ８）。次に、更新領域情報が参照され、部分画像データが現在選択されている書き込み側のフレームメモリに書き込まれる。また１フレーム前に更新された部分画像データが記憶部３１４から読み出され現在選択されている書き込み側のフレームメモリに書き込まれる（ステップＳＡ９）。この処理の間、他方のフレームメモリは読出し状態とされる（ステップＳＡ１０）。
【００４０】
図８には、パーソナルコンピュータ２０のブロック構成を示し、この発明に特に関連する部分を取り出して示している。パーソナルコンピュータ２０は、画像データメモリ２１０、動画像データ取得部２０２、更新領域情報生成部２０３、静止画像データ処理部２０４、更新領域情報及び部分画像データのバッファ部２０５を有する。送信データを圧縮するための圧縮処理部２０６、及び送信部２０７を有する。動画像データ取得部２０２は、画像データメモリ２１０から取りだされた現画像データと前フレームの画像データとの差分を取ることで動画像を検出することができる。動画像の領域（つまり座標及びサイズ）は、更新領域情報生成部２０３により検出されるとともに、ここで更新領域情報が成生される。動画領域を除く領域は静止画である。静止画像が新たに更新されることもある。このような更新は、連続した画像変化がないことを利用して検出される。静止画像が更新された場合には静止画像データ処理部２０４により、静止画像データの送信設定が行われる。
【００４１】
静止画像データを含む部分画像データ及び更新領域情報は、バッファ部２０５にて一時格納され、圧縮処理を受けて、送信部２０７から送出される。なお、プロジェクタ１１にも受信部の中に伸長処理部が設けられている。
【００４２】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４３】
【図１】カラープロジェクタの概観図である。
【図２】プロジェクタにこの発明が適用され、その使用状態を示す概略図である。
【図３】部分画像データの伝送方式の一例を示す説明図である。
【図４】プロジェクタにおいて部分画像データが更新されたときの表示のための出力動作を説明する図である。
【図５】この発明の実施の形態を示す構成図である。
【図６】図５の装置の動作例を説明するために示した動作説明図である。
【図７】図５の装置の動作例を説明するために示したフローチャートである。
【図８】パーソナルコンピュータのブロック構成を示す図である。
【符号の説明】
【００４４】
１１・・・プロジェクタ、３０１・・・受信部、３０２・・・信号処理部、３０３・・・投射部、３１１・・・中央演算処理装置（ＣＰＵ）、３１２・・・判断部、３１３・・・復号部、３１４・・・記憶部、３１５・・・記憶部、３１６・・・同期検出部、３１７・・・フレームメモリ部、３１８・・・信号処理回路。
【図１】
2007248635.tif 000003
【図２】
2007248635.tif 000004
【図３】
2007248635.tif 000005
【図４】
2007248635.tif 000006
【図５】
2007248635.tif 000007
【図６】
2007248635.tif 000008
【図７】
2007248635.tif 000009
【図８】
2007248635.tif 000010