(57)【要約】【課題】受信側の映像表示装置における復号および表示の処理負荷を減らし、また動画の再生を円滑にする。【解決手段】送信側では画像データのフレーム間の差分画像データを取得する差分画像データ取得部と、前記差分画像データのデータ量を低減する最適化部と、前記差分画像データの属性情報を生成する属性情報生成部と、前記属性情報及び最適化差分画像データを送信する送信部を有する。一方、受信側では受信信号から取り出した属性情報を解析する解析部と、受信した画像データが差分画像データのときは動画像データを復元して記憶部に展開する差分画像データ復号部と、前記記憶部から読み出した画像データの画素変換を行い表示用信号として出力する。【選択図】  図３
2007251398.tif 000002
【特許請求の範囲】
【請求項１】
受信部と、
受信した信号から属性情報とこの属性情報が付随している画像データとを判断する判断部と、
前記属性情報を解析して前記画像データが差分画像データであるか否かを判定する解析部と、
前記画像データが差分画像データであるときは、この差分画像データを用いて動画像データを復元して記憶部に展開する差分画像データ復号部と、
前記記憶部から読み出した画像データの画素変換を行い表示用信号として出力する画素変換部と、
を有する画像データ処理装置。
【請求項２】
前記差分画像データは、サイズが縮小された差分画像データであり、前記復元された動画像データは、前記画素変換部でサイズが拡大される
請求項１記載の画像データ処理装置。
【請求項３】
前記画素変換部は、前記動画像データ用と、静止画像データ用を含み、前記動画像データ用と静止画像データ用の画素変換部の出力が合成回路１２７で合成される
請求項１記載の画像データ処理装置。
【請求項４】
画像データメモリと、
前記画像データメモリから画像データを取り出し、フレーム間の差分画像データを取得する差分画像データ取得部と、
前記差分画像データのデータ量を低減する最適化部と、
前記差分画像データの属性情報を生成する属性情報生成部と、
前記属性情報及び最適化された前記差分画像データを送信する送信部を有する画像データ処理装置。
【請求項５】
さらに静止画像データ処理部を含み、前記属性情報には、付随している画像データが静止画か動画かの識別を行なうフラグが含まれる
請求項４記載の画像データ処理装置。
【請求項６】
前記最適化部は、前記差分画像データの縮小処理を行う請求項４記載の画像データ処理装置。
【請求項７】
送信側では、
差分画像データ取得部で、前記画像データメモリから画像データを取り出し、フレーム間の差分画像データを取得し、
最適化部で、前記差分画像データのデータ量を低減し、
属性情報生成部で、前記差分画像データの属性情報を生成し、
送信部で前記属性情報及び最適化された前記差分画像データを送信し、
受信側では、
判断部で、受信した信号から前記属性情報とこの属性情報が付随している画像データとを判断し、
解析部で、前記属性情報を解析して前記画像データが差分画像データであるか否かを判定し、
差分画像データ復号部で、前記画像データが差分画像データであるときは、この差分画像データを用いて動画像データを復元して記憶部に展開し、
画素変換部で、前記記憶部から読み出した画像データの画素変換を行い表示用信号として出力する、
を有する画像データ処理方法。
【請求項８】
前記最適化部は、前記差分画像データの縮小処理を行い、前記画素変換部では、拡大処理を行う
請求項７記載の画像データ処理方法。
【請求項９】
前記画素変換部は、前記動画像データと、静止画像データを別々に画素変換する請求項７記載の画像データ処理方法。
【請求項１０】
前記送信側は、静止画像データも縮小して伝送し、前記受信側は受信した静止画像データを専用の画素変換部で拡大処理する
請求項７記載の画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データ受信処理装置及び送信処理装置及び画像データ処理方法に関するもので、例えばパーソナルコンピュータで処理した画像データを電子プロジェクタに送信して投射する際に有効な装置及び方法である。
【背景技術】
【０００２】
プレゼンテーションでは、パーソナルコンピュータで処理した画像データを電子プロジェクタに送信している。ネットワークを介してパーソナルコンピュータで表示されている画像データをプロジェクタなどの映像表示装置に転送・表示するシステムにおいて、受信側となる映像表示装置では受信した画像データのデコードと表示処理が必要となる。
【特許文献１】特開２０００−６６７９９公報
【特許文献２】特開２０００−２０９５６０公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年、パーソナルコンピュータに使用されるＣＰＵが高性能化されたことで、パーソナルコンピュータ上で動画コンテンツが再生される機会が増えた。しかしながら、ＣＰＵの処理能力向上が顕著なパーソナルコンピュータに対して、プロジェクタなどの組込み機器は、処理速度が劣る場合が多い。このため、送信側と受信側のＣＰＵ処理速度の格差により、受信側の処理遅延が伴い、特に動画再生時に円滑に動画表示することが困難であった。
【０００４】
そこで本発明では送信する画像を処理能力の高いパーソナルコンピュータ側で最適化することで、受信側の映像表示装置における復号および表示の処理負荷を減らし、また動画の再生を円滑にすることができる画像データ受信処理装置及び送信処理装置及び画像データ処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するためにこの発明の一面では、送信側では、画像データメモリと、前記画像データメモリから画像データを取り出し、フレーム間の差分画像データを取得する差分画像データ取得部と、前記差分画像データのデータ量を低減する最適化部と、前記差分画像データの属性情報を生成する属性情報生成部と、前記属性情報及び最適化された前記差分画像データを送信する送信部を有する。一方、受信側では、受信部と、受信した信号から属性情報とこの属性情報が付随している画像データとを判断する判断部と、前記属性情報を解析して前記画像データが差分画像データであるか否かを判定する解析部と、前記画像データが差分画像データであるときは、この差分画像データを用いて動画像データを復元して記憶部に展開する差分画像データ復号部と、前記記憶部から読み出した画像データの画素変換を行い表示用信号として出力する画素変換部と、を有する。
【発明の効果】
【０００６】
上記手段により、ネットワークの転送レートが低い場合、無線ネットワークであれば周囲の環境で転送レートが充分でない場合でも、あまり影響されずに差分画像データの送信間隔を保つことができ、受信側の表示装置においても表示処理のためにかかる処理負荷の軽減につながる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照しながらこの発明の実施の形態を説明する。図１は、この実施の形態で使用されるカラープロジェクタ１１の外観を示している。このカラープロジェクタ１１は、ほぼ薄型の箱状に形成されたキャビネット１２を有している。
【０００８】
このキャビネット１２には、その前面パネル１２ａに、映像投射面となる後述するスクリーンに映像を拡大投射するための投射レンズ１３と、測距部１４とが近接して配置されている。
【０００９】
この測距部１４は、投射レンズ１３からスクリーンまでの距離を測定するもので、キャビネット１２を移動させることなく、スクリーン上で水平方向に異なる２つの位置までの距離をそれぞれ自動的に測定する機能を有している。
【００１０】
図２は、パーソナルコンピュータ２０と例えば無線ＬＡＮを介して接続された上記カラープロジェクタ１１を概略的に示している。
【００１１】
図３は、パーソナルコンピュータ２０とプロジェクタ１１の内部の機能ブロックを示している。パーソナルコンピュータ２０は、ハードディスクなどの画像メモリ２０１、画像データ処理部２０２、送受信部２０３、システム制御部２０４を有する。プロジェクタ１１に画像データを送信するときは、画像データメモリ２０１から画像データ処理部２０２に取り込み、送信すべきデータを生成する。システム制御部２０４は、画像データメモリ２０１、画像データ処理部２０２、送受信部２０３を統括して制御する。
【００１２】
ここで、画像データ処理部２０２においては、画像データ取得部０２ａ，差分画像データ取得部０２ｂ、属性情報生成部０２ｃ、差分画像データ最適化部０２ｄ、送信データ生成部０２ｅを有する。また、静止画像データ処理部０２ｆ、縮小処理部０２ｇも含む。縮小処理部０２ｇは、差分画像データ最適化部０２ｄとともに動作し、差分画像データの縮小処理を行うことができる。したがって、縮小処理部０２ｇは、差分画像データ最適化部０２ｄ内に含まれてもよい。
【００１３】
パーソナルコンピュータに表示される画像は文字や図形であることが多く、一般的な用途においては画面全体が変化するような状況は少なく部分的な画面の変化にとどまることが多い。そこで、パーソナルコンピュータ２０の画面上で変化した部分だけを切り出した差分画像をパソコン側で圧縮して送信し、プロジェクタ１１側で受信したデータを伸張して、スクリーンに表示する。
【００１４】
パーソナルコンピュータ２０では、では一定間隔で時間を分割して画面データの変化を捉える、仮想グラフィックドライバにより変化イベントを取得するなどして、変化している箇所を差分データとして取得する。このとき、動画の特徴である以下の条件を持って変化イベントが発生した領域が動画コンテンツによるものであると判定する。
【００１５】
（１）画面変化部分を検出した結果がほぼ同一領域を示し、これが繰り返し検出される、
（２）ほぼ同一領域において、短い間隔で変化を繰り返している、
（３）予め登録した動画再生アプリケーションのウィンドウ位置と画面変化部分か重複している。
【００１６】
送信元は、後述するフローチャートにしたがって、まず画面データの検出を行って前項の判定基準から動画部か否かを判定する。この判定により得た情報を属性情報として画像データに付随させて(送信データ生成)、プロジェクタ１１に送信する。このときに動画部分の画像を差分画像データとして符号化するが、送信側の差分画像データの最適化としてはデータ量を削減するためにサイズ縮小あるいは色データを減じて符号化することにより差分画像データのデータ量を削減する。
【００１７】
パーソナルコンピュータ２０から送信されるデータは、送受信部２０３から例えばイーサネット（登録商標）などのネットワークを介して映像表示装置であるプロジェクタ１１に転送される。プロジェクタ１１は、パーソナルコンピュータ２０から送られてきたデータを送受信部１２０で受信する。プロジェクタ１１には、送受信部２１０に加えて、判断部１２１、画像データ処理部１２２、記憶部１２３、ＣＰＵ１２４、画素変換部１２５，１２６、合成回路１２７、投射部１２８を有する。ＣＰＵ１２４は、送受信部１２０、判断部１２１、画像データ処理部１２２、記憶部１２３、画素変換部１２５，１２６などを統括し制御する。
【００１８】
送受信部１２０から取り込まれた受信データは、判断部１２１にて、属性情報、画像情報の分離が行なわれ、分離された属性情報、画像データは、画像データ処理部１２２に入力される。属性情報には、送られてきた画像データが、通常の更新データであるのか、あるいは、動画データのものであるのかを識別している。
【００１９】
画像データ処理部１２２では、属性情報解析部２２ａを有し、ここで属性情報を解析して、送られてきた画像データの更新フラグ及び静止画・動画の識別情報、送られてきた画像データを表示すべき座標情報等を取得する。座標情報は、画像の出力タイミングを設定する情報である。
【００２０】
また、送られてきた画像データが差分画像データであれば、差分画像データは、符号化されているので、元の差分画像データに復号するための差分画像データ復号部２２ｂを有する。またこの差分画像データ復号部２２ｂは、更新前の動画像データのフレームをフレームメモリに有するので、新しく受信した差分画像データと更新前の動画像データとを用いて、更新された動画像データを再現する。
【００２１】
上記したように、プロジェクタ１１では後述するフローチャートにしたがって、データを受信したら画像データに付随する座標や属性情報が調べられる。このとき属性情報から画像データが動画部分のものであると判明した場合は、最適化時に行った方法の逆順序により復元処理が行われる。例えばサイズを縮小されている場合には、元のサイズに復元して記憶部１２３に展開する。そうでない場合は通常通りの処理を行う。
【００２２】
記憶部１２３に展開された画像データは、画素変換部１２５，１２６において、ハードウェアによる拡大処理が行われ、合成回路１２７を介して投射部１２８に入力される。投射部１２８では、入力画像データを空間変調素子（例えば液晶素子）にて画像化し、光学的に拡大して投射する。
【００２３】
ここで、画素変換部１２５、１２６の２系統が設けられているが、基本的には、片方だけでも良い。
【００２４】
画素変換部１２５、１２６の２系統を設けることで、次のような機能を得ることができる。前述の動画部と非動画部の画像をそれぞれ別の表示メモリ（例えば記憶部１２３内に複数のフレームメモリが用意される）へと展開して、２系統ある画素変換部１２５，１２６に対してそれぞれに入力する方法でもよい。すると、それぞれの画素変換部１２５，１２６への入力は異なるリフレッシュレートを取り扱うことができ、非動画部と動画部はそれぞれの更新速度や解像度にあわせて２系統別々の信号を出力し、合成回路で非動画部の映像に動画部の映像をはめ込むことで送信元の画面を復元することができる。動画の処理に関しては、更新速度を重視し、静止画の処理に関しては、速度は遅くても画質を重視した処理を行うことができる。
【００２５】
図４を参照して、パーソナルコンピュータ２０側の画像処理の一例を説明する。画像データメモリ２０１から画像データを取得する（ステップＳＡ１）。前回の画像データと今回の画像データとを比較し、変化があったかどうかを判断する（ステップＳＡ２）。つまりフレーム間の差分をとる。変化がない部分は静止画であり、変換があった部分（差分が生じた部分）は、動画である。変化があった場合には、変化分（つまり差分画像データ）を取得する（ステップＳＡ３）。さらに差分画像データを取得した位置（座標位置）、及び領域のサイズは、数回分が同じ位置及びサイズか同かを判断する（ステップＳＡ４）。
【００２６】
差分画像データを取得した位置（座標位置）、及び領域のサイズは、数回分が同じ位置である場合には、例えば静止画の中にピクチャーインピクチャーとして動画が挿入されていることである。差分画像データを取得した領域が、動画領域と判定されたときは、この領域の座標情報を属性情報内に登録する（ステップＳＡ５）。そして、差分画像データの最適化処理を行う（ステップＳＡ６）。最適化処理は、先にも述べたように、データ量を削減するために縮小あるいは色データを減じて符号化することにより差分画像データのデータ量を削減することである。最適化された差分画像データは、送信データとして生成される（ステップＳＡ７）
ステップＳＡ４にて、差分画像データを取得した領域が、動画領域と判定されなかったときは、単に、更新された領域として判定し、送信データ生成（ステップＳＡ７）に移行する。送信データが生成されたら、データ送信が行なわれ（ステップＳＡ７）、データ送信が終了したら（ステップＳＡ９）終了となる。
【００２７】
したがって、上記の処理によると、動画領域の画像データとしては、第１段階で、差分画像データに変換されてデータ量が削減され、次の第２段階で最適化処理されることによりさらにデータ量が削減される。
【００２８】
このことは、伝送路におけるデータ量が低減され容量の小さい回線であっても送信側と受信側において、動画の追従性が良いことになる。上記したように本装置は、動画領域を特定できるので、逆に静止画の領域を特定することもできる。静止画の領域が更新されることもある。このような場合、静止画の領域の変化は、即座に受信側のプロジェクタに反映される必要はない。したがって、静止画データの伝送については、最初低解像度の画像データとして伝送し、その後に例えば画面を領域に分割し、領域毎に複数回に分けて高解像度の画像データを伝送する方法であってもよい。
【００２９】
図５には、プロジェクタ１１側の動作フローを示している。データが受信されると（ステップＳＢ１）、属性情報がまず取得される（ステップＳＢ２）。そして、そのデコード及び解析が行なわれる（ステップＳＢ３）。そして属性情報に動画であることのフラグが含まれていた場合、送られてきた画像データの画像復元処理が実行される（ステップＳＢ４）。この復元処理は、送信側と逆の手順を踏む処理である。動画像データが復元されたら、記憶部１２３へ表示のためにコピーされる。このとき、座標情報に基づいて格納されるアドレスが決まる。
【００３０】
ステップＳＢ４で動画であることのフラグがない場合には、画像データは、更新された画像データであるから、ステップＳＢ６にて、記憶部１２３へ表示のためにコピーされる。そして、記憶部１２３の画像データが読み出され、画像表示される（ステップＳＢ７）。表示が終了したら動作を完結する（ステップＳＢ８）。
【００３１】
この発明は上記の実施の形態に限定されるものではない。またプロジェクタ１１を代表して説明したが、プラズマディスプレイなどの表示装置であってもよい。さらにまた、パーソナルコンピュータとプロジェクタの１対１の関係を説明したが、パーソナルコンピュータに対して複数の表示装置がネットワークを介して接続されている環境においても有効である。
【００３２】
図６、パーソナルコンピュータ２０から、複数のイベント会場あるいは教室に設置されたプロジェクタ１１Ａ−１１Ｃに無線ＬＡＮを介して画像を伝送する環境を示している。このような場合、通信回線の混雑を避けるために、上記した動画情報の伝送方法は有効である。この場合、さらに、プロジェクタによっては、機種、メーカの違いにより、画像データ処理能力に差異がある場合がある。このような場合には、パーソナルコンピュータ２０が静止画像データを伝送するときの最大解像度、及び静止画像データ及び動画データ（差分画像データ）を伝送するときの伝送速度を切り替えできるようにしてもよい。
【００３３】
図７は、起動時にパーソナルコンピュータ２０が各プロジェクタ１１Ａ−１１Ｃに対して、処理能力を問い合わせるときの動作説明図である。パーソナルコンピュータ２０は、各プロジェクタ１１Ａ−１１Ｃから、解像度・伝送速度の能力情報の応答があったときに、各プロジェクタ共通の解像度・伝送速度を決定する。そして、解像度・伝送速度情報を各プロジェクタに送信した後、画像データ処理を開始する。各プロジェクタ１１Ａ−１１Ｃは、パーソナルコンピュータ２０から解像度・伝送速度情報が送られてきたとき、それぞれの処理速度を設定し、また解像度の設定を行なう。また、解像度とともにアスペクト比の情報が処理されてもよい。
【００３４】
上記した画像データ処理装置及び画像データ表示処理方法を使うことで、ネットワークの転送レートが低い場合、無線ネットワークであれば周囲の環境で転送レートが充分でない場合でも、あまり影響されずに差分画像データの送信間隔を保つことができ、受信側の表示装置においても表示処理のためにかかる処理負荷の軽減につながる。
【００３５】
送信元は処理能力の高いＣＰＵを搭載したコンピュータであるが、映像表示装置のような製品では一般的にパソコンのような高性能なＣＰＵを持つことは少ない。従って、送信元で行った最適化処理に対して復元するための処理が負荷になる場合がある。例えば拡大縮小といった処理はソフトウェアで実施するのは負荷がかかり一般的ではない場合があるが、本装置では縮小された画像のまま取り扱い、最終的に画素変換回路や合成回路(一般にいうピクチャインピクチャ機能)はハードウェアで処理される。これを利用することで高速表示と送信元画像の復元の両立を図ることができる。
【００３６】
パーソナルコンピュータの画像はウィンドウと呼ばれる矩形領域で表示サイズが可変的に変えられる。したがって、パーソナルコンピュータでは、動画部分もユーザ操作で簡単に拡大縮小が可能であるが、表示装置側がこの拡大縮小に追従するにあたり動画だけ別系統（専用の画素変換部など）で処理することで容易に追従することができる。さらに送信側は、静止画像データも縮小して伝送し、受信側は受信した静止画像データを専用の画素変換部で拡大処理することも可能である。
【００３７】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００３８】
【図１】カラープロジェクタの概観図である。
【図２】パーソナルコンピュータとプロジェクタにこの発明が適用され、その使用状態を示す概略図である。
【図３】パーソナルコンピュータとプロジェクタ内の機能ブロックの例を示す図である。
【図４】パーソナルコンピュータ側の動作を説明するために示したフローチャートである。
【図５】プロジェクタ側の動作例を説明するために示したフローチャートである。
【図６】この発明にかかる装置及び方法の適用例をさらに示す図である。
【図７】図６のシステムの初期設定動作を説明する図である。
【符号の説明】
【００３９】
１１・・・プロジェクタ、１２０・・・送受信部、１２１・・・判断部、１２２・・・画像データ処理部、１２３・・・記憶部、１２４・・・ＣＰＵ，１２５，１２５・・・画素変換部、１２７・・・合成回路、１２８・・・投射部、
２０・・・プロジェクタ、２０１・・・画像データメモリ、２０２・・・画像データ処理部、２０３・・・送受信部、２０４・・・・システム制御部。
【図１】
2007251398.tif 000003
【図２】
2007251398.tif 000004
【図３】
2007251398.tif 000005
【図４】
2007251398.tif 000006
【図５】
2007251398.tif 000007
【図６】
2007251398.tif 000008
【図７】
2007251398.tif 000009