(57)【要約】【課題】送信する画像を表示画面における差分画像データ又はデスクトップ画面の画像データに切り替えることで適正なフレームレートを実現する。【解決手段】プロジェクタ２０に接続され、前記プロジェクタ２０に画像データを送信する画像処理装置（ＰＣ）１０であって、表示画面をキャプチャリングするキャプチャリング部１０１と、キャプチャリングした表示画面の画像データを記憶する記憶部１０３と、前記キャプチャリングした表示画面の画像データから、一つ前にキャプチャリングした表示画面の画像データとの差分のみを切り出して差分画像データを生成する差分画像生成部１０４と、前記プロジェクタ２０へ送信する画像データを、前記差分画像又は前記表示画面の画像データに切り替える送信方法決定部１０２と、画像データをプロジェクタ２０に送信する画像送信部１０５と、を有する。【選択図】図２
2014038159.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクタに接続され、前記プロジェクタに画像データを送信する画像処理装置であって、
表示画面をキャプチャリングするキャプチャリング部と、
キャプチャリングした表示画面の画像データを記憶する記憶部と、
前記キャプチャリングした表示画面の画像データから、一つ前にキャプチャリングした表示画面の画像データとの差分のみを切り出して差分画像データを生成する差分画像生成部と、
前記プロジェクタへ送信する画像データを、前記差分画像データ又は前記表示画面の画像データに切り替える送信方法決定部と、
画像データをプロジェクタに送信する画像送信部と、
を有し、
前記送信方法決定部は、前記差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき切り替えを行う画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記送信方法決定部は、差分画像データのデータ量が予め定めた所定量又は前記差分画像データの送信時間が予め定めた所定時間以上であるときの差分画像データの送信回数をカウントするカウント手段を有し、差分画像データの送信時に、前記カウント手段のカウント値が所定のカウント値に達したことを条件に、前記差分画像データの送信を前記表示画面の画像データの送信に切り替える画像処理装置。
【請求項３】
請求項２に記載された画像処理装置において、
前記送信方法決定部は、前記差分画像データの送信を前記表示画面の画像データの送信に切り替えてからの経過時間を計時する計時手段を有し、前記計時手段が所定時間を計時したことを条件に、前記表示画面の画像データの送信を前記差分画像データの送信に切り替える画像処理装置。
【請求項４】
請求項２に記載された画像処理装置において、
前記送信方法決定部の前記カウント手段は、送信される差分画像データのデータ量が前記所定量未満であるとき、カウント値をリセットする画像処理装置。
【請求項５】
請求項３に記載された画像形成装置において、
前記差分画像データの前記所定量、前記所定のカウント値、前記差分画像データの送信時間の前記所定時間、及び前記差分画像データの送信を前記表示画面の画像データの送信に切り替えてからの経過時間の前記所定時間を設定する入力部を備えた画像処理装置。
【請求項６】
画像処理装置から送信される画像データを投影するプロジェクタであって、
前記画像処理装置から送信される画像データを受信する画像受信部と、
投影した画像データを記憶する記憶部と、
前記画像処理装置でキャプチャリングした表示画面の画像データから、一つ前にキャプチャリングした表示画面の画像データとの差分のみを切り出して生成した差分画像データを受信したとき、一つ前の投影画像データと前記差分画像データから投影画像データを生成する画像合成部と、
前記画像合成部で生成された投影画像データを投影する画像投影部を備えたプロジェクタ。
【請求項７】
請求項１ないし５のいずれかに記載された画像処理装置と、請求項６に記載されたプロジェクタとを有する画像投影システム。
【請求項８】
プロジェクタに接続され前記プロジェクタに画像データを送信する画像処理装置における画像処理方法であって、
表示画面をキャプチャリングするキャプチャリング工程と、
キャプチャリングした表示画面の画像データを記憶手段に記憶させる工程と、
前記キャプチャリングした表示画面の画像データから、一つ前にキャプチャリングした表示画面の画像データとの差分のみを切り出して差分画像データを生成する差分画像生成工程と、
前記プロジェクタへ送信する画像データを、前記差分画像データと前記表示画面の画像データに切り替える送信方法決定工程と、
画像データをプロジェクタに送信する画像送信工程と、
を有し、
前記送信方法決定工程では、前記差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき前記切り替えを行う画像処理方法。
【請求項９】
画像処理装置のコンピュータに、請求項８に記載された画像処理方法の前記各工程を実行させるためのプログラム。
【請求項１０】
請求項９に記載されたプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタの投影画像を処理するための画像処理装置、画像処理方法、プロジェクタ、画像投影システム、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
ＰＣ（personal computer）とプロジェクタがネットワークで接続された環境において、ＰＣのデスクトップ画面を一定間隔でキャプチャリングし、プロジェクタへ画像データとして送信し、プロジェクタで投影する技術が既に知られている。
また、デスクトップ画面の変化した部分のみの画像データ（差分画像データ）をプロジェクタに送信することで、ネットワークの負荷を低減する技術も既に知られている。ネットワークの負荷を低減することで、プロジェクタが一定時間に受け取ることのできる画像データ数（フレーム数）が増え、投影のフレームレート（frame rate）を向上させることができる。
【０００３】
通常、ＰＣからネットワークを介してデスクトップ画面をプロジェクタへ送信するソフトウェアを作成する場合、仮想のディスプレイドライバをインストールして、ＯＳからデスクトップ画面変化を通知してもらう方法が知られている。しかし、手軽にソフトウェアを使用したいという要望から、仮想のディスプレイドライバをインストールしない、いわゆるインストールレスの場合は、この方法を使うことはできない。
【０００４】
これに対し、デスクトップ画面全体をキャプチャリングし、一つ前にキャプチャリングしたデスクトップ画面の画像データと画素ごとに比較して、差のある画素（以下、差分画素）を全て含む領域のみを切り取って、差分画像データを生成してプロジェクタへ送信する方法が知られている。この方法では、プロジェクタでは、受け取った差分画像データを一つ前に投影した画像データと重ね合わせることで、差分領域だけを更新する。
【０００５】
図６は、この方法で使用される画像データを説明するもので、一つ前の画像データとキャプチャリングした画像データとを比較して、差分画素を抽出して差分画像データを生成するときの各画像データを示す図である。
即ち、図６ＡはＰＣ側で作成しその記憶部に保存された、現画像データの一つ前の画像データである。図６Ｂはキャプチャリングした画像データである。図６Ｂの破線は、前記一つ前の画像データとキャプチャリングした画像データとの差、つまり差分画像データの領域を示している。図示のように、差分画像データの領域には、キャプチャリングした画像データのうち一番左と一番右の差分画素、及び一番上と一番下の差分画素が含まれている。図６Ｃは、キャプチャリングした画像データから抽出された（又は切り取った）差分画像データを示している。この差分画像データがプロジェクタに送信される。
【０００６】
図７は、プロジェクタで受け取った差分画像データと、記憶部に格納されたプロジェクタから一つ前に投影した画像データと、両者を合成した（重ね合わせた）画像データを示す図である。即ち、図７Ａはプロジェクタ側で受信した一つ前に投影した画像データであり、図７ＢはＰＣから送信された差分画像データであり、図７Ｃは、ＰＣから送信されてくる差分画像データと、この差分画像データをプロジェクタで一つ前に投影した画像データに重ね合わせて合成した投影画像データを示している。
【０００７】
プロジェクタに差分画像データを送信して投影する従来の手法では、差分画像データ（のデータ量）が小さい場合には、差分画像データの抽出に時間が掛からずネットワークの負荷が減るので、フレームレートが向上する。しかし、差分画像データのデータ量が大きい場合には、ネットワークの負荷はＰＣデスクトップ画面の画像データをそのまま送信するのに比べてそれほど低減しないだけではなく、差分画像データの抽出に時間が掛かるため、逆にフレームレートが下がるという問題がある。
とくに、ＰＣのデスクトップ画面上で動画を表示した場合には、差分が多く発生するため、差分画像データのデータ量が大きくなる状態が続くことになり、フレームレートが下がることが多い。
【０００８】
これとは別の画像データのプロジェクタへの送信システムとして、例えば特許文献１に記載された画像伝送システムが知られている。この画像伝送システムでは、プロジェクタに送信するレイヤーと、送信しないレイヤーとを選別し、送信するレイヤーとされたレイヤーをキャプチャし、キャプチャしたレイヤーをプロジェクタに送信すると共に、プロジェクタは、ＰＣから送信されるレイヤーを受信し、受信したレイヤーをスクリーンに投影するようにしている。つまり、ＰＣ側において、プロジェクタで表示不要なレイヤーを選別して、プロジェクタに不要なデスクトップ画面を表示させることがないようにして伝送路のトラフィックを軽減している。
【０００９】
この従来の画像伝送システムは、以下で説明する本発明とは、一部の画像のみを送信し、ネットワークの負荷を軽減する部分では類似する点がある。しかし、この画像伝送システムでも、前記従来の差分画像データのデータ量が大きい場合は、ネットワークの負荷はそれほど低減しないのに、差分画像データの抽出に時間が掛かってしまい、逆にフレームレートが下がるという問題は解決できていない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前記従来の課題に鑑みてなされたものであって、その目的は、プロジェクタへ送信する画像の処理において、差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき、送信する画像データを、表示画面における差分画像データ又は表示画面の画像データに切り替えることにより、適正なフレームレートを実現することである。
【課題を解決するための手段】
【００１１】
本発明は、プロジェクタに接続され、前記プロジェクタに画像データを送信する画像処理装置であって、表示画面をキャプチャリングするキャプチャリング部と、キャプチャリングした表示画面の画像データを記憶する記憶部と、前記キャプチャリングした表示画面の画像データから、一つ前にキャプチャリングした表示画面の画像データとの差分のみを切り出して差分画像データを生成する差分画像生成部と、前記プロジェクタへ送信する画像データを、前記差分画像データ又は前記表示画面の画像データに切り替える送信方法決定部と、画像データをプロジェクタに送信する画像送信部と、を有し、前記送信方法決定部は、前記差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき切り替えを行う画像処理装置である。
【発明の効果】
【００１２】
本発明によれば、プロジェクタへ送信する画像の処理において、差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき、送信する画像データを表示画面における差分画像データ又は表示画面の画像データに切り替えることにより、適正なフレームレートを実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理システムを全体を概略的に示す図である。
【図２】ＰＣとプロジェクタの機能ブロック図である。
【図３】ＰＣの画像データの送信処理の手順を示すフロー図である。
【図４】ＰＣの送信方法決定部の処理を示すフロー図である。
【図５】プロジェクタの処理の手順を示すフロー図である。
【図６】ＰＣにおける差分画素を抽出して差分画像データを生成するときの各画像データを示す図である。
【図７】プロジェクタで受け取った差分画像データと、一つ前に投影した画像データで投影画像データを合成するときの各画像データを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、ＰＣ１０とプロジェクタ２０がネットワークＮＴで接続している画像処理システム全体を概略的に示す図である。
本実施形態によれば、複数のＰＣ１０（１）〜（３）と複数のプロジェクタ２０（１）、（２）がネットワークＮＴを介して接続されている。
【００１５】
図２は、ＰＣ１０とプロジェクタ２０の機能ブロック図である。
ＰＣ１０に、ＰＣ１０のデスクトップ画面の画像データ（全体画像データであっても、或いは表示用に一部の画像を指定した場合は、当該一部の画像の画像データであってもよい）を取得するキャプチャリング部１０１と、デスクトップ画面の画像データとして送信するのか、差分画像データとして送信するのかを決定する送信方法決定部１０２と、デスクトップ画面の画像データを保存しておく記憶手段１０３ａを制御する記憶部１０３と、一つ前のデスクトップ画面の画像データからの差分のみを切り出して差分画像データを生成する差分画像生成部１０４と、画像データをプロジェクタ２０に送信する画像送信部１０５と、が備えられている。なお、これらの機能ブロックを構成する各部は、コンピュータ読取可能な記録媒体に記録されたプログラムに基づくＰＣ１０の機能実現手段である。また、プログラムはコンピュータ読取可能な周知の記録媒体に記録される。
【００１６】
ここで、送信方法決定部１０２は、差分画像データのデータ量又は前記差分画像データの送信時間が予め定めた所定時間以上であるときの差分画像データの送信回数をカウントする図示しないカウント手段、及び送信を差分画像データの送信からデスクトップ画面の画像データの送信に切り替えてからの経過時間を計時する内部クロックなどを利用した任意の計時手段を備えている。
【００１７】
プロジェクタ２０には、ＰＣ１０から画像データを受け取る画像受信部２０１と、一つ前に投影した投影画像データと受け取った画像データを合成する画像合成部２０２と、画像データを投影する画像投影部２０３と、投影した画像データを保存しておく記憶手段２０４ａと、記憶手段２０４ａを制御する記憶部２０４と、が備えられている。
【００１８】
次に、以上のように構成されたＰＣ１０の画像データの送信処理の手順を説明する。
図３は、ＰＣ１０の画像データの送信処理の手順を示すフロー図である。
ＰＣ１０の処理を開始すると、キャプチャリング部１０１が、ＰＣ１０のデスクトップ画面の画像データを取得する（Ｓ１０１）。取得したデスクトップ画面の画像データは記憶部１０３を介して記憶手段１０３ａに保存しておく（Ｓ１０２）。次に、送信方法決定部１０２は、デスクトップ画面の画像データをプロジェクタ２０へ送信するのか、差分画像データをプロジェクタ２０へ送信するのかを、後述するように前記差分画像データのデータ量又は前記差分画像データの前記プロジェクタへの送信時間に基づき決定して切り替える（Ｓ１０３）。
【００１９】
ステップＳ１０３の切り替えの結果、デスクトップ画面の画像データを送信する場合には（Ｓ１０４、Ｎｏ）、画像送信部１０５は取得したデスクトップ画面の画像データをそのままプロジェクタ２０へ送信する（Ｓ１０５）。
ステップＳ１０３の切り替えの結果、差分画像データを送信する場合には（Ｓ１０４、Ｙｅｓ）、差分画像生成部１０４が、抽出した差分画素を全て含むように、一つ前のデスクトップ画面の画像データを、記憶部１０３を介して記憶手段１０３ａから取り出し（Ｓ１０６）、一つ前のデスクトップ画面の画像データと現在のデスクトップ画面の画像データを画素毎に比較し、差分画素を抽出し（Ｓ１０７）、差分画像データを生成する。画像送信部１０５は生成した差分画像データをプロジェクタ２０へ送信する（Ｓ１０８）。
以上のステップＳ１０１〜Ｓ１０８はプロジェクタ２０の投影が終了する（Ｓ１０９、ＹＥＳ）まで繰り返される。
【００２０】
次に、ＰＣ１０の送信方法決定部１０２の処理手順について説明する。
図４は、ＰＣ１０の送信方法決定部１０２の処理を示すフロー図である。
処理開始に当たり、差分画像データのデータ量が所定量、例えば１００ＫＢ以上となる回数Ｎをカウント手段でカウントし、カウント値は、最初は０にしておく（Ｓ２０１）。Ｎが所定数、例えば１５になるまでは（Ｓ２０２、Ｎｏ）、差分画像データを送信する（Ｓ２０３）。その際、送信する差分画像データのデータ量が所定量、例えば１００ＫＢ以上であれば（Ｓ２０４、Ｙｅｓ）、Ｎをインクリメントする（Ｓ２０５）。ステップＳ２０４で送信する差分画像データのデータ量が１００ＫＢに満たないときは（Ｓ２０４、Ｎｏ）、その都度カウント値はリセットされ、Ｎを０に初期化する（Ｓ２０６）。
【００２１】
ステップＳ２０２においてＮが所定数、例えば１５に達したと判断されたときは（Ｓ２０２、Ｙｅｓ）、デスクトップ画面の画像データを送信するように切り替えて、デスクトップ画面の画像データを送信し（Ｓ２０８）、投影が終了すれば（Ｓ２０９、Ｙｅｓ）そのまま終了する。投影を終了していなければ（Ｓ２０９、Ｎｏ）、所定時間、例えば６０秒に達するまで（Ｓ２１０、Ｎｏ）、デスクトップ画面の画像データを送信し続ける（Ｓ２０８〜Ｓ２１０）。
ステップＳ２１０において６０秒経過したときは（Ｓ２１０、Ｙｅｓ）、Ｎを０に初期化して（Ｓ２０６）、ここで、投影が終了していなければ（Ｓ２０７、Ｎｏ）、ステップＳ２０２に戻り再び差分画像データを送信するように切り替え、差分画像データを送信する。ステップＳ２０２〜Ｓ２１０の処理手順は投影が終了するまで繰り返される。
【００２２】
以上で説明したように、本実施形態では、差分画像データのデータ量が１００ＫＢ以上となる場合が１５回続いたら、送信方法決定部１０２はデスクトップ画面の画像データを送信するように切り替え、投影が終了しない限り、デスクトップ画面の画像データを送信し始めてから６０秒経過したとき、再び差分画像データを送信するように切り替えている。
【００２３】
なお、差分画像のデータ量の前記所定量（閾値；本実施形態では１００ＫＢ）、連続回数（同１５）、デスクトップ画面の画像データを送信し始めてから再び差分画像を送信するまでの所定（経過）時間（同６０秒）は、図示しない、キーボードなどの入力手段を備えた入力部から、ユーザによって任意に設定することができる。これによりユーザは環境に応じてこれらの閾値を調整することができる。
【００２４】
また、例えば、差分画像データの作成に３０ミリ秒（ｍｍｓ）掛かり、データ量１５０ＫＢ、１００ＫＢ、５０ＫＢの差分画像データをプロジェクタ２０に送信するのにそれぞれ３０ミリ秒、２０ミリ秒、１０ミリ秒掛かり、また、デスクトップ画面の画像データをプロジェクタ２０に送信するのに５０ミリ秒掛かるとした場合、送信する画像データを作成し、プロジェクタ２０への送信が完了するまでの時間は表１のようになる。
【００２５】
【表１】
2014038159.tif 000003
【００２６】
表１から明らかなように、差分画像データのデータ量が１００ＫＢ以上の場合は、デスクトップ画面の画像データを送信したほうが、トータルの時間は短くなる。
また、以上の説明では、差分画像データのデータ量によって、デスクトップ画面の画像データを送信するように切り替える例を示したが、プロジェクタ２０へ送信する際の差分画像データの通信速度（送信時間でもよく、ここでは総称して「送信時間」という）によって切り替えることも可能である。
その場合、差分画像データの送信時間が所定時間、例えば２０ミリ秒以上となる場合が、１５回続いたら、デスクトップ画面の画像データを送信するように切り替える。
【００２７】
次に、プロジェクタ２０の処理の手順について説明する。
図５は、プロジェクタ２０の処理の手順を示すフロー図である。
即ち、まず、画像受信部２０１がＰＣ１０より画像データを受け取る（Ｓ３０１）。ここで、受け取った画像データが差分画像データの場合は（Ｓ３０２、Ｙｅｓ）、画像合成部２０２は、記憶部２０４を介して記憶手段２０４ａから一つ前に投影した画像データを取り出し、ＰＣ１０から受け取った差分画像データと合成する（Ｓ３０３）。プロジェクタ２０は、合成した画像データを画像投影部２０３で投影し（Ｓ３０４）、かつ記憶部２０４を介して記憶手段２０４ａにも保存する（Ｓ３０５）。
【００２８】
ステップＳ３０２で受け取った画像が差分画像データでなかったとき、つまりＰＣ１０のデスクトップ画面の画像データであるときは（Ｓ３０２、Ｎｏ）、ＰＣ１０より受け取った画像データをそのまま投影し（Ｓ３０６）、また記憶部２０４を介して記憶手段２０４ａにも保存する（Ｓ３０５）。
ＰＣ１０からの画像データの送信がなくなれば（Ｓ３０７、Ｙｅｓ）、処理を終了し、ＰＣ１０からの画像データの送信があれば（Ｓ３０７、Ｎｏ）、ステップＳ３０１からの処理を繰り返す。つまり、ステップＳ３０１〜Ｓ３０７はＰＣ１０からの画像データが途切れるまで繰り返される。
【００２９】
以上、本発明の実施形態について説明したが、本実施形態は、ＰＣ１０とプロジェクタ２０が電気的に接続されている、例えばネットワークＮＴで接続されている環境において、プロジェクタ２０でのＰＣ１０のデスクトップ画面の画像データの投影に際して、送信する画像データを、一つ前のデスクトップ画面の画像データとデスクトップ画面の現画像データ（キャプチャリングした画像データ）との差分画像データ、又はＰＣ１０のデスクトップ画面の画像データのいずれかに切り替え可能である。
【００３０】
即ち、送信方法決定部１０２は、例えばマウス操作などデスクトップ画面の変化が少ない場合には、デスクトップ画面の差分画像データのみをプロジェクタ２０へ送信し、動画再生などデスクトップ画面の変化が多い場合には、一定時間、差分画像データではなくデスクトップ画面の画像データを送信するように動作を切り替え、所定時間（６０秒）経過後、再び差分画像データのみをプロジェクタ２０へ送信するように切り替える。つまり、差分画素を抽出して差分画像データを生成するのに掛かる時間と、送信画像データのデータ量の増大（つまり、画像データ送信負担の増大）による送信時間の増大とを勘案して前記送信画像データを切り替え、これを繰り返すことで、常に効率的なフレームレートで画像データを送信することができる。
【００３１】
なお、以上の説明では、ＰＣのデスクトップ画面をプロジェクタに送信するとして説明したが、本発明は、これに限定されず、ＰＣに代えて携帯型或いは非携帯型の画像処理装置であってもよく、その場合画面は、画像処理装置の表示画面である。
【符号の説明】
【００３２】
１０・・・ＰＣ、１０１・・・キャプチャリング部、１０２・・・送信方法決定部、１０３・・・記憶部、１０３ａ・・・記憶手段、１０４・・・差分画像生成部、１０５・・・画像送信部、２０・・・プロジェクタ、２０１・・・画像受信部、２０２・・・画像合成部、２０３・・・画像投影部、２０４・・・記憶部、２０４ａ・・・記憶手段。
【先行技術文献】
【特許文献】
【００３３】
【特許文献１】特開２００５−２５７９４８号公報
【図１】
2014038159.tif 000004
【図２】
2014038159.tif 000005
【図３】
2014038159.tif 000006
【図４】
2014038159.tif 000007
【図５】
2014038159.tif 000008
【図６】
2014038159.tif 000009
【図７】
2014038159.tif 000010