(57)【要約】【課題】描画対象物に表示される画像の視認性および描画画像共有のリアルタイム性を向上させる描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体を提供すること。【解決手段】本発明の描画画像共有装置は、画像供給手段が他拠点の描画画像を表示させる前に、自拠点の描画対象物に表示されている表示画像を取得する。そして、取得した表示画像とデータバッファに格納された他拠点の描画画像との差分画像を生成し、当該差分画像を、自拠点の描画画像として他拠点の描画画像共有装置に送信する。その後、他拠点の描画画像をデータバッファに格納する。【選択図】図２
2011205615.tif 000002
【特許請求の範囲】
【請求項１】
描画画像を共有する描画画像共有装置であって、前記描画画像共有装置は、
他拠点と共有すべき描画対象物に表示された共有領域の画像を取得する共有画像取得手段と、
他拠点から受信した描画画像を前記描画対象物に表示させる画像供給手段と、
前記他拠点から受信した描画画像を格納するデータバッファと、
前記データバッファに格納された画像と前記共有画像取得手段により取得された画像との差分画像を生成する差分画像生成手段と、
前記差分画像を、前記他拠点の描画画像共有装置に送信する画像送信手段と
を含み、
前記共有画像取得手段は、前記画像供給手段が描画画像を表示させる前に、共有領域の画像を取得する、描画画像共有装置。
【請求項２】
前記データバッファには、前記差分画像生成手段が前記差分画像を生成した後に前記他拠点から受信した描画画像が格納され、
前記差分画像生成手段は、前記データバッファに既に格納されている描画画像と、前記共有画像取得手段により取得された画像とを使用して差分画像を生成する、請求項１に記載の描画画像共有装置。
【請求項３】
描画画像を共有する描画画像共有装置であって、前記描画画像共有装置は、
他拠点と共有すべき描画対象物に表示された共有領域の画像を取得する共有画像取得手段と、
他拠点から受信した描画画像を前記描画対象物に表示させる画像供給手段と、
前記他拠点から受信した描画画像を格納するデータバッファと、
前記データバッファに格納された描画画像と前記共有画像取得手段により取得された画像との差分画像を生成する差分画像生成手段と、
前記差分画像を、前記他拠点の描画画像共有装置に送信する画像送信手段と
を含み、
前記共有画像取得手段は、前記画像供給手段が前記描画画像を表示させてから一定時間が経過した後に、前記描画対象物に表示された共有領域の画像を取得する、描画画像共有装置。
【請求項４】
描画画像を共有する描画画像共有装置であって、前記描画画像共有装置は、
他拠点から受信した描画画像を描画対象物に表示させる画像供給手段と、
前記画像供給手段が前記描画画像を表示させてから一定時間が経過した後に、他拠点と共有すべき前記描画対象物に表示された共有領域の画像を取得する共有画像取得手段と、
前記他の拠点から受信した描画画像を格納するデータバッファと、
前記データバッファに格納された描画画像と前記共有画像取得手段により取得された画像との差分画像を生成する差分画像生成手段と、
前記差分画像を、前記他拠点の描画画像共有装置に送信する画像送信手段と
を含み、
前記共有画像取得手段、前記差分画像生成手段および前記画像送信手段と、前記画像供給手段とが並列的に処理を実行する、描画画像共有装置。
【請求項５】
前記差分画像生成手段は、
ＲＧＢの各色成分について、前記共有画像取得手段により取得された画像の対象ピクセルの平均差分値と、前記対象ピクセルに対応する前記データバッファに格納された描画画像の対象ピクセルの平均差分値との差分値を算出し、
前記差分値を前記各成分の値とするピクセルを合成して、前記差分画像を生成し、
前記平均差分値は、対象ピクセルの輝度値から対象ピクセルの周囲領域の輝度値の平均値を減算することによって算出される輝度値である、請求項４に記載の描画画像共有装置。
【請求項６】
前記差分画像生成手段は、
ＲＧＢの各色成分について、前記共有画像取得手段により取得された画像の対象ピクセルの平均比率値を算出し、
前記取得された画像の対象ピクセルの前記平均比率値と、前記対象ピクセルに対応する前記描画画像の対象ピクセルの輝度値との差分値を算出し、
前記差分値を前記各成分の値とするピクセルを合成して、前記差分画像を生成し、
前記平均比率値は、前記取得された画像の対象ピクセルの周囲領域の輝度値の平均値に対する前記対象ピクセルの輝度値である比率に、前記取得された画像の背景色の輝度値を掛け合わせることによって算出される輝度値である、請求項４に記載の描画画像共有装置。
【請求項７】
前記共有画像取得手段は、前記共有領域の画像を撮影装置に撮影させて、前記共有領域の画像を取得する、請求項１〜６のいずれか１項に記載の描画画像共有装置。
【請求項８】
前記画像供給手段は、他拠点から受信した描画画像を投影装置に供給して前記描画対象物に投影させる、請求項１〜７のいずれか１項に記載の描画画像共有装置。
【請求項９】
前記画像供給手段は、投影装置に対して、前記共有領域を規定するマーカ画像を描画対象物に投影させ、
前記共有画像取得手段は、投影装置が投影した前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれるマーカ画像のマーカの座標値から前記共有領域を特定する、請求項７または８に記載の描画画像共有装置。
【請求項１０】
前記画像供給手段は、投影装置に対して、白紙画像を描画対象物に投影させ、
前記共有画像取得手段は、前記描画対象物を撮影させて撮影画像を取得し、前記撮影画像に含まれる白紙画像の領域と前記白紙画像以外の領域との輝度差を使用して、前記共有領域を特定する、請求項７〜９のいずれか１項に記載の描画画像共有装置。
【請求項１１】
前記共有画像取得手段は、撮影画像に透視投影変換を施す、請求項７〜１０のいずれか１項に記載の描画画像共有装置。
【請求項１２】
前記差分画像生成手段は、投影画像に膨張処理を施して差分画像を生成する、請求項７〜１１のいずれか１項に記載の描画画像共有装置。
【請求項１３】
前記差分画像生成手段は、前記差分画像に対して黄色成分をカットするフィルタ処理を施す、請求項７〜１２のいずれか１項に記載の描画画像共有装置。
【請求項１４】
前記差分画像生成手段は、前記差分画像に対して色強度を高める補正処理を施す、請求項７〜１３のいずれか１項に記載の描画画像共有装置。
【請求項１５】
描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
他拠点と共有すべき描画対象物に表示された共有領域の画像を取得するステップと、
他拠点から受信した描画画像を前記描画対象物に表示させるステップと、
データバッファに格納された他拠点の描画画像と前記共有領域の画像との差分画像を生成するステップと、
他拠点から受信した描画画像を前記データバッファに格納するステップと、
前記差分画像を、前記他拠点の描画画像共有装置に送信するステップと
を実行するデータ処理方法。
【請求項１６】
描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
他拠点と共有すべき描画対象物に表示された共有領域の画像を取得するステップと、
他拠点から受信した描画画像を前記描画対象物に表示させるステップと、
データバッファに格納された他拠点の描画画像と前記共有領域の画像との差分画像を生成するステップと、
他拠点から受信した描画画像を前記データバッファに格納するステップと、
前記差分画像を、前記他拠点の描画画像共有装置に送信するステップと
を含み、
前記共有領域の画像を取得するステップは、前記描画画像を表示させるステップが終了して一定時間が経過した後に実行される、データ処理方法。
【請求項１７】
描画画像共有装置が実行するデータ処理方法であって、前記データ処理方法は、前記描画画像共有装置が、
他拠点から受信した描画画像を描画対象物に表示させるステップと、
前記描画画像を前記描画対象物に表示させてから一定時間が経過した後に、他拠点と共有すべき前記描画対象物に表示された共有領域の画像を取得するステップと、
データバッファに格納された他拠点の描画画像と前記共有領域の画像との差分画像を生成するステップと、
前記差分画像を、前記他拠点の描画画像共有装置に送信するステップと
を含み、
前記共有領域の画像を取得するステップ、前記差分画像を生成するステップおよび前記差分画像を送信するステップと、前記描画画像を表示させるステップとが並列的に実行される、データ処理方法。
【請求項１８】
描画画像共有装置に対して、請求項１５〜１７のいずれか１項に記載のステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項１９】
請求項１８に記載されたプログラムを記録したコンピュータ可読な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、描画画像の共有化に関し、より詳細には、他拠点と描画画像を共有する描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年、遠隔会議等に利用するために、各拠点に設けられたホワイトボードや黒板等の描画対象物に描かれた画像をカメラ等で撮影し、他の拠点に設けられた描画対象物にプロジェクタ等を使用して当該画像を投影することにより、複数の描画対象物で描画を供給する技術が存在する。
【０００３】
例えば、特開２００５−２０３８８６号公報（特許文献１）は、各遠隔地に投影画像を投影するプロジェクタと、投影すべき元画像をプロジェクタに送信するサーバとを備え、各プロジェクタが、投影画像を投影したスクリーンに書き込まれた書込画像を撮影する撮影手段と、撮影手段によって撮影された書込画像をサーバに送信する送信手段とを備え、サーバが、一方のプロジェクタから受信した書込画像を元画像に合成する合成手段と、合成手段により合成された画像を他方のプロジェクタに送信する転送手段とを備え、遠隔会議を支援するシステムを開示する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に示すシステムは、書込画像を撮影するために、一定の時間間隔でプロジェクタによる投影を中断する必要があり、スクリーンに表示される画像の視認性を悪化させるという問題があった。
【０００５】
また、このような描画画像共有システムにおいて、描画対象物に投影された画像を撮影する場合、撮影画像の品質を確保すべく、投影画像が安定した状態になるまで、撮影処理を待機させる必要がある。しかしながら、描画画像共有装置において、このような待機処理を実行させることにより、その処理時間が長くなり、他拠点から到来する描画画像を効率的に投影できず、描画画像共有のリアルタイム性が損なわれるという問題があった。
【０００６】
本発明は上記の課題を解決するものであり、描画対象物に表示される画像の視認性および描画画像共有のリアルタイム性を向上させる描画画像共有装置、描画画像共有方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の描画画像共有装置は、画像供給手段が他拠点の描画画像を表示させる前に、自拠点の描画対象物に表示されている表示画像を取得する。そして、取得した表示画像とデータバッファに格納された他拠点の描画画像との差分画像を生成し、当該差分画像を、自拠点の描画画像として他拠点の描画画像共有装置に送信する。その後、他拠点の描画画像をデータバッファに格納する。これにより、表示画像の安定化に必要な表示処理後の待機処理を必要せず、描画画像共有装置が実行する全体の処理時間を短縮することができ、単位時間当たりに送受信する描画画像の数を増大させることができ、描画画像共有システムのリアルタイム性を向上させることができる。さらに、本発明では、他拠点の描画画像共有装置に対して自拠点の描画画像である差分画像を送信するため、描画画像の重畳によるエコー現象を回避することができ、表示画像の視認性を一層向上させることができる。
【０００８】
本発明によれば、描画対象物に表示される表示画像の視認性および描画画像共有のリアルタイム性を向上させる描画画像共有方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の描画画像共有システム１００を示した図。
【図２】本実施形態の描画画像共有装置１１８ａの機能構成２００を示す図。
【図３】本実施形態の描画画像共有装置１１８ａが、他拠点から描画画像を受信したときに実行する処理を示すフローチャート。
【図４】差分画像生成部２１６が実行する差分画像生成処理を示すフローチャート。
【図５】本実施形態の差分画像生成部２１６が実行する平均比率値算出処理を示すフローチャート。
【図６】他の実施形態の差分画像生成部２１６が実行する平均差分値算出処理を示すフローチャート。
【図７】本実施形態の差分画像生成部２１６が実行する差分算出処理を示すフローチャート。
【図８】別の実施形態の描画画像共有装置が実行する処理を示すフローチャート。
【図９】さらに別の実施形態の描画画像共有装置が実行する処理を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。
【００１１】
図１は、本実施形態の描画画像共有システム１００を示す。描画画像共有システム１００は、２つの拠点１１０ａ，１１０ｂを含んで構成される。これらの拠点１１０ａ，１１０ｂは、インターネットやＬＡＮ、ＷＡＮ等のネットワーク１２０を介して相互接続されている。本実施形態では、説明を明確にするために２つの拠点について説明するが、他の実施形態の描画画像共有システムでは、複数の拠点を含んで構成するようにしてもよい。また、他の実施形態では、専用線を用いて他拠点との相互接続を実現してもよい。
【００１２】
拠点１１０ａは、描画対象物１１２ａと、投影装置１１４ａと、撮影装置１１６ａと、描画画像共有装置１１８ａとを含む。なお、拠点１１０ｂは拠点１１０ａと同様の構成を有しているため、以下説明を省略する。
【００１３】
描画対象物１１２ａは、投影装置１１４ａが投影する画像が表示され、拠点１１０ａのユーザが文字や図等を描画可能なホワイトボードや黒板、紙等の物品である。本実施形態の描画対象物１１２ａは、拠点１１０ａのユーザが描画した描画画像である描画文字１１３０が描かれており、また、拠点１１０ｂのユーザが描画した描画画像である描画文字１１３２が投影されている。
【００１４】
投影装置１１４ａは、拠点１１０ｂから受信した拠点１１０ｂの描画画像を投影する装置であり、本実施形態では、投影装置としてプロジェクタを採用することができる。図１では、投影装置１１４ａにより、拠点１１０ｂの描画文字１１３２が拠点１１０ａの描画対象物１１２ａに投影されている。なお、本実施形態では、描画対象物１１２ａおよび投影装置１１４ａにより画像を表示する構成を採用しているが、他の実施形態では、描画対象物１１２ａおよび投影装置１１４ａの代わりに、液晶ディスプレイ装置やプラズマディスプレイ装置等の表示装置を採用することができる。この場合、透過性を有するフィルムやボード等を表示装置に取り付け、当該フィルム等にユーザが文字等を描くようにしてもよい。
【００１５】
撮影装置１１６ａは、描画対象物１１２ａに描かれた描画画像や、描画対象物に表示される表示画像である投影画像を撮影する装置であり、本実施形態では、デジタルカメラ、デジタルビデオカメラ、ＷＥＢカメラなどを撮影装置として採用することができる。本実施形態では、撮影装置１１６ａは、描画画像共有装置１１８ａが拠点１１０ｂから描画画像を受領したときに、描画画像共有装置１１８ａの指示により描画対象物１１２ａの撮影を行う。別の実施形態では、撮影装置１１６ａは、描画画像共有装置１１８ａの制御下で一定の間隔で描画対象物１１２ａの撮影を行う。
【００１６】
描画画像共有装置１１８ａは、自拠点１１０ａの描画対象物１１２ａの撮影画像から描画画像を抽出して他拠点１１０ｂに送信し、また、他拠点１１０ｂから受信した描画画像を描画対象物１１２ａに表示させることにより、複数拠点において描画画像の共有を可能にする装置である。本実施形態では、描画画像共有装置１１８ａは、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。
【００１７】
描画画像共有装置１１８ａは、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本実施形態のプログラムを実行する。また、描画画像共有装置１１８ａは、プログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本実施形態の各機能手段をプログラムの実行により、当該情報処理装置上に実現する。さらに、描画画像共有装置１１８ａは、投影装置１１４ａや撮影装置１１６ａ等の周辺装置またはネットワーク１２０に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置や他拠点１１０ｂの描画画像共有装置１１８ｂと描画画像の送受信等のデータ通信を行う。
【００１８】
本実施形態の各機能手段は、上述したプログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可読な形式でネットワークを介して伝送することができる。
【００１９】
本実施形態の描画画像共有システムは、投影装置および撮影装置を用いて実現するが、これに限定されるものではない。
【００２０】
図２は、本実施形態の描画画像共有装置１１８ａの機能構成２００を示す。描画画像共有装置１１８ａは、画像受信部２１０と、共有画像取得部２１２と、画像供給部２１４とを含む。
【００２１】
画像受信部２１０は、ネットワーク１２０を介して他拠点から送信された描画画像を受信する機能手段である。画像受信部２１０は、他拠点の描画画像を受信するとＲＡＭ等の記憶装置に格納し、共有画像取得部２１２にその旨の通知をする。
【００２２】
共有画像取得部２１２は、描画画像共有システムの他拠点と共有すべき描画対象物に表示された共有領域の画像を取得する機能手段である。本実施形態の共有画像取得部２１２は、描画画像および投影画像を撮影装置１１６ａに撮影させ、その撮影画像を取得する。共有画像取得部２１２は、撮影装置１１６ａから取得した撮影画像に対し、透視投影変換を実施して台形補正や縦横比の補正、回転補正等の画像補正を行う。
【００２３】
また、共有画像取得部２１２は、図１に示すような表示画像の共有領域を規定するマーカ１１２０，１１２２，１１２４，１１２６を有する画像データであるマーカ画像を使用して共有領域を特定し、共有領域サイズを算出することができる。共有画像取得部２１２は、後述する画像供給部２１４からマーカ画像を投影した旨の通知を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得して透視投影変換を行う。共有画像取得部２１２は、撮影画像に含まれる各マーカの座標値を検出して共有領域の角点の座標値として取得し、共有領域を特定する。そして、共有画像取得部２１２は、共有領域の角点の座標値から共有領域サイズを算出し、共有領域の角点の座標値および共有領域サイズをＲＡＭやＨＤＤ等の記憶装置に格納する。
【００２４】
他の実施形態では、共有画像取得部２１２は、マーカ画像を用いずに共有領域を特定して共有領域サイズを算出するようにしてもよい。この場合、画像供給部２１４が、後述するデータバッファ２２０に格納されている白紙画像を投影装置に投影させ、共有画像取得部２１２は、撮影装置から取得した撮影画像に含まれる投影装置の照射領域とそれ以外の領域との輝度差を用いて、共有領域の角点の座標値を算出することができる。そして、共有画像取得部２１２は、当該共有領域の角点の座標値から共有領域サイズを算出することができる。なお、本実施形態では、データバッファ２２０には初期時に白紙画像が格納されている。
【００２５】
共有画像取得部２１２は、画像受信部２１０から描画画像を受領した旨の通知を受領すると、撮影装置１１６ａに描画対象物１１２ａを撮影させ、撮影装置１１６ａから撮影画像を取得する。共有画像取得部２１２は、撮影画像に透視投影変換を施した後、記憶装置に格納された共有領域の角点の座標値または共有領域サイズを使用して、撮影画像から共有領域を切り出し、ＲＡＭやＨＤＤ等の記憶装置に格納する。そして、共有画像取得部２１２は、画像供給部２１４に対して、撮影画像を受領して撮影処理が終了した旨の通知をする。他の実施形態では、撮影装置１１６ａに描画対象物１１２ａを撮影させる命令を送信した時点で、その旨を画像供給部２１４に通知し、投影処理を実行させてもよい。
【００２６】
本実施形態では、共有画像取得部２１２が撮影画像の透視投影変換を行うが、他の実施形態では、共有画像取得部２１２の指示により、透視投影変換回路によって撮影画像に透視投影変換を施してもよい。
【００２７】
画像供給部２１４は、他拠点から受信した描画画像を描画対象物に表示させる機能手段である。本実施形態の画像供給部２１４は、画像受信部２１０が受信した他拠点の描画画像を投影装置１１４ａに供給して、投影画像として描画対象物１１２ａに投影させる。画像供給部２１４は、共有画像取得部２１２から描画画像の撮影処理が終了した旨の通知を受領すると、画像受信部２１０が記憶装置に格納した他拠点の描画画像を取得し、当該描画画像が共有領域サイズに適合するように拡大縮小処理を施し、投影装置１１４ａに送信して当該描画画像を投影させる。画像供給部２１４は、描画画像に拡大縮小処理を施す場合、記憶装置から共有領域サイズを読み出し、受信した描画画像と共有領域の大きさが異なると判断した場合には、描画画像および共有領域の大きさの比率を算出し、その比率を用いて当該描画画像を拡大または縮小させる。画像供給部２１４は、描画画像を投影装置１１４ａに送信すると、投影画像を上記記憶装置に格納し、差分画像生成部２１６に投影処理が終了した旨の通知をする。
【００２８】
また、画像供給部２１４は、上述したマーカ画像を投影装置１１４ａに投影させることができる。マーカ画像は、描画画像共有装置１１８ａが備えるＨＤＤ等の不揮発性メモリに予め格納することができ、画像供給部２１４は、当該不揮発性メモリからマーカ画像を読み出して投影装置１１４ａに投影させる。本実施形態では、画像供給部２１４は、描画画像共有装置１１８ａの起動時にマーカ画像を描画対象物１１２ａに投影させるが、他の実施形態では、ユーザ指示により、または定期的にマーカ画像を投影させることもできる。
【００２９】
本実施形態のマーカ画像は、マーカを構成する色として青色を採用するが、他の実施形態では、他の色をマーカの色として採用することができる。また、本実施形態では、マーカの形状を矩形としているが、他の実施形態では、三角形や四分円等の他の形状を採用することができる。さらに、本実施形態では、マーカを共有領域の各角点に配置することにより共有領域を規定するが、他の実施形態では、共有領域のその他の境界領域、例えば、共有領域の境界線上における各角の中点等にマーカを配置することもできる。
【００３０】
さらに、描画画像共有装置１１８ａは、差分画像生成部２１６と、画像送信部２１８と、データバッファ２２０とを含む。
【００３１】
差分画像生成部２１６は、データバッファ２２０に格納されている前回の投影画像と、共有画像取得部２１２が撮影装置１１６ａから取得してトリミングした撮影画像との差分である差分画像を生成する差分画像生成処理を実行する機能手段である。差分画像生成部２１６は、画像供給部２１４から投影処理が終了した旨の通知を受領すると、データバッファ２２０に格納された前回の投影画像を取得し、当該投影画像と、記憶装置に格納された最新の撮影画像とを使用して差分画像生成処理を実行する。本実施形態では、投影処理に先行して撮影処理を実行するため、最新の撮影画像には他拠点から受信した最新の描画画像が含まれていない可能性がある。このため、前回の投影画像と、最新の撮影画像、すなわち、前回の投影画像および自拠点の描画画像を含む画像とを使用して差分画像生成処理を実行する。これにより、投影処理に先行して撮影処理を実行する構成においても、適切な差分画像の生成が実現できる。
【００３２】
本実施形態の差分画像生成処理では、差分画像生成部２１６は、モルフォロジー演算（Morphological Operations）のＥｒｏｓｉｏｎまたは平滑化フィルタ等を用いてデータバッファ２２０から取得した投影画像に含まれる描画画像を膨張させる膨張処理を施す。これにより、撮影画像および投影画像の描画画像の位置ずれによる影響を排除できる。
【００３３】
また、差分画像生成部２１６は、膨張処理を施した投影画像と撮影画像とをＲＧＢの各色成分（赤、緑、青）に分離して、色成分毎に投影画像および撮影画像の各ピクセルの平均比率値を算出する。平均比率値とは、対象ピクセルの周囲領域の輝度値の平均値に対する対象ピクセルの輝度値の比率である平均比率に、背景色の輝度値を掛け合わせることにより算出される対象ピクセルの中間値としての輝度値である。
【００３４】
本実施形態の平均比率値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）撮影画像の背景色の輝度値（例えば、描画対象物がホワイトボードであれば、２００）と、平均比率（すなわち、ＡＶＥに対する対象ピクセルの輝度値の比率）とを掛け合わせることにより行うことができる。なお、ＡＶＥの値が１よりも大きい場合には、対象ピクセルの平均比率値は背景色の輝度値と同一する。また、背景色の輝度値は、ユーザが予め任意の値を指定することできる。
【００３５】
他の実施形態では、差分画像生成部２１６は、対象ピクセルの平均差分値を用いて差分画像を生成することができる。平均差分値とは、対象ピクセルの輝度値から対象ピクセルの周囲領域の輝度値の平均値を減算することにより算出される対象ピクセルの中間値としての輝度値である。
【００３６】
平均差分値算出処理は、
（１）対象ピクセル（ｘ,ｙ）の周囲ｍ×ｎ（ｍ，ｎは、任意の整数とする。）の大きさの矩形を特定し、
（２）或る色成分の撮影画像の積分画像を利用して、ｍ×ｎ領域内の輝度値の平均値ＡＶＥを算出し、
（３）対象ピクセルの輝度値からＡＶＥを減算することにより行うことができる。
【００３７】
差分画像生成部２１６は、撮影画像の対象ピクセルの平均比率値と、当該対象ピクセルに対応する投影画像の輝度値とを使用して、これらの対象ピクセルの差分値を算出することができる。また、差分画像生成部２１６は、撮影画像の対象ピクセルの平均差分値と、当該対象ピクセルに対応する投影画像の対象ピクセルの平均差分値とを使用して、これらの対象ピクセルの差分値を算出することができる。差分画像生成部２１６は、ＲＧＢの各色成分について、撮影画像および投影画像に含まれる総てのピクセルに対して上記差分値を算出し、当該差分値を各色成分の値とするピクセルを合成して、ＲＧＢ色で構成される差分画像を生成する。
【００３８】
さらに、差分画像生成部２１６は、この差分画像に対して黄色成分をカットするフィルタ処理を施すことができる。差分画像生成部２１６は、対象ピクセルの背景色の輝度値と赤色または緑色の輝度値との差分値と、当該背景色の輝度値と青色との差分値とを比較し、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きい場合には、赤色または緑色の輝度値の差分値のうち大きい方の値を定数倍したものを、青色の輝度値とすることができる。一方、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも小さい場合には、青色の輝度値は、そのままとすることができる。
【００３９】
例えば、背景色の輝度値が２００、赤色の輝度値が１９０、緑色の輝度値が１８０、青色の輝度値が１４０である場合、各色の背景色の輝度値との差分値は、それぞれ１０（赤色の輝度値の差分値）、２０（緑色の輝度値の差分値）、６０（青色の輝度値の差分値）となる。この場合、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも大きくなり、赤色または緑色の輝度値のうち背景色との差分が大きい緑色の差分値（２０）の定数倍（例えば、２倍）である差分値（４０）を青色の輝度値の差分値とすることができる。すなわち、青色の輝度値を１６０とすることができる。なお、本実施形態で使用する定数は、任意の数値とすることができるが、数値が大きいと効果的に黄色成分を除去ができないため、１〜２の数値を採用するのが好適である。これにより、投影装置１１４ａの光源に含まれる黄色成分を除去することができる。
【００４０】
差分画像生成部２１６は、上述した差分画像生成処理を実行すると、画像供給部２１４が投影装置１１４ａに送信した最新の投影画像をデータバッファ２２０に格納する。本実施形態のデータバッファ２２０は、ＨＤＤやＲＡＭ等で実装可能なバッファメモリである。差分画像生成部２１６は、投影画像をデータバッファ２２０に格納すると、画像送信部２１８に対して差分画像生成処理が終了した旨の通知を行う。
【００４１】
画像送信部２１８は、差分画像生成部２１６が生成した差分画像を、ネットワーク１２０を介して他拠点の描画画像共有装置に送信する機能手段である。画像送信部２１８は、差分画像生成部２１６から差分画像生成処理が終了した旨の通知を受領すると、自拠点１１０ａの描画画像である差分画像を、ネットワーク１２０を介して他拠点１１０ｂの描画画像共有装置１１８ｂに送信する。
【００４２】
本実施形態の描画画像共有システムでは、他拠点の描画画像共有装置に対して自拠点の描画画像である差分画像を送信するため、描画画像の重畳によるエコー現象を回避することができ、投影画像の視認性を一層向上させることができる。
【００４３】
図３は、本実施形態の描画画像共有装置１１８ａが、他拠点から描画画像を受信したときに実行する処理のフローチャートである。図３の処理は、ステップＳ３００で開始し、ステップＳ３０１で、画像受信部２１０がネットワーク１２０から描画画像を受信したか否か判断し、描画画像を受信していないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、描画画像を受信したと判断した場合には（ｙｅｓ）、その旨を共有画像取得部２１２に通知し、処理をステップＳ３０２に分岐させる。ステップＳ３０２では、共有画像取得部２１２が、描画対象物１１２ａを撮影装置１１６ａに撮影させて撮影画像を取得し、その旨を画像供給部２１４に通知する。ステップＳ３０３では、共有画像取得部２１２が、撮影画像に画像補正を施して共有領域を切り出し、画像供給部２１４に撮影処理が終了した旨の通知をする。ステップＳ３０４では、画像供給部２１４が、画像受信部２１０が受信した他拠点の描画画像を投影画像として投影装置１１４ａに供給して、描画対象物１１２ａに描画画像を投影させる。
【００４４】
ステップＳ３０５では、差分画像生成部２１６が、図４を参照してより詳細に説明する差分画像生成処理を実行する。ステップＳ３０６では、差分画像生成部２１６が、ステップＳ３０４で投影装置に送信した投影画像をデータバッファ２２０に格納し、画像送信部２１８に差分画像を送信する旨の命令を通知する。
【００４５】
ステップＳ３０７では、画像送信部２１８は、差分画像を他拠点の描画画像共有装置に送信し、処理をステップＳ３０１に戻し、次の描画画像の受信を待機する。
【００４６】
本実施形態では、上述したように撮影処理に先行して投影処理を行うため、投影処理後に撮影処理を実行する構成が要する投影処理後の待機処理を必要せず、描画画像共有装置が実行する全体の処理時間を短縮することができる。これにより、単位時間当たりに送受信する描画画像の数を増大させることができ、描画画像共有システムのリアルタイム性を向上させることができる。
【００４７】
図４は、差分画像生成部２１６が実行する差分画像生成処理を示すフローチャートである。図４の処理は、ステップＳ４００で、差分画像生成部２１６が画像供給部２１４から投影画像を供給した旨の通知を受領したことにより開始する。ステップＳ４０１では、差分画像生成部２１６が、データバッファ２２０に格納された前回の投影画像を取得して膨張処理を施す。ステップＳ４０２では、差分画像生成部２１６が、記憶装置に格納された最新の撮影画像を取得し、当該撮影画像と膨張処理を施した投影画像とをＲＧＢの各色成分に分離する。ステップＳ４０３では、差分画像生成部２１６が、ＲＧＢの各色成分に分離された撮影画像の積分画像を生成する。
【００４８】
ステップＳ４０４では、差分画像生成部２１６が、撮影画像の対象ピクセルに対して、図５または図６を参照してより詳細に説明する平均比率値算出処理または平均差分値算出処理を実行する。ステップＳ４０５では、差分画像生成部２１６が、対象ピクセルに対して、図７を参照してより詳細に説明する差分算出処理を実行し、差分画像の各色成分の輝度値を算出する。差分画像生成部２１６は、総てのピクセルについてステップＳ４０４〜Ｓ４０５の処理を実行し、総ての色成分（Ｒ，Ｇ，Ｂ）についてステップＳ４０３〜Ｓ４０５の処理を実行する。
【００４９】
ステップＳ４０６では、差分画像生成部２１６が、総てのピクセルについて、ステップＳ４０５で算出した輝度値をＲＧＢ色の各色成分の値とするピクセルを合成して、ＲＧＢ色で構成される差分画像を生成する。ステップＳ４０７では、差分画像生成部２１６が、黄色成分を除去するフィルタ処理を当該差分画像に施し、ステップＳ４０８で処理が終了する。
【００５０】
図５は、本実施形態の差分画像生成部２１６が実行する平均比率値算出処理を示すフローチャートである。図５は、ステップＳ５００で開始し、ステップＳ５０１で、差分画像生成部２１６が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ５０２では、差分画像生成部２１６が、積分画像を用いてステップＳ５０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ５０３では、背景色の輝度値、対象ピクセルの輝度値、および矩形領域内の輝度値の平均値を使用して、対象ピクセルの平均比率値を算出し、ステップＳ５０４で処理が終了する。
【００５１】
図６は、他の実施形態の差分画像生成部２１６が実行する平均差分値算出処理を示すフローチャートである。図６は、ステップＳ６００で開始し、ステップＳ６０１で、差分画像生成部２１６が、対象ピクセルを中心としてｍ×ｎのサイズの矩形領域を特定する。ステップＳ６０２では、差分画像生成部２１６が、積分画像を用いてステップＳ６０１で特定した矩形領域内の輝度値の平均値を算出する。ステップＳ６０３では、対象ピクセルの輝度値から矩形領域内の輝度値の平均値を減算して、対象ピクセルの平均差分値を算出し、ステップＳ６０４で処理が終了する。
【００５２】
図７は、本実施形態の差分画像生成部２１６が実行する差分算出処理を示すフローチャートである。図７はステップＳ７００で開始し、ステップＳ７０１で、差分画像生成部２１６が、撮影画像の対象ピクセルと投影画像の対象ピクセルとの差分値を算出する。ステップＳ７０２では、差分画像生成部２１６が、ステップＳ７０１で算出した差分値が、描画閾値よりも大きいか否か判断し、差分値が描画閾値よりも大きいと判断した場合には、処理をステップＳ７０３に分岐させる。描画閾値は任意の値とすることができるが、本実施形態では、描画閾値を−５とすることが好適である。
【００５３】
ステップＳ７０３では、差分画像生成部２１６が差分値を０とする。これにより、差分画像における対象ピクセルの輝度値を補正することができ、撮影画像が投影画像よりも明るい場合には、描画対象物を撮影したときの反射光や照明器具等による影響を排除することができる。また、差分値が小さい場合にはノイズによる影響であると判断できるため、差分画像上のノイズをカットすることもできる。
【００５４】
一方、ステップＳ７０２の判定で、差分画像生成部２１６が、差分値が描画閾値以下であると判断した場合には、処理をステップＳ７０４に分岐させる。ステップＳ７０４では、差分画像生成部２１６が、差分値を定数倍して色の強度を高める補正処理を実行する。本実施形態では、当該定数を１〜２とすることができる。これにより、撮影によって低下した撮影画像の色強度の影響を排除することができ、差分画像の視認性を向上させることができる。
【００５５】
ステップＳ７０５では、差分画像生成部２１６が、差分値に背景色の輝度値を加算し、ステップＳ７０６で処理を終了させる。
【００５６】
図８は、別の実施形態の描画画像共有装置が実行する処理を示すフローチャートである。本実施形態の描画画像共有装置は、前回の画像投影処理の後、一定時間が経過したときに、撮影装置に対して描画対象物の撮影処理を実行させる。また、本実施形態では、画像受信部は、他拠点の描画画像を受領して随時保存する機能手段であり、他拠点の描画画像をデータバッファに保存する処理を他の機能手段と独立して実行する。本実施形態のデータバッファには、他拠点の描画画像および自拠点の投影画像が保存され、これらの画像データを、データバッファの既定のメモリアドレス値に格納することにより識別することができる。また、描画画像および投影画像を一意に識別可能な情報（例えば、描画画像や投影画像を識別可能なＩＤ番号や文字列、これらを結合した情報等）を、これらの画像データに関連付けてデータバッファに格納することにより識別してもよい。さらに、他の実施形態では、これらの画像データを別個独立のデータバッファに格納するようにしてもよい。以下、本実施形態について説明するが、本実施形態は図１〜７を参照して説明した実施形態と同様の構成を有するため、相違点についてのみ説明する。
【００５７】
図８の処理は、ステップＳ８００から開始し、ステップＳ８０１で描画画像共有装置は、前回の投影処理から一定時間が経過しているか否か判断し、一定時間が経過していないと判断した場合には（ｎｏ）、処理を反復させる。描画画像共有装置は、後述するステップＳ８０５の処理で取得した最新の投影時刻を記憶装置から取得し、現在時刻と比較することにより、前回の投影処理から一定時間が経過しているか判断することができる。本実施形態では、２００〜３００ｍｓｅｃを一定時間とすることが好適である。
【００５８】
一方、ステップＳ８０１の判定で描画画像共有装置が、前回の投影処理から一定時間が経過していると判断した場合には（ｙｅｓ）、処理をステップＳ８０２に分岐させ、ステップＳ８０２で、後述するステップＳ８１１においてデータバッファに格納された他拠点の描画画像を読み込む。そして、描画画像共有装置は、図３を参照して説明した処理のステップＳ３０２および３０３と同様のステップＳ８０３および８０４を実行する。ステップＳ８０５では、画像供給部が、ステップＳ８０２で読み込んだ他拠点の最新の描画画像を投影画像として投影装置に供給して描画対象物に投影させ、描画画像共有装置のＯＳ等が管理するタイマー関数等を使用して現在時刻を取得し、投影時刻としてＲＡＭ等の記憶装置に保存する。次いで、描画画像共有装置は、図３を参照して説明した処理のステップＳ３０５〜３０７と同様のステップＳ８０６〜８０８を実行し、処理をステップＳ８０１に戻す。
【００５９】
図８に示すステップＳ８０９〜Ｓ８１１の処理は、本実施形態の描画画像共有装置が実行する描画画像の受信処理を示しており、当該処理はステップＳ８０９から開始する。ステップＳ８１０では、画像受信部が、他拠点の描画画像装置から描画画像を受信したか否か判断し、描画画像を受信していないと判断した場合には（ｎｏ）、ステップＳ８１０の処理を反復させる。一方、ステップＳ８１０の判定で描画画像を受信したと判断した場合には（ｙｅｓ）、処理をステップＳ８１１に分岐させ、ステップＳ８１１で画像受信部が描画画像をデータバッファに格納し、処理をステップＳ８１０に戻して反復させる。
【００６０】
本実施形態では、他拠点から描画画像の取得を待機しないため、自拠点の描画画像を効率的に他拠点に送出することができ、送信フレームレートを増大させることができる。これにより、描画画像共有のリアルタイム性を向上させることができる。
【００６１】
図９は、さらに別の実施形態の描画画像共有装置が実行する処理を示すフローチャートである。本実施形態の描画画像共有装置は、図８を参照して説明した処理を撮影処理に関連する処理と投影処理に関連する処理とをそれぞれ別の独立した処理として並列的に実行する。なお、図９の処理は、図８の処理と共通点が多いため、以下では相違点を中心に説明する。
【００６２】
図９に示す撮影処理に関連する処理は、ステップＳ９００から開始し、ステップＳ９０１で描画画像共有装置は、前回の投影処理から一定時間が経過しているか否か判断し、一定時間が経過していないと判断した場合には（ｎｏ）、処理を反復させる。描画画像共有装置は、後述するステップＳ９０９の処理で取得した最新の投影時刻を記憶装置から取得し、現在時刻と比較することにより、前回の投影処理から一定時間が経過しているか判断することができる。本実施形態では、２００〜３００ｍｓｅｃを一定時間とすることが好適である。
【００６３】
一方、ステップＳ９０１の判定で描画画像共有装置が、前回の投影処理から一定時間が経過していると判断した場合には（ｙｅｓ）、処理をステップＳ９０２に分岐させ、ステップＳ９０２でデータバッファから投影画像を読み込む。そして、描画画像共有装置は、図８を参照して説明した処理のステップＳ８０３、８０４と同様のステップＳ９０３、９０４を実行する。そして、描画画像共有装置は、ステップＳ９０５で差分画像生成処理を実行して、ステップＳ９０２で読み込んだ投影画像およびＳ９０４で生成した撮影画像の差分画像を生成し、ステップＳ９０６で差分画像を他拠点の描画共有装置に送信する。
【００６４】
図９に示す投影処理に関連する処理は、ステップＳ９０７から開始し、ステップＳ９０８で画像受信部がネットワークから描画画像を受信したか否か判断し、描画画像を受信していないと判断した場合には（ｎｏ）、処理を反復させる。一方、描画画像を受信したと判断した場合には（ｙｅｓ）、その旨を画像供給部に通知し、処理をステップＳ９０９に分岐させる。ステップＳ９０９では、画像供給部が、他拠点の描画画像を投影画像として投影装置に供給して、描画対象物に描画画像を投影させ、描画画像共有装置のＯＳ等が管理するタイマー関数等を使用して現在時刻を取得して投影時刻としてＲＡＭ等の記憶装置に保存し、ステップＳ９１０で投影画像をデータバッファに格納し、処理をステップＳ９０８に戻して反復させる。
【００６５】
本実施形態では、撮影処理に関する処理は、投影処理に関する処理とは独立したタスク処理として実装することができ、他拠点の描画画像の取得を待たずに自拠点の描画画像を効率的に他拠点に送出することができ、描画画像共有システムにおけるフレームレートを増大させることができる。これにより、描画画像共有のリアルタイム性を向上させることができる。
【００６６】
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００６７】
１００…描画画像共有システム、１１０ａ，１１０ｂ…拠点、１１２ａ，１１２ｂ…描画対象物、１１２０，１１２２，１１２４，１１２６…マーカ、１１３０，１１３２…描画文字、１１４ａ，１１４ｂ…投影装置、１１６ａ，１１６ｂ…撮影装置、１１８ａ，１１８ｂ…描画画像共有装置、１２０…ネットワーク
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００５−２０３８８６号公報
【図１】
2011205615.tif 000003
【図２】
2011205615.tif 000004
【図３】
2011205615.tif 000005
【図４】
2011205615.tif 000006
【図５】
2011205615.tif 000007
【図６】
2011205615.tif 000008
【図７】
2011205615.tif 000009
【図８】
2011205615.tif 000010
【図９】
2011205615.tif 000011