(57)【特許請求の範囲】
【請求項１】
ホワイトボードを撮影装置に撮影させる撮影制御手段と、
投影画像をブラックベースで投影装置に投影させるとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影装置に投影させる投影制御手段と、
前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定する第１の特定手段と、
前記第１の特定手段により特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳する重畳手段と、
前記重畳手段により重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する送信手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記撮影画像内における白色の領域以外の領域であって、かつ、前記注釈画像領域以外の領域を前記ホワイトボードに直接書き込まれた書込画像の書込領域として特定する第２の特定手段と、
前記注釈画像投影前の撮影により得られた撮影画像のうち、特定された前記書込領域に対応する撮影画像内の領域を第１画像領域として抽出し、前記注釈画像投影後の撮影により得られた撮影画像のうち、特定された前記書込領域に対応する撮影画像内の領域を第２画像領域として抽出し、前記書込画像のうち、前記第１画像領域と前記第２画像領域との差分により得られる差分領域に対応する部分を差分画像として抽出する抽出手段と、をさらに備え、
前記重畳手段は、前記注釈画像を重畳した後、前記差分領域の最前面に前記抽出手段により抽出された差分画像を重畳することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記注釈画像領域に画像の変化が生じたか否かを随時出力される撮影画像に基づいて判定する判定手段と、
前記判定手段により前記画像の変化が生じたと判定された場合に、前記注釈画像領域における変化の位置を検出する検出手段をさらに備え、
前記重畳手段は、前記検出手段により検出された変化の位置の最前面に変化が生じた部分の画像を重畳することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
ホワイトボードを撮影する撮影装置と、
投影画像をブラックベースで投影するとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影する投影装置と、
前記ホワイトボードを前記撮影装置に撮影させ、前記注釈画像を前記投影装置に投影させ、前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定し、特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳し、重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する制御装置と、
を有することを特徴とする遠隔画像処理システム。
【請求項５】
ホワイトボードを撮影装置に撮影させる撮影制御ステップと、
投影画像をブラックベースで投影装置に投影させるとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影装置に投影させる投影制御ステップと、
前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定する特定ステップと、
前記特定ステップにより特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳する重畳ステップと、
前記重畳ステップにより重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する送信ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタ等の画像投影を行う画像処理装置、遠隔画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
プレゼンテーションにおいては、パーソナルコンピュータ（ＰＣ）のプレゼンテーション用ソフトウェアを用いて作成された資料（スライド）画像を、プロジェクタによってスクリーンに投影する手法が用いられることが多い。このようなプロジェクタにおいては、遠隔地からの書き込み画像をプロジェクタで投影し、更に、その書き込み画像が投影されたスクリーンをカメラで撮影し、撮影により得られた画像情報を遠隔地に送ることも行われる場合がある（例えば、特許文献１参照）。この場合、投影のベースとなる画像をホワイトベースあるいはブラックベースにする方法が考えられる。
【特許文献１】特開２００５−３３７５６号公報
【特許文献２】米国特許出願公開第２００４／００７０６７３４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、投影のベースとなる画像をホワイトベースとした場合、人間がスクリーンとしてのホワイトボードに文字等を書き込む際に、一般的な黒色等で書き込むことができる。しかし、ホワイトボードの側（ローカル側）の人間は、プロジェクタのまぶしい光を見ることになる。更に、カメラ撮影では、一度のホワイトバランスや露出調整によって撮影に関するパラメータを固定することができるという利点があるが、ホワイトボードに書き込まれる文字等のコントラストが低下する。また、ホワイトボードに貼り付けられたドキュメント等を高解像度のカメラで撮影する際には、プロジェクタのドットが観測されてしまう。
【０００４】
一方、投影のベースとなる画像をブラックベースとし、投影される画像を黒以外の色とする場合、何も投影されていないホワイトボードに応じて、ホワイトバランスや露出調整によってパラメータが設定されると、より自然な画像が得られる反面、プロジェクタから画像が投影され、その撮影画像が遠隔地において観測される場合、投影部分が白飛びしてしまうという問題がある。なお、パラメータを自動的に設定する方法も考えられるが、プロジェクタによって投影される画像によって、ホワイトボードの下地の色味等が変わってしまうため、複数の画像を撮影して画像情報を記録する場合、不自然になるため、適切ではない。
【０００５】
本発明は、上記問題点に鑑みてなされたもので、投影画像撮影時の画像情報の生成を適切に行うことが可能な画像処理装置、遠隔画像処理システム及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、ホワイトボードを撮影装置に撮影させる撮影制御手段と、投影画像をブラックベースで投影装置に投影させるとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影装置に投影させる投影制御手段と、前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定する第１の特定手段と、前記第１の特定手段により特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳する重畳手段と、前記重畳手段により重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する送信手段と、を有することを特徴とする。
【０００７】
この構成によれば、撮影手段により撮影された表示領域の画像における、他の装置からの画像情報に対応する画像の部分が色飛び等の不都合を引き起こすようなことがあっても、その位置に他の装置からの画像情報に対応する画像が重ねられるため、その不都合を解消して適切な画像情報を生成することができる。また、この構成によれば、遠隔地にいる者に対し、適切な画像情報を提供することができる。
【０００８】
また、本発明の画像処理装置は、前記撮影画像内における白色の領域以外の領域であって、かつ、前記注釈画像領域以外の領域を前記ホワイトボードに直接書き込まれた書込画像の書込領域として特定する第２の特定手段と、前記注釈画像投影前の撮影により得られた撮影画像のうち、特定された前記書込領域に対応する撮影画像内の領域を第１画像領域として抽出し、前記注釈画像投影後の撮影により得られた撮影画像のうち、特定された前記書込領域に対応する撮影画像内の領域を第２画像領域として抽出し、前記書込画像のうち、前記第１画像領域と前記第２画像領域との差分により得られる差分領域に対応する部分を差分画像として抽出する抽出手段と、をさらに備え、前記重畳手段は、前記注釈画像を重畳した後、前記差分領域の最前面に前記抽出手段により抽出された差分画像を重畳することを特徴とする。
【００１０】
また、本発明の画像処理装置は、前記注釈画像領域に画像の変化が生じたか否かを随時出力される撮影画像に基づいて判定する判定手段と、前記判定手段により前記画像の変化が生じたと判定された場合に、前記注釈画像領域における変化の位置を検出する検出手段をさらに備え、前記重畳手段は、前記検出手段により検出された変化の位置の最前面に変化が生じた部分の画像を重畳することを特徴とする。
【００１４】
また、本発明の遠隔画像処理システムは、ホワイトボードを撮影する撮影装置と、投影画像をブラックベースで投影するとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影する投影装置と、前記ホワイトボードを前記撮影装置に撮影させ、前記注釈画像を前記投影装置に投影させ、前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定し、特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳し、重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する制御装置と、を有することを特徴とする。
【００１５】
また、本発明の画像処理方法は、ホワイトボードを撮影装置に撮影させる撮影制御ステップと、投影画像をブラックベースで投影装置に投影させるとともに、前記撮影装置による撮影画像に応じた指示に対応する黒以外の色の注釈画像を前記ホワイトボードへ投影装置に投影させる投影制御ステップと、前記撮影画像内における白色の領域以外の領域を前記注釈画像が投影された注釈画像領域として特定する特定ステップと、前記特定ステップにより特定された前記注釈画像領域に前記指示に対応する注釈画像を重畳する重畳ステップと、前記重畳ステップにより重畳された注釈画像を含む撮影画像を画像情報として前記指示を送信した遠隔地の送信元へ送信する送信ステップと、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、表示領域の画像における、他の装置からの画像情報に対応する画像の部分が色飛び等の不都合を引き起こしても、その不都合を解消して適切な画像情報を生成することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。図１は、本発明における画像処理装置の構成を示す図である。図１に示す画像処理装置１００は、会議室等で行われるプレゼンテーション等において、画像を投影し、更に撮影を行うものである。この画像処理装置１００は、処理手段、送信手段及び第１の送信手段に対応するパーソナルコンピュータ（ＰＣ）１１０と、投影手段に対応する投影装置１２０と、表示領域に対応するスクリーン１３０と、撮影手段に対応する撮影装置１４０により構成される。
【００１８】
ＰＣ１１０は、投影装置１２０及び撮影装置１４０の動作を制御する。具体的には、第１の送信手段に対応する他のＰＣ２００は、ネットワーク３００経由でＰＣ１１０に対して、画像情報を送信する。この画像情報には、スクリーン１３０における投影位置を一意に特定可能な位置情報が含まれているとともに、投影指示が付加されている。ＰＣ１１０は、ネットワーク３００経由で他のＰＣ２００から送られてきたアノテーション画像の情報を、当該アノテーション画像の情報に付加されている投影指示に基づいて、投影装置１２０へ出力する。ここでアノテーション画像とは、ＰＣ２００が保持している画像や、注釈等のＰＣ２００においてユーザによって書き込まれた画像である。また、ＰＣ１１０は、撮影装置１４０に対して、撮影を指示する。
【００１９】
投影装置１２０は、スクリーン１３０の前面側に配置され、当該スクリーン１３０に対応する画角を有しており、ＰＣ１１０からのアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する。この際、投影装置１２０は、アノテーション画像の情報に含まれる位置情報に基づいて、スクリーン１３０における投影位置を特定し、その位置に向けてアノテーション画像を投影する。
【００２０】
撮影装置１４０は、スクリーン１３０に何も書き込まれておらず、また、画像投影もなされていない状態で、且つ、実使用照明環境において、ホワイトバランスや露出調整によって撮影に関するパラメータが設定されている。この撮影装置１４０は、スクリーン１３０の前面側に配置され、当該スクリーン１３０に対応する画角を有し、ＰＣ１１０の指示に応じて、スクリーン１３０を撮影する。スクリーン１３０には、投影装置１２０によって投影されるアノテーション画像１５０や、前面に直接書き込まれた文字や線、図形等の画像（ローカル書込画像）１５２が表されており、撮影装置１４０は、これらの画像を撮影することになる。
【００２１】
以下、フローチャートを参照しつつ、画像処理装置１００の動作を説明する。図２は、画像処理装置１００の第１の動作を示すフローチャートである。ＰＣ１１０は、他のＰＣ２００からのアノテーション画像の情報を、ネットワーク３００経由で受信し、当該アノテーション画像の情報を投影装置１２０へ出力する。投影装置１２０は、入力したアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する（Ｓ１０１）。
【００２２】
次に、ＰＣ１１０は、撮影装置１４０に対して撮影を指示する。撮影装置１４０は、この指示に応じて、スクリーン１３０を撮影する（Ｓ１０２）。撮影によって得られた画像情報は、ＰＣ１１０へ送られる。
【００２３】
ＰＣ１１０は、撮影装置１４０からの画像情報に対応する画像（撮影画像）において、投影装置１２０によって投影されたアノテーション画像の領域を特定する（Ｓ１０３）。例えば、スクリーン１３０がホワイトボードである場合、ＰＣ１１０は、撮影画像における白色以外の領域をアノテーション画像領域として特定する。あるいは、ＰＣ１１０は、投影装置１２０による投影方向を制御しており、その投影方向を取得するとともに、当該投影装置１２０へ出力した画像情報のデータ量等に基づいて、スクリーン１３０におけるアノテーション画像の大きさを算出し、これら投影方向とアノテーション画像の大きさとに基づいて、アノテーション画像領域を特定する。
【００２４】
次に、ＰＣ１１０は、撮影画像におけるアノテーション画像領域に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像を重畳した画像情報を生成する（Ｓ１０４）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ１０５）。他のＰＣ２００は、受信した画像情報に対応する画像を、表示手段に対応するディスプレイ２０２に表示する。
【００２５】
図３は、上述した第１の動作によって他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図３（ａ）に示すように、アノテーション画像１５０が色飛びを引き起こしてしまう場合がある。しかし、ＰＣ１１０による撮影画像におけるアノテーション画像領域に他のＰＣ２００からの画像情報に対応する画像を重畳する処理が行われることによって、図３（ｂ）に示すように、アノテーション画像１５０が明瞭になる。
【００２６】
図４は、画像処理装置１００の第２の動作を示すフローチャートである。Ｓ２０１乃至Ｓ２０３においては、図２のＳ１０１乃至Ｓ１０３と同様の動作が行われる。すなわち、ＰＣ１１０は、他のＰＣ２００からのアノテーション画像の情報を、ネットワーク３００経由で受信し、当該アノテーション画像の情報を投影装置１２０へ出力しており、投影装置１２０は、入力したアノテーション画像の情報に対応するアノテーション画像をスクリーン１３０に投影する（Ｓ２０１）。次に、ＰＣ１１０は、撮影装置１４０に対して撮影を指示し、撮影装置１４０は、この指示に応じて、スクリーン１３０を撮影する（Ｓ２０２）。更に、ＰＣ１１０は、撮影画像におけるアノテーション画像領域を特定する（Ｓ２０３）。
【００２７】
次に、ＰＣ１１０は、撮影画像において、スクリーンに直接書き込まれた文字等のローカル書込画像の領域（書込領域）を特定する（Ｓ２０４）。例えば、スクリーン１３０がホワイトボードである場合、ＰＣ１１０は、撮影画像における白色以外の領域であって、且つ、アノテーション画像領域以外の領域を書込領域として特定する。
【００２８】
更に、ＰＣ１１０は、画像投影前の撮影により得られた撮影画像における、書込領域に対応する画像を抽出する（Ｓ２０５）。撮影装置１４０は、予め、画像投影の前の状態においてスクリーン１３０を撮影し、その撮影により得られた画像情報をＰＣ１１０に出力しており、ＰＣ１１０は、当該画像情報を画像投影前の撮影画像として記憶している。このため、ＰＣ１１０は、画像投影前の撮影により得られた撮影画像における、書込領域に対応する画像を抽出することが可能である。
【００２９】
次に、ＰＣ１１０は、画像投影後の撮影により得られた撮影画像における、書込領域に対応する画像を抽出する（Ｓ２０６）。更に、ＰＣ１１０は、画像投影前後の撮影により得られた撮影画像を比較し、差分の画像領域（差分領域）を特定する（Ｓ２０７）。更に、ＰＣ１１０は、書込領域に対応するローカル画像のうち、差分領域に対応するものを抽出する（Ｓ２０８）。
【００３０】
その後、ＰＣ１１０は、撮影画像におけるアノテーション画像領域に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像を重畳し、更に、差分領域に対応するローカル画像を最前面となるように重畳した画像情報を生成する（Ｓ２０９）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ２１０）。他のＰＣ２００は、受信した画像情報に対応する画像を、ディスプレイ２０２に表示する。
【００３１】
図５は、上述した第２の動作において他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図５（ａ）に示すように、アノテーション画像１５０が色飛びを引き起こし、更には、ローカル画像１５２の一部がアノテーション画像１５０よりも後面となって見えなくなってしまう場合がある。しかし、図５（ｂ）に示すように、ＰＣ１１０による撮影画像におけるアノテーション画像領域１５３と書き込み領域１５４とが特定され、図５（ｃ）に示すように、ＰＣ１１０による撮影画像におけるアノテーション画像領域１５３に他のＰＣ２００からのアノテーション画像の情報に対応するアノテーション画像１５０を重畳する処理と、差分領域に対応するローカル画像１５２が最前面となるように重畳する処理とが行われることによって、図５（ｃ）に示すように、アノテーション画像１５０とローカル画像１５２とが明瞭になる。
【００３２】
図６は、画像処理装置１００の第３の動作を示すフローチャートである。この動作は、上述した第１の動作あるいは第２の動作に続いて行われる。ＰＣ１１０は、アノテーション画像領域に画像の変化が生じたか否かを判定する（Ｓ３０１）。
【００３３】
具体的には、撮影装置１４０は、随時スクリーン１３０を撮影し、その撮影により得られた画像情報をＰＣ１１０に出力しており、ＰＣ１１０は、当該画像情報を記憶している。スクリーン１３０の前面に直接に文字や線、図形等が書き込まれた場合には、撮影装置１４０が随時出力する画像情報が変化し、ＰＣ１１０はこの変化を検出する。変化を検出した場合、ＰＣ１１０は、その変化部分が既に表示されていたアノテーション画像の表示位置と重なるか否かを判定し、重なる場合には、アノテーション画像領域に画像の変化が生じたと判断する。
【００３４】
アノテーション画像領域に変化が生じた場合、次に、ＰＣ１１０は、アノテーション画像領域における変化位置を検出する（Ｓ３０２）。更に、ＰＣ１１０は、撮影画像のアノテーション画像領域に、変化部分の画像である、スクリーン１３０の前面に直接に文字や線、図形等が書き込まれたローカル書込画像が最前面となるように重畳した画像情報を生成する（Ｓ３０３）。そして、ＰＣ１１０は、この生成した画像情報を、ネットワーク３００を介して他のＰＣ２００へ送信する（Ｓ３０４）。他のＰＣ２００は、受信した画像情報に対応する画像を、ディスプレイ２０２に表示する。
【００３５】
図７は、上述した第３の動作において他のＰＣ２００のディスプレイ２０２において表示される画像の一例を示す図である。当初は、図７（ａ）に示すように、アノテーション画像１５０と重なるローカル書込画像１５２が見えにくくなってしまう場合がある。しかし、図７（ｂ）に示すように、ＰＣ１１０によるアノテーション画像領域１５３における変化位置に対応するローカル書込画像１５２の位置が特定され、更に、ＰＣ１１０による撮影画像のアノテーション画像領域１５３内のローカル書込画像１５２が最前面となるように重畳する処理が行われることによって、図７（ｃ）に示すように、ローカル書込画像１５２が明瞭になる。
【００３６】
このように、画像処理装置１００は、撮影装置１４０における撮影に関するパラメータが予め設定されることによって、スクリーン１３０を撮影する際に、より自然な画像を得ることを可能とする。一方で、画像処理装置１００は、その撮影画像において、投影装置１２０によってスクリーン１３０に投影された他のＰＣ２００からのアノテーション画像が色飛び等の不都合を引き起こす場合を考慮して、撮影画像におけるアノテーション画像の位置に他のＰＣ２００からのアノテーション画像を重ねるように画像情報を生成するため、適切な画像情報を生成することができる。
【産業上の利用可能性】
【００３７】
以上、説明したように、本発明に係る画像処理装置、遠隔画像処理システム及び画像処理方法は、適切な投影画像撮影時の画像情報の生成を適切に行うことが可能であり、画像処理装置及び画像処理方法として有用である。
【図面の簡単な説明】
【００３８】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理装置の第１の動作を示すフローチャートである。
【図３】第１の動作によって他のＰＣにおいて表示される画像の一例を示す図である。
【図４】画像処理装置の第２の動作を示すフローチャートである。
【図５】第２の動作によって他のＰＣにおいて表示される画像の一例を示す図である。
【図６】画像処理装置の第３の動作を示すフローチャートである。
【図７】第３の動作によって他のＰＣにおいて表示される画像の一例を示す図である。
【符号の説明】
【００３９】
１００  画像処理装置
１１０  ＰＣ
１２０  投影装置
１３０  スクリーン
１４０  撮影装置
２００  他のＰＣ
３００  ネットワーク
【図１】
0005162855.tif 000002
【図２】
0005162855.tif 000003
【図３】
0005162855.tif 000004
【図４】
0005162855.tif 000005
【図５】
0005162855.tif 000006
【図６】
0005162855.tif 000007
【図７】
0005162855.tif 000008