(57)【要約】      （修正有）【課題】ホワイトボードの撮影画像から、送信された描画を除くと、輝度が異なり、画質劣化する問題点を解消する画像処理システムを提供する。【解決手段】複数の画像処理装置を含む画像処理システムで、画像処理装置が、撮影画像を表す第一の画像データを得る画像データ取得手段と、他の画像処理装置から第二の画像データを受信する画像データ受信手段と、第一の画像から第二の画像の差分画像を表す差分画像データを生成する差分画像データ生成手段と、差分画像データを二値化した二値化画像データを生成する二値化画像データ生成手段と、第一の画像データを二値化画像データでマスク処理するマスク処理手段と、マスク処理された画像データを他の画像処理装置へ送信する第一の送信手段とを有し、他の画像処理装置が、画像処理装置から画像データを受信する受信手段と、受信手段で受信した画像データを表示する表示手段と、を有する。【選択図】図３
2012109920.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像処理装置を含む画像処理システムであって、
前記画像処理装置が、
撮影された画像を表す第一の画像データを取得する画像データ取得手段と、
他の画像処理装置から第二の画像データを受信する画像データ受信手段と、
前記画像データ取得手段によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信手段によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成手段と、
前記差分画像データ生成手段によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成手段と、
前記画像データ取得手段によって取得された前記第一の画像データを前記二値化画像データ生成手段で生成された二値化画像データでマスク処理するマスク処理手段と、
前記マスク処理手段によってマスク処理された画像データを前記他の画像処理装置へ送信する第一の送信手段とを有し、
前記他の画像処理装置が、
前記画像処理装置から画像データを受信する受信手段と、
前記受信手段で受信した画像データを表示する表示手段と、
を有することを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記画像処理装置のマスク処理手段によってマスク処理された前記第一の画像データと、前記他の画像処理装置のマスク処理手段によってマスク処理された前記第二の画像データとを合成し、合成画像データを生成する合成画像生成手段を、
さらに備えることを特徴とする画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムであって、
前記画像データ取得手段で取得された前記第一の画像データを台形補正する補正手段を、
さらに備えることを特徴とする画像処理システム。
【請求項４】
請求項２または３に記載の画像処理システムであって、
前記合成画像生成手段によって生成された合成画像データを、他の装置に送信する第二の送信手段を、
さらに備えることを特徴とする画像処理システム。
【請求項５】
請求項４に記載の画像処理システムであって、
前記合成画像生成手段によって生成された合成画像データをエンコードし、動画ストリームを生成する画像エンコード手段とをさらに有し、
前記第二の送信手段は、
前記画像エンコード手段によって動画ストリームを他の装置に送信することを特徴とする画像処理システム。
【請求項６】
請求項２乃至５のいずれか一項に記載の画像処理システムであって、
前記合成画像生成手段は、
前記合成画像データの生成に用いられた合成元の画像データを表す合成元情報を記憶する合成元情報記憶手段と、
前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データと、新たに前記画像処理装置のマスク処理手段によってマスク処理された前記第一の画像データ及び新たに前記他の画像処理装置のマスク処理手段によってマスク処理された前記第二の画像データとを比較することによって、合成画像データを生成するか否かを判定する合成判定手段と、
を有することを特徴とする画像処理システム。
【請求項７】
請求項６に記載の画像処理システムであって、
前記合成判定手段は、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データ及び前記第二の画像データのいずれとも異なる場合に合成画像データを生成すると判定し、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データまたは前記第二の画像データのいずれかと同一である場合に合成画像データを生成しないと判定することを特徴とする画像処理システム。
【請求項８】
請求項６に記載の画像処理システムであって、
前記合成判定手段は、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データまたは前記第二の画像データのいずれかと異なる場合に合成画像データを生成すると判定し、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データ及び前記第二の画像データのいずれとも同一である場合に合成画像データを生成しないと判定することを特徴とする画像処理システム。
【請求項９】
撮影された画像を表す前記第一の画像データを取得する画像データ取得手段と、
他の画像処理装置から第二の画像データを受信する画像データ受信手段と、
前記画像データ取得手段によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信手段によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成手段と、
前記差分画像データ生成手段によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成手段と、
前記画像データ取得手段によって取得された前記第一の画像データを前記二値化画像データ生成手段で生成された二値化画像データでマスク処理するマスク処理手段と、
前記マスク処理手段によってマスク処理された画像データを前記他の画像処理装置へ送信する送信手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
画像処理装置が実行する画像処理プログラムであって、
前記画像処理装置が、
撮影された画像を表す前記第一の画像データを取得する画像データ取得工程と、
他の画像処理装置から第二の画像データを受信する画像データ受信工程と、
前記画像データ取得工程によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信工程によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成工程と、
前記差分画像データ生成工程によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成工程と、
前記画像データ取得工程によって取得された前記第一の画像データを前記二値化画像データ生成工程で生成された二値化画像データでマスク処理するマスク処理工程と、
前記マスク処理工程によってマスク処理された画像データを前記他の画像処理装置へ送信する送信工程と、
をコンピュータに実行させることを特徴とする画像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像処理装置を含む画像処理システムに関する。
【背景技術】
【０００２】
近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、複数の拠点にそれぞれ設置されたホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影し、会議相手の拠点のホワイトボードにそれらの描画像を照射することによって、双方の拠点の画像を同時に把握することができる技術が知られている。
【０００３】
このような描画画像を取得する技術として、特許文献１には、ホワイトボードを撮影した画像から、会議相手から送信された描画画像を取り除いた画像を生成し、会議相手に送信することによって、視覚エコーをキャンセルすることが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された発明では、ホワイトボードを撮影した画像から、会議相手から送信された描画画像を取り除いた画像を生成すると、生成された画像は撮影された画像と輝度が異なってしまうことがあり、画質の劣化が発生してしまうという問題点があった。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、請求項１にかかる発明は、複数の画像処理装置を含む画像処理システムであって、前記画像処理装置が、撮影された画像を表す第一の画像データを取得する画像データ取得手段と、他の画像処理装置から第二の画像データを受信する画像データ受信手段と、前記画像データ取得手段によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信手段によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成手段と、前記差分画像データ生成手段によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成手段と、前記画像データ取得手段によって取得された前記第一の画像データを前記二値化画像データ生成手段で生成された二値化画像データでマスク処理するマスク処理手段と、前記マスク処理手段によってマスク処理された画像データを前記他の画像処理装置へ送信する第一の送信手段とを有し、前記他の画像処理装置が、前記画像処理装置から画像データを受信する受信手段と、前記受信手段で受信した画像データを表示する表示手段と、を有することを特徴とする。
【０００６】
また、請求項２にかかる発明は、請求項１に記載の画像処理システムであって、前記画像処理装置のマスク処理手段によってマスク処理された前記第一の画像データと、前記他の画像処理装置のマスク処理手段によってマスク処理された前記第二の画像データとを合成し、合成画像データを生成する合成画像生成手段を、さらに備えることを特徴とする。
【０００７】
また、請求項３にかかる発明は、請求項１または２に記載の画像処理システムであって、
前記画像データ取得手段で取得された前記第一の画像データを台形補正する補正手段を、さらに備えることを特徴とする。
【０００８】
また、請求項４にかかる発明は、請求項２または３に記載の画像処理システムであって、前記合成画像生成手段によって生成された合成画像データを、他の装置に送信する第二の送信手段を、さらに備えることを特徴とする。
【０００９】
また、請求項５にかかる発明は、請求項４に記載の画像処理システムであって、前記合成画像生成手段によって生成された合成画像データをエンコードし、動画ストリームを生成する画像エンコード手段とをさらに有し、前記第二の送信手段は、前記画像エンコード手段によって動画ストリームを他の装置に送信することを特徴とする。
【００１０】
また、請求項６にかかる発明は、請求項２乃至５のいずれか一項に記載の画像処理システムであって、前記合成画像生成手段は、前記合成画像データの生成に用いられた合成元の画像データを表す合成元情報を記憶する合成元情報記憶手段と、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データと、新たに前記画像処理装置のマスク処理手段によってマスク処理された前記第一の画像データ、及び、新たに前記他の画像処理装置のマスク処理手段によってマスク処理された前記第二の画像データとを比較することによって、合成画像データを生成するか否かを判定する合成判定手段と、を有することを特徴とする。
【００１１】
また、請求項７にかかる発明は、請求項６に記載の画像処理システムであって、
前記合成判定手段は、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データ及び前記第二の画像データと異なる場合に合成画像データを生成すると判定し、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データまたは前記第二の画像データと同一である場合に合成画像データを生成しないと判定することを特徴とする。
【００１２】
また、請求項８にかかる発明は、請求項６に記載の画像処理システムであって、請求項６に記載の画像処理システムであって、前記合成判定手段は、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データまたは前記第二の画像データと異なる場合に合成画像データを生成すると判定し、前記合成元情報記憶手段に記憶されている前記合成元情報にかかる画像データが、前記第一の画像データおよび前記第二の画像データと同一である場合に合成画像データを生成しないと判定することを特徴とする。
【００１３】
また、請求項９にかかる発明は、撮影された画像を表す前記第一の画像データを取得する画像データ取得手段と、他の画像処理装置から第二の画像データを受信する画像データ受信手段と、前記画像データ取得手段によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信手段によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成手段と、前記差分画像データ生成手段によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成手段と、前記画像データ取得手段によって取得された前記第一の画像データを前記二値化画像データ生成手段で生成された二値化画像データでマスク処理するマスク処理手段と、前記マスク処理手段によってマスク処理された画像データを前記他の画像処理装置へ送信する送信手段と、を有することを特徴とする。
【００１４】
また、請求項１０にかかる発明は、画像処理装置が実行する画像処理プログラムであって、前記画像処理装置が、撮影された画像を表す前記第一の画像データを取得する画像データ取得工程と、他の画像処理装置から第二の画像データを受信する画像データ受信工程と、前記画像データ取得工程によって取得された前記第一の画像データが表す第一の画像から、前記画像データ受信工程によって受信された前記第二の画像データが表す第二の画像を除去した差分画像を表す差分画像データを生成する差分画像データ生成工程と、前記差分画像データ生成工程によって生成された差分画像データを二値化した二値化画像データを生成する二値化画像データ生成工程と、前記画像データ取得工程によって取得された前記第一の画像データを前記二値化画像データ生成工程で生成された二値化画像データでマスク処理するマスク処理工程と、前記マスク処理工程によってマスク処理された画像データを前記他の画像処理装置へ送信する送信工程と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、撮影した画像から受信した画像を除去して二値化した画像をマスク画像として、撮影した画像をマスク処理することによって、劣化した画質を鮮明に復元することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像処理システムの概略図である。
【図２】本発明の一実施形態に係る画像処理装置のハードウェア構成図である。
【図３】本発明の一実施形態に係る画像処理装置の機能ブロック図である。
【図４】本実施形態の処理の概要を示したシーケンス図である。
【図５】各画像データが表す画像の例である。
【図６】差分画像を生成する処理を示した処理フロー図である。
【図７】輝度値を補正する処理を示した処理フロー図である。
【図８】画像を先鋭化する処理を示した処理フロー図である。
【図９】マスク画像のフィルタの要素を決定する処理を示した処理フロー図である。
【発明を実施するための形態】
【００１７】
＜＜実施形態の全体構成＞＞
以下、図１乃至図９を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。
【００１８】
図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を照射する描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。
【００１９】
画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信するものである。
【００２０】
また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが照射する画像が映される。ここで、描画対象物２０ａのうちユーザが描画する領域を描画領域２０１ａ、その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに照射するものである。
【００２１】
同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。されに、描画対象物２０ｂには、プロジェクタ４０ｂが照射する画像が映される。また、ここで、描画対象物２０ｂのうちユーザが描画する領域を描画領域２０１ｂ、その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ａを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに照射するものである。
【００２２】
なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。
【００２３】
また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
【００２４】
また、本実施形態の画像処理システム１には、通信ネットワーク５０を経由して、各種データを送受信する他の装置７０が接続されている。
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。
【００２５】
図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、撮影装置３０等の外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００２６】
なお、上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
【００２７】
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、操作入力受付部１２、画像取得部１３、画像補正部１４、差分画像生成部１５、先鋭化部１６、合成画像生成部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、及び画像エンコード部２１を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。
【００２８】
（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。
【００２９】
操作入力受付部１２は、図２に示されているキーボード１１１またはマウス１１２によって、ユーザから入力された情報を受け付けるものである。画像取得部１３は、外部装置Ｉ／Ｆ１１５によって実現され、ケーブル等を介して撮影装置３０が撮影した画像を表す撮影画像データを、撮影装置３０から取得するものである。
【００３０】
画像補正部１４は、画像取得部１３で取得された撮影画像データを台形補正等によって補正するものである。
【００３１】
差分画像生成部１５は、画像補正部１４で補正された撮影画像データが表す画像から、他の拠点で撮影された画像を差し引いた画像を生成するものである。差分画像生成部１５は、輝度補正部１５ａ、差分算出部１５ｂ、輝度値決定部１５ｃによって構成される。輝度補正部１５ａは、対象画素の周辺領域の輝度値の平均値に対する対象画素の輝度値の比率に背景色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正するものである。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。
【００３２】
差分算出部１５ｂは、輝度補正部１５ａが補正した輝度値から、受信画像データが表す画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出するものである。ここで、受信画像データとは、送受信部１１が他の画像処理装置から通信ネットワーク５０を介して受信した画像データである。輝度値決定部１５ｃは、差分算出部１５ｂが算出した輝度平均値差分に基づいて、新たに生成する差分画像の輝度値を決定するものである。
【００３３】
先鋭化部１６は、差分画像生成部１５で生成された差分画像の輝度差を強調することによって、差分画像をシャープにする先鋭化処理を行うものである。先鋭化部１６は、二値化部１６ａ、マスク処理部１６ｂによって構成される。二値化部１６ａは、差分画像生成部１５で生成された差分画像を二値化した二値化画像を生成するものである。マスク処理部１６ｂは、差分画像生成する前の撮影画像を、二値化部１６ａによって生成された二値化画像に基づくマスク画像でマスク処理するものである。このマスク処理によって得られた画像が先鋭化画像となる。
【００３４】
合成画像生成部１７は、先鋭化部１６で先鋭化された先鋭化画像と、他拠点の画像処理装置から受信し、後述する受信画像記憶部１００２に記憶されている受信画像データが表す受信画像と、を合成した合成画像を表す合成画像データを生成するものである。合成画像生成部１７は、変更判定部１７ａ、及び、生成部１７ｂによって構成される。変更判定部１７ａは後述する先鋭化画像記憶部１００４に記憶されている画像データと、後述する合成元情報記憶部１００５に記憶されている情報が表す画像データとを比較して合成画像データを生成するか否かを判定する。生成部１７ｂは、変更判定部１７ａが合成画像データを生成すると判定した場合に先鋭化画像記憶部１００４に記憶されている画像データを用いて、合成画像データを生成する。
【００３５】
表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、画像処理装置１０に接続されているディスプレイに対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、画像処理装置１０に接続されているスピーカーに音声を出力するための制御を行う。
【００３６】
画像エンコード部２１は、合成画像生成部１７によって生成された画像データをエンコードし、動画ストリームを生成するものである。
【００３７】
また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００は、撮影画像記憶部１００１、受信画像記憶部１００２、合成画像記憶部１００３によって構成される。
【００３８】
撮影画像記憶部１００１は、画像取得部１３によって撮影装置３０から取得された撮影画像データを記憶するものである。撮影画像記憶部１００１には、新たに撮影画像データが記憶されると、既に記憶されている撮影画像データは上書きされ、常に最新の撮影画像データが記憶されている。
【００３９】
受信画像記憶部１００２は、送受信部１１によって他拠点の画像形成装置から受信した受信画像データを記憶するものである。受信画像記憶部１００２では、新たに受信画像データが記憶されると、既に記憶されている受信画像データは上書きされ、常に最新の受信画像データのみが記憶されている。
【００４０】
合成画像記憶部１００３は、合成画像生成部１７によって合成された合成画像を記憶するものである。先鋭化画像記憶部１００４は、先鋭化部１６が生成した先鋭化画像データを記憶するものであり、合成元情報記憶部１００５は、合成画像生成部１７によって合成画像が生成された際に、合成元となった先鋭化画像データａ”および先鋭化画像データｂ”を一意に表す情報が記憶されている。
【００４１】
＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図４乃至図９を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図４は、本実施形態に係る画像処理システム１の処理の概要を示したシーケンス図である。図５は各画像データが表す画像の例である。図６は、差分画像を生成する処理を示した処理フロー図である。図７は、輝度値を補正する処理を示した処理フロー図である。図８は、画像を先鋭化する処理を示した処理フロー図である。図９は、二値化処理に基づいてマスク画像のフィルタの要素を決定する処理を示した処理フロー図である。
【００４２】
図４を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前面にある光景を撮影して、画像データａを生成する（ステップＳ１）。この画像データａが表す画像ａは図５（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって照射されている描画像「い」を撮影した画像である。
【００４３】
次に、画像取得部１３が、ステップＳ１で撮影装置３０ａによって生成された画像データａを取得する（ステップＳ２）。画像補正部１４が、ステップＳ２で画像取得部１３によって取得された画像データａを台形補正等により補正する（ステップＳ３）。
【００４４】
続いて、差分画像生成部１５が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂによって送信された画像データｂが表す画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図６を用いて説明する。
【００４５】
ステップＳ４の処理では、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した画像データｂが送信され（ステップＳ６’）ており、拠点Ａの画像処理装置１０ａの送受信部１１が、その画像データｂを受信し（ステップＳ６’）、記憶・読出処理部１９が受信画像記憶部１００２に受信画像データとして記憶させておく（ステップＳ１０’）。なお、ここで、拠点Ｂから送信される画像データｂ（受信画像データ）は、後述する拠点Ａの画像処理装置１０ａで実施されるステップＳ１からステップＳ５の処理と同様の処理を経ているものである。また、ステップＳ６’、ステップＳ１０’の処理は、それぞれ後述するステップＳ６、ステップＳ１０と同様の処理である。
【００４６】
ステップＳ３で画像データａが補正されると、図６に示されるように、輝度補正部１５ａが画像データａ表す画像ａの画素ごとの輝度値を補正する（ステップＳ４１）。この補正は、対象画素の周辺領域の輝度値の平均値に対する対象画素の輝度値の比率に背景色の輝度値を掛け合わせることにより算出した輝度平均値を対象画素の輝度値とし、さらに黄色の成分を除去することによって、外光の影響を均すためのものである。
【００４７】
ここで、ステップＳ４１で実施される、輝度補正部１５ａが輝度値を補正する処理について図７を用いて詳細に説明する。図７に示されるように、まず、対象画素の周辺領域内の画素の輝度の平均値として、周辺輝度平均値ＡＶＥが色成分（Ｒ、Ｇ、Ｂ）ごとに算出される（ステップＳ４１１）。次に、色成分ごとに周辺輝度平均値ＡＶＥに対する対象画素の輝度値の比率が算出され、それぞれ輝度比率とされる（ステップＳ４１２）。次に、ステップＳ４１２で算出された輝度比率に、撮影画像の背景色の輝度値を乗じることにより、色成分ごとに平均輝度値が算出される（ステップＳ４１３）。更に、ステップＳ４１３で合成された画像の黄色を除去するフィルタ処理が行われる。（ステップＳ４１４）。
【００４８】
ステップＳ４１４で実施される黄色を除去するフィルタ処理を詳細に説明する。ここでは、対象画素の背景色の輝度値と赤色（Ｒ）または緑色（Ｇ）の輝度値との差分値と、当該背景色の輝度値と青色（Ｂ）との差分値とが比較される。背景色と青色の輝度値の差分値が、背景色と赤色または緑色の輝度値の差分値よりも大きい場合には、赤色または緑色の輝度値の差分値のうち大きい方の値を定数倍したものが、青色の輝度値とされる。一方、青色の輝度値の差分値が、赤色または緑色の輝度値の差分値よりも小さい場合には、青色の輝度値は、そのままとされる。
【００４９】
例えば、背景色の輝度値が２００、赤色の輝度値が１９０、緑色の輝度値が１８０、青色の輝度値が１４０である場合、各色の背景色の輝度値との差分値は、それぞれ１０（赤色の輝度値の差分値）、２０（緑色の輝度値の差分値）、６０（青色の輝度値の差分値）となる。この場合、背景色と青色の輝度値の差分値が、背景色と赤色または緑色の輝度値の差分値よりも大きくなり、赤色または緑色の輝度値のうち背景色との差分が大きい緑色の差分値（２０）の定数倍（例えば、２倍）である差分値（４０）が青色の輝度値の差分値とされる。すなわち、青色の輝度値が１６０とされる。なお、本実施形態で使用する定数は、任意の数値とするが、数値が大きいと効果的に黄色成分が除去されないため、定数として１〜２が採用されるのが好適である。これにより、ディスプレイ１１７の光源に含まれる黄色成分を除去して視認性を向上させることができる。
【００５０】
このようにして、ステップＳ４１の処理によって算出された輝度値を用いることによって、画像データａが補正されることなる。
【００５１】
ここで、図６に戻ると、ステップＳ４１で画像データａを補正する一方、記憶・読出処理部１９は受信画像記憶部１００２に記憶されている画像データｂ（受信画像データ）を読み出す（ステップＳ４２）。画像データｂは、図５（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像となる。
【００５２】
そして、差分算出部１５ｂは、ステップＳ４１で補正されたの各画素の輝度値から、ステップＳ４２で読み出された画像データｂが表す画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４３）。次に、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４４）。ステップＳ４４で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値を、該当の位置の輝度値とする（ステップＳ４５）。ステップＳ４４で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値を輝度値とする（ステップＳ４６）。このようにして得られた輝度値に背景色の輝度値を加算する（ステップＳ４７）。ステップＳ４１からステップＳ４７までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）となる。差分画像（ａ−ｂ）は、図５（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。この描画像「あ」は差分画像生成部１５による上述の処理が施されているため、ぼやけてしまい、見にくいものとなっている。
【００５３】
続いて、先鋭化部１６が、ステップＳ４で生成された差分画像（ａ−ｂ）を用いて、先鋭化画像を生成する（ステップＳ５）。図８および図９を用いて、この処理について説明する。まず、二値化部１６ａが、ステップＳ４で生成された差分画像（ａ−ｂ）を二値化することによって、マスク画像（ａ−ｂ）’を生成する（ステップＳ５１）。具体的には、まず、画像を形成する各画素の輝度が、所定の閾値より高いか否かを判定する（ステップＳ５１１）。画素の輝度が所定の閾値より高い場合には、その画素に対応するフィルタの要素を０とし（ステップＳ５１２）、画素の輝度が閾値より低い場合には、その画素に対応するフィルタの要素を１とする（ステップＳ５１３）。このようにして、全ての画素に対してステップＳ５１１からステップＳ５１２またはステップＳ５１３の処理を行うことによって、マスク画像（ａ−ｂ）’が生成される。マスク画像（ａ−ｂ）’は、図５（４）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画素の位置に対応する値が「１」（図５（４）では○印で示される）、描画像「あ」が描画されていない画素の位置に対応する値が「０」（図５（４）では×印で示される）の情報をもっている画像である。なお、図５（４）で○印も×印も付与されていない箇所は、「０」（×印）の情報をもっているが、ここでは、図面の閲覧のしやすさのため×印を割愛して示している。
【００５４】
次に、マスク処理部１６ｂが、ステップＳ４で差分画像（ａ−ｂ）を生成するために用いられた画像データａ（撮影画像データ）を、ステップＳ５１の二値化処理によって得られたマスク画像（ａ−ｂ）’でマスク処理する（ステップＳ５２）。マスク処理とは、画像をマスク画像に基づいて、別の画像に変換する処理である。これによって、拠点Ａで描画された画像が先鋭化された先鋭化画像ａ”が得られることになる。先鋭化画像ａ”は図５（５）に示すように、描画像「あ」を先鋭化した画像となる。
【００５５】
再び図４に戻って、ステップＳ５の処理が終わると、送受信部１１が、ステップＳ６で得られた先鋭化画像ａ”を表す先鋭化画像データａ”を、拠点Ｂの画像処理装置１０に送信する（ステップＳ６）。拠点Ｂの画像処理装置の送受信部１１は、先鋭化画像データａ”を受信すると、プロジェクタ４０に対して送信する（ステップＳ７）。プロジェクタ４０は受信した先鋭化画像データａ”が表す画像を描画対象物２０に対して照射する。
【００５６】
また、ステップＳ６で先鋭化画像ａ”が得られると、合成画像生成部１７が、同様にして拠点Ｂから受信した先鋭化画像データｂ”に基づく先鋭化画像ｂ”と合成することによって合成画像（ａ”＋ｂ”）を表す合成画像データ（ａ”＋ｂ”）を生成する（ステップＳ８）。合成画像の生成はｐｈｏｔｏｓｈｏｐ（登録商標）等のソフトウェアによって実現され、画像処理装置１０ａで生成された先鋭化画像ａ”と画像処理装置１０ｂで生成された先鋭化画像ｂ”とを重ねることによって実施される。また、合成する両画像の明るさを比較し、それぞれの画像の暗い部分のみを表示させる等の一般に知られている方法を用いてもよい。ステップＳ８によって生成された合成画像データ（ａ”＋ｂ”）を、送受信部１１があらかじめ定められた配信先に配信する（ステップＳ９）。また、ステップＳ１０によって生成された合成画像データ（ａ”＋ｂ”）を、記憶・読出処理部１９は、合成画像記憶部１００３に記憶された合成画像データ（ａ”＋ｂ”）は、閲覧されたり、送信されたりといったように再活用される。
【００５７】
ステップＳ８で実施される合成画像データ（ａ”＋ｂ”）を生成する処理の詳細について、説明する。あらかじめ、図４のステップＳ５にて、先鋭化部１６が拠点Ａで撮影された画像を用いて先鋭化画像データａ”を生成すると、記憶・読出処理部１９が先鋭化画像記憶部１００４に先鋭化画像データａ”を記憶しておく。先鋭化画像記憶部１００４には先鋭化部１６が生成した最新の先鋭化画像データａ”のみが記憶されるものであり、既に記憶されていた先鋭化画像データａ”は新しく記憶される先鋭化画像データａ”で上書きされることにより消去される。同様にして、先鋭化部１６が拠点Ｂで撮影された画像を用いて先鋭化画像データｂ”を生成すると、記憶・読出処理部１９が先鋭化画像記憶部１００４に先鋭化画像データｂ”を記憶しておく。先鋭化画像記憶部１００４には先鋭化部１６が生成した最新の先鋭化画像データｂ”のみが記憶されるものであり、既に記憶されていた先鋭化画像データｂ”は新しく記憶される先鋭化画像データｂ”により上書きされることにより消去される。また、各拠点で画像が撮影されるタイミング、各画像データに対して先鋭化処理が行われるタイミングについては、拠点ごとにあらかじめ定められるものとし、拠点間では同期・非同期いずれの形態でもよい。
【００５８】
また、合成元情報記憶部１００５には、合成画像生成部１７によって合成画像が生成された際に、合成元となった先鋭化画像データａ”および先鋭化画像データｂ”を表す情報が記憶されている。
【００５９】
このような状態で、変更判定部１７ａが先鋭化画像記憶部１００４に記憶されている先鋭化画像データａ”および先鋭化画像データｂ”と、合成元情報記憶部１００５に記憶されている情報が表す先鋭化画像データａ”および先鋭化画像データｂ”がそれぞれ同一であるか否かを判定する。いずれの先鋭化画像データも同一でないと判定された場合には、生成部１７ｂが先鋭化画像記憶部１００４に記憶されている先鋭化画像データａ”および先鋭化画像データｂ”を合成することによって、合成画像データ（ａ”＋ｂ”）を生成する。また、いずれかが同一であると判定された場合には、生成部１７ｂは、合成画像データを生成せずに処理を終了する。
【００６０】
そして、記憶・読出処理部１９が生成された合成画像データ（ａ”＋ｂ”）を合成画像記憶部１００３に記憶する。
【００６１】
また、合成画像生成部１７で生成された合成画像データを用いて、画像エンコード部２１が動画像データを作成してもよい。このとき、合成画像生成部１７で生成された合成画像データは、いったん合成画像バッファに記憶される。そして、画像エンコード部２１が、合成画像バッファに記憶されている合成画像データを所定の時間おきに取得し、それらの取得した合成画像データを取得した順に動画ストリームとし、送受信部１１が通信ネットワーク５０でつながれている配信先としての装置７０に配信する。たとえば、画像エンコード部２１が０．１秒おきに合成画像バッファから合成画像データを取得した場合には、１０ＦＰＳ（Ｆｒａｍｅ  Ｐｅｒ  Ｓｅｃｏｎｄ）の動画ストリームとして配信することになる。
【００６２】
また、ステップＳ６で、画像処理装置１０ｂの送受信部１１が、画像データａ’を受信画像データとして受信すると、記憶・読出処理部１９が受信画像記憶部１００２に受信した画像データａ’を記憶する（ステップＳ１０）。画像処理装置１０ｂでは、この受信画像データを用いて、画像処理装置１０ａのステップＳ１乃至ステップ９までと同様の処理が行われることになる。
【００６３】
＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、撮影した画像から受信した画像を除去して二値化した画像をマスク画像として、撮影した画像をマスク処理する。これによって、差分画像処理、プロジェクタの光源による影響、外光による影響等が原因で劣化した画質を鮮明に復元することが可能となる。
【００６４】
また、合成画像データを生成し、他の装置に送信することによって、会議に参加していないユーザも会議で描画された画像を閲覧することが可能となる。
【００６５】
また、画像データを台形補正することにより、プロジェクタの照射による画像の歪みが修正され、歪みのない画像で各処理を正確に行うことが可能となる。
【００６６】
また、合成画像データをエンコードして送信することにより、会議で画像が描画される状況を動画として、ユーザが閲覧することが可能となる。
【００６７】
＜＜実施形態の補足＞＞
上述の実施形態では、通信ネットワーク５０に画像処理サーバを接続させ、この画像処理サーバが合成画像生成部１７を有するようにしてもよい。この場合、各拠点の画像処理装置１０でマスク処理された画像を表す画像データが、それぞれ画像処理サーバに送信される。その画像データを受信した画像処理サーバの合成画像生成部１７が、それらの画像データを合成した画像データを生成する。
【００６８】
また、合成された画像データを、画像処理サーバに記憶してもよい。通信ネットワークで接続された他の装置に対して配信したり、通信ネットワークで接続された他の装置が取得したりすることによって、再活用してもよい。
【００６９】
また、合成された画像データ（ａ”＋ｂ”）を記憶し、動画像データを生成してもよい。この動画像データを他の装置に対して配信する際には、会議中に録音された音声データを同時に配信してもよい。
【００７０】
また、上述の実施形態では、拠点Ａの画像処理装置１０ａ及び拠点Ｂの画像処理装置１０ｂを利用した２拠点間での画像データの合成を説明したが、３拠点以上の画像処理装置により生成された画像データを合成してもよい。
【００７１】
また、画像取得部１３が取得した画像データ、画像補正部１４が補正した画像データを記憶・読出処理部１９がいったん記憶バッファに記憶してもよい。この場合、記憶された画像データを記憶・読出処理部１９が読み出してから、後に続く処理が実施されることなる。
【００７２】
また、上述の実施形態では、二拠点の画像データを合成して合成画像データを生成する処理を説明したが、三拠点以上の先鋭化画像データが生成される場合にも同様の処理によって合成画像データが生成される。
【００７３】
また、予め定められた一の拠点で撮影された画像を用いて生成された先鋭化画像データが、先鋭化画像記憶部１００４に記憶された時点で、生成部１７ｂが合成画像データを生成してもよい。これによって、重要な拠点で描画された画像については変更のあるたびに合成画像データを生成することが可能となる。また、前回に合成画像データが生成されてから、予め定められた時間が経過した時点で先鋭化画像記憶部１００４に記憶されている先鋭化画像データを用いて、生成部１７ｂが合成画像データを生成するとしてもよい。これによって、いずれかの拠点の画像処理装置に障害が発生した場合も、他の拠点で描画が変更される状態を把握することができる。
【符号の説明】
【００７４】
１０  画像処理装置
１１  送受信部（画像データ受信手段、第一の送信手段、第二の送信手段、受信手段の一例）
１２  操作入力受付部
１３  画像取得部（画像データ取得手段の一例）
１４  画像補正部
１５  差分画像生成部（差分画像データ生成手段の一例）
１５ａ  輝度補正部
１５ｂ  差分算出部
１５ｃ  輝度値決定部
１６  先鋭化部
１６ａ  二値化部（二値化画像データ生成手段の一例）
１６ｂ  マスク処理部（マスク処理手段の一例）
１７  合成画像生成部（合成画像生成手段の一例）
１７ａ  変更判定部（合成判定手段の一例）
１７ｂ  生成部
１８ａ  表示制御部（表示手段の一例）
１８ｂ  音声出力制御部
１９  記憶・読出処理部
２１  画像エンコード部（画像エンコード手段の一例）
１０００  記憶部
１００１  撮影画像記憶部
１００２  受信画像記憶部
１００３  合成画像記憶部
１００４  先鋭化画像記憶部
１００５  合成元情報記憶部（合成元情報記憶手段の一例）
２０  描画対象物
２００  描画画像
２０１  描画領域
２０２  周辺領域
３０  撮影装置
４０  プロジェクタ
【先行技術文献】
【特許文献】
【００７５】
【特許文献１】特開２００４−０８０７５０公報
【図１】
2012109920.tif 000003
【図２】
2012109920.tif 000004
【図３】
2012109920.tif 000005
【図４】
2012109920.tif 000006
【図５】
2012109920.tif 000007
【図６】
2012109920.tif 000008
【図７】
2012109920.tif 000009
【図８】
2012109920.tif 000010
【図９】
2012109920.tif 000011