(57)【要約】      （修正有）【課題】カメラ付きプロジェクタを用いた電子会議システムにおいて、遠隔地にホワイトボードに対する書き込み操作とポインティング操作する様子を通知する。【解決手段】ホワイトボードを撮影した画像から、ホワイトボードに対する書き込み操作とポインティング操作とを検出し、それぞれの操作に応じた操作情報を作成しいて遠隔の会議端末に送信する。操作情報を受信した会議端末は、受信した操作情報に応じて、書き込み操作あるいはポインティング操作を示す画像オブジェクトをホワイトボードに投影する。【選択図】図４
2015109565.tif 000002
【特許請求の範囲】
【請求項１】
会議端末装置であって、
書き込み対象物を撮影する撮影手段と、
前記書き込み対象物に画像を投影する投影手段と、
前記会議端末装置を制御する制御手段と、
他の会議端末装置と通信する通信手段とを有し、
前記制御手段は、
前記撮影手段により撮影した画像から、人物の手の動きを検出し、検出した手の動きに対応した画像オブジェクトを示す操作情報を前記通信手段により前記他の会議端末装置に送信し、
前記他の会議端末装置から前記通信手段により受信した前記操作情報に基づいて画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする会議端末装置。
【請求項２】
前記制御手段はさらに、人物の手の動きとともに手の形状を検出し、前記形状が、前記書き込み対象物への書き込みを示すと判定される場合には、前記操作情報として、前記人物の手の動きの軌跡を示す軌跡情報を前記他の会議端末装置に送信し、
前記他の会議端末装置から前記通信手段により前記軌跡情報を受信した場合には、前記軌跡情報に基づいて軌跡の範囲を示す画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする請求項１に記載の会議端末装置。
【請求項３】
前記制御手段はさらに、人物の手の動きとともに手の形状を検出し、前記形状が、前記書き込み対象物を指し示すポインティングと判定される場合には、前記操作情報として、前記人物の手の位置を示す操作情報を前記他の会議端末装置に送信し、
前記他の会議端末装置から前記通信手段により前記操作情報を受信した場合には、前記操作情報に基づいて前記手の位置を示す画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする請求項１に記載の会議端末装置。
【請求項４】
前記制御手段は、前記撮影手段により撮影した画像から、人物を検出し、かつその手を検出しなかった場合、検出した人物に対応した画像オブジェクトを示す操作情報を前記通信手段により前記他の会議端末装置に送信し、
前記他の会議端末装置から前記通信手段により前記操作情報を受信した場合には、前記操作情報に基づいて人物に対応した画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする請求項１に記載の会議端末装置。
【請求項５】
前記制御手段は、前記撮影手段により撮影した画像から人物の顔を検出し、検出した顔の方向に基づいて、前記手の形状が書き込み対象物への書き込みを示すか、あるいは前記書き込み対象物へのポインティングを示すかを判定することを特徴とする請求項２又は３に記載の会議端末装置。
【請求項６】
音声を検出する手段を更に有し、
前記制御手段は、検出した音声に基づいて、前記手の形状が、書き込み対象物への書き込みを示すか、あるいは前記書き込み対象物へのポインティングを示すかを判定することを特徴とする請求項２又は３に記載の会議端末装置。
【請求項７】
操作者による入力を受け付けるユーザインタフェース手段を更に有し、
前記制御手段は、前記入力に基づいて、前記手の形状が、書き込み対象物への書き込みを示すか、あるいは前記書き込み対象物へのポインティングを示すかを判定することを特徴とする請求項２又は３に記載の会議端末装置。
【請求項８】
前記制御手段は、前記撮影手段により撮影した画像から、前記書き込み対象物に書き込まれた書き込み画像を検出し、検出した書き込み画像を示す書き込み画像情報を前記通信手段により前記他の会議端末装置に送信し、
前記他の会議端末装置から前記書き込み画像情報を受信した場合には、前記書き込み画像情報に基づいて画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする請求項１乃至７のいずれか一項に記載の会議端末装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の会議端末装置を、通信ネットワークにより複数台接続したことを特徴とする電子会議システム。
【請求項１０】
書き込み対象物を撮影する撮影手段と、前記書き込み対象物に画像を投影する投影手段と、通信手段とを有するコンピュータにより、
前記撮影手段により撮影した画像から、人物の手の動きを検出し、検出した手の動きに対応した画像オブジェクトを示す操作情報を前記通信手段により前記他の会議端末装置に送信する工程と、
前記他の会議端末装置から前記通信手段により受信した前記操作情報に基づいて画像オブジェクトを生成し、前記投影手段により投影させる工程と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、それぞれの端末のカメラで撮影した画像情報をネットワークを介して複数拠点間で共有し、それぞれの端末で表示するための、会議端末装置、電子会議システムおよびプログラムに関する。
【背景技術】
【０００２】
自拠点において遠隔地にある他拠点との会議を行うために電子会議システムが利用されることがある。電子会議システムでは、以下の処理が行われる。他拠点に設置されたホワイトボードや黒板等の書き込み対象物に書き込まれたテキストや図形等を、他拠点に設置されたカメラ等の撮影装置で撮影する。そして自拠点に設置されたプロジェクタ等の投影装置は、他拠点で撮影された画像を受信して、その画像を自拠点に設置されたホワイトボード等に投影する。このような処理が行われることにより、他拠点に設置された書き込み対象物上に書き込まれた内容を、自拠点においても参照することが可能になる（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2011-151764号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の電子会議システムは、他拠点に設置されたホワイトボード等の書き込み対象物上に書き込まれた内容を、自拠点において参照可能にする。このような電子会議システムにおいて、他拠点のホワイトボード等への書き込みの内容の他に、他拠点のホワイトボード等において現在書き込まれている領域の位置も、自拠点においてリアルタイムに参照可能にすることが望ましい。言い換えれば、他拠点のホワイトボード等において他拠点のユーザが操作している領域の位置を、自拠点のユーザが認識できることが、よりスムーズな電子会議を開催する上で望ましい。しかしながら、特許文献１記載の発明では、一方の拠点において当該拠点のユーザが操作している領域の位置を他方の拠点においてそのユーザに認識させることはできなかった。
【０００５】
本発明は上記従来例に鑑みて成されたもので、書き込まれた内容のみならず、進行中の書き込みやユーザの指示した位置等、ユーザが操作している領域を遠隔拠点でも共有できる電子会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
会議端末装置であって、
書き込み対象物を撮影する撮影手段と、
前記書き込み対象物に画像を投影する投影手段と、
前記会議端末装置を制御する制御手段と、
他の会議端末装置と通信する通信手段とを有し、
前記制御手段は、
前記撮影手段により撮影した画像から、人物の手の動きを検出し、検出した手の動きに対応した画像オブジェクトを示す操作情報を前記通信手段により前記他の会議端末装置に送信し、
前記他の会議端末装置から前記通信手段により受信した前記操作情報に基づいて画像オブジェクトを生成し、前記投影手段により投影させることを特徴とする。
【発明の効果】
【０００８】
本発明によって、遠隔地におけるホワイトボード等の書き込み対象物に対する操作の様子を通知することができる。
【図面の簡単な説明】
【０００９】
【図１】会議システムのネットワーク構成例を示す図
【図２】会議端末のハードウエア構成例を示す図
【図３】会議端末のソフトウエア構成例を示す図
【図４】ホワイトボードへ書き込み時の状態を示す図
【図５】撮影画像を元に書き込み画像情報を生成する処理のフローチャート
【図６】撮影画像を元に書き込み画像情報を生成する例を示す図
【図７】撮影画像を元に操作情報を生成する処理のフローチャート
【図８】ホワイトボードへ指で指し示す時の状態を示す図
【図９】ホワイトボードの撮影画像と操作状態の解析対応を示す図
【図１０Ａ】、
【図１０Ｂ】操作状態の解析結果から生成した操作状態情報の一例を示す図
【図１１】操作状態の解析結果から生成した操作軌跡情報の一例を示す図
【図１２】電子オブジェクト受信処理のフローチャート
【図１３】盤面画像形成処理のフローチャート
【図１４】背景画像の一例を示す図
【図１５】実施形態２における撮影画像を元に操作情報を生成する処理のフローチャート
【図１６】実施形態３におけるソフトウエア構成を示す図
【図１７】実施形態３における撮影画像と音声認識状態を元に操作情報を生成する処理のフローチャート
【図１８】実施形態４における撮影画像と手動による操作状態の切り替え情報を元に操作情報を生成する処理のフローチャート
【発明を実施するための形態】
【００１０】
［実施形態１］
以下、本発明を実施するための形態について図面を用いて説明する。
【００１１】
＜ネットワーク構成＞
図1に、会議システムのネットワーク構成例を示す。会議端末装置（以下、会議端末と呼ぶ）101、102は、それぞれゲートウエイサーバー103,104を介して通信ネットワークであるインターネット105と接続されている。会議端末同士はゲートウエイサーバー103,104及びインターネット105を介して、データを送受信できる。以下では、会議端末101側で行われる処理に注目して説明を行う。そこで、会議端末101を「本端末」と、会議端末102を「遠隔端末」と呼称するものとする。遠隔とは、通信を介していることを意味しており、距離の遠近には関わらない。会議端末102に注目した場合には、この関係が入れ替わることに注意されたい。また、本実施形態においては、遠隔端末は1台に限定するものではなく、複数台接続された構成となっても本実施形態を適用する事ができることを予め明言する。なお、各拠点における各機器は、まずホワイトボード等の書き込み対象物が置かれ、その書き込みを撮影できる位置、望ましくはほぼ正面の位置にカメラが設置され、ホワイトボードに他の拠点の書き込み画像が投影できる位置に投影機が設置される。
【００１２】
＜ハードウエア構成＞
図2に、会議端末のハードウエア構成例を示す。本実施形態では、カメラ付きプロジェクタを会議端末としている。なお、ここでは会議システムに接続するための専用ハードウェアデバイスとして会議端末を説明しているが、プロジェクタとカメラ付きスマートフォンを組み合わせる形で構成する事もできる。プロジェクタに市販品のWebカメラを接続して構成する事もできる。プロジェクタ内蔵のカメラ付きスマートフォンを用いる事もできる。いずれにせよ、ホワイトボード等の記録用ボードを撮影するためのカメラと、遠隔端末から受信した画像を投影するための投影機と、カメラで撮影した画像の画像処理等を行う処理装置と、遠隔端末あるいはサーバーとの間で画像データ等の送受信を行うための通信機とを会議端末は含む。
【００１３】
会議端末は、メインバス200を介してCPU201と、RAM202、ROM203とが接続されている。また、メインバス200を介してCPU201と、外部機器コントローラ204及び内部機器コントローラ205といった制御モジュールと接続されている。CPU201は後述するプログラム300を実行するためのユニットである。RAM202は、CPU201がプログラム300（図3に示す）を実行する際に必要となるデータに対する読み書き可能メモリである。ROM203はCPU 201がプログラム300を実行する際に必要となるデータを読み出すための読み込み専用メモリである。
【００１４】
外部機器コントローラ204は画像撮影モジュール211や画像投影モジュール212等の外部機器を制御する為のモジュールである。画像撮影モジュール211は、撮影の対象となる撮影面上の画像を撮影して画像データ（撮影画像と呼ぶ）として出力する為のモジュールである。画像投影モジュール212は、CPU201が生成した画像データ（投影画像と呼ぶ）を投影面に表示する為のモジュールである。ヒューマンインターフェイスデバイス（HID）モジュール213は人間からの操作を受け付けるためのモジュールである。音声入力モジュール214は人間からの音声入力を受け付け、音声データとして出力するためのモジュールである。例えば、画像撮影モジュール211としてCCD方式のカメラモジュールを、画像投影モジュール212としては液晶パネル方式のプロジェクションモジュールを用いる事ができる。また、HIDモジュール213としてはマウスを、音声入力モジュール213としてはマイクを用いることができる。HIDモジュール213は利用者に対してユーザインタフェースを提供する。
【００１５】
内部機器コントローラ205は内部機器を制御する為のモジュールであり、内蔵記憶装置221、ネットワークモジュール222を制御する為のモジュールである。内部記憶装置221はデータやプログラムを保存するための二次記憶装置である。ネットワークモジュール222はネットワーク上の別の機器と情報の送受信を行うためのモジュールである。ネットワークモジュール222としては有線LANに対応しているネットワークモジュールだけではなく、無線LANに対応しているネットワークモジュールを適用する事もできる。
【００１６】
＜ソフトウエア構成＞
図3に、会議端末のソフトウエア構成例を示す。プログラム300はRAM202ないしROM203に記憶され、会議システムを実現する為にCPU201で実行されるプログラムである。接続設定301は、接続先となる遠隔端末のIPアドレスなどの接続情報を記憶している設定データである。撮影画像入力部311は画像撮影モジュール211が撮影した撮影画像を受信する。本実施形態では、撮影画像入力部311が幾何補正や色調整の前処理を行うものとしている。書き込み画像生成部312は、撮影画像を解析しホワイトボードに描かれた物理書き込みを変換した書き込み画像を元に書き込み画像情報を生成する。書き込み画像更新部313は、本端末および遠隔端末に表示された書き込み画像情報を更新するもので、電子オブジェクト記憶部331への格納と遠隔拠点への送信を行う。なお電子オブジェクトは、それが画像に含まれる成分であるなら特に画像オブジェクトと呼ぶ。たとえば後述する書き込まれた文字や画像（これを書き込みとも呼ぶ）や、操作者による書き込み動作やポインティング動作を示す画像成分などが画像オブジェクトに相当する。
【００１７】
操作情報生成部341は、撮影画像を解析し人物の検知および手の形状検知の状態（あるいは結果）を元に操作情報を生成する。なお操作情報は２つに大別され、ひとつは操作情報の最新状態を示す操作状態情報、もうひとつは操作情報を軌跡として残すための操作軌跡情報である。操作状態記憶部342は、操作状態情報を記憶するものである。操作軌跡記憶部343は、操作軌跡情報を記憶するものである。操作情報更新部344は、本端末および遠隔端末に送信された操作情報を更新するもので、電子オブジェクト記憶部331への格納と遠隔拠点への送信を行う。電子オブジェクト送信信部314は、接続設定301に基づいて、書き込み画像更新部313と操作情報更新部344において送信が必要な電子オブジェクトをネットワーク上で送受信できる形式として電子オブジェクトをペイロードとするパケットを生成する。そして、ネットワークモジュール222を経由して遠隔端末へ送信する。
【００１８】
電子オブジェクト受信部321は、接続設定301に基づいて、遠隔端末から送信されてきた電子オブジェクトを含むパケットを受信し、当該パケットに含まれる電子オブジェクトを抽出する。電子オブジェクト更新判断部322は、電子オブジェクト受信部321が受信パケットから抽出した電子オブジェクトの種別に応じて電子オブジェクト記憶部331に格納されている情報を更新する。盤面画像形成部332は電子オブジェクト記憶部331が記憶している書き込み画像情報および操作情報から画像を形成する。形成する画像は３種類ある。第１は本拠点のホワイトボードに描かれた物理書き込みを撮影画像から抽出するための書き込み撮影用画像である。書き込み撮影用画像は、本拠点でホワイトボードへの書き込みを撮影する際に投影される画像であり、投影画像が撮影されないよう、例えば空白画像である。第２は遠隔端末のホワイトボードの書き込み画像と操作情報とを本端末で投影するための盤面共有用画像、第３は本拠点の操作情報を撮影画像から背景差分で抽出するための背景画像である。ホワイトボード上での操作は、書き込みに重畳して、遠隔端末の書き込み情報が投影表示された状態でおこなわれるために、操作を抽出すべく、例えば自端末でホワイトボードを撮影して取得した書き込み画像と、その時にホワイトボードに投影されている盤面共有画像とを合成した画像などである、書き込み画像撮影用画像と盤面共有用画像は投影画像記憶部335に格納し、投影画像出力部333が画像投影モジュール313を用いて投影面へ投影画像を投影する。背景画像は背景画像記憶部336に格納し、操作情報生成部341が背景差分に用いる。
【００１９】
また、ジェスチャ入力部361は、画像撮影モジュール211が撮影した撮影画像中から会議参加者の身振り・手振りを解析し、書き込み画像操作部364に通知する。HID入力部362は、HIDモジュール213で行われた操作を受け付け、書き込み画像操作部364に通知する。音声入力部363は、音声入力モジュール214から入力された音声データから会議参加者の声による操作を解析し、書き込み画像操作部364に通知する。書き込み画像操作部364は、書き込み画像情報生成部312に対してホワイトボードの書き込みを書き込み画像として取得する操作を指示する。
【００２０】
ここで、その他電子会議システムで必要とする一般的な機能を、プログラム300が持っていてもよい。例えば、遠隔端末を指定するために、接続先の会議端末を設定する為の接続先設定ダイアログボックスを設ける事ができる。遠隔端末を選択する為に、ネットワークモジュール222を介して外部に存在するサーバーに接続可能な端末を問い合わせする機能と、それをダイアログボックスに候補として通知する機能を設ける事ができる。会議におけるセキュリティを確保する為に、電子オブジェクトパケット送信信部314が送信する電子オブジェクトパケットを暗号化する機能を有する事ができる。電子オブジェクトパケット受信部321が受信した電子オブジェクトパケットを複号する機能を有する事ができる。これらは従来技術の電子会議システムで用いられる一般的な機能であり、本実施形態の本質に直接影響しないため、詳細は割愛する。なお、図3ではプログラムモジュールとして説明したプログラム３００に含まれる各ブロックの全部または一部をハードウエアで実現してもよい。
【００２１】
以下、ハードウエアとしてはCPU201が実行する、書き込み画像情報生成部312、操作情報生成部341、受信電子オブジェクト更新実施判断部322、および、盤面画像形成部332を中心に、本実施形態の特徴を説明する。
【００２２】
＜書き込み画像情報と操作情報＞
図４と図８とを用いて、本実施形態で電子オブジェクトとして扱う書き込み画像情報と操作情報とを、ホワイトボードと対応させて説明する。図４にホワイトボードへ書き込み時の状態を示す。図８にホワイトボードへ指で指し示す時の状態を示す。図４(a)〜(e)は、端末101拠点でホワイトボードへの書き込みを行い、書き込み最中の操作状態を端末102に表示し、そして端末101の書き込み画像を端末102で表示するまでの様子を順に示したものである。ここでまず用語を定義する。
【００２３】
書き込み画像：ホワイトボードを撮影しマーカーペンによる書き込みを画像に変換した画像。
操作状態（書き込み）：書き込みを行っている状態を示す。例えば撮影画像からペンを握る状態を操作状態として検知し生成した操作状態情報を遠隔端末へ送付する。操作状態情報を受信した遠隔端末側では操作状態（書き込み）を人物のシルエットと手の周囲の円で表示する。
操作軌跡：ホワイトボードへの書き込み操作の軌跡であり、操作状態（書き込み）が一定時間、一定距離を保持されたことを示す。遠隔端末による操作軌跡の表示は、次に書き込み画像を送付するタイミングまで保持される。
【００２４】
図４(a)は本拠点（端末101）と遠隔拠点（端末102）のホワイトボードに何も書かれていない初期状態を示す。この状態では、各拠点の拠点端末は起動され、図3のプログラム300の実行が開始される。ただしプログラム300は、ホワイトボードへの書き込みが既に行われている状態で実行されてもよい。
【００２５】
端末101側のホワイトボードへマーカーペンで書き込み402を開始すると、端末102側のホワイトボードに、ホワイトボードへ書き込み範囲を示す操作軌跡403と、現在の操作状態を示す操作状態404とが画像として投影され、表示される。図４(b)は、その状態を示している。
【００２６】
端末101側のホワイトボードへの書き込みを継続すると、端末102側のホワイトボードに、右方向へ広がった操作軌跡403と、右方向へ移動した現在の操作状態404とが画像として投影され表示される。図４(c)はその状態を示している。
【００２７】
図４(c)の状態で、端末101側のホワイトボードへの書き込み402をやめても、端末101のホワイトボードへの書き込み画像が端末102で表示されるまでは、端末102側のホワイトボードに操作軌跡403が投影されたままの状態が維持される。図４(d)はその状態を示している。
【００２８】
端末101が、ホワイトボードの書き込み画像405を端末102に送信すると、端末102側のホワイトボードに、受信した書き込み画像406が投影表示さ、それと共に操作軌跡の表示は取りやめられて消える。図４(d)はその状態を示している。
【００２９】
図８（a）〜（c）は、端末101拠点でのホワイトボードへの指で指し示すと、指し示した操作状態を端末102に表示する様子を示したものである。また撮影画像から人物の手の状態を検知できなかった場合の挙動も示す。まず用語を定義する。  操作状態（ポイント指示）：指で指し示す状態を示す。撮影画像から指差し状態を検知し生成した操作状態情報を遠隔端末へ送付する。その操作状態情報を受信した遠隔端末では操作状態（ポイント指示）を人物のシルエットと手の周囲への塗りつぶし円で表示する。
操作状態（手未検出）：人物が立っている状態を示す。撮影画像から人物領域のみ検知し手の形状は検知できなかった場合、操作状態（手未検出）を示す操作状態情報を生成して、その情報を遠隔端末へ送付する。その操作状態情報を受信した遠隔端末側では人物のシルエットのみ表示する。
【００３０】
図８（a）は本拠点（端末101）と遠隔拠点（端末102）のホワイトボードにお互いの書き込み画像を重畳投影している状態を示す。端末101側の書き込み801「a+b=」の書き込み画像803が端末102側に投影される一方、端末102側の書き込み804「2」の書き込み画像802が端末101側へ投影されることを示している。この状態で端末101側のホワイトボードに人物が指を指し示すと、操作状態（ポイント指示）が検出されて、それを示す操作状態情報が端末102に送信される。それを受信した端末102は、ホワイトボードに、現在の操作状態を示す操作状態（ポイント指示）805を表示する。図８(b)はその状態を示している。図８（c）では、端末101側のホワイトボードに人物が背を向けて書き込みを行っている。この状態では人物領域は検知できても手の形状は検知できない。そのため端末101側では操作状態（手未検出）を検知し、それを示す操作状態情報を端末102に送信する。それを受信した端末102は、端末102側のホワイトボードに現在の操作状態である操作状態（手未検出）806を投影して表示する。
【００３１】
＜書き込み画像情報生成処理＞
図５と図６を用いて書き込み画像情報を生成する処理を説明する。図５は、撮影画像を元に書き込み画像情報を生成する処理のフローチャートである。本処理は書き込み画像生成部312で行われ、撮影画像を解析しホワイトボードに描かれた物理書き込みを変換した書き込み画像を元に書き込み画像情報を生成するものである。図６は、撮影画像を元に書き込み画像情報を生成する例である。この処理は撮影画像入力部311から送られる動画の毎フレームに対して行われる。あるいは所定数のフレームおきに行われてもよい。図６はCPU201により実行される。
【００３２】
撮影画像等から書き込み画像の生成タイミングに適しているかを判定する(S4000)。なお、以下の説明では書き込み画像の生成タイミングのことを撮影タイミングと呼ぶ。会議参加者がジェスチャ入力部361や、HID入力部362、音声入力部363を介して操作を行い、書き込み画像操作部364から撮影タイミングを受け取ることができる。例えば、画像撮影モジュール211が撮影した撮影画像をジェスチャ入力部361が解析し、その中で行われた特定の身振り・手振りを持って、撮影タイミングであると判定できる。また、ジェスチャ入力部361が撮影画像中から動体が無くなるタイミングをもって、撮影タイミングであると判定する事もできる。HIDモジュール213としてのマウスでクリックしたことをHID入力部302が解釈し、撮影タイミングであると判定できる。音声入力モジュール213で入力された音声を音声入力部263で解釈し、特定キーワードを検出したタイミングを、撮影タイミングであると判定できる。
【００３３】
上記の撮影タイミングであるかを判断した結果に基づいて処理を分岐する(S4010)。撮影タイミングではない場合には、このフレームに対する処理を終了する。撮影タイミングである場合には、書き込み撮影用画像の投影指示をセットする(S4020)。これは後述する盤面画像形成部332に対して、書き込み撮影用画像をプロジェクタに投影するための指示を出すものである。そして盤面画像形成部332にて形成された書き込み撮影用画像が投影されたホワイトボードを撮影し、撮影画像を取得する（S4022）。書き込み撮影用画像とは、ホワイトボードに描かれた書き込み画像を撮影するためにホワイトボードに投影するための画像であり、たとえば空白画像である。
【００３４】
この処理例を図６（a）〜（c）に示す。図６（a）では端末101拠点に端末102拠点の書き込み602の画像601が投影されており、図６（b）にてユーザが、端末101拠点でホワイトボードへ書き込み603の書き込みを行う。書き込み中は、図６(b)のように、操作軌跡604が端末102により表示される。そして拠点101では、図６（c）に示すように、書き込み撮影用画像605を投影し端末102の書き込みの投影をやめた状態の撮影画像を取得する。この例では書き込み撮影用画像605は空白であり、端末101における書き込み602の書き込み画像601が投影されていない。
【００３５】
S4022で撮影画像を取得すると盤面画像形成部332に対する書き込み撮影用画像の投影指示を解除する（S4023）。取得した撮影画像に対して盤面共有領域の幾何変換と色処理等の画像処理を行いホワイトボードの書き込みを書き込み画像として生成する（S4024）。生成した書き込み画像を元に書き込み画像情報を生成する（S4026）。書き込み画像情報の例を図６（e）に示す。図に示した通り書き込み画像情報610は、オブジェクトID611、オブジェクトタイプ612、生成端末情報613、生成時刻情報614、画像情報615、画像位置情報616の属性を持つ。オブジェクトID611は書き込み画像情報を含む電子オブジェクトにシーケンシャルに付与される識別子である。オブジェクトタイプ612は電子オブジェクトの種類を示すものでここでは書き込み画像情報を示す情報「書き込み画像」をセットする。生成端末情報613は、電子オブジェクトを生成した端末を表わす識別子がセットされる。本実施形態では端末101と端末102とする。生成時刻情報614は電子オブジェクトを生成した時刻を示す。画像情報615は書き込み画像として生成した画像データ本体である。画像位置情報616は盤面共有領域内に書き込み画像を配置する座標情報である。本実施形態では盤面共有領域の左上を原点とする座標系とする。また書き込み画像は盤面共有領域全体を対象とし常に左上に配置される例を示しており、画像位置情報は(0,0)である。
【００３６】
生成した書き込み画像情報は書き込み画像情報更新部313にて電子オブジェクト記憶部331に格納し（S4028）、そして電子オブジェクト送信部314を用いて遠隔端末へ送信する（S4030）。
【００３７】
図６（d）に示す通り、生成された書き込み画像情報607を遠隔端末に送信すると、遠隔端末（端末102）に本端末（端末101）で書き込んだ書き込み画像情報607すなわち「a+b=」という書き込み画像が投影され、ホワイトボードの書き込みが共有される。
【００３８】
＜操作情報生成処理＞
図７、図９、図１０Ａ、図１０Ｂ、図１１、図１４を用いて操作情報を生成する処理を説明する。図７は、撮影画像を元に操作情報を生成する処理のフローチャートである。本処理は操作情報生成部341で行われ、撮影画像を解析して得た人物の操作状態を元に操作情報を生成するものである。図９は、ホワイトボードの撮影画像と操作状態の解析対応の一例を示す。図１０Ａ、図１０Ｂ（まとめて図１０と呼ぶ）は、操作状態の解析結果から生成した操作状態情報の一例を示す。図１１は、操作状態の解析結果から生成した操作軌跡情報の一例を示す。図１４は、背景画像の一例を示す。図７のフローチャートに沿って処理と、処理例を説明する。処理例は図９に示した操作状態の解析結果から生成した操作状態情報の一例を参照しながら説明する。
【００３９】
ステップS4100で背景画像記憶部336から背景画像を取得する。ここで図９に端末101側におけるホワイトボードの状態例、そして図１４に背景画像に一例を示す。図９（a）に示した通りホワイトボードの撮影範囲９０１内には書き込み「a+b=」と投影された画像「2」が存在する。この場合図１４に示した通り端末101が取得した書き込み画像「a+b=」と端末102が取得した書き込み画像「2」とにそれぞれ対応する書き込み画像情報を、それぞれの位置情報に応じて合成し、合成された背景画像「a+b=2」が背景画像記憶部336に格納される。なお本例では書き込み画像のみが背景画像を構成しているが、遠隔端末における操作状態をホワイトボードに表示している本端末では、遠隔端末の操作状態を示す画像も背景画像に合成される。  ステップS4102で撮影画像入力部311から撮影画像を取得する。ステップS4104で撮影画像と背景画像から背景差分の画像を生成する。ステップS4106で背景差分画像から人物領域を抽出する。ここまでの処理例を図９に示す。図９（a）は人物領域の検出なし、図９（b）〜図９（d）は人物領域の検出あり、図９（e）は人物領域の検出ありでかつ複数の人物領域を検出している状態である。
【００４０】
ステップS4110で人物領域の検出有無で処理を分岐する。次のステップ以降で操作状態情報を生成するので、まずは操作状態情報のフォーマットを説明する。なお、ここでは背景差分画像にオブジェクトが含まれていればそれを人物領域と判定する。撮影画像と背景画像とでは例えば書き込み画像の位置がずれていることもあり得る。そこで、背景差分画像に含まれた例えば消去しきれない輪郭線などを検出し、それを削除する補正を施してもよい。
【００４１】
図１０に示した通り操作状態情報1000は、オブジェクトID1001、オブジェクトタイプ1002、生成端末情報1003、生成時刻情報1004、人物有無1005、人物ID1006、人物領域情報1007、人物位置1008、手の検出1009、操作タイプ1010、手の位置1011の属性を持つ。ここでオブジェクトID1001は操作状態情報を含む電子オブジェクトにシーケンシャルに付与される識別子である。オブジェクトタイプ1002は電子オブジェクトの種類を示すものでここでは操作状態情報を示す「操作状態」をセットする。生成端末情報1003は、電子オブジェクトを生成した端末を表わす識別子を用いる。本実施形態では端末101と端末102とする。生成時刻情報1004は電子オブジェクトを生成した時刻を示す。人物有無1005は人物領域の検出のありなしを示す。人物ID1006は検出した人物領域にシーケンシャルに付与される識別子である。ここでは撮影画像の左側から順に１，２，３と付与する。人物領域情報1007は抽出した人物領域の画像データ本体である。人物領域は矩形であり人物領域を示す単色の画像とする。人物位置1008は盤面共有領域内に対する人物領域の位置座標情報である。本実施形態では盤面共有領域の左上を原点とする座標系で、人物領域の矩形左上の座標を格納する。手の検出1009は手の形状の検出ありなしを示す。操作タイプ1010は手の形状検出結果から決定する操作タイプで、「ポイント指示」あるいは「書き込み」のいずれかを格納する。手の位置1011は手の形状の検出位置を示すものである。手の検出位置の中央座標を格納する。
【００４２】
ステップS4110で人物領域を検出しなければステップS4120へ進み人物領域無しの操作状態情報を生成する。この処理例は図９（a）に示した解析状態に対応し、図１０（a）に示す操作状態情報を生成する。図９の撮影範囲901内に表示される書き込み画像等の画像および書き込みは背景画像に含まれるため、図９(a)のホワイトボードの撮影画像からは人物領域は検出されない。そこで人物領域無しのため人物有無1005に「なし」、その他人物や手の検出に関する情報は不要なので（null）をセットする。ステップS4130へ進む。
【００４３】
ステップS4110で人物領域を検出したならばステップS4150へ進む。ステップS4150からステップS4166の間は検出した人物領域の回数だけループする。図９（b）〜図９（d）は人物領域を１つ検出するのでループ回数は１回となる。図９（e）は人物領域を２つ検出するのでループ回数は２回である。
【００４４】
ステップS4150で新しい人物領域に対して手の形状をテンプレートマッチングする。ここで検出する手の形状は３種類ある。第１は、図９（b）に示した手の形状検出なし、第２は、図９（c）に示した手のポイント指示形状、第３は、図９（d）に示した手の書き込み形状である。指とペンとを正確に区別するために、例えばペンには特定の識別色や形状のマークを付してもよい。
【００４５】
ステップS4152で手の形状のテンプレートマッチング結果に応じて処理を分岐する。ステップS4152で手の形状が未検出の場合ステップS4154へ進み、未検出タイプの操作状態情報を生成する。具体的には図１０（b）に示す操作状態情報1000を生成する。人物領域ありのため人物有無1005に「あり」、人物ID1006は1、人物領域情報1007は図９（b）の人物領域画像、人物位置1008は図９（b）に示す座標情報、手の検出1009はしていないので「なし」、操作タイプ1010と手の位置1011に関する情報は不要なので（null）をセットする。ステップS4160へ進む。
【００４６】
ステップS4152で手の形状がポイント指示形状の場合ステップS4156へ進み、ポイント指示タイプの操作状態情報を生成する。具体的には図１０（c）に示す操作状態情報1000を生成する。人物領域ありのため人物有無1005に「あり」、人物ID1006は1、人物領域情報1007は図９（c）の人物領域画像、人物位置1008は図９（c）に示す座標情報、手の検出1009は「あり」、操作タイプ1010は「ポイント指示」、手の位置1011は図９（c）に示す手を検出した座標をセットする。ステップS4160へ進む。
【００４７】
ステップS4152で手の形状が書き込み形状の場合ステップS4158へ進み、書き込みタイプの操作状態情報を生成する。具体的には図１０（d）に示す操作状態情報1000を生成する。人物領域ありのため人物有無1005に「あり」、人物ID1006は1、人物領域情報1007は図９（d）の人物領域画像、人物位置1008は図９（d）に示す座標情報、手の検出1009は「あり」、操作タイプ1010は「書き込み」、手の位置1011は図９（d）に示す手を検出した座標をセットする。ステップS4170へ進む。ここまでの処理で生成した操作状態情報1000は操作状態記憶部342に格納する。
【００４８】
次に操作軌跡情報の生成に関する処理を説明する。操作軌跡情報は図４で説明したとおり操作状態（書き込み）が一定時間、一定距離内を保持されたと判断すると生成するものである。操作軌跡情報の生成処理はステップS4170以降の処理で行う。また判断の途中で不要となる操作軌跡情報はステップS4160以降の処理で削除する。
【００４９】
まずは操作軌跡情報の生成をステップS4170から説明する。操作軌跡情報は図１１にフォーマットを示す。操作軌跡情報1100は操作軌跡情報記憶部343に格納する。内容は操作状態情報の書き込みタイプに準ずる。すなわち操作軌跡情報1100に含まれる項目1101〜1111は、操作状態情報1000の項目1001〜1011に準ずる。異なるのはオブジェクトタイプ1102である。オブジェクトタイプ1102には軌跡候補と軌跡確定の２つが存在する。図１１（a）は、操作軌跡情報1100のうち、軌跡情報の候補として一時的に記憶するものの一例であり、図１１（b）は、操作軌跡情報1100のうち、軌跡情報として確定したものの一例である。
【００５０】
ステップS4170で操作軌跡記憶部343に操作軌跡候補、すなわちオブジェクトタイプ1102が「軌跡候補」である操作軌跡情報1100が存在するか判定する。操作軌跡候補が無ければステップS4182へ進み新たな操作軌跡候補を生成する。具体的にはステップS4158で生成した書き込みタイプの操作状態情報1000を複製し、そのオブジェクトタイプを「操作状態」から「軌跡候補」に変更した操作軌跡情報1100を新たな操作軌跡候補として新規生成する。ステップS4166へ進み、他の人物領域がまだ残っていればステップS4150からの処理に戻る。ステップS4166で他の人物領域が残っていなければステップS4130へ処理を進める。
【００５１】
一方、ステップS4170で操作軌跡候補が存在すればステップS4172へ進む。ステップS4172で、操作軌跡記憶部343に格納されている操作軌跡候補の生成時刻情報を参照し、現在の時刻が生成時刻から一定時間が経過しているかを判断する。生成時刻から一定時間が経過していない場合（NO）にはなにも処理をせずにステップS4166へ進む。ステップS4166で他の人物領域がまだ残っていればステップS4150からの処理に戻る。ステップS4166で他の人物領域が残っていなければステップS4130へ処理を進める。
【００５２】
一方ステップS4172で、ステップS4170で見出した操作軌跡記憶部343に格納された操作軌跡候補の生成時刻情報を参照し、生成時刻から一定時間が経過している（YES）場合にはステップS4174へ進む。ステップS4174では、操作軌跡記憶部343に格納される操作軌跡候補の手の位置座標と、ステップS4158で生成した書き込みタイプの操作状態情報の手の位置座標とを比較する。比較は２つの位置の間の距離を算出することで行う。位置差分すなわち距離が一定距離以下の場合（YES）、ステップS4176で現在の操作軌跡候補を確定した操作軌跡に変更して保持する。具体的には、ステップS4170で見出された操作軌跡候補の、図１１（a）に示したオブジェクトタイプ1102を、「軌跡候補」から図１１（b）に示した「軌跡確定」に変更する。ステップS4178へ進む。ステップS4178で、ステップS4158で生成した書き込みタイプの操作状態情報1000を複製し、そのオブジェクトタイプを「軌跡候補」に変更した新たな操作軌跡情報1100を、新たな操作軌跡候補として操作軌跡記憶部343に追加してステップS4166へ進む。
【００５３】
一方ステップS4174で判断する手の位置差分が一定距離以下で無い場合（NO）、ステップS4180で操作軌跡候補の操作軌跡情報を更新する。具体的にはステップS4158で生成した書き込みタイプの操作状態情報のオブジェクトタイプ1002を「軌跡候補」に変更した操作軌跡情報1100を、既存の（すなわちステップS4170で見出した操作軌跡候補の）操作軌跡情報と置き換える。換言すれば、既存の操作軌跡候補のオブジェクトタイプ1102を除く各フィールドに、ステップS4158で生成した操作状態情報の対応するフィールドの値を上書きする。ステップS4166へ進む。ステップS4166で他の人物領域がまだ残っていればステップS4150からの処理に戻る。ステップS4166で他の人物領域が残っていなければステップS4130へ処理を進める。
【００５４】
このように、手が書き込み形状であることを検出すると、手が一定の速さ以下の速さで移動していれば、書き込みが行われていると判定して、その手の軌跡を一定時間おきの座標として記録する。
【００５５】
次に不要となる操作軌跡情報の削除処理を説明する。ステップS4160で操作軌跡記憶部343に操作軌跡候補が存在するか確認する。操作軌跡候補が無い場合（NO）ステップS4166へ進む。
【００５６】
一方ステップS4160で操作軌跡候補がある場合（YES）ステップS4162へ進む。ステップS4162で、操作軌跡記憶部343に格納される操作軌跡候補の生成時刻情報を参照し、生成時刻から一定時間が経過しているかを判断する。生成時刻から一定時間が経過していない場合（NO）にはなにも処理をせずにステップS4166へ進む。
【００５７】
一方ステップS4162で、操作軌跡情報記憶部343に格納される操作軌跡候補の生成時刻情報を参照し、生成時刻から一定時間が経過している（YES）場合にはステップS4164へ進む。生成時刻から一定時間が経過しているポイント指示タイプの操作軌跡候補は不要であると判断される。ステップS4164では、不要となった操作軌跡候補の操作軌跡情報1100を削除しステップS4166へ進む。ステップS4166で他の人物領域がまだ残っていればステップS4150からの処理に戻る。ステップS4166で他の人物領域が残っていなければステップS4130へ処理を進める。
【００５８】
操作状態情報と操作軌跡情報の更新処理をステップS4130とステップS4140で説明する。本処理は操作情報更新部344で処理される。ステップS4130で、操作状態記憶部342に格納されている操作状態情報を電子オブジェクト記憶部331へ格納する。ステップS4140で、操作状態記憶部342に格納される操作状態情報と、操作軌跡記憶部342に格納される確定した操作軌跡情報、すなわちオブジェクトタイプ1102が「軌跡確定」の操作軌跡情報とを、電子オブジェクトパケット送信部314を用いて遠隔端末へ送信する。送信済みの操作状態情報と操作軌跡確定情報とを削除し処理を終了する。
【００５９】
＜電子オブジェクト受信処理＞
図１２を用いて電子オブジェクト受信処理を説明する。図１２は電子オブジェクト受信処理のフローチャートである。本処理は電子オブジェクト更新判断部322で行われ、受信した電子オブジェクトの種類に応じて電子オブジェクト記憶部の内容を更新するものである。受信するオブジェクトは３種類に大別される。図６（e）に示した書き込み画像情報、図１０（a）〜（e）に示した操作状態情報、図１１（b）に示した、確定した操作軌跡情報である。
【００６０】
ステップS4200で、電子オブジェクト受信部321を用いて受信した電子オブジェクトを取得する。ステップS4210で、受信したオブジェクトの種類をオブジェクトタイプで判断する。ステップS4210で、受信したオブジェクトが書き込み画像情報610と判断したならばステップS4220へ進み、電子オブジェクト記憶部331に格納されている操作軌跡情報のうち、受信した書き込み画像情報610と生成端末614が同一の操作軌跡情報を削除しステップS4230へ進む。これは図４（e）に示した書き込み画像406を受信するとそれまで投影表示していた操作軌跡403の表示を消すためである。ステップS4230で、電子オブジェクト記憶部331に格納されている書き込み画像情報610のうち、受信した書き込み画像情報610と生成端末614が同一の書き込み画像情報を、受信した書き込み画像情報610で更新して処理を終了する。この処理により遠隔端末から送付された書き込み画像情報を最新にすることが完了する。
【００６１】
ステップS4210で受信したオブジェクトが操作状態情報1000と判断したならばステップS4240へ進み、電子オブジェクト記憶部331に格納されている、受信した操作状態情報と生成端末が同一の操作状態情報を、受信した操作状態情報で更新し処理を終了する。この処理により遠隔端末から送付された操作状態情報を最新にすることが完了する。ステップS4210で受信したオブジェクトが操作軌跡情報と判断したならばステップS4250へ進み、電子オブジェクト記憶部331に操作軌跡情報を追加的に格納し処理を終了する。この処理により遠隔端末から送付された操作軌跡情報を追加することが完了する。
【００６２】
＜盤面画像形成処理＞
図１３を用いて盤面画像を形成する処理を説明する。図１３は盤面画像形成処理のフローチャートである。本処理は盤面画像形成部332で行われ、書き込み画像情報生成部312からの撮影用投影画像の生成指示を判断して電子オブジェクト記憶部331に格納される電子オブジェクトから投影画像と背景画像を形成するものである。投影画像には２種ある。第１は、拠点でホワイトボードへの書き込みを撮影する際に投影される書き込み撮影用画像である。これは例えば空白画像である。第２は遠隔端末のホワイトボードの書き込み画像と操作情報とを本端末で投影するための盤面共有用画像である。これらをまとめて投影用画像と呼んでいる。
【００６３】
ステップS4300で、書き込み画像情報生成部312から指示される撮影用画像の投影指示のセット状態を判断する。そしてステップS4310で撮影用画像の投影指示がセット状態ならば（YES）、撮影用画像を投影する処理をステップS4320からステップ4324で行う。
【００６４】
一方、ステップS4310で撮影用画像の投影指示がセット状態でなければ（NO）、本拠点と遠隔拠点でホワイトボードの書き込み画像と遠隔拠点の操作状態そして操作軌跡を知るための投影画像すなわち盤面共有用画像を形成すると共に、背景画像を形成するまでの処理を行う。こちらはステップS4330からステップS4352で行う。
【００６５】
まずは撮影用画像を投影する処理をステップS4320からステップ4324で説明する。ステップS4320で投影用画像データを初期化する。具体的にはホワイトボードに投影する撮影用画像である白画像で投影用画像を初期化する。ステップS4322で、作成した撮影用画像を投影画像記憶部335に投影用画像として格納する。ステップS4324で撮影用画像を背景画像として背景画像記憶部336に格納する。以上の処理により投影画像出力部333が投影画像記憶部335に格納した書き込み撮影用画像が画像投影モジュール212によりホワイトボードへ投影される。
【００６６】
次に盤面共有用の投影画像と背景画像の形成処理をステップS4330からステップS4352で説明する。ステップS4330で電子オブジェクト記憶部331に格納される電子オブジェクトの更新状態をチェックし更新が無い場合（NO）新たな投影画像と背景画像の形成は不要なので処理を終了する。
【００６７】
一方電子オブジェクトに更新がある場合（YES）新たな投影画像と背景画像の形成をするためステップS4340の処理へ進む。ステップS4340で投影用画像を初期化する。具体的にはホワイトボードに投影する背景色である白画像で初期化する。ステップS4342で、電子オブジェクト記憶部331に格納される操作軌跡情報のうち、生成端末1103が、本処理を実行している端末以外の端末（これを他拠点の端末と呼ぶ）であるような操作軌跡情報を描画する。具体的には図４（d）に示す操作軌跡情報403に対応する。描画対象は図１１（b）に示した確定した操作軌跡情報である。ステップS4342では、この情報の手の位置座標1111で示される位置を中心とした一定サイズの塗りつぶし円を描画する。操作軌跡情報は複数存在することが可能である。そのため図４（d）に示した通り複数の円を重ねて描画することにより書き込み操作を行った軌跡として描画を行う。
【００６８】
ステップS4344で、電子オブジェクト記憶部331に格納される操作状態情報のうち、生成端末1003が他拠点の端末であるような操作状態情報を描画する。具体的には、図１０(d)に示すような、人物有無1005が「あり」かつ手の検出1010が「あり」であり、かつ操作タイプ1010が「書き込み」の操作状態情報は、図４（c）に示すような書き込みタイプの操作状態403として描画される。また、図１０(c)(e)に示すような、人物有無1005が「あり」かつ手の検出1010が「あり」であり、かつ操作タイプ1010が「ポイント指示」の操作状態情報は、図８（b）に示すようなポイント指示タイプの操作状態805として描画される。図１０(c)(e)に示すような、人物有無1005が「あり」かつ手の検出1010が「なし」の操作状態情報は、図８（c）に示すような手未検出タイプの操作状態806として描画される。ポイント指示タイプと書き込みタイプでは、人物領域情報の画像を人物位置が示す座標位置にそれぞれ図９(c)、図９(d)のように描画する。更には手の位置を示す座標を中心とした一定サイズの円を描画する。手未検出タイプは人物領域情報の画像を人物位置が示す座標位置に図９(b)のように描画する。
【００６９】
ステップS4346で、電子オブジェクト記憶部331に格納される生成端末が他拠点の書き込み画像を描画する。具体的な一例を図６（d）に示す端末102拠点を用いて説明する。端末102では端末101で生成された「a+b=」に相当する書き込み画像を投影する。図６（e）のオブジェクトタイプが書き込み画像であり生成端末情報が端末101である書き込み画像情報が対象である。ステップS4348で、形成した画像を投影画像記憶部335に格納する。以上でホワイトボードに投影するための盤面共有用画像の形成が完了する。
【００７０】
次にステップS4350で、ステップS4344までで生成した画像に対して生成端末が本拠点の書き込み画像を追加的に描画する。具体的な一例を図６（d）に示す端末102拠点を用いて説明する。端末102では図６（e）に示す通り本拠点（端末102）の書き込みを画像として取得した書き込み画像情報を保持している。ここでは書き込み「2」の書き込み画像を撮影などで取得し、ステップS4348で保存した盤面共有用画像の上に追加的に描画する。これにより図１４(c)に示す背景画像の形成が完了する。ステップS4352で、ステップS4350で形成した画像を背景画像記憶部336に格納し処理を終了する。
【００７１】
以上説明した通り、本実施形態の従来のカメラ付きプロジェクタを用いた電子会議システムでは、遠隔地にホワイトボードに対する書き込みやポインティングなどの操作の様子を通知することができる。ホワイトボードの撮影画像からホワイトボードへの書き込み状況を検出し、遠隔地へ書き込み状況を示す情報を通知することで、遠隔地側でホワイトボードへの書き込み領域を知ることができるようになる。またホワイトボードの撮影画像からホワイトボードへの指差し指示を検出し、遠隔地へ指差し指示をする領域の情報を通知することで、自拠点で指さし指示をしている領域を他拠点と共有できるようになる。
【００７２】
［実施形態２］
実施形態２では人物領域に顔を検出したかにより操作状態を区別する方法に関して説明する。実施形態１の手の形状をテンプレートマッチングすることにより操作状態を区別していた。人物がホワイトボードの盤面を指さしながら会議の参加者に向かって説明するケースにおいては、図９（c）に示した通りおおむねホワイトボードを指さしている人物の顔は正面をむいている状態にある。ここでは図１５を用いて本実施形態の操作情報生成処理を説明する。図１５は、実施形態２における撮影画像を元に操作情報を生成する処理のフローチャートである。本処理は操作情報生成処理部341で行われ、撮影画像を解析して得た人物の操作状態を元に操作情報を生成するものである。図７のステップS4100〜S4140の処理については本実施形態でも共通に実行されるので省略する。図１５は、図７のステップS4110における判定がYESの場合の分岐後の処理を示す。図７のステップS4150以降で説明した実施形態１の処理との差分は、S4152における分岐先と、その分妃としてステップS4190〜ステップS4191が加わったことである。生成する操作情報には変更はない。
【００７３】
ステップS4150で、新しい人物領域に対して手の検出を行う。ここではテンプレートマッチングや肌色検出等の手法により手の検出を行う。形状の判断は行わない。なお図１５のステップS4150およびS4152には、図７のステップS4150およびS4152と異なる説明が記載されているが、それぞれ同じ処理であってよい。ステップS4152で手を検出しなかった場合（NO）、ステップS4154に進み、未検出タイプの操作状態情報を生成するフローへ進む。処理は図７で説明したとおりであるので割愛する。ステップS4152で、手を検出した場合（YES）はステップS4190に進み、人物領域に対して顔の検出を行う。
【００７４】
ステップS4191で、正面を向いた顔を検出した場合（YES）には、ステップS4156へ進みポイント指示タイプの操作状態情報を生成する。一方ステップS4191で、正面を向いた顔を検出しなかった場合（NO）には、ステップS4158へ進み書き込みタイプの操作状態情報を生成する。
【００７５】
以上説明したとおり、人物の顔が正面を向いていることを判断材料として操作状態がポイント指示であるか書き込みであるかを判断することが可能になる。
【００７６】
［実施形態３］
実施形態３では操作状態を音声により切り替える方法に関して説明する。実施形態１、実施形態２においては画像処理による手の形状や顔の検出を用いて操作状態を区別していた。人物がホワイトボードの盤面を指さしながら会議の参加者に向かって説明するケースにおいては、図９（c）に示した通り会議の参加者に向かって説明する言葉を発している状態にある。
【００７７】
図１６、図１７を用いて本実施形態のソフトウエア構成と操作情報生成処理を説明する。図１６は、実施形態３におけるソフトウエア構成を示す図である。図１６は本実施形態のソフトウエア構成図であり、図３で示した実施形態１、実施形態２との差分は、操作状態切り替え部345を備えることである。操作状態切り替え部345は、操作情報生成部341に操作状態がポイント指示であるか書き込みであるかを通知するものである。操作状態の切り替えはHID入力部362又は音声入力部363の入力に従い行う。実施形態３においては音声入力部363から入力した音声を操作状態切り替え部345が音声認識を行い切り替える。すなわち図９（c）に示した会議の参加者に向かって説明する言葉を発している状態を音声認識にて判断する。具体的には音声認識をしている期間はポイント指示、音声認識をしていない期間は書き込み状態であると操作状態を切り替える。
【００７８】
図１７は、実施形態３における撮影画像と音声認識状態を元に操作情報を生成する処理のフローチャートである。本処理は操作情報生成処理部341で行われ、撮影画像を解析して得た人物の操作状態と操作状態切り替え部が判断する操作状態の情報を元に操作情報を生成するものである。図７のステップS4100〜S4140の処理については本実施形態でも共通に実行されるので省略する。図１７は、図７のステップS4110における判定がYESの場合の分岐後の処理を示す。図１７と図７で説明した実施形態１の処理との差分はステップS4150〜ステップS4152、そしてステップS4194〜ステップS4195である。生成する操作情報に変更はない。
【００７９】
ステップS4150で、新しい人物領域に対して手の検出を行う。ここではテンプレートマッチングや肌色検出等の手法により手の検出を行う。形状の判断は行わない。なお図１５のステップS4150およびS4152には、図７のステップS4150およびS4152と異なる説明が記載されているが、それぞれ同じ処理であってよい。ステップS4152で、手を検出しなかった場合（NO）はステップS4154に進み、未検出タイプの操作状態情報を生成するフローへ進む。処理は図７で説明したとおりであるので割愛する。ステップS4152で、手を検出した場合（YES）はステップS4194に進み、操作状態切り替え部345による音声認識による操作状態切り替え状態を検出する。ステップS4194における判定は、例えば操作者による発話の有無である。発話があればポイント指示タイプ、なければ書き込みタイプと判定される。
【００８０】
ステップS4195で、操作状態がポイント指示である場合（YES）にはステップS4156へ進みポイント指示タイプの操作状態情報を生成する。一方ステップS4191で、ポイント指示タイプでない場合（NO）にはステップS4158へ進み書き込みタイプの操作状態情報を生成する。
【００８１】
以上説明したとおり、人物が説明するために音声を発しているかを音声認識により判断し、音声認識をしている期間はポイント指示、音声認識をしていない期間は書き込み状態であると操作状態を切り替えることが可能になる。
【００８２】
［実施形態４］
実施形態４では操作状態を手動により切り替える方法に関して説明する。
人物がマウスやキーボード等のHID機器を用いて明確に操作状態を切り替える方法である。図１６のソフトウエア構成図に示した通り、本実施形態では実施形態３と同様に操作状態切り替え部345により操作状態がポイント指示であるか書き込みであるかを切り替える。操作状態の切り替えはHID入力部362により切り替えるものとする。具体的にはマウスやキーボードの入力によりポイント指示と書き込みを切り替える。
【００８３】
図１８は、実施形態４における撮影画像と手動による操作状態の切り替え情報を元に操作情報を生成する処理のフローチャートである。本処理は操作情報生成処理部341で行われ、撮影画像を解析して得た人物の操作状態と操作状態切り替え部が判断する操作状態の情報を元に操作情報を生成するものである。図７のステップS4100〜S4140の処理については本実施形態でも共通に実行されるので省略する。図１８は、図７のステップS4110における判定がYESの場合の分岐後の処理を示す。図１８と図７で説明した実施形態１の処理との差分はステップS4150〜ステップS4152、そしてステップS4192〜ステップS4193である。生成する操作情報に変更はない。
【００８４】
ステップS4150で、新しい人物領域に対して手の検出を行う。ここではテンプレートマッチングや肌色検出等の手法により手の検出を行う。形状の判断は行わない。なお図１５のステップS4150およびS4152には、図７のステップS4150およびS4152と異なる説明が記載されているが、同じそれぞれ処理であってよい。ステップS4152で、手を検出しなかった場合（NO）はステップS4154に進み、未検出タイプの操作状態情報を生成するフローへ進む。処理は図７で説明したとおりであるので割愛する。ステップS4152で、手を検出した場合（YES）はステップS4194に進み、操作状態切り替え部345によるHID入力部により手動で決定した操作状態切り替え状態を検出する。HIDによる切り替えは、たとえばポインティングデバイスやキーボードにより現在の操作（あるいはこれから行う操作）が、書き込みかそれともポインティングかを積極的に指示することで行われる。
【００８５】
ステップS4195で、操作状態がポイント指示である場合（YES）にはステップS4156へ進みポイント指示タイプの操作状態情報を生成する。一方ステップS4191で、ポイント指示タイプでない場合（NO）にはステップS4158へ進み書き込みタイプの操作状態情報を生成する。以上説明したとおり、手動により操作状態を切り替えることが可能になる。
【００８６】
［その他の実施形態］
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015109565.tif 000003
【図２】
2015109565.tif 000004
【図３】
2015109565.tif 000005
【図４】
2015109565.tif 000006
【図５】
2015109565.tif 000007
【図６】
2015109565.tif 000008
【図７】
2015109565.tif 000009
【図８】
2015109565.tif 000010
【図９】
2015109565.tif 000011
【図１０Ａ】
2015109565.tif 000012
【図１０Ｂ】
2015109565.tif 000013
【図１１】
2015109565.tif 000014
【図１２】
2015109565.tif 000015
【図１３】
2015109565.tif 000016
【図１４】
2015109565.tif 000017
【図１５】
2015109565.tif 000018
【図１６】
2015109565.tif 000019
【図１７】
2015109565.tif 000020
【図１８】
2015109565.tif 000021