(57)【特許請求の範囲】
【請求項１】
近接される操作体の検出に応じて画像を表示する電子装置として、
半透明面と、
上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、
上記撮像手段から入力された撮像信号に基づいて、上記半透明面に近接された操作体を検出する検出手段と、
上記検出手段の検出結果に基づき、上記半透明面に投影する投影画像を生成する画像生成手段と、
上記画像生成手段により生成された投影画像を上記半透明面に投影する投影表示装置と
を備えることを特徴とする電子装置。
【請求項２】
上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を上記半透明面に対して輻射する輻射手段を備えていることを特徴とする請求項１に記載の電子装置。
【請求項３】
上記検出手段は、上記撮像手段により撮像される画像及び基準画像に基づき、近接された上記操作体の検出を行うことを特徴とする請求項１に記載の電子装置。
【請求項４】
上記投影表示装置は、上記検出手段の検出結果に応じて、メニュー情報を表示することを特徴とする請求項１に記載の電子装置。
【請求項５】
上記投影表示装置は、上記操作体の状態に応じて操作項目を表示し、該操作項目に応じて処理を行うことを特徴とする請求項３に記載の電子装置。
【請求項６】
近接される操作体の検出に応じて画像を表示する表示方法として、
半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手順と、
上記撮像手順から入力された撮像信号に基づいて、上記半透明面に近接された操作体を検出する検出手順と、
上記検出手順の検出結果に基づき、上記半透明面に投影する投影画像を生成する画像生成手順と、
上記画像生成手順により生成された投影画像を上記半透明面に投影する投影表示手順と
を備えることを特徴とする表示方法。
【請求項７】
上記撮像手順は、受像すべき所定の波長帯域の光又は電磁波を上記半透明面に対して輻射する輻射手順を備えていることを特徴とする請求項６に記載の表示方法。
【請求項８】
上記検出手順は、上記撮像手順により撮像される画像及び基準画像に基づき、近接された上記操作体の検出を行うことを特徴とする請求項６に記載の電子装置。
【請求項９】
上記投影表示手順は、上記検出手順の検出結果に応じて、メニュー情報を表示することを特徴とする請求項６に記載の電子装置。
【請求項１０】
上記投影表示手順は、上記操作体の状態に応じて操作項目を表示し、該操作項目に応じて処理を行うことを特徴とする請求項８に記載の電子装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インタラクティブな入出力が可能な表示システムを利用した電子装置及び表示方法に関するものである。
【０００２】
【従来の技術】
近年、例えば離れた場所にある複数のコンピュータ装置などを一般回線網や総合デジタル回線網等の公衆通信回線網で構築された通信ネットワークあるいは公衆通信回線網を経由しないで接続されるある範囲内のネットワーク（ＬＡＮ：Local Area Network）によって接続し、コンピュータ装置に接続されたモニタ装置の画面を利用して会議を行う、いわゆる電子会議システムが知られている。
【０００３】
【発明が解決しようとする課題】
ところで、上記したようなコンピュータ装置等を用いた従来の電子会議システムにおいては、一般にコンピュータ装置の画面に各種書類データを表示すると共に、マウスやキーボード、タッチパネル（又はトラックパッド）等の入力装置によって入力操作を行うようにされているが、さらに拡大した入出力環境を考えた場合には、上記したようなコンピュータ装置によって構成するには限界が有る。例えば、コンピュータ装置のモニタ画面を大型化する場合を考えても、非常にコストがかかるという問題点がある。
また、タッチパネルやトラックパッドを例に採った場合、ポインティングの操作は概して指などに限定される。また、通常タッチパネルやトラックパッドの面上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面に接触させる必要がある。さらに、タッチパネルやトラックパッドは、その構造上比較的高価なので大型の操作パネルとしては好適でない。また、タッチパネルやトラックパッドは本体とは別体とされるモニタ装置等に対して、例えばメニュー画面の画像として表示されるので、その操作も間接的になる。
【０００４】
【課題を解決するための手段】
そこで、本発明は上記した課題を解決するため、近接される操作体の検出に応じて画像を表示する電子装置として、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段から入力された撮像信号に基づいて、上記半透明面に近接された操作体を検出する検出手段と、上記検出手段の検出結果に基づき、上記半透明面に投影する投影画像を生成する画像生成手段と、上記画像生成手段により生成された投影画像を上記半透明面に投影する投影表示装置と制御処理を実行可能に構成される制御処理手段とを備えることとした。
【０００５】
上記構成においては、例えば半透明面に近づいた物理的対象によって撮像手段に入射する光又は電磁波の状態が変化するのであるが、本発明ではこのような光又は電磁波の状態変化を画像情報として捉えることになる。そして、このようにして得られる画像情報を操作情報としている。つまり、半透明面の付近においてポインティングデバイスとしての何らかの物理的対象を近づけたり動かしたりすることにより、操作情報を与えることで半透明面を操作パネルとして機能させるようにしている。また、投影表示手段から半透明面に画像を投影することによって、半透明面を各種画像を表示する表示パネルとして機能させるようにしている。これにより、半透明面を操作パネルと表示パネルとを一体化させたものとすることができ、直接的な操作を行うことができるようになる。
また、本発明においては操作パネル及び表示パネルとして機能するのは単なる半透明面であることから、この半透明面としては容易に大型なものを形成することができる。
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態としての電子会議装置について説明する。なお、以降の説明は次の順序で行う。
＜１、電子会議装置の構成及び操作情報の検出動作＞
＜２、ホストとして機能させる場合の処理動作例＞
＜３、端末として機能させる場合の処理動作例＞
＜４、他の実施の形態としての電子会議装置の構成＞
【０００７】
＜１、電子会議装置の構成及び操作情報の検出動作＞
先ず、図１〜図６を参照して、本発明の実施の形態としての電子会議装置の構成例及び基本的な操作情報の検出動作について説明する。
図１は、本発明の実施の形態として本出願人が提案した表示システムを用いた電子会議装置の構成例を概念的に示したものである。この図に示す電子会議装置１は通信回線網を介して他の電子会議装置と接続されることで、電子会議システムとしてのネットワークを構築するものであり、後述するように電子会議システムにおけるサーバ（ホスト）又はクライアント（端末）として機能するものであある。なお、本明細書において「電子会議」とは、一般的な意味での会議にとどまらず、ネットワークを介した複数のユーザに依る集中作業や公開討論のようなグループウェアやコラボレーティング・ワーク等もいうものとする。
【０００８】
この図に示す本実施の形態としての電子会議装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ（Charge Coupled Device ）カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【０００９】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようにして表示システムにおける操作パネルと表示パネルとの両者の機能を併せ持つ。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤパネル３から発光出力される赤外線光が半透明面２の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤパネル３は制御装置６によって定常的に赤外線を発光するように駆動される。
【００１０】
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律である必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１１】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部位に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影されるアングルが半透明面２全体を含むようにその配置位置が設定される。
【００１２】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像はＣＣＤカメラ４からは不可視となる。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００１３】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに操作情報を得る。そして、この操作情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行するといった各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
【００１４】
また、制御装置６は操作情報に基づいて、例えば通信ネットワーク７を介して電子会議システムを構成する図示しない他の電子会議装置との接続を制御するようにされる。また、例えば公衆通信回線網やネットワーク（ＬＡＮ）で構築された通信ネットワーク７を介して接続されている他の電子会議装置からの各種制御情報や指示情報、映像信号データなどを受信することができるようにされる。
【００１５】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００１６】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作情報を得るようにされる。ここで画像情報に基づいて得られる操作情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この操作情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７や通信制御部１９に対して供給可能とされている。
【００１７】
しきい値制御部１３は、入力画像処理部１２にて実行される操作情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで操作情報を得る。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００１８】
データベース駆動部１４は、入力画像処理部１２により得られた操作情報を取り込み、この操作情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、このデータベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００１９】
特に、本実施の形態のデータベースメモリ１５には、電子会議装置１が通信ネットワーク７を介して構築される電子会議システムのホストまたは端末としての機能を実現するためのプログラムデータも格納されているものとされる。このため、データベース駆動部１４は、入力画像処理部１２からの操作情報に基づいて、当該電子会議装置１と通信ネットワーク７を介して接続されている図示しない他の電子会議装置を接続するためのコマンド情報や他の電子会議装置の動作を制御するための各種制御情報や指示情報を生成して通信制御部１９に対して供給可能とされている。
【００２０】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。また通信制御部１９から供給される画像信号データとデータベース駆動部１４からの画像信号データを合成して、画像合成部１７に対して出力することも可能とされる。
【００２１】
画像合成部１７においては、必要があれば上記画像生成部１６から供給された画像信号データに対して、入力画像処理部１２から供給された画像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された画像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これによりプロジェクタ５からは、半透明面２に対して行われる操作に対応した映像による画像光が半透明面２に対して照射出力されることになる。
【００２２】
通信制御部１９は、通信ネットワーク７を介して入力画像処理部１２からの画像信号データや、データベース駆動部１４からの各種制御情報や指示情報等を通信ネットワーク７を利用してデータ伝送を行うのに適合した所定の信号形態に変換（変調）して伝送できるようにされる。また、通信ネットワーク７を介して図示しない他の電子会議装置からデータとして伝送されてくる画像データやコマンド情報及び後述するＩＤ情報等の各種通信データは、制御装置６内部で処理可能な形式のデータに復調することができるようにされる。上記コマンド情報及び後述するＩＤ情報等の各種通信データは、データベース駆動部１４へ、画像データは画像生成部１６にそれぞれ供給される。
【００２３】
上記図１、図２においては、例えば音声信号を通信データとして扱い、通信により得られた音声信号を音声として出力する構成は示されていないが、本実施の形態の電子会議装置１においては、音声信号も通信データとして通信可能とされており、例えば通信制御部１９において制御装置６に入力された音声信号を送信可能とされていると共に、受信された音声信号を制御装置６に供給して所要の信号処理を施すことで音声として出力することも可能とされる。
【００２４】
前述したように、本実施の形態では半透明面２が操作パネルとして機能する。そこで、上記構成による表示システムを用いた電子会議装置１における操作情報の基本的な検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明であることから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光が半透明面２の作用によって反射されることになる。
そこで、本実施の形態とされる電子会議装置１においては、この半透明面２にて反射される赤外線光から操作情報を検出するようにしている。
【００２５】
すなわち、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に出力されて保持されることになる。
【００２６】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に出力して記憶させるように処理を実行する。
【００２７】
なお、基準入力画像レベルＬｉｎｔを検出して、しきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該電子会議装置１の電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００２８】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、操作情報として扱われる画像情報は次のようにして得るようにされる。
図４は、操作情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
【００２９】
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３において、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（１フレーム分の映像データ）を生成するようにされる。
【００３０】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
【００３１】
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体で反射された赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面側に対して通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無い状態が得られることになる。
【００３２】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体で反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
【００３３】
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その人体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００３４】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置においたとする。
この場合、半透明面２に近接するユーザの指は、他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３５】
このようにして、半透明面２の前面側の状態を赤外線光に依る画像として検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させることが可能になるため、次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
【００３６】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。
【００３７】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を操作情報として利用することも考えられる。
【００３８】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネルに固有の駆動回路などは不要なので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
【００３９】
そして、半透明面２側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面２が大画面として構成される場合には半透明面２上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。
【００４０】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態とされる電子会議装置１では、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００４１】
本実施の形態とされる電子会議装置１では、例えばメニュー画面を表示させて適宜所要の操作を行うことにより電子会議を運営していくようにされる。図５には電子会議装置１においてユーザがメニュー操作を行う場合が示されており、ここでは半透明面２を前面側から見た状態が示されている。なお、以降説明するメニュー画面に関する操作は、本実施の形態における半透明面２に対する操作の基本を成すものである。
【００４２】
例えば、この図５に示すように、ユーザが半透明面２の前面に近付いたとすると、本実施の形態である電子会議装置１では、この時に得られる検出画像情報に基づいてユーザが近付いた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近付いたと認識された位置に対して、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて任意の操作項目が表示されている任意領域を指すように指定したとする。この時、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００４３】
これにより、例えばメニュー画面Ｍにおいてユーザが指し示した操作項目の領域は選択されたことを示す何らかの指示表示（例えばカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
【００４４】
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過した時にエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該電子会議装置１に対して所望の動作を実行させたりすることになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとする。
【００４５】
ここで、上記図５に示したメニュー操作を行う場合の制御装置６の処理動作例のフローチャートを図６に示す。この図６に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて操作情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って適宜処理動作を実行することにより実現される。
【００４６】
先ず、ステップＳ３０１において、現在の検出画像情報から「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの操作体（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出ように設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域において、このしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近付いた時に検出画像情報として得られる人体部分の画像レベルに基づいて設定すれば良い。
【００４７】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、現在メニュー画面Ｍが表示中で有るか否かについての判別が行われ、メニュー画面Ｍが表示されていない場合には、再度ステップＳ３０１の処理に移行するが、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するするための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４８】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置が検出される。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であってもよく、実際の使用環境等に応じて任意に設定されれば良い。
【００４９】
続くステップＳ３０３においては、上記ステップＳ３０２で検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の書類のメニュー画面Ｍの画像データが作成されるように制御を行うことになる。この際、データベース駆動部１４はステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面Ｍの画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近付いた位置に対してメニュー画面Ｍが表示されたものとなる。
【００５０】
次に、ステップＳ３０４においては、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「検出体」の検出処理は、先ず操作体検出用として、しきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用しきい値より大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されている画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００５１】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかったか、或は検出画像情報上に操作体を検出したとしてもこの操作体の検出位置がメニュー画面Ｍの表示領域内に対応する画像情報上の領域になかった場合とされ、この場合にはステップＳ３０１に戻るようにされる。
【００５２】
これに対して、ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるような制御を実行してステップＳ３０６に進む。
【００５３】
ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、或は検出画像情報上における操作体の検出位置がステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０１からの処理に戻ることになる。
【００５４】
また、ステップＳ３０６において、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理はデータベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行することになる。
【００５５】
次に、これまで説明した電子会議装置１の構成及び操作情報の検出方法及び操作形態を踏まえて、電子会議装置１を利用した電子会議の運営について概略的に説明する。
本実施の形態である電子会議装置１を含む電子会議システムにより、電子会議を運営するにあたっては、先ず当該電子会議装置１と通信ネットワーク７を介して少なくとも１以上の他の電子会議装置とを接続する必要がある。なお、電子会議装置１と通信ネットワーク７を介して接続されることにより電子会議システムを構築する他の電子会議装置は、本実施の形態とされる電子会議装置１と同一構成のものであっても、例えば通信機能を有するパーソナルコンピュータ装置等の他の構成の電子会議装置であっても良い。
【００５６】
この場合、通信ネットワーク７を介して接続されることになる複数の電子会議装置のうち、何れか１つの電子会議装置を電子会議システム全体をコントロールするホストとして機能させると共に、他の電子会議装置を端末（クライアント）として機能させることになる。ここで、例えば当該電子会議装置１をホストとして機能させる場合は、ホストとしての電子会議装置１から最初に通信ネットワーク７を介して接続すべき端末とされる他の電子会議装置に対して接続要求を行い電子会議システムのネットワークを構築する必要がある。
【００５７】
このとき、例えばホストである電子会議装置１のユーザ（司会者）は上記接続要求を行うための操作を行うようにされるが、このときの操作方法例について、再度図５を参照して説明する。
図５にはメニュー画面Ｍが示されているが、このときのメニュー画面Ｍには、選択項目として接続要求のための項目が提示されているものとされる。そして、ユーザはたとえば先に図５にて説明したような操作方法によって、接続要求のための項目に対する選択操作を行うようにされる。
これにより、電子会議装置１からは通信ネットワーク７を介して端末とされる他の電子会議装置に対して接続要求のためのコマンド情報が伝送される。そして、この接続要求のコマンド情報に応答して他の端末の電子会議装置から伝送されてくる接続確認のコマンド情報を確認することで、ホストである当該電子会議装置１と端末である他の電子会議装置が通信ネットワーク７を介して相互通信可能な状態で接続されることになり、これによって電子会議システムのネットワークが形成される。
【００５８】
そして、上記のように電子会議のネットワークを形成した後に、実際の電子会議が運営されていくのであるが、例えばこの時の運営形態の一例を図７に示す。図７には半透明面２に対して書類画像２０が表示されている状態が示されているが、この書類画像２０は、会議の進行に従って適宜必要となる書類としての画像である。この書類画像２０は、たとえばホストの選択によって、電子会議に参加したすべての電子会議装置において同時タイミングで表示されるようになっている。つまり、各電子会議装置のユーザ（会議参加者）は、同時に表示される同一の書類画像を見ながら議事を進行していくようにされる。
【００５９】
上記のようにして書類画像が各電子会議装置において同時に表示されるようにするためには、各種方法が考えられるのであるが、例えばここでは、予め会議に必要な書類画像のデータが、各会議参加者の電子会議装置に分配されて、装置内の記憶装置に格納済みとされているものとする。その分配方法としては、例えば通信ネットワーク７を介してホストとしての電子会議装置１から他の端末の電子会議装置に配信するようにすればよい。
そして、議事の進行に従って逐次書類画像２０を表示させるためには、例えばホストの電子会議装置のユーザが、必要な書類画像を呼び出すための操作を行うようにされる。
【００６０】
例えばホストが本実施の形態の電子会議装置１を利用しているのであれば、所定の操作に従って書類選択のための項目が提示されたメニュー画面を呼び出して半透明面２に表示させ、このメニュー画面に対する操作によって必要な書類画像を指定して表示させるための操作を行うようにされる（このときの操作方法は図５にて説明した方法と同様でよい）。
【００６１】
これにより、例えばホストの電子会議装置では指定された書類画像を自身でも表示させるための制御を実行するとともに、他の電子会議装置に対して、指定された書類画像を表示させる旨の指示信号を通信データとして配信する。そして、この通信データに応答して、他の電子会議装置が、すでに格納済みとされた書類画像データの中から指定された書類画像データを読み出して表示するようにされる。
【００６２】
また、図７においてはシルエット画像２１が半透明面２に表示された状態が示されている。このシルエット画像２１は、ホストが本実施の形態の電子会議装置１である場合に、この電子会議装置１の半透明面２の前において議事進行を行っているユーザ（司会者）をＣＣＤカメラ４により撮像した画像である。このシルエット画像２１は、他の電子会議装置に対しても通信ネットワーク７を介して画像データとして配信可能とされており、他の電子会議装置がこれに対応する表示機能を有していれば図７のようにして、書類画像２０と共にシルエット画像２１を表示させることができる。
【００６３】
例えば、進行役であるホストの電子会議装置１のユーザが、半透明面２に表示された書類画像２０を実際に指し示すようにして説明を行うようにすると、この動作が反映された画像が各端末に表示されることになるので、例えば参加者は、書類画像２０においてシルエット画像２１により指示された位置を見ながら議事の進行に従っていくことができる。つまり、シルエット２１が書類画面２０と共に表示されることで、電子会議を円滑に進行させることができる。
【００６４】
＜２、ホストとして機能させた場合の処理動作例＞
以下、上述したような電子会議システムの運営を実現するために、電子会議装置１の制御装置６で実行される処理動作例を図８乃至図１０を参照しながら説明する。
先ず、本実施の形態とされる電子会議装置１をホストとして機能させた場合の制御装置６における処理動作例について説明する。
図８は、本実施の形態とされる電子会議装置１と、図示しない他の電子会議装置を通信ネットワーク７を介して接続するために制御装置６で実行される処理動作を示したフローチャートである。
【００６５】
この図８に示す処理動作は、例えば図６に示した処理動作において、メニュー画面Ｍから接続のための操作項目が選択された際に、制御装置６の入力画像処理部１２から供給される操作情報に基づいて、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って適宜処理動作を実行することにより実現されるものである。
【００６６】
この場合は、先ずステップＳ４００において、電子会議システム用のメニュー画面を表示させるための所定の操作が行われたかどうか判別する。ステップＳ４００において、電子会議システム用のメニュー画面を表示させるための所定の操作が行われたと判別された場合は、ステップＳ４０１に進み、半透明面２上に電子会議システムを行うためのメニュー画面を表示するような制御を実行する。この制御処理は上記図７に示した処理同様にデータベース駆動部１４がデータベースメモリ１５に格納されている電子会議システムのメニュー画面表示用のプログラムに基づいて、画像生成部１６において画像データが作成されるように制御を行うことで実現される。
【００６７】
上記ステップＳ４０１の処理が実行された後は、ステップＳ４０２において、現在表示中の電子会議システムのメニュー画面から当該電子会議装置１と端末とされる他の電子会議装置とを通信ネットワーク７を介して接続するための項目が選択されたか否かの判別を行うようにされる。接続のための項目が選択されたか否かの判別は、上記図６において説明したように、メニュー画面が表示されている領域内において操作体の検出を行い、操作体が検出された位置の項目が所定時間維持されることによって、入力画像処理部１２からデータベース駆動部１４に対して供給される操作情報（エンター情報）に基づいて行われることになる。そして、ステップＳ４０２において接続のための項目が選択されたと判別された場合は、ステップＳ４０３に進んで、接続される端末とされる他の電子会議装置に対して接続要求のためのコマンド情報を通信制御部１９から通信ネットワーク７を介して出力するようにされる。このような処理動作は、データベース駆動部１４がデータベースメモリ１５に格納されている接続要求のためのコマンド情報を通信制御部１９に対して出力し、これを受けて通信制御部１９が上記コマンド情報を送信出力するための通信処理を実行することで実現される。
【００６８】
これに対して、ステップＳ４０２において、電子会議システムのメニュー画面から接続要求のための項目が選択されずに、他の項目に対する選択操作があったと判別された場合は、ステップＳ４０５に進んで、選択された項目に応じた処理を実行する制御が行われることになる。なお、電子会議システムのメニュー画面の項目には、メニュー画面を消去するための項目等が含まれており、例えばメニュー画面消去用の項目が選択されれば当該メニュー画面を消去するように処理を実行する。
【００６９】
続くステップＳ４０４においては、通信ネットワーク７を介してコマンド情報が伝送された他の電子会議装置からのコマンド情報が正常に伝送されたかどうかを判別しており、例えば端末とされる他の電子会議装置から応答が有った場合は、接続処理動作を終了することになる。また、ステップＳ４０４において、端末とされる他の電子会議装置から応答が無い場合は、ステップＳ４０３に戻って、以降の処理動作を実行することになる。
【００７０】
また、図８に示したような電子会議装置１における接続のための処理は、ホスト側の電子会議装置１のユーザが半透明面２に接近することによって自動的に実行することも可能である。
この場合の制御装置６における処理動作としては、例えばユーザが先に図６に示したようなメニュー操作を行う処理動作において、現在の検出画像情報から接近体を検出し（S301）、接近体の位置（座標）を検出した時に（S302）、図８に示した接続のための処理動作のステップＳ４０３に移行する。そして、端末とされる他の電子会議装置に対して、接続のためのコマンド情報を通信ネットワーク７を介して出力し、コマンド情報が伝送された他の電子会議装置から応答の有無（S404）を判別すればよい。
【００７１】
図９は上記のようにしてホストである電子会議装置１と端末である他の電子会議装置が通信ネットワーク７を介した接続された状態で、電子会議装置１と他の電子会議装置の画面に共通の書類を表示させるために、制御装置６で実行される処理動作を示したフローチャートである。
なお、電子会議システムを構築する全ての電子会議装置のメモリには、予め電子会議に用いられる書類の画像情報が格納されているものとする。すなわち、ホストである電子会議装置１から通信ネットワーク７を介して端末である他の電子会議装置に予め書類の画像データが配信されているものとする。
【００７２】
この図９に示す処理動作は、例えば図６に示した処理動作において、メニュー画面Ｍから書類表示のための書類表示項目が選択された際に、制御装置６の入力画像処理部１２から供給される操作情報に基づいて、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って適宜処理動作が実行される。
【００７３】
この場合は、先ずステップＳ５００において、電子会議システム用のメニュー画面を表示させるための所定の操作が行われたかどうか判別する。ステップＳ５００において、電子会議システム用のメニュー画面を表示させるための所定の操作が行われたと判別された場合は、ステップＳ５０１に進み、半透明面２上に電子会議システムを行うためのメニュー画面を表示するような制御を実行する。この制御処理は上記図７に示した処理同様にデータベース駆動部１４がデータベースメモリ１５に格納されている電子会議システムのメニュー画面表示用のプログラムに基づいて、画像生成部１６において画像データが作成されるように制御を行うことで実現される。
【００７４】
上記ステップＳ５０１の処理が実行された後は、ステップＳ５０２において、現在表示中の電子会議システムのメニュー画面から当該電子会議装置１の画面と通信ネットワーク７を介して接続されている他の電子会議装置の画面に書類を表示させるための書類表示項目が選択されたか否かの判別を行うようにされる。書類表示項目が選択されたか否かの判別は、先に図６において説明したように、メニュー画面が表示されている領域内において操作体の検出を行い、操作体が検出された位置の項目が所定時間維持されることによって、データベース駆動部１４に対して供給される操作情報に基づいて判別されることになる。
そして、ステップＳ５０２において、書類表示項目が選択されたと判別された場合は、ステップＳ５０３に進んで、書類ごとに認識情報として付加されているＩＤ情報を端末である他の電子会議装置に対して、通信制御部１９から通信ネットワーク７を介して出力するようにされる。
【００７５】
これに対して、ステップＳ５０２において、書類表示項目が選択されていないと判別された場合は、ステップＳ５０７に進んで、選択された項目に応じた処理を実行するような制御が行われることになる。なお、電子会議システムのメニュー画面の項目には、上述したようにメニュー画面を消去するための項目等が含まれているものとする。
【００７６】
続くステップＳ５０４においては、ステップＳ５０３において、通信ネットワーク７を介して書類のＩＤ情報が伝送された端末側の電子会議装置から書類のＩＤ情報が正常に伝送されたことを示す応答の有無を判別しており、端末である他の電子会議装置から応答が有った場合は、ステップＳ５０５に進む。また、ステップＳ５０４において端末である電子会議装置から応答が無い場合は、ステップＳ５０３に戻って、ステップＳ５０３からの処理動作を実行することになる。
【００７７】
次に、ステップＳ５０５において、データベース駆動部１４は選択された書類データをデータベースメモリ１５から取り込み、この書類データを画像生成部１６に供給する。そして、ステップＳ５０６において、この書類を表示するための画像データを作成するように制御を行い、作成された書類の画像データが画像合成部１７を介してＲＧＢ信号生成部１８に供給する。そして、プロジェクタ５から半透明面２に投影表示するための所要の制御処理を実行することになる。
【００７８】
＜３、端末として機能させた場合の処理動作例＞
次に、本実施の形態とされる電子会議装置１を端末として機能させた場合の制御装置６における処理動作例について説明する。
図１０は、ホストである他の電子会議装置から端末装置としての当該電子会議装置１に対して各種情報が伝送された場合の電子会議装置１の制御装置６で実行される処理動作を示したフローチャートである。この図１０に示す処理動作もまた、上記同様に制御装置６のデータベース駆動部１４が適宜処理動作を実行することにより実現されるものである。また、前述のように電子会議に用いられる書類画面２０としての画像データは、予めホストから伝送されており電子会議装置１のデータベースメモリ１５に既に格納されているものである。
【００７９】
この場合は、先ずステップ６０１において、通信ネットワーク７を介してホストである他の電子会議装置から当該電子会議装置１に対して接続要求のためのコマンド情報が入力されたか否かの判別を行っており、接続のためのコマンド情報が入力されたと判別した場合は、ステップＳ６０２に進む。なお、このステップＳ６０１の処理動作は、通信ネットワーク７を介して接続のためのコマンド情報が入力されたと判別されるまで実行される。そして、ステップＳ６０２において、通信ネットワーク７を介して接続確認情報をホストとしての電子会議装置に出力するようにされる。このような処理動作は、データベース駆動部１４が接続確認情報を通信制御部１９から通信ネットワーク７を介してホストである他の電子会議装置に対して伝送することで実現される。
このステップＳ６０２までの処理が他追えば各端末の全てにおいて行われることで、前述したようにしてネットワークを介して電子会議システムが形成される。
【００８０】
続くステップＳ６０３においては、通信ネットワーク７を介して他の電子会議装置から表示すべき書類を特定するＩＤ情報が入力されたか否かの判別を行っており、書類のＩＤ情報が入力されたと判別した場合は、ステップＳ６０４に進む。なお、このステップＳ６０３の処理動作は、通信ネットワーク７を介して書類のＩＤ情報が入力されたと判別されるまで実行される。
【００８１】
そして、ステップＳ６０４において、通信ネットワーク７を介して書類ＩＤを受信したことを知らせるための確認情報をホストとしての電子会議装置に出力するようにされる。このような処理動作も、上記同様にデータベース駆動部１４が書類ＩＤの確認情報を通信制御部１９に対して出力し、この情報がネットワークを介して送信されるように制御を実行する。
【００８２】
次に、ステップＳ６０５において、データベース駆動部１４はデータベースメモリ１５に格納されている書類情報からＩＤ情報により指定された書類を選択して、データベースメモリ１５から取り込み、この書類データを画像生成部１６に供給する。そして、ステップＳ６０６において、この書類を表示するための画像データを作成するような制御を行い、作成された書類の画像データが画像合成部１７を介してＲＧＢ信号生成部１８に供給する。そして、プロジェクタ５から半透明面２に投影表示するための所要の制御処理を実行することになる。
【００８３】
ところで、先に図７に示したように、制御装置６の制御によってプロジェクタ５から選択された書類画像２０と共に、通信ネットワーク７を介して接続されている例えばホストの電子会議装置１にいる司会者の画像（シルエット画像）２１を端末の電子会議装置に画像信号データとして伝送する場合の制御装置６の処理動作としては、画像入力部１１でＣＣＤカメラ４を介して入射される赤外線光から生成された司会者の画像情報を入力画像処理部１２でデジタル信号に変換し、この変換した映像信号データを通信制御部１９に供給する。そして、通信制御部１９において、通信に適合するデータ形態とするための所要の処理を施して通信ネットワーク７を介して出力すれば良い。
【００８４】
また、電子会議装置１が端末として機能しており、ホストの電子会議装置から伝送されてくる画像信号データを半透明面２上に表示するための制御装置６の処理動作としては、通信ネットワーク７を介してホストの電子会議装置から伝送されてくる通信用の画像データを通信制御部１９において所要の処理を施して画像信号データとした後、画像生成部１６においてデータベース駆動部１４から供給される書類の画像信号データと合成し、画像合成部１７を介してＲＧＢ信号生成部１８に出力する。そしてＲＧＢ信号生成部１８では、この合成され画映像信号データを、例えばアナログのＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５から半透明面２に対して照射される表示画像としては、書類画面２０に対してホストである電子会議装置１の司会者の説明の様子が示されることになる。
【００８５】
＜４、他の実施の形態としての電子会議装置の構成＞
ところで、本実施の形態としての電子会議装置としては、図１１に示すように、図１に示す構成から赤外線ＬＥＤパネル３を省略することも可能である。
例えば、本発明に基づく電子会議装置を屋外などの外光の強い環境で使用する場合は、日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない（つまり操作情報を認識可能な適正な検出画像情報が得られない）可能性がある。
【００８６】
そこで、このような場合には、本実施の形態のように赤外線ＬＥＤパネル３を省略する代わりに、自然光に含まれる赤外線光を操作情報検出用の光源として利用するものである。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００８７】
そして、例えば半透明面２に対して何らかの操作が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を操作情報として扱うことになる。この場合、図２に示す制御装置の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【００８８】
また、本実施の形態の電子会議装置としては、図１に示す構成において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６においては、ＬＥＤ駆動部１０（図１参照）の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
【００８９】
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を操作情報の検出に利用した例）と同様にして本発明としての電子会議装置を構成することが可能である。
【００９０】
なお、これまで説明した本発明の電子会議装置の操作方法や処理動作は、あくまでも一例であり、これに限定されることなく、他にも各種考えられるものである。また、本実施の形態においては音声出力系の説明は省略したが、各種インタラクティブな応答を音声により行うことは当然可能である。
また、本実施の形態においては、半透明面２が垂直に設置された状態（壁面状）とした場合について説明したきたが、本発明としての半透明面２の機能（表示パネル機能及び操作パネル機能）を考慮すればこれに限定されることなく、水平に設置したり、あるいは半透明面２を球面状等の画面として形成することも可能である。
さらにまた、本実施の形態においては、ホスト側のＣＣＤカメラ４から得られる画像情報を、通信ネットワーク７を介して端末側に伝送し、端末側の半透明面２に表示するようにしているが、例えばＣＣＤカメラ４の他に撮像装置を設け、この撮像装置から得られた画像をホスト側から端末側に伝送するようにすることも考えられる。
【００９１】
【発明の効果】
以上、説明したように本発明は、所定の波長帯域の光又は電磁波を反射するなどして、これに状態変化（この状態変化が検出画像情報として反映される）を与えることのできる物体で有れば、操作を行うための操作体として成立するものである。つまり操作のために特殊なポインティングデバイスを必要としないことになる。従って、これまで説明したように、本発明の電子装置は例えばユーザ自身の手や指を用いることによって直接的な操作が可能になるため、自由度の高い入力操作を行うことができる。また、この半透明面に投影表示手段から各種画像を投影することによって表示パネルとして機能させることができるため、この半透明面によって操作パネルと表示パネルを一体化することができるようになる。また、操作パネル及び表示パネルとして機能するのは単なる半透明面であるから、この半透明面としては容易に大型なものを形成することが可能なる。
従って、このような本発明の電子装置によれば、これまでにないような電子会議の運営を図ることができるようになる。
【図面の簡単な説明】
【図１】本発明の実施の形態としての電子会議装置の構成例を示す概念図である。
【図２】本発明の実施の形態としての電子会議装置に備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】本実施の形態の電子会議装置における基本的な操作例を示す説明図である。
【図６】図５に示す操作を実現するための処理動作を示すフローチャートである。
【図７】本実施の形態の電子会議装置における操作例を示す説明図である。
【図８】本実施の形態の電子会議装置をホストとして機能させた場合の接続要求のための処理動作を示すフローチャートである。
【図９】本実施の形態の電子会議装置をホストとして機能させた場合の書類表示のための処理動作を示すフローチャートである。
【図１０】本実施の形態の電子会議装置を端末として機能させた場合の処理動作を示すフローチャートである。
【図１１】本発明の実施の形態としての電子会議装置の他の構成例を示す概念図である。
【符号の説明】
１  電子会議装置、２  半透明面、３  赤外線ＬＥＤパネル、４  ＣＣＤカメラ、５  プロジェクタ、６  制御装置、１０  ＬＥＤ駆動部、１１  画像入力部、１２  入力画像処理部、１３  しきい値制御部、１４  データベース駆動部、１５  データベースメモリ、１６  画像生成部、１７  画像合成部、１８  ＲＧＢ信号生成部、１９  通信制御部
【図１】
0004296606.tif 000002
【図２】
0004296606.tif 000003
【図３】
0004296606.tif 000004
【図４】
0004296606.tif 000005
【図５】
0004296606.tif 000006
【図６】
0004296606.tif 000007
【図７】
0004296606.tif 000008
【図８】
0004296606.tif 000009
【図９】
0004296606.tif 000010
【図１０】
0004296606.tif 000011
【図１１】
0004296606.tif 000012