(57)【要約】【課題】表示される画像を見づらくすることなく特定箇所を的確に指示することができるのみならず、プレゼンテーションの多様性が広がったり、そのプレゼンテーションをより充実させたりすることを可能とし、しかも装置の大型化を招くことのない資料提示装置を用いたプレゼンテーションシステムを提供する。【解決手段】資料を撮影する撮像部と、この撮像部によって撮影される指示マークと、指示マークの位置を画像表示手段のスクリーン座標に変換してポイント画像を生成する制御部と、撮像部または該撮像部以外の画像保持手段から供給された画像にポイント画像を合成する画像合成部と、この画像合成部で合成した画像を画像表示手段に出力する画像出力部とを具備する。【選択図】　　　　図２
2004023359.tif 000002
【特許請求の範囲】
【請求項１】
資料を撮影する撮像部と、
この撮像部によって撮影される指示マークと、
前記指示マークの位置を画像表示手段のスクリーン座標に変換してポイント画像を生成する制御部と、
前記撮像部または該撮像部以外の画像保持手段から供給された画像に前記ポイント画像を合成する画像合成部と、
この画像合成部で合成した画像を前記画像表示手段に出力する画像出力部とを具備することを特徴とする資料提示装置を用いたプレゼンテーションシステム。
【請求項２】
前記撮像部の画角における任意の範囲において設定される仮想スクリーンに対して前記指示マークでポイントすることを特徴とする請求項１に記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項３】
前記撮像部の撮影方向が任意に変更可能であることを特徴とする請求項１または２に記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項４】
前記画像保持手段は、パソコン、画像が記憶された外部の記憶装置あるいは内部の記憶装置の少なくとも１つであることを特徴とする請求項１〜３のいずれかに記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項５】
前記指示マークは、背景に対して相対的に反射率が高い反射物体、もしくは背景に対して相対的に明るく、かつ点灯もしくは点滅する発光物体、または背景とは異なる色の物体のいずれかであることを特徴とする請求項１〜４のいずれかに記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項６】
前記指示マークは点滅する発光物体からなり、この点滅発光物体の点滅サイクルに基づいてその発光物体を指示マークとして認識する点滅発光物体検出手段を有していることを特徴とする請求項１〜４のいずれかに記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項７】
前記制御部は、前記ポイント画像を、点、円、矢印、線等の任意の画像に生成することを特徴とする請求項１〜６のいずれかに記載の資料提示装置を用いたプレゼンテーションシステム。
【請求項８】
前記画像合成部は、前記指示マークの移動に追従して前記ポイント画像を連続する線に合成することを特徴とする請求項１〜６のいずれかに記載の資料提示装置を用いたプレゼンテーションシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原稿、写真、立体物等の資料を撮影し、その撮像をスクリーンやディスプレイ等の画像表示手段に表示するプレゼンテーション用の資料提示装置において、画像処理によってポイントを表示することができる資料提示装置を用いたプレゼンテーションシステムに関する。
【０００２】
【従来の技術】
スクリーン等の画像表示手段に原稿等の資料を映し、その画像を参照しながら聴衆に対して資料の内容を説明するプレゼンテーションを行う場合、近年では、広く普及していたＯＨＰ（オーバーヘッドプロジェクタ）に代わり、資料提示装置が用いられている。資料提示装置は、資料を被写体とするビデオカメラ等の動画用カメラを有するものであり、中には資料を載置するための資料載置台を備えたものもある。このような資料提示装置は、カメラで撮影した資料画像を、例えば液晶プロジェクタ等の投影装置からスクリーンに投影するようにして用いられている。
【０００３】
ところで、プレゼンテーションにおいては、説明者であるプレゼンターが表示画像の特定箇所を指示（ポインティング）しながら説明を進める場合が多く、そのための方法としては、ペンや指示棒等を直接資料に当ててその箇所を指示するか、あるいは、外部デバイスとしてデジタイザーを用いるなどの方法があった。
【０００４】
【発明が解決しようとする課題】
しかしながら、指示棒等によって直接資料を指示する方法は、指示棒の影が写ったり、プレゼンターの手が写ったりして画像が見にくくなるといった不満が生じるものであった。このような不満は、デジタイザーを用いた場合は生じないものの、デジタイザーを別途購入する必要があり、しかも、装置の大型化を招いて例えば収納性等に新たな問題が生じる。
【０００５】
よって本発明は、資料提示装置を用いたプレゼンテーションにおいて、表示される画像を見づらくすることなく特定箇所を的確かつ明瞭にポインティングすることができるのみならず、プレゼンテーションの多様性が広がったり、そのプレゼンテーションをより充実させたりすることを可能とし、しかも装置の大型化を招くことのない資料提示装置を用いたプレゼンテーションシステムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明は、資料を撮影する撮像部と、この撮像部によって撮影される指示マークと、指示マークの位置を画像表示手段のスクリーン座標に変換してポイント画像を生成する制御部と、撮像部または該撮像部以外の画像保持手段から供給された画像にポイント画像を合成する画像合成部と、この画像合成部で合成した画像を画像表示手段に出力する画像出力部とを具備することを特徴としている。
【０００７】
本発明では、従来の指示棒等の代わりに、指示マークをプレゼンター等が操作する。その指示マークを撮像部で撮影すると、指示マークの位置が制御部によって画像表示手段のスクリーン座標に変換され、そのスクリーン座標位置にポイント画像が生成される。そして、このポイント画像は、画像合成部によって、撮像部からの画像または該撮像部以外の画像保持手段から供給された画像と合成されて、画像表示手段に表示される。すなわち、指示マークの動きが表示画像上ではポイント画像として反映され、したがって、指示マークを操作すれば、ポイント画像を所望の位置に指示する“ポインティング”を行うことができる。
【０００８】
このようなポインティングを行うにあたり、画像表示手段に撮像部以外の画像保持手段から供給された画像を表示する場合には、その表示画像にポイント画像が合成される。また、撮像部による撮像を画像表示手段に表示する場合は、その表示画像を一旦静止画像として保持してから、撮像部によって指示マークを撮影すれば、撮像部からの保持画像にポイント画像が合成される。この場合、例えば資料を撮影して静止画像とすれば、資料に対して指示マークで直接指示することができる。
【０００９】
上記のように指示マークを撮像部で撮影しながらその動きを表示画像に反映させることによってポインティングを行うことができる本発明によれば、従来のように指示棒等で直接資料を指示する手法とは根本的に異なるので、表示画像が指示棒や手に邪魔されて見にくくなるといった問題は起こらず、的確かつ明瞭なポインティングを行うことができる。また、デジタイザー等の外部デバイスを用いる必要が無く、一般周知の画像処理技術を適用することができるので、安価に構成することができるとともに、装置の大型化を招くこともない。
【００１０】
上記のようにポイント画像を表示画像に合成する具体的技術としては、撮像部の画角における所定範囲を仮想スクリーンに設定し、この仮想スクリーンに対して指示マークを指示する方式が挙げられる。ここで、撮像部の撮影方向を任意に変更できるように構成すれば、例えばプレゼンターの方向に撮像部の撮影方向を向け、その画角内に仮想スクリーンを設定することができる。その場合には、資料を指示マークで直接指示することなく、指示マークを仮想スクリーン上で動かしてポインティング操作を行う。撮像部の撮影方向を変えて、例えば会場内の様子や聴衆等を撮影することもでき、聴衆者が表示画像にポインティングを行うことも可能である。このため、プレゼンテーションの多様性が広がったり、プレゼンテーションをより充実させたりすることができる。
【００１１】
本発明の上記画像保持手段としては、パソコンや、本発明装置の内部に装備される記憶装置、あるいは外部の記憶装置等が挙げられ、画像表示手段には、画像保持手段か、撮像部による撮像のいずれかが表示される。
【００１２】
本発明の指示マークは、背景より際だって撮像部に映るものほど、位置を認識しやすく、ひいてはポイント画像を生成しやすい。そのような指示マークとしては、指示マーク自身の背景に対して相対的に反射率が高い反射物体や、背景に対して相対的に明るく、かつ点灯もしくは点滅する発光物体、あるいは背景とは異なる色の物体等が挙げられる。
【００１３】
指示マークを点滅する発光物体で構成した場合、この点滅発光物体の点滅サイクルに基づいてその発光物体を指示マークとして認識するようにすれば、より確実に指示マークを認識することができる。例えば、本装置の撮像部によって点滅発光物体を撮影し、点灯時と消灯時の輝度データを比較して点灯する位置を検索するようにすれば、背景の光によるノイズの影響が軽減される。
【００１４】
本発明によれば、撮像部で撮影される指示マークが、画像表示手段で表示される画像にポイント画像として反映されるが、そのポイント画像としては、点、円、矢印、線等の任意の画像が挙げられる。また、指示マークの移動に追従してポイント画像を連続する線に合成することもできる。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
図１は一実施形態に係るプレゼンテーションシステムの構成および機能を示すブロック図、図２は資料提示装置１を含む本システムの具体的イメージを示している。
【００１６】
（１）システムの概略
まず、本システムの構成および作用の概略を、図１を参照して説明する。
本システムは、撮像部２によって撮影された撮像、パソコン３等で生成された外部画像、記憶装置４に記憶されている画像の３種類の画像に関する画像データが、切換器５によって１つに切り換えられてフレームメモリ６に蓄積され、その画像データが画像合成部７を経て画像出力部８からスクリーンやディスプレイ等の画像表示手段に入力され、ここで画像データに応じた画像が表示される。
【００１７】
また、本システムでは、プレゼンテーションを行うプレゼンターが指示マーク９を操作してポインティングを行う。撮像部２により指示マーク９が撮影され、その撮像が制御部１０に入力される。また、制御部１０には、後述するカメラ２３の撮影方向を検出する撮影方向センサ１１の信号が入力される。制御部１０は、カメラ２３の撮影方向を認識した上で指示マーク９の位置を演算して画像表示手段のスクリーン座標に変換し、ポイント画像を生成する。生成されたポイント画像は画像合成部７に入力され、画像合成部７は、フレームメモリ６から入力された画像にポイント画像を合成する。したがって、画像表示手段には、撮像部２、パソコン３または記憶装置４のいずれかによる画像にポイント画像が合成された画像が表示される。
【００１８】
（２）システムの具体的構成
次に、本システムの具体的構成を、図１および図２を参照して説明する。
図２のＰはプレゼンター、１２は液晶プロジェクタである。また図２には、上記パソコン３を示している。プレゼンターＰが手に持っているものは、先端に上記指示マーク９として発光物体が設けられたペン９０である。発光物体は、スイッチを入れることで発光するＬＥＤ等で構成される。プレゼンテーション時のポインティングは、ペン９０の発光する指示マーク９によって行われる。このペン９０は、後述する仮想スクリーン３１を設定する際にも用いられる。
【００１９】
資料提示装置１は、原稿等の資料Ｓが置かれる資料載置台２１と、この資料載置台２１にアーム２２を介して支持されたカメラ２３とから構成されている。カメラ２３は、図１の撮像部２を構成するものである。
【００２０】
カメラ２３を支持するアーム２２は、上下方向に延びる鉛直部２２ａの上端に、前方（プレゼンターＰの方向）に向かって延びる水平部２２ｂが取り付けられた逆Ｌ字状のもので、鉛直部２２ａは伸縮自在に構成され、水平部２２ｂは鉛直部２２ａに対して水平回転自在に取り付けられている。鉛直部２２ａの伸縮および水平部２２ｂの水平回転は手動で行うようになっており、任意の位置で固定できる。水平部２２ｂは、通常は資料載置台２１に置いた資料Ｓを撮影可能とするため、前方に延びた状態で固定される。
【００２１】
カメラ２３は、アーム２２の水平部２２ｂの先端に、雲台等を介して、撮影方向が下向きから前方に向く約９０゜の範囲で上下方向に首振り可能に取り付けられている。そしてその撮影方向は、資料載置台２１に置かれる資料Ｓを撮影する下向きと、前方に向いた前向きの２位置のいずれかに手動または自動で切り換えられる。カメラ２３の撮影方向（下向きか上向き）は、図１に示した撮影方向センサで検出される。また、カメラ２３は、ズーム機能およびオートフォーカス機能を備えている。
【００２２】
資料載置台２１の内部には、図１に示した切換器５、フレームメモリ６、画像合成部７、画像出力部８および制御部１０が搭載されている。また、液晶プロジェクタ１２には上記画像出力部８から画像データが入力され、その画像データに基づく画像が液晶プロジェクタ１２からスクリーンに投影される。
【００２３】
（３）プレゼンテーションシステムの作用
次に、本システムの作用を、Ａ：仮想スクリーンの設定、Ｂ：スクリーン座標の生成、Ｃ：プレゼンテーション時のポインティング、Ｄ：ポインティングを行う位置、の順に説明する。なお、図４は、Ａ〜Ｃの動作順を示している。
【００２４】
Ａ：仮想スクリーンの設定
仮想スクリーンは、カメラ２３の撮影方向に応じてその画角内に設定されるものであり、ここでは、カメラ２３の撮影方向を任意として仮想スクリーンの概念および設定方法を説明する。図３の３０は、撮像部２のカメラ２３の撮像範囲すなわち画角を示しており、この画角３０内に矩形状の仮想スクリーン３１が設定される。仮想スクリーン３１は、プレゼンターＰがペン９０の指示マーク９によってポインティングを行うための矩形状のＸ軸（水平軸）およびＹ軸（鉛直軸）を備えた二次元的空間である。カメラ２３により、指示マーク９の映像は画像データ上の指示マークデータ９ａとして読み込まれる。
【００２５】
仮想スクリーン３１は、次のような手順により、必要に応じてその都度設定することができる。その手順を図４を参照して説明すると、まず、カメラ２３を広角撮影とし、設定すべき仮想スクリーン３１の対角２位置のうちの一方で発光させ、基準点Ａをマークする（ステップＳ１）。基準点Ａはカメラ２３で撮影され（ステップＳ２）、その位置が制御部１０に入力される。次に、一旦指示マーク９を消灯してから、基準点Ａに対する対角隅点となる位置で指示マーク９を発光させ、基準点Ｂをマークする（ステップＳ３）。基準点Ｂはカメラ２３で撮影され（ステップＳ４）、その位置が制御部１０に入力される。続いて、制御部１０が、カメラ２３で撮影されている固定的な基準点Ａ，Ｂを結ぶ対角線に基づき、仮想スクリーン３１を生成する（ステップＳ５）。以上により固定的な仮想スクリーン３１がカメラ２３の画角内に設定される。
【００２６】
上記の方法により、仮想スクリーン３１はポインティングの場面に応じてその都度設定することができるが、仮想スクリーン３１は、例えば資料載置台２１上に設けた発光物を基準として設定することができる。また、予めカメラ２３の画角内に固定的に設定することもできる。
【００２７】
Ｂ：スクリーン座標の生成
図４のステップＳ５の次に、スクリーン座標を生成する。スクリーン座標とは、スクリーンに表示される表示画像（上記フレームメモリ６に入力される画像データに基づく画像）のＸ方向とＹ方向の画素数の比に対して対応するように、仮想スクリーン３１のＸ方向とＹ方向の位置から各方向について演算して求められる。図３の３２はそれを表しており、このスクリーン座標３２は制御部１０で保持される。
【００２８】
Ｃ：プレゼンテーション時のポインティング
図４のステップＳ７以降が、プレゼンテーション時のポインティングのプロセスとなる。すなわち、発光させた指示マーク９を仮想スクリーン３１内で任意に動かすことによりポインティングを行う（ステップＳ７）。その指示マーク９はカメラ２３で撮影され（ステップＳ８）、その撮像が制御部１０に入力され、制御部１０は、カメラ２３の撮影方向を認識した上で指示マークの位置を逐一演算してスクリーン座標に変換する（ステップＳ９）。次いで、そのスクリーン座標位置にポイント画像を生成する（ステップＳ１０）。図３の３３は、スクリーン座標３２上に生成されたポイント画像であり、この場合、矢印である。一方、図３の３４は上記表示画像であり、この表示画像３４とポイント画像３３とが画像合成部７に入力される。そして、画像合成部７は、表示画像３４とポイント画像３３を合成し（ステップＳ１１）、その合成画像３５が液晶プロジェクタ１２からスクリーンに投影される（ステップＳ１２）。
【００２９】
Ｄ：ポインティングを行う位置
上記Ａ〜Ｃは、ポイント画像の表示に至るまでのプロセスであり、このプロセスを、プレゼンターＰの位置や誰にポインティングさせるかなどのプレゼンテーションの多様な場面において全て実行させることができる。ここでは、次の３つの例を説明する。
【００３０】
ａ）図５は、資料提示装置１の資料載置台２１に置いた資料Ｓに対してプレゼンターＰがポインティングを行う場合を示している。この場合、カメラ２３を下向きして資料Ｓを撮影し、その撮影範囲内に仮想スクリーンを設定している。ここで、スクリーンに表示される画像を、パソコン３あるいは記憶装置４によるものとした場合は、その表示画像に、指示マーク９の撮像に基づくポイント画像のみが合成される。しかしながら、資料Ｓすなわちカメラ２３による撮像を表示した場合は、ペン９０やプレゼンターＰの手が映ってしまう。そこで、カメラ２３によって取り込んだ画像を静止画像として処理し、その静止画像に対してポイント画像を合成すれば、ポイント画像のみを合成させることができる。
【００３１】
ｂ）図６は、資料提示装置１から離れたプレゼンターＰがポインティングを行う場合を示している。この場合、プレゼンターＰの前あるいは横の空間に仮想スクリーン３１を設定し、この仮想スクリーン３１内で操作する指示マーク９を撮影すべく、カメラ２３を前向きとしている。そして、スクリーンに表示する画像は、カメラ２３によって取り込んだ画像の静止画像によるものか、あるいはパソコン３もしくは記憶装置４によるものとされる。
【００３２】
ｃ）図７は、聴衆者Ｑがポインティングを行いながら、例えばプレゼンターＰに質問などをする場合を示している。カメラ２３は聴衆者Ｑに向けられ、仮想スクリーン３１は、聴衆者Ｑの前あるいは横の空間に設定される。この場合も、スクリーンに表示する画像は、カメラ２３によって取り込んだ画像の静止画像によるものか、あるいはパソコン３もしくは記憶装置４によるものとされる。
【００３３】
以上が本発明の一実施形態であり、この実施形態によれば、従来のように指示棒等で直接資料を指示する手法とは根本的に異なり、指示マーク９を撮像部２で撮影しながらその動きを表示画像に反映させることによってポインティングを行うものであるから、表示画像が指示棒や手に邪魔されて見にくくなるといった問題は起こらず、的確かつ明瞭なポインティングを行うことができる。また、デジタイザー等の外部デバイスを用いる必要が無く、一般周知の画像処理技術を適用することができるので、安価に構成することができるとともに、装置の大型化を招くこともない。
【００３４】
また、撮像部２を構成するカメラ２３の撮影方向を任意に変更でき、その撮影方向に応じて仮想スクリーン３１を設定することができるので、プレゼンターＰの位置の自由度が増す。また、上記のように聴衆者Ｑも手軽にポインティングを行うことができ、さらには、ポインティングと関係なくプレゼンテーションの合間に例えば会場内の様子や聴衆等を撮影することもできる。これらのことから、プレゼンテーションの多様性が広がったり、プレゼンテーションをより充実させたりすることができる。
【００３５】
上記実施形態では、指示マーク９をＬＥＤ等からなる発光物体で構成しているが、指示マークは特に発光物体でなくともよく、例えば、背景に対して相対的に反射率が高い反射物体や、背景とは異なる色の物体を採用してもよい。すなわち、視認性が高いものであり、このような指示マークが、位置を認識しやすく、ひいてはポイント画像を生成しやすいので好ましいのである。
【００３６】
また、指示マークを点滅する発光物体で構成することもできる。この場合、点滅する発光物体の点滅サイクルに基づいてその発光物体を指示マークとして認識するようにすれば、より確実に指示マークを認識することができる。例えば、点滅する指示マークの点灯時と消灯時の輝度データを比較して点灯する位置を検索するようにすれば、背景の光によるノイズの影響が軽減される。
【００３７】
図８（ａ）は、指示マーク９が発光した時の輝度データをイメージしたものであり、カメラ２３の撮影範囲内に資料Ｓが映っている。そして、図８（ｂ）は指示マークが消灯した時の輝度データのイメージであり、発光時の輝度データから消灯時の輝度データを差し引けば、図８（ｃ）に示すように指示マーク９のみが検出される。
【００３８】
このような方式を採る場合のカメラ２３による撮影タイミングは、例えば、点滅する指示マークの発光と同期して発光する赤外光の発光部をペン９０に設け、資料提示装置１側にはその赤外光を受光するフォトダイオード等からなる受光センサを設け、受光センサが赤外光を受光した時と受光しない時を区別して撮影するようにすればよい。また、これとは逆に、資料提示装置１側から赤外光等をペン９０に向けて発し、これに応じて指示マークが同期して発光するようにしてもよい。この場合、点滅信号である赤外光に対して指示マークが同期して発光すればよい。なお、上記２例とも、非同期で発光させても同様の動作を得ることは可能である。
【００３９】
また、本発明に係るポイント画像は、図３に示したような矢印は勿論のこと、画像処理技術によって、例えば点、円、線等の任意の画像とすることができる。さらに、移動する指示マークのスクリーン座標間を線でつなぎながら合成を繰り返すことにより、長い連続した線を表示することも可能であり、これを応用すれば、文字等を表示画像に描くことができる。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、指示マークを撮像装置で撮影し、その動きを表示画像にポイント画像として合成することによりポインティングを行うので、表示される画像を見づらくすることなく特定箇所を的確かつ明瞭にポインティングすることができるのみならず、プレゼンテーションの多様性が広がったり、そのプレゼンテーションをより充実させたりすることを可能とし、しかも装置の大型化を招くことがないといった種々の効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るシステムの構成および機能を示すブロック図である。
【図２】システムの構成の具体的イメージを示す斜視図である。
【図３】仮想スクリーンの設定からポインティングまでのプロセスのイメージを示す図である。
【図４】仮想スクリーンの設定からポインティングまでのプロセスを示すフローチャートである。
【図５】資料を撮影しながらプレゼンターがポインティングを行う状態を示す図である。
【図６】資料提示装置から離れた位置でプレゼンターがポインティングを行う状態を示す図である。
【図７】聴衆者がポインティングを行う状態を示す図である。
【図８】点滅する指示マークの位置を輝度データに基づいて検出するイメージを示す図である。
【符号の説明】
１…資料提示装置、２…撮像部、３…パソコン（画像保持手段）、
４…記憶装置（画像保持手段）、７…画像合成部、８…画像出力部、
９…指示マーク、１０…制御部、３０…画角、３１…仮想スクリーン、
３２…スクリーン座標、３３…ポイント画像、Ｐ…プレゼンター、Ｓ…資料。
【図１】
2004023359.tif 000003
【図２】
2004023359.tif 000004
【図３】
2004023359.tif 000005
【図４】
2004023359.tif 000006
【図５】
2004023359.tif 000007
【図６】
2004023359.tif 000008
【図７】
2004023359.tif 000009
【図８】
2004023359.tif 000010