(57)【要約】【課題】入力操作手段の揺れがあっても、操作者の意図を取得することができる入力操作検出装置を提供する。【解決手段】  投影面に投影されている画像に対して、操作者が電子ペン５０を用いて手書きで描画する際に、ペン距離算出手段１１８は、握り部分のボタンが押下された旨の信号を受信すると、電子ペン５０が投影面から離れて用いられていると判断し、ペン先が押し込まれた旨の信号を受信すると、電子ペン５０が投影面の近くで用いられていると判断する。手書きモード切替判断手段１１９は、電子ペン５０が投影面から離れて用いられている場合、電子ペン５０が示す位置の開始点と終了点とのなす角度があらかじめ設定されている角度以上であれば、楕円を描くモードを設定し、あらかじめ設定されている角度未満であれば、直線を描くモードを設定する。【選択図】図４
2017102701.tif 000002
【特許請求の範囲】
【請求項１】
表示面に表示されている画像に対して入力操作手段によってなされた入力操作を検出するための入力操作検出装置であって、
前記入力操作手段を用いて前記表示面に手書き描画が行われる際に、前記入力操作手段が前記表示面から離れて用いられているか否かを判断する判断手段と、
前記判断手段の判断結果が、前記入力操作手段が前記表示面から離れて用いられている場合に、前記手書き描画のモードとして、前記入力操作手段の揺れを補正するモードを設定するモード設定手段と、を備える入力操作検出装置。
【請求項２】
前記入力操作手段の揺れを補正するモードは、楕円を描くモード及び直線を描くモードのいずれかであり、
前記モード設定手段は、前記入力操作手段の示す位置の開始点と終了点とのなす角度があらかじめ設定されている角度以上であれば、前記楕円を描くモードを設定することを特徴とする請求項１に記載の入力操作検出装置。
【請求項３】
前記入力操作手段は、前記表示面から離れて描画するときに押下されるボタンと、該ボタンが押下されると信号を出力する信号出力手段とを有し、
前記判断手段は、前記入力操作手段から前記信号を受信していると、前記入力操作手段が前記表示面から離れて用いられていると判断することを特徴とする請求項１又は２に記載の入力操作検出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の入力操作検出装置と、
前記入力操作検出装置で設定された手書き描画のモードで手書き画像を作成し、表示面に表示されている画像に重畳する処理装置とを備える画像表示装置。
【請求項５】
前記処理装置は、前記手書き画像を、あらかじめ設定されている時間が経過すると削除することを特徴とする請求項４に記載の画像表示装置。
【請求項６】
請求項４又は５に記載の画像表示装置と、
該画像表示装置に映像を転送する端末とを備える画像表示システム。
【請求項７】
前記画像表示装置がプロジェクタ装置であることを特徴とする請求項６に記載の画像表示システム。
【請求項８】
前記画像表示装置が電子ホワイトボードであることを特徴とする請求項６に記載の画像表示システム。
【請求項９】
前記画像表示装置がデジタルサイネージ装置であることを特徴とする請求項６に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力操作検出装置、画像表示装置及び画像表示システムに係り、更に詳しくは、ユーザによる入力操作を検出するための入力操作検出装置、該入力操作検出装置を有する画像表示装置、及び該画像表示装置を備える画像表示システムに関する。
【背景技術】
【０００２】
近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブな画像表示装置が市販されている。これらの機能は、操作者の指や、操作者が保持している電子ペンなどを入力操作手段とし、該入力操作手段の位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。
【０００３】
例えば、特許文献１には、ＸＹ平面及び該ＸＹ平面に対してＺ軸を定義した座標入力面に対する座標入力指示具の位置座標を算出する座標入力装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている座標入力装置をインタラクティブな画像表示装置に用いると、入力操作手段の揺れによって操作者の意図と異なる処理が行われるおそれがあった。
【課題を解決するための手段】
【０００５】
本発明は、表示面に表示されている画像に対して入力操作手段によってなされた入力操作を検出するための入力操作検出装置であって、前記入力操作手段を用いて前記表示面に手書き描画が行われる際に、前記入力操作手段が前記表示面から離れて用いられているか否かを判断する判断手段と、前記判断手段の判断結果が、前記入力操作手段が前記表示面から離れて用いられている場合に、前記手書き描画のモードとして、前記入力操作手段の揺れを補正するモードを設定するモード設定手段と、を備える入力操作検出装置である。
【発明の効果】
【０００６】
本発明の入力操作検出装置によれば、入力操作手段の揺れがあっても、操作者の意図を取得することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る画像表示システムの概略構成図である。
【図２】プロジェクタ装置のハードウェア構成を説明するためのブロック図である。
【図３】電子ペンのハードウェア構成を説明するためのブロック図である。
【図４】プロジェクタ装置、電子ペン、及び画像管理装置の機能を説明するためのブロック図である。
【図５】画像表示システムにおけるインタラクティブ機能の基本シーケンスを説明するための図（その１）である。
【図６】画像表示システムにおけるインタラクティブ機能の基本シーケンスを説明するための図（その２）である。
【図７】手書きモードの設定処理を説明するためのフローチャート（その１）である。
【図８】図８（Ａ）及び図８（Ｂ）は、それぞれ電子ペンの揺れ補正を説明するための図である。
【図９】手書きモードの設定処理を説明するためのフローチャート（その２）である。
【発明を実施するための形態】
【０００８】
以下、本発明の一実施形態を図１〜図９に基づいて説明する。図１には、一実施形態に係る画像表示システム１の概略構成が示されている。
【０００９】
この画像表示システム１は、画像表示装置としてのプロジェクタ装置１０、入力操作手段としての電子ペン５０、端末としての画像管理装置９０などを備えている。操作者（ユーザ）は、電子ペン５０を用いて、スクリーン３００の投影面に表示されている画像（以下、「投影画像」ともいう）に対して入力操作を行う。
【００１０】
プロジェクタ装置１０及び画像管理装置９０は、デスクやテーブル、あるいは専用の台座等（以下では、「載置台４００」という。）に載置されている。ここでは、ＸＹＺ三次元直交座標系において、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が表示面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。
【００１１】
画像管理装置９０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置９０とプロジェクタ装置１０との間の通信は、ＨＤＭＩ（登録商標）ケーブルなどの映像ケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置９０としては、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。
【００１２】
また、画像管理装置９０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。
【００１３】
プロジェクタ装置１０のハードウェア構成について説明する。プロジェクタ装置１０は、図２に示されるように、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、無線ユニット１４、ファン１５、光学部１６、ＵＳＢＩ／Ｆ１７、電源制御部１８、電源１９、映像信号処理部２０、映像信号受付部２１、ランプ制御部２２、ランプ２３、操作受付部２４などを有している。
【００１４】
ＣＰＵ１１は、プロジェクタ装置１０の全体を制御する。ＲＯＭ１２は、ＣＰＵ１１で実行される複数のプログラム及び各種データが格納されているメモリである。ＲＡＭ１３は、作業用のメモリである。
【００１５】
無線ユニット１４は、電子ペン５０との通信、及び画像管理装置９０との通信を制御する。ファン１５は、装置本体を冷却する。光学部１６は、映像を作り出す複数の光学部材を含んでいる。
【００１６】
ＵＳＢＩ／Ｆ１７は、ＵＳＢケーブルが接続される。電源１９は、電力の供給源である。電源制御部１８は、電源１９を制御する。
【００１７】
映像信号受付部２１は、映像の入力を制御する。映像信号処理部２０は、映像信号受付部２１を介して入力された映像信号を処理する。ランプ２３は、光源であり、ランプ制御部２２は、ランプ２３を制御する。操作受付部２４は、操作者の操作を受け付ける。
【００１８】
次に、電子ペン５０のハードウェア構成について説明する。電子ペン５０は、ＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、無線ユニット５４、レンズ５５、ペン先押下検知部５７、ボタン押下検知部５８、電源制御部５９、電源６０、光検出器６１、操作受付部６３などを有している。
【００１９】
ＣＰＵ５１は、電子ペン５０の全体を制御する。ＲＯＭ５２は、ＣＰＵ５１で実行される複数のプログラム及び各種データが格納されているメモリである。ＲＡＭ５３は、作業用のメモリである。
【００２０】
無線ユニット５４は、プロジェクタ装置１０との通信を制御する。ペン先押下検知部５７は、電子ペン５０のペン先が投影面に押しつけられているか否かを検知する。ボタン押下検知部５８は、電子ペン５０の握り部分にあるボタンが押下されているか否かを検知する。
【００２１】
電源６０は、電力の供給源である。電源制御部５９は、電源６０を制御する。光検出器６１は、光を受光し、受光光量に対応する電気信号を出力するセンサである。操作受付部６３は、操作者の操作を受け付ける。
【００２２】
プロジェクタ装置１０の機能について説明する。プロジェクタ装置１０は、機能として、図４に示されるように、映像入力手段１１１、投影手段１１２、映像編集手段１１３、位置座標算出手段１１４、インタラクティブ通信手段１１５、デバイス操作情報変換手段１１６、手書き手段１１７、ペン距離算出手段１１８、及び手書きモード切替判断手段１１９を有している。
【００２３】
映像入力手段１１１は、ＨＤＭＩ（登録商標）やＶＧＡやネットワークを介した映像の入力を受付ける。ここでは、画像管理装置９０から映像が入力される。
【００２４】
投影手段１１２は、映像信号を外部へ投影する。ここでは、スクリーン３００の投影面に投影する。
【００２５】
映像編集手段１１３は、変倍など投影する画像の編集処理を実行する。また、映像編集手段１１３は、手書き画像と入力映像を重畳する。
【００２６】
位置座標算出手段１１４は、電子ペン５０からのパターン情報の測定結果に基づいて、投影面上の電子ペン５０の位置座標を算出する。なお、ここでは、投影画面を光センサにより測定することを「パターン情報の測定」という。そして、光センサにより測定した光量情報が「測定結果」である。
【００２７】
インタラクティブ通信手段１１５は、電子ペン５０及び画像管理装置９０と、インタラクティブ機能に関わる情報の送受信を行う。
【００２８】
デバイス操作情報変換手段１１６は、算出された位置座標やボタンステータス情報を画像管理装置９０の操作情報に変換し、インタラクティブ通信手段１１５を介して画像管理装置９０に送る。なお、ボタンステータス情報は、電子ペン５０においてボタンが押下されているか否かが含まれる情報である。
【００２９】
手書き手段１１７は、電子ペン５０におけるボタンの押下とペン先の移動に応じて投影面上に手書きの線等を描画する。
【００３０】
ペン距離算出手段１１８は、電子ペン５０が投影面の近くで利用されているか、または投影面から離れて利用されているかを検知する。
【００３１】
手書きモード切替判断手段１１９は、ペン距離算出手段１１８での検知結果に基づいて、手書き描画のモードを設定する。
【００３２】
電子ペン５０の機能について説明する。電子ペン５０は、機能として、図４に示されるように、位置情報測定手段１５１、インタラクティブ通信手段１５２、及びボタン押下検知手段１５３を有している。
【００３３】
位置情報測定手段１５１は、投影画像に埋め込まれているパターン情報を測定し、その測定結果をインタラクティブ通信手段１５２を介してプロジェクタ装置１０に送る。
【００３４】
インタラクティブ通信手段１５２は、プロジェクタ装置１０との通信を制御する。
【００３５】
ボタン押下検知手段１５３は、ペン先が投影面に押しつけられているか、握り部分のボタンが押下されているか否かを検知し、検知結果をインタラクティブ通信手段１５２を介してプロジェクタ装置１０に送る。
【００３６】
画像管理装置９０の機能について説明する。画像管理装置９０は、機能として、図４に示されるように、インタラクティブ通信手段１９１、手書き手段１９３、及び映像出力手段１９４を有している。
【００３７】
インタラクティブ通信手段１９１は、プロジェクタ装置１０との通信を制御する。
【００３８】
操作手段１９２は、プロジェクタ装置１０からのデバイス操作情報に従って操作を実現する。
【００３９】
手書き手段１９３は、画面上で文字や図形を手書きで描画できるようにする。
【００４０】
映像出力手段１９４は、外部に映像を出力する。
【００４１】
図５には、プロジェクタ装置１０側で手書き画像が重畳される場合のインタラクティブ機能の基本シーケンスが示されている。
【００４２】
（１）画像管理装置９０は、プロジェクタ装置１０に映像信号を出力する（ステップＳ１０１）。
（２）プロジェクタ装置１０は、映像信号が入力されると、電子ペン５０の位置を特定するためのパターン情報を付加して映像を投影する（ステップＳ１０３）。
（３）電子ペン５０は、投影面に投影されているパターン情報を測定する（ステップＳ１０５）。
（４）電子ペン５０は、測定結果をプロジェクタ装置１０に送る（ステップＳ１０７）。
（５）プロジェクタ装置１０は、電子ペン５０からの測定結果に基づいて、電子ペン５０が指している投影面上の位置座標を算出する（ステップＳ１０９）。
（６）プロジェクタ装置１０は、手書きモードを設定する（ステップＳ１１１）。なお、ここでの処理の詳細は、後述する。
（６）プロジェクタ装置１０は、算出された位置座標、及び電子ペン５０におけるボタン押下の有無に基づいて、描画やカーソル移動といった操作を実施する（ステップＳ１１３）。
（７）プロジェクタ装置１０は、画像管理装置９０からの映像に、電子ペン５０による手書き画像を重畳して投影する（ステップＳ１１５）。
【００４３】
図６には、画像管理装置９０側で手書き画像が重畳される場合のインタラクティブ機能の基本シーケンスが示されている。
【００４４】
（１）画像管理装置９０は、プロジェクタ装置１０に映像信号を出力する（ステップＳ２０１）。
（２）プロジェクタ装置１０は、映像信号が入力されると、電子ペン５０の位置を特定するためのパターン情報を付加して映像を投影する（ステップＳ２０３）。
（３）電子ペン５０は、投影面に投影されているパターン情報を測定する（ステップＳ２０５）。
（４）電子ペン５０は、測定結果をプロジェクタ装置１０に送る（ステップＳ２０７）。
（５）プロジェクタ装置１０は、電子ペン５０からの測定結果に基づいて、電子ペン５０が指している投影面上の位置座標を算出する（ステップＳ２０９）。
（６）プロジェクタ装置１０は、手書きモードを設定する（ステップＳ２１１）。なお、ここでの処理の詳細は、後述する。
（７）プロジェクタ装置１０は、設定された手書きモードを画像管理装置９０に出力する（ステップＳ２１３）。
（８）プロジェクタ装置１０は、算出された位置座標を、デバイス操作情報に変換する（ステップＳ２１５）。
（９）プロジェクタ装置１０は、デバイス操作情報を画像管理装置９０に出力する（ステップＳ２１７）。
（１０）画像管理装置９０は、デバイス操作情報に基づいて、マウスカーソルの移動、クリック、タッチといった操作に反映させる（ステップＳ２１９）。このとき、画像管理装置９０側で、描画機能を持つアプリケーション、つまり「手書き手段」が有効になっていれば文字図形が描画されることとなる。
【００４５】
次に、プロジェクタ装置１０において行われる上記「手書きモードの設定」処理について図７を用いて説明する。図７のフローチャートは、プロジェクタ装置１０のＣＰＵ１１によって実行される一連の処理アルゴリズムに対応している。
【００４６】
最初のステップＳ４０１では、電子ペン５０のペン先が押し込まれているか否かを判断する。ペン先が押し込まれたことの通知を電子ペン５０から受信していれば、ここでの判断は肯定され、ステップＳ４０３に移行する。
【００４７】
このステップＳ４０３では、手書きモードとして、「電子ペン５０の動きに忠実なモード」を設定し、「手書きモードの設定」処理を終了する。
【００４８】
なお、上記ステップＳ４０１において、ペン先が押し込まれたことの通知を電子ペン５０から受信していなければ、ステップＳ４０１での判断は否定され、ステップＳ４０５に移行する。
【００４９】
このステップＳ４０５では、電子ペン５０の握り部分のボタンが押されているか否かを判断する。握り部分のボタンが押されたことの通知を電子ペン５０から受信していれば、ここでの判断は肯定され、ステップＳ４０７に移行する。
【００５０】
このステップＳ４０７では、手書きモードとして、「電子ペン５０の揺れを補正するモード」を設定し、「手書きモードの設定」処理を終了する。
【００５１】
なお、上記ステップＳ４０５において、握り部分のボタンが押されたことの通知を電子ペン５０から受信していなければ、ステップＳ４０５での判断は否定され、「手書きモードの設定」処理を終了する。
【００５２】
「電子ペン５０の揺れを補正するモード」としては、「直線を描くモード」がある。この場合、一例として図８（Ａ）及び図８（Ｂ）に示されるように、電子ペン５０が多少揺れ動いても、綺麗な直線を描画することができる。また、見やすくなるように、色や線の太さを自動的に調整しても良い。
【００５３】
また、「電子ペン５０の揺れを補正するモード」として、「楕円を描くモード」がある。
【００５４】
「電子ペン５０の揺れを補正するモード」として、「直線を描くモード」か「楕円を描くモード」かが設定される場合の例が、図９に示されている。
【００５５】
この場合、ステップＳ４０５での判断が肯定されると、ステップＳ５０１に移行する。
【００５６】
このステップＳ５０１では、微小時間毎に、電子ペン５０の示す位置の開始点と終了点とのなす角度を求める。
【００５７】
次のステップＳ５０３では、ステップＳ５０１で求めた角度が、あらかじめ設定されている角度θ（例えば、４５度）以上であるか否かを判断する。求めた角度がθ以上であれば、ここでの判断は肯定され、ステップＳ５０５に移行する。
【００５８】
このステップＳ５０５では、手書きモードとして、「楕円を描くモード」を設定し、「手書きモードの設定」処理を終了する。
【００５９】
一方、ステップＳ５０３において、求めた角度がθ未満であれば、ステップＳ５０３での判断は否定され、ステップＳ５０７に移行する。
【００６０】
このステップＳ５０７では、手書きモードとして、「直線を描くモード」を設定し、「手書きモードの設定」処理を終了する。
【００６１】
ところで、電子ペン５０を投影面から離れて使用する場合は、プレゼンテーションや説明において資料の一部を強調のために、直線や円などを手書きすることが多い。このとき、煩雑さを避けるため、一定時間後に手書き描画された画像が消えると好ましい場合がある。
【００６２】
そこで、電子ペン５０が投影面から離れて使用される場合に、手書き描画された画像を、描画時から一定時間（例えば、５秒）が経過したときに削除しても良い。
【００６３】
以上の説明から明らかなように、本実施形態に係るプロジェクタ装置１０では、位置座標算出手段１１４とインタラクティブ通信手段１１５とペン距離算出手段１１８と手書きモード切替判断手段１１９とによって、本発明の入力操作検出装置が構成されている。
【００６４】
以上説明したように、本実施形態に係るプロジェクタ装置１０によると、投影面に投影されている画像に対して、操作者が電子ペン５０を用いて手書きで描画する際に、電子ペン５０が投影面から離れて用いられている場合には、電子ペン５０の揺れを補正するモードで描画される。
【００６５】
電子ペン５０の揺れを補正するモードは、楕円を描くモード及び直線を描くモードのいずれかであり、手書きモード切替判断手段１１９は、電子ペン５０が示す位置の開始点と終了点とのなす角度があらかじめ設定されている角度以上であれば、楕円を描くモードを設定し、電子ペン５０が示す位置の開始点と終了点とのなす角度があらかじめ設定されている角度未満であれば、直線を描くモードを設定する。
【００６６】
電子ペン５０は、ペン先が押し込まれるとその旨の信号を送出し、握り部分のボタンが操作者によって押下されるとその旨の信号を送出する。ペン距離算出手段１１８は、握り部分のボタンが押下された旨の信号を受信すると、電子ペン５０が投影面から離れて用いられていると判断し、ペン先が押し込まれた旨の信号を受信すると、電子ペン５０が投影面の近くで用いられていると判断する。
【００６７】
そこで、操作者の意図が反映された手書き画像を投影面に表示することができる。
【００６８】
そして、画像表示システム１は、プロジェクタ装置１０を備えているため、結果として、効果的なプレゼンテーションや説明を快適に行うことができる。
【００６９】
なお、上記実施形態では、本発明の入力操作検出装置がプロジェクタ装置に用いられる場合について説明したが、これに限定されるものではない。例えば、本発明の入力操作検出装置が、電子ホワイトボードや、デジタルサイネージ装置に用いられても良い。
【符号の説明】
【００７０】
１…画像表示システム、１０…プロジェクタ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…無線ユニット、１５…ファン、１６…光学部、１７…ＵＳＢＩ／Ｆ、１８…電源制御部、１９…電源、２０…映像信号処理部、２１…映像信号受付部、２２…ランプ制御部、２３…ランプ、２４…操作受付部、５０…電子ペン（入力操作手段）、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…無線ユニット、５５…レンズ、５７…ペン先押下検知部、５８…ボタン押下検知部、５９…電源制御部、６０…電源、６１…光検出器、６３…操作受付部、９０…画像管理装置（端末）、１１１…映像入力手段、１１２…投影手段、１１３…映像編集手段、１１４…位置座標算出手段、１１５…インタラクティブ通信手段、１１６…デバイス操作情報変換手段、１１７…手書き手段（処理装置）、１１８…ペン距離算出手段（判断手段）、１１９…手書きモード切替判断手段（モード設定手段）、１５１…位置情報測定手段、１５２…インタラクティブ通信手段（信号出力手段）、１５３…ボタン押下検知手段、１９１…インタラクティブ通信手段、１９３…手書き手段、１９４…映像出力手段、３００…スクリーン、４００…載置台。
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特許第４００６２９０号公報
【図１】
2017102701.tif 000003
【図２】
2017102701.tif 000004
【図３】
2017102701.tif 000005
【図４】
2017102701.tif 000006
【図５】
2017102701.tif 000007
【図６】
2017102701.tif 000008
【図７】
2017102701.tif 000009
【図８】
2017102701.tif 000010
【図９】
2017102701.tif 000011