(57)【要約】  本発明の一態様は、タッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。
2017072913.tif 000002
【特許請求の範囲】
【請求項１】
入力物体によるタッチを検出するタッチ検出ステップと、
少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
を含む制御方法。
【請求項２】
前記処理決定ステップで決定する前記処理は、予め記憶させた前記入力物体の形状及び／又は色に対応づけた処理である
請求項１に記載の制御方法。
【請求項３】
前記処理決定ステップにおいて、前記取得画像から前記入力物体の形状及び／又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
請求項１又は２に記載の制御方法。
【請求項４】
前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて、タッチした前記入力物体の形状及び／又は色を認識して記憶するとともに、前記処理決定ステップで決定する前記処理を前記記憶した入力物体の形状及び／又は色に対応づける設定ステップをさらに含む
請求項２又は３に記載の制御方法。
【請求項５】
前記設定ステップが、
前記処理を表す第１アイコンを表示するステップと、
前記第１アイコンが表す前記処理を、前記第１アイコンにタッチした前記入力物体の形状及び／又は色に対応づけるステップと
を含む請求項４に記載の制御方法。
【請求項６】
前記設定ステップが、
色識別処理を表す第２アイコンを表示するステップと、
前記処理を、前記第２アイコンにタッチした前記入力物体の色に対応づけるステップと
を含む請求項４又は５に記載の制御方法。
【請求項７】
前記処理決定ステップで、タッチの開始又は終了の際に前記処理を決定する
請求項１から６のいずれか１項に記載の制御方法。
【請求項８】
前記処理決定ステップで決定した前記処理を表す第３アイコンを表示する表示ステップを
さらに含む請求項１から７のいずれか１項に記載の制御方法。
【請求項９】
前記表示ステップで、前記処理決定ステップで決定された前記処理が変化した場合に一定時間前記第３アイコンを表示する
請求項８に記載の制御方法。
【請求項１０】
前記処理決定ステップで、前記表示面に含まれた複数の部分領域毎に、前記実行する処理を決定する
請求項１から９のいずれか１項に記載の制御方法。
【請求項１１】
前記処理決定ステップで、前記複数の部分領域の少なくとも一つに対して、前記実行する処理を決定しない
請求項１０項に記載の制御方法。
【請求項１２】
入力物体によるタッチを検出する検出部と、
少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、
前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、
前記制御部が決定した処理により画像を表示する表示部と
を備えた電子黒板システム。
【請求項１３】
前記制御部が決定する前記処理は、予め記憶させた前記入力物体の形状及び／又は色に対応づけた処理である
請求項１２に記載の電子黒板システム。
【請求項１４】
前記制御部が、前記撮像画像から前記入力物体の形状及び／又は色を認識し、さらに前記認識した結果に応じて前記処理を決定する
請求項１２又は１３に記載の電子黒板システム。
【請求項１５】
前記制御部は、さらに、
前記検出部の検出結果と前記撮像部の撮像画像とに応じて、タッチした前記入力物体の形状及び／又は色を認識し、
前記決定する処理と、前記認識した入力物体の形状及び／又は色との対応づけを設定する
請求項１３又は１４に記載の電子黒板システム。
【請求項１６】
前記制御部は、前記対応づけを設定する際に、
前記処理を表す第１アイコンを表示し、
前記第１アイコンが表す前記処理を、前記第１アイコンにタッチした前記入力物体の形状及び／又は色に対応づける
請求項１５に記載の電子黒板システム。
【請求項１７】
前記制御部は、前記対応づけを設定する際に、
色識別処理を表す第２アイコンを表示し、
前記決定する処理を、前記第２アイコンにタッチした前記入力物体の色に対応づける
請求項１５又は１６に記載の電子黒板システム。
【請求項１８】
前記制御部は、タッチの開始又は終了の際に前記処理を決定する
請求項１２から１７のいずれか１項に記載の電子黒板システム。
【請求項１９】
入力物体によるタッチを検出する検出部による検出結果と前記入力物体の一部を少なくとも含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を
備えた表示装置。
【請求項２０】
入力物体によるタッチを検出するタッチ検出ステップと、
少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、
前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御方法、電子黒板システム、表示装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１は、次の機能を有する電子黒板システムを開示する。特許文献１に記載された電子黒板システムは、座標指定用の入力物体を撮像した画像から入力物体の色を検出し、検出結果をコンピュータ操作画面上の描画色に反映させる機能を有する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１２／０２６３４７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された電子黒板システムによれば、例えばオンスクリーンディスプレイメニューから色を選択する操作が不要となる。また、特許文献１に記載された電子黒板システムによれば、例えば色指定用に複数の専用のペンを用意する必要がなくなる。したがって、特許文献１に記載された電子黒板システムによれば、操作や構成を簡易化することができる。【０００５】
しかしながら、特許文献１に記載された電子黒板システムは、描画色を入力物体の本来の色に自動的に設定することを目的とする。そのため、特許文献１に記載された電子黒板システムでは、例えば描画色を入力物体の色と異なる色に設定することが容易ではなく、操作性が低くなる場合があるという課題がある。【０００６】
本発明は、上記の事情に鑑みてなされたものであり、上記の課題を解決することができる制御方法、電子黒板システム、表示装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとを含む制御方法である。【０００８】
また、本発明の一態様は、入力物体によるタッチを検出する検出部と、少なくとも前記入力物体の一部を含む画像を撮像する撮像部と、前記検出部による検出結果と前記撮像部による撮像画像とに応じて実行する処理を決定する制御部と、前記制御部が決定した処理により画像を表示する表示部とを備えた電子黒板システムである。【０００９】
また、本発明の一態様は、入力物体によるタッチを検出する検出部による検出結果と少なくとも前記入力物体の一部を含む画像を撮像する撮像部による撮像画像とに応じて実行する処理を決定する制御部が決定した前記処理により画像を表示する表示部を備えた表示装置である。【００１０】
また、本発明の一態様は、入力物体によるタッチを検出するタッチ検出ステップと、少なくとも前記入力物体の一部を含む画像を取得する画像取得ステップと、前記タッチ検出ステップでの検出結果と前記画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップとをコンピュータに実行させるプログラムである。
【発明の効果】
【００１１】
本発明によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の構成例を示すブロック図である。
【図２】本発明の第２の実施形態の構成例を示すブロック図である。
【図３】本発明の第２の実施形態の動作例を説明するための模式図である。
【図４】本発明の第２の実施形態の動作例を説明するための模式図である。
【図５】本発明の第２の実施形態の動作例を説明するための模式図である。
【図６】本発明の第２の実施形態の動作例を説明するための模式図である。
【図７】本発明の第２の実施形態の動作例を説明するための模式図である。
【図８】本発明の第２の実施形態の動作例を説明するための模式図である。
【図９】本発明の第２の実施形態における対応づけ記憶部１６の記憶内容の一例を示す図である。
【図１０】本発明の第２の実施形態の動作例を示すフローチャートである。
【図１１】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１２】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１３】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１４】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１５】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１６】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１７】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１８】本発明の第２の実施形態の動作例を説明するための模式図である。
【図１９】本発明の第２の実施形態の動作例を説明するための模式図である。
【図２０】本発明の第２の実施形態の動作例を説明するための模式図である。
【図２１】本発明の第３の実施形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態の構成例を示したブロック図である。図１に示した第１の実施形態の制御装置１は、タッチ検出部２と、画像取得部３と、処理決定部４とを備える。
【００１４】
制御装置１は、例えば、１または複数のコンピュータと、コンピュータの周辺装置と、コンピュータで実行されるプログラムとを用いて構成することができる。ここで、コンピュータは、パーソナルコンピュータ、スマートフォン等の端末であってもよいし、マイクロコントローラ等の組み込み用のコンピュータであってもよい。また、周辺装置は、例えば、タッチ操作を検出する検出装置を含む。あるいは、周辺装置は、例えば、タッチ操作を検出する検出装置を含まず、その検出装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を撮影する撮像装置を含む。あるいは、周辺装置は、例えば、撮像装置との間で信号を入出力するためのインタフェースを含む。また、周辺装置は、例えば、画像を表示する表示装置を含む。あるいは、周辺装置は、例えば、表示装置との間で信号を入出力するためのインタフェースを含む。表示装置は、処理決定部４が後述するようにして決定した処理により画像を表示する。また、タッチ検出部２、画像取得部３および処理決定部４は、それぞれコンピュータと周辺装置とを用いてコンピュータで所定のプログラムを実行することで実現される一定の機能である。本願では、タッチ検出部２、画像取得部３および処理決定部４のような一定の機能に対応したブロックを機能ブロックと呼ぶ。
【００１５】
タッチ検出部２は、ユーザの指や手、ペン等の入力物体による検出面へのタッチを検出するか、検出された結果を表す信号を入力する。タッチ検出部２は、検出面がタッチされていることを示す情報と、１または複数のタッチされた検出面上の位置を示す情報とを処理決定部４に対して出力する。タッチ検出部２は、例えば、表示装置とタッチ操作の検出装置とを備えたタッチパネルにおける検出装置を備える。あるいは、タッチ検出部２は、例えば、タッチ操作の検出装置が出力した信号の入力インタフェースである。
【００１６】
画像取得部３は、タッチ検出部２にタッチしたかまたはタッチしようとする入力物体の少なくとも一部を被写体として含んだ画像を取得する。ここで、少なくとも入力物体の一部を含む画像とは、入力物体の特徴データを抽出できる程度に入力物体の一部を含む画像である。例えば、入力物体がユーザの指である場合、ユーザの指先から手首までを含む画像である。画像取得部３は、例えば、撮像装置を備える。あるいは、画像取得部３は、例えば、撮像装置が出力した画像データの入力インタフェースである。
【００１７】
処理決定部４は、タッチ検出部２が出力した検出結果と画像取得部３が取得した画像とに応じて実行する処理を決定する。処理決定部４が決定した処理を実行する主体は、処理決定部４であってもよいし、処理決定部４とは異なる機能ブロックであってもよいし、または、その両方であってもよい。実行する処理とは、例えば、描画処理である。この場合、処理決定部４は、例えば、タッチ検出部２による検出結果と画像取得部３が取得した画像とに応じて、描画処理の内容を決定する。処理決定部４は、例えば、タッチ操作に応じて文字や線を描画する際に、描画色や描画するペンの形状を決定する。あるいは、実行する処理とは、例えば、上述した入力物体による検出面に対する操作を、仮想的なマウス操作として認識し、認識したマウス操作を表す情報を生成および出力する処理である。この場合、処理決定部４は、例えば、タッチ検出部２による検出結果と画像取得部３が取得した画像とに応じて生成する、マウスボタンのクリックの状態とマウスの位置とを表す情報の内容を決定する。なお、処理決定部４が決定する処理は、これらの例に限定されない。
【００１８】
以上の構成において、制御装置１は、タッチ検出部２が、入力物体によるタッチを検出するかあるいはタッチの検出結果を入力するタッチ検出ステップを実行する。また、画像取得部３が、少なくとも入力物体の一部を含む画像を取得する画像取得ステップを実行する。そして、処理決定部４が、タッチ検出ステップでの検出結果と画像取得ステップでの取得画像とに応じて実行する処理を決定する処理決定ステップを実行する。したがって、本実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができる。よって、種々の処理に柔軟に対応することができ、容易に操作性を高めることができる。
【００１９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について図面を参照して説明する。図２は、電子黒板システム１０の構成例を示した概略ブロック図である。図２に示した電子黒板システム１０は、撮像部１１と、制御部１２と、タッチパネル１３とを備える。図２に示した電子黒板システム１０においては、例えば、電子黒板システム１０全体を本発明の第２の実施形態としてとらえてもよいし、または、制御部１２を本発明の第２の実施形態としてとらえてもよい。あるいは、撮像部１１と制御部１２とを組み合わせたもの、もしくは制御部１２とタッチパネル１３とを組み合わせたものを本発明の第２の実施形態としてとらえてもよい。あるいは、制御部１２から入力された画像信号に応じて画像を表示する表示部１９を、本発明の第２の実施形態としてとらえてもよい。この場合、表示部１９は、例えば、撮像部１１と制御部１２と後述する検出部１８とを備えず、表示部１９を備えた表示装置として構成することができる。
【００２０】
撮像部１１は、例えば図３に示したようにタッチパネル１３に取り付けられたカメラである。撮像部１１は、タッチパネル１３の画面１３ａに対する操作範囲を含む領域を撮影する。すなわち、撮像部１１は、検出部１８に対して入力操作を行う入力物体の少なくとも一部を含む画像を撮像する。撮像部１１は、動画を常時撮影したり、一定の周期で繰り返し静止画を撮影したり、あるいは制御部１２から図示していない制御信号を受信したときに動画または静止画を撮影したりする。
【００２１】
なお、撮像部１１は、複数のカメラにより構成されてもよい。また、複数のカメラは、表示部１９の上辺および右辺もしくは左辺にそれぞれ設けることができる。この場合、異なる方向からを入力物体の画像を取得できるので、入力物体の形状や色を正確に判断できる。さらに、１または複数のカメラの取り付けは、操作範囲を含む領域における入力物体を撮影できればよく、タッチパネル１３に取り付けられることに限られない。
【００２２】
タッチパネル１３は、検出部１８を有し、表示部１９に取り付けられる。また、タッチパネル１３と表示部１９は、一体的な装置であってもよい。表示部１９は、制御部１２から入力された画像信号に応じて画像を表示する。例えば、表示部１９は、制御部１２が決定した描画処理によって画像を表示する。表示部１９は、例えば液晶ディスプレイである。検出部１８は、ユーザの指やペンなどの入力物体による表示部１９の表示面すなわちタッチパネル１３の画面１３ａに対するタッチ操作を検出する。検出部１８は、タッチの有無とタッチされた位置とを表す信号を、検出結果として制御部１２に対して出力する。検出部１８は、例えば液晶ディスプレイの表示面に透明のスクリーン状に形成されたタッチパッドである。
【００２３】
制御部１２は、コンピュータであり、例えばＣＰＵ（中央処理装置）、揮発性および不揮発性のメモリを含む記憶装置、入出力インタフェース、通信装置等を備える。制御部１２は、画像認識処理部１４と、判断処理部１５と、描画処理部１７と、対応づけ記憶部１６とを有する。画像認識処理部１４、判断処理部１５、描画処理部１７、および対応づけ記憶部１６は、上述した機能ブロックである。
【００２４】
画像認識処理部１４は、撮像部１１から取得した画像データを制御部１２内の記憶装置に一旦記憶する。そして、画像認識処理部１４は、例えば、検出部１８が入力物体のタッチを検出した際に撮影された画像から入力物体の形状や色（すなわち形状および／または色）を認識する処理を実行する。画像認識処理部１４は、例えば、認識対象の画像から抽出した形状の特徴データと、対応づけ記憶部１６に予め記憶しておいた入力物体の特徴抽出データとを比較し、類似度が高い特徴抽出データの識別情報を、認識結果として出力する。あるいは、画像認識処理部１４は、認識対象の画像中で一定の領域を占めた色の各成分の画素値と、予め記憶しておいた色の各成分の画素値とを比較し、類似度が高い色の識別情報を、認識結果として出力する。
【００２５】
判断処理部１５は、検出部１８の検出結果と画像認識処理部１４の認識結果とに応じて、表示部１９に対する描画処理の内容を決定する。例えば、図４に示したように、入力物体３１によって画面１３ａに対して形状９１が入力された場合、判断処理部１５は、入力物体３１の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状９１を描画するよう描画処理部１７を制御する。図４に示した例では、入力物体３１が右手人差し指で画面１３ａにタッチした状態の手である。また、描画色は黒である。なお、画面１３ａに対する入力とは、入力物体で画面１３ａにタッチするか、画面１３ａにタッチしたまま入力物体を移動させることを意味する。
【００２６】
また、例えば、図５に示したように、入力物体３２によって画面１３ａに対して形状９２が入力された場合、判断処理部１５は、入力物体３２の特徴データに類似する特徴抽出データに対応づけて設定されている色で形状９２を描画するよう描画処理部１７を制御する。図５に示した例では、入力物体３２が右手中指で画面１３ａにタッチした状態の手である。また、描画色は赤である。
【００２７】
また、判断処理部１５は、検出部１８の検出結果と画像認識処理部１４が認識した入力物体の形状や色とに応じて、認識した入力物体の形状や色と描画処理の内容との対応づけを設定する。設定の際、判断処理部１５は、例えば図６に示したように、画面１３ａ上に色設定メニュー２０を表示するよう描画処理部１７を制御する。色設定メニュー２０は、例えば、タッチパネル１３が備えた図示していないボタンがユーザによって押されたり、撮像部１１に向けてユーザが特定のジェスチャーを行ったりしたときに表示することができる。図６に示した色設定メニュー２０は、黒のアイコン２１、赤のアイコン２２、青のアイコン２３、緑のアイコン２４、黄色のアイコン２５および白のアイコン２６を含む。判断処理部１５は、例えば図７に示したように、入力物体３１が黒のアイコン２１をタッチした場合、入力物体３１の特徴データと黒とを対応づける設定情報を、対応づけ記憶部１６に記憶する。あるいは、判断処理部１５は、例えば図８に示したように、入力物体３２が赤のアイコン２２をタッチした場合、入力物体３２の特徴データと赤とを対応づける設定情報を、対応づけ記憶部１６に記憶する。
【００２８】
対応づけ記憶部１６は、入力物体の形状や色を表す情報と処理の内容を表す情報とを対応づける情報を記憶する。図９は、対応づけ記憶部１６の記憶内容の一例を示す。図９に示したテーブル１６１は、特徴抽出データ情報と、表示情報とを対応づけている。特徴抽出データ情報は、入力物体の形状や色の特徴を抽出したデータを表す情報である。表示情報は、描画処理の内容を表す情報であり、この例では、描画色または描画を消去する処理を表す。また、図９は、説明のため、特徴抽出データ情報を生成する際に特徴の抽出基であった入力物体３１〜３６を矢印で対応づけて示す。入力物体３１〜３４は右手４１であり、入力物体３５および３６は右手４２である。
【００２９】
図９において、例えば、上述した右手人差し指で画面１３ａにタッチした状態の形状を有する入力物体３１の特徴抽出データ情報は１６進数で「００４５ａｂｄ５９９３２ｆ０９６」であり、この特徴抽出データ情報には描画色「黒」を示す表示情報が対応づけられている。また、例えば、左手人差し指で画面１３ａにタッチした状態の形状を有する入力物体３５の特徴抽出データ情報にはタッチした領域になされた描画を消去する処理である「消しゴム」を示す表示情報が対応づけられている。また、例えば、左手を広げて画面１３ａにタッチした状態の形状を有する入力物体３６の特徴抽出データ情報には画面１３ａの全領域の描画を消去する処理である「全消去」を示す表示情報が対応づけられている。
【００３０】
なお、対応づけ記憶部１６には、上述したユーザによる設定処理を行う前に、例えば製品の出荷段階から典型的な特徴抽出データ情報と表示情報とを対応づけて複数組記憶させておくことができる。
【００３１】
一方、図２に示した描画処理部１７は、判断処理部１５による制御に従い、表示部１９に表示させる画像信号を生成し、生成した画像信号を表示部１９へ出力する。描画処理部１７は、外部から映像信号が入力された場合には、判断処理部１５の制御の下で描画する画像と入力された映像信号とを重畳させて画像信号を生成することができる。
【００３２】
次に、図１０に示したフローチャートを参照して、図２に示した電子黒板システム１０の動作例について説明する。図１０において、ステップＳ１３〜Ｓ１６が色設定処理に対応し、ステップＳ１７〜Ｓ２１が描画処理に対応する。また、対応づけ記憶部１６には、形状Ａ〜Ｆまたは形状Ｚを有する各入力物体の特徴抽出データがすでに格納されているものとする。
【００３３】
検出部１８が入力物体による画面１３ａのタッチを検出すると（ステップＳ１１）、色設定メニュー２０が表示されているか否かを判断処理部１５が判定する（ステップＳ１２）。色設定メニュー２０が表示されている場合（ステップＳ１２でＹｅｓの場合）、画像認識処理部１４が、撮像部１１が撮像した画像を取得し（ステップＳ１３）、所定のメモリに格納して画像認識処理を実行する（ステップＳ１４）。次に、判断処理部１５が、画像認識処理部１４での認識結果と、対応づけ記憶部１６にすでに格納されている入力物体の特徴抽出データの設定値（すなわち特徴抽出データ情報）とを比較する（ステップＳ１５）。ステップＳ１５において、判断処理部１５は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
【００３４】
例えば認識された入力物体の形状が形状Ａに最も類似していると判定されたとすると（ステップＳ１５で形状Ａ）、判断処理部１５は、形状Ａの特徴抽出データ情報に対応する表示情報に、色設定メニュー２０でユーザが指定した色情報を格納する（ステップＳ１６）。例えば、図７に示したように入力物体３１で黒のアイコン２１がタッチされた場合、判断処理部１５は、図９に示したように入力物体３１の特徴抽出データ情報に対応する表示情報に黒を格納する。そして、ステップＳ１６の後はステップＳ１１へ戻る。
【００３５】
一方、色設定メニュー２０が表示されてない場合（ステップＳ１２でＮｏの場合）、画像認識処理部１４が、撮像部１１が撮像した画像を取得し（ステップＳ１７）、所定のメモリに格納して画像認識を実行する（ステップＳ１８）。次に、判断処理部１５が、画像認識処理部１４での認識結果と、対応づけ記憶部１６にすでに格納されている入力物体の特徴抽出データの設定値とを比較する（ステップＳ１９）。ステップＳ１９において、判断処理部１５は、例えばテーブル参照方式で認識結果と設定値とを比較することができる。
【００３６】
例えば認識された入力物体の形状が形状Ａに最も類似していると判定されたとすると（ステップＳ１９で形状Ａ）、判断処理部１５は、形状Ａの特徴抽出データ情報に対応する表示情報として記憶されている色情報を対応づけ記憶部１６から読み出す（ステップＳ２０）。次に、判断処理部１５は、読み出した色情報で指定された色で描画処理を実行するよう描画処理部１７を制御する（ステップＳ２１）。例えば、図４に示したように入力物体３１で形状９１が入力されたとすると、判断処理部１５は、形状９１を黒で描画させる。そして、ステップＳ２１の後はステップＳ１１へ戻る。
【００３７】
以上の動作によれば、例えば右手人差し指で画面１３ａにタッチすれば黒で絵画を書き込むことができ、右手中指で画面１３ａにタッチすれば赤で絵画を書き込むことができる。また、例えば、入力物体の形状と色の対応関係をユーザが任意に設定することができる。
【００３８】
以上のように、第２の実施形態では、検出部１８が、入力物体によるタッチを検出する。撮像部１１が、少なくとも入力物体の一部を含む画像を撮像する。制御部１２が、検出部１８による検出結果と撮像部１１による撮像画像とに応じて実行する処理を決定する。また、表示部１９が、制御部１２が決定した処理により画像を表示する。したがって、第２の実施形態によれば、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。
【００３９】
なお、第２の実施形態は、例えば次のように変形することができる。例えば、図１０のステップＳ１６では、対応づけ記憶部１６の記憶内容を更新することができる。すなわち、判断処理部１５は、ステップＳ１３で取得された画像に基づく認識結果に応じて、最も類似すると判定された形状の特徴抽出データ情報を書き換えることができる。
【００４０】
また、色設定メニュー２０を階層構造としてもよい。電子黒板システム１０は、色設定メニュー２０で色が選択された後、例えば、図１１に示した線の形状を選択する設定メニュー２０ａを表示することができる。図１１に示した設定メニュー２０ａは、１本線を選択するためのアイコン２６と２本線を選択するためのアイコン２７とを有する。ここでアイコン２６がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、１本線で当該色の線が描画される。一方、アイコン２７がタッチされた場合、描画処理では、色を選択したときの入力物体の形状で入力操作が行われたとき、２本線で当該色の線が描画される。
【００４１】
また、色設定メニュー２０に代えて、設定メニュー２０ａのみを使用して描画処理の内容を入力物体の形状に対応づけることもできる。例えば、電子黒板システム１０をモノクロ表示で使用する場合、設定メニュー２０ａで線の形状と入力物体の形状とを設定する。この場合、例えば、図１２に示したように、設定メニュー２０ａのアイコン２６をタッチした入力物体３１の形状を１本線での描画に対応づける。また、アイコン２７をタッチした入力物体３３の形状を２本線での描画に対応づける。この場合、ユーザは、入力物体３１の形状で入力することで線を１本線に、そして、入力物体３３の形状で入力することで線を２本線にすることができる。
【００４２】
また、入力物体と色との対応づけを、色が異なる汎用のペンを用いて設定することができる。例えば、図１３に示したように、設定メニュー２０ｂに色識別処理を指示するアイコン２８を設ける。設定の際、ユーザは、１本の汎用のペンまたは複数の色が異なる汎用のペン４３〜４５を用意する。この場合、ペン４３は青、ペン４４は赤、そしてペン４５は黒である。ペン４３〜４５の形状は同一であっても異なっていてもよい。ユーザは、ペン４３〜４５にキャップをした状態で、ペン４３〜４５でアイコン２８にタッチする。電子黒板システム１０は、アイコン２８がタッチされたときにペン４３〜４５の形状と色とを認識し、ペン４３による描画に青、ペン４４による描画に赤、そしてペン４５による描画に黒を設定する。また、この変形例では、ペンのタッチする位置で処理の内容を変えることができる。例えば、ペンの一方の端部でタッチされたときは色指定で、他方の端部でタッチされたときは消しゴムとすることができる。
【００４３】
また、例えば、図１４および図１５に示したように、認識された入力物体の形状と、それに対応づけられている色とを画面１３ａ上にアイコン８１またはアイコン８２によって表示することができる。例えば、人差し指によるタッチが認識されている場合には、図１４に示したように、人差し指でタッチする形状のアイコン８１を黒で表示する。また、例えば、中指によるタッチが認識されている場合には、図１５に示したように、中指でタッチする形状のアイコン８２を赤で表示する。
【００４４】
なお、アイコン８１またはアイコン８２は、他の形状や色が認識されるまで常時表示しておいてもよいし、形状や色が変わったときに一定時間表示するだけでもよい。常時表示した場合、ユーザは、今、何色で記載することができるのかの情報を常に確認することができる。例えば、意図しない色の場合、ユーザは、指の形を再度変更するなどのアクションを取ることができる。他方、形状や色が変わったときに一定時間表示する場合、アイコン表示が目障りになりにくい。
【００４５】
また、描画色などの変更のタイミングには次の２通りが考えられる。すなわち、タッチを開始したときから予め設定した色などで描画処理を行う場合と、タッチを終了したときに予め設定した色などに変化させる場合とがある。図１６に示したように、タッチ開始時に色を変更する場合、タッチ開始の直前に認識した形状に対応する色で線画９２を描画する。一方、図１７に示したように、タッチ終了時に色を変更する場合、変更前の色または標準色にて線画９３を一度描画し、タッチが終了した時点で線画９３の描画中に認識した形状に対応する色で線画９２を再描画する。あるいは、線画９３を描画せずに、タッチが終了したときに認識結果に応じた色で線画９２を描画してもよい。
【００４６】
また、入力物体の形状や色と描画処理の内容との対応づけの設定は、画面１３ａの全体に対して一律としてもよいし、画面１３ａを複数の部分領域に分割し、部分領域毎に設定を変えてもよい。すなわち、例えば、図１８に示したように、画面１３ａの全体にわたるような１つの領域５１を入力および描画領域とすることができる。この場合、領域５１では入力物体の形状や色に応じて処理内容を変更しながら描画処理を行わせることができる。あるいは、図１９に示したように、画面１３ａの約半分を覆う領域５２を設定し、領域５２内でのみ入力物体の形状や色に応じて処理内容を変更しながら描画処理を行うようにしてもよい。そして、残りの領域５３では入力および描画を行わないようにすることができる。この場合、領域５３に対しては入力に応じて実行すべき描画処理は決定されないことになる。
【００４７】
また、例えば、図２０に示したように、画面１３ａを複数の領域５４、５５および５６に分割し、領域毎に入力物体の形状や色と、描画処理の内容との対応づけの設定を異ならせてもよい。この場合、例えば、領域５４、５５および５６毎に色設定メニュー２０ｃ、２０ｄおよび２０ｅを別々に表示することができる。
【００４８】
なお、撮像部１１は、カメラに限らず、赤外線センサーなどを用いたり、カメラと赤外線センサーを併用したりすることができる。また、電子黒板システムは、液晶ディスプレイを用いるものに限定されず、プロジェクタを用いたものであってもよい。また、入力物体は上記のものに限定されず、形状や色を識別可能な物体であって画面１３ａに損傷を与えにくいものであればよい。また、タッチパネル１３は、例えばタブレット型端末やスマートフォンが有するタッチパネルであってもよい。その場合、撮像部１１は、例えば、タブレット型端末やスマートフォンに内蔵されているインカメラと、入力物体を撮像可能に外付けしたプリズムとを用いて構成することができる。
【００４９】
また、第１の実施形態の構成要素と、第２の実施形態の構成要素の対応関係は例えば次のように考えることができる。図１に示した制御装置１は、図２に示した、電子黒板システム１０全体、制御部１２単体等に対応する。図１に示したタッチ検出部２は、図２に示した、検出部１８、検出部１８と判断処理部１５とを組み合わせたもの、判断処理部１５等に対応する。図１に示した画像取得部３は、図２に示した、撮像部１１、撮像部１１と画像認識処理部１４とを組み合わせたもの、画像認識処理部１４等に対応する。そして、図１に示した処理決定部４は、図２に示した判断処理部１５等に対応する。
【００５０】
＜第３の実施形態＞
次に、本発明の第３の実施形態について図面を参照して説明する。図２１は、電子黒板システム１０ａの構成例を示した概略ブロック図である。図２１に示した電子黒板システム１０ａは、カメラ１００と、ＣＰＵ２００と、タッチパネル３００と、パーソナルコンピュータ（以下、ＰＣと言う）４００と、記憶部５００とを備える。
【００５１】
カメラ１００は、光学モジュール１０１と、信号処理部１０４とを備える。光学モジュール１０１は、光学系１０２と、撮像素子１０３とを備える。撮像素子１０３は、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサ、ＣＣＤ（charge-coupled device）イメージセンサ等である。信号処理部１０４は、撮像素子１０３から画素値を読み出し、読み出した画素値に対して信号処理を行って所定形式の映像信号に変換して出力する。また、信号処理部１０４は、ＣＰＵ２００が出力した制御信号に基づいて、光学系１０２を制御したり、撮像素子１０３を制御したり、信号の処理の内容を変化させたりする。
【００５２】
タッチパネル３００は、液晶表示装置３０１と、タッチセンサ３０２とを備える。液晶表示装置３０１は、ＰＣ４００が出力した映像信号に基づいて映像を表示する。タッチセンサ３０２は、液晶表示装置３０１の表示画面に対するタッチ操作を検出し、タッチを検出したことを示すタッチ検出信号と、タッチされた位置を示す画面座標データとを出力する。
【００５３】
ＣＰＵ２００は、カメラインタフェース２０１と、演算処理部２０２とを備える。カメラインタフェース２０１は、カメラ１００が出力した映像信号を演算処理部２０２へ入力するための回路である。演算処理部２０２は、タッチパネル３００からタッチ検出信号と画面座標データとを入力する。また、演算処理部２０２は、カメラ１００へ制御信号を出力し、例えば撮像タイミングを制御する。また、演算処理部２０２は、ＰＣ４００へ制御信号を出力し、例えば描画する画像を指示する。
【００５４】
記憶部５００は、例えば、入力物体の形状や色の特徴を抽出したデータと、当該形状や色に対応づける処理との対応関係を表すテーブルを記憶する。記憶部５００は、例えば、ＣＰＵ２００に対して着脱可能に接続された書き換え可能な不揮発性メモリである。
【００５５】
ＰＣ４００は、ＣＰＵ２００から入力した制御信号と、ユーザが指示した映像やアプリケーションの操作画面を示す情報とから、タッチパネル３００に表示する画像を生成し、所定形式の映像信号として出力する。
【００５６】
第３の実施形態の電子黒板システム１０ａのタッチ操作に応じた設定処理と描画処理に関する動作は、第２の実施形態の電子黒板システム１０の動作と同一である。なお、第３の実施形態のカメラ１００が、第２の実施形態の撮像部１１に対応する。第３の実施形態のタッチパネル３００が、第２の実施形態のタッチパネル１３に対応する。そして、第３の実施形態のＣＰＵ２００とＰＣ４００と記憶部５００とを組み合わせたものが、第２の実施形態の制御部１２に対応する。
【００５７】
第３の実施形態によれば、第２の実施形態と同様に、タッチ検出の結果と取得画像とに応じて実行する処理を決定することができるので、容易に操作性を高めることができる。また、記憶部５００を着脱自在とした場合には、形状や色と処理との対応関係を示す情報を容易に更新することができる。また、第３の実施形態は、例えば、ＰＣ４００のアプリケーションプログラムの操作画面と、タッチパネル３００に対して書き込んだ文字や線とを組み合わせてタッチパネル３００に表示するのに適した簡易な構成である。
【００５８】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５９】
１  制御装置
２  タッチ検出部
３  画像取得部
４  処理決定部
１０、１０ａ  電子黒板システム
１１  撮像部
１２  制御部
１３  タッチパネル
１３ａ  画面
１４  画像認識処理部
１５  判断処理部
１６  対応づけ記憶部
１７  描画処理部
１８  検出部
１９  表示部
２１〜２６  アイコン（第１アイコン）
２８  アイコン（第２アイコン）
８１、８２  アイコン（第３アイコン）
【図１】
2017072913.tif 000003
【図２】
2017072913.tif 000004
【図３】
2017072913.tif 000005
【図４】
2017072913.tif 000006
【図５】
2017072913.tif 000007
【図６】
2017072913.tif 000008
【図７】
2017072913.tif 000009
【図８】
2017072913.tif 000010
【図９】
2017072913.tif 000011
【図１０】
2017072913.tif 000012
【図１１】
2017072913.tif 000013
【図１２】
2017072913.tif 000014
【図１３】
2017072913.tif 000015
【図１４】
2017072913.tif 000016
【図１５】
2017072913.tif 000017
【図１６】
2017072913.tif 000018
【図１７】
2017072913.tif 000019
【図１８】
2017072913.tif 000020
【図１９】
2017072913.tif 000021
【図２０】
2017072913.tif 000022
【図２１】
2017072913.tif 000023
【国際調査報告】
2017072913.tif 000024
2017072913.tif 000025
2017072913.tif 000026
2017072913.tif 000027