(57)【要約】【課題】座標の検出精度を良くすることを目的とする。【解決手段】複数の操作器を撮像する撮像装置と、表示装置とに接続される画像処理装置が、前記撮像装置から入力される画像データに基づいて、前記操作器の現在位置を示す観測点を生成し、前記操作器の運動に基づいて、前記現在位置の次の位置となる予測点を生成し、前記観測点及び前記予測点の状態を判定し、前記状態に基づいて、前記観測点を結ぶ線を前記表示装置に表示させることで上記課題を解決する。【選択図】図１
2018010578.tif 000002
【特許請求の範囲】
【請求項１】
複数の操作器を撮像する撮像装置と、表示装置とに接続される画像処理装置であって、
前記撮像装置から入力される画像データに基づいて、前記操作器の現在位置を示す観測点を生成する観測点生成部と、
前記操作器の運動に基づいて、前記現在位置の次の位置となる予測点を生成する予測点生成部と、
前記観測点及び前記予測点の状態を判定する判定部と、
前記状態に基づいて、前記観測点を結ぶ線を前記表示装置に表示させる出力部と
を備える画像処理装置。
【請求項２】
前記判定部は、少なくとも、前記観測点及び前記予測点が併合状態であるか否かを判定する請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記観測点に対して複数の前記予測点がリンクされると、前記併合状態であると判定する請求項２に記載の画像処理装置。
【請求項４】
前記判定部によって複数の前記予測点と、複数の前記観測点がリンクされた状態であると判定されると、複数の前記予測点及び複数の前記観測点を分離する請求項２又は３に記載の画像処理装置。
【請求項５】
複数の操作器を撮像する撮像装置と、表示装置と、前記撮像装置及び前記表示装置に接続される画像処理装置とを有する画像処理システムであって、
前記撮像装置から入力される画像データに基づいて、前記操作器の現在位置を示す観測点を生成する観測点生成部と、
前記操作器の運動に基づいて、前記現在位置の次の位置となる予測点を生成する予測点生成部と、
前記観測点及び前記予測点の状態を判定する判定部と、
前記状態に基づいて、前記観測点を結ぶ線を前記表示装置に表示させる出力部と
を備える画像処理システム。
【請求項６】
複数の操作器を撮像する撮像装置と、表示装置とに接続される画像処理装置が行う画像処理方法であって、
前記撮像装置から入力される画像データに基づいて、前記操作器の現在位置を示す観測点を生成する観測点生成手順と、
前記画像処理装置が、前記操作器の運動に基づいて、前記現在位置の次の位置となる予測点を生成する予測点生成手順と、
前記画像処理装置が、前記観測点及び前記予測点の状態を判定する判定手順と、
前記画像処理装置が、前記状態に基づいて、前記観測点を結ぶ線を前記表示装置に表示させる出力手順と
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、タッチパネル及び電子ペン等を用いて、いわゆるホワイトボードのように、ユーザが書き込んだ文字及び図形、記号、絵又はこれらの組み合わせ（以下単に「文字等」という。）を表示装置に表示する方法が知られている。
【０００３】
この方法では、ユーザが書き込み等の操作を行う点の座標を検出する方法が行われる。
また、操作を行う点の状態を「ｃｌｅａｒ」と「ｍｅｒｇｅｄ」に分け、異なる重み付けを行う方法が知られている（例えば、特許文献１等）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、複数の電子ペンが用いられると、各電子ペンの軌跡が誤認識される場合がある。そのため、誤認識によって、座標の検出精度が悪くなることが課題となる。
【０００５】
本発明の１つの側面は、座標の検出精度を良くすることを目的とする。
【課題を解決するための手段】
【０００６】
一態様における、複数の操作器を撮像する撮像装置と、表示装置とに接続される画像処理装置は、
前記撮像装置から画像データを入力する入力部と、
前記画像データに基づいて、前記操作器の現在位置を示す観測点を生成する観測点生成部と、
前記操作器の運動に基づいて、前記現在位置の次の位置となる予測点を生成する予測点生成部と、
前記観測点及び前記予測点の状態を判定する判定部と、
前記状態に基づいて、前記観測点を結ぶ線を前記表示装置に表示させる出力部と
を備える。
【発明の効果】
【０００７】
座標の検出精度を良くすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理システムの全体構成例を示す概念図である。
【図２】本発明の一実施形態に係る画像処理装置による座標の計算例を示す概念図である。
【図３】本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図４】本発明の一実施形態に係る操作器のハードウェア構成例を示す模式図である。
【図５】本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
【図６】本発明の一実施形態に係る観測点の生成例を示す図である。
【図７】本発明の一実施形態に係る観測点及び予測点の一例を示す図である。
【図８】本発明の一実施形態に係る複数の観測点がある場合の一例を示す図である。
【図９】本発明の一実施形態に係る画像処理装置によるノード化処理の一例を示すフローチャートである。
【図１０】本発明の一実施形態に係る画像処理装置によるリンクの一例を示す図である。
【図１１】本発明の一実施形態に係る画像処理装置による判定処理の一例を示す図である。
【図１２】本発明の一実施形態に係る画像処理装置によるＩＤの振り分け方法の一例を示す図である。
【図１３】本発明の一実施形態に係る画像処理装置による「状態５」におけるリンクの一例を示す図である。
【図１４】誤認識の一例を示す図である。
【図１５】「併合状態」の一例を示す図である。
【図１６】本発明の一実施形態に係る画像処理装置による効果の一例を示す図である。
【図１７】本発明の一実施形態に係る光遮断方式の一例を示す図である。
【図１８】本発明の一実施形態に係る画像処理システム及び画像処理装置の機能構成例を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について説明する。
【００１０】
＜第１実施形態＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例を示す概念図である。図示するように、画像処理システム１は、複数の第１撮像装置の例である４台のカメラと、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の画像処理装置１０とを備える。なお、第１撮像装置は、３つ以上であればよい。
【００１１】
図示するように、例えば、それぞれのカメラの視野角が約９０°であるとすると、表示装置の例であるディスプレイＤＩＳの平面全体を撮像しやすいように、各カメラは、四隅等に設置される。以下、図において、４台のカメラのうち、左上に図示するカメラを左上カメラＣＡＭ１１という。同様に、４台のカメラのうち、右上に図示するカメラを右上カメラＣＡＭ１２という。さらに、４台のカメラのうち、右下に図示するカメラを右下カメラＣＡＭ１３という。さらにまた、４台のカメラのうち、左下に図示するカメラを左下カメラＣＡＭ１４という。
【００１２】
図示するように、画像処理装置１０は、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４が撮像したそれぞれの画像データを入力し、画像データに基づいて、電子ペンＰＥ等の被写体が位置する座標、すなわち、位置を計算する。
【００１３】
画像処理システム１及びディスプレイＤＩＳは、例えば、以下のように用いられる。例えば、ユーザは、操作器の例である電子ペンＰＥを用いて、タッチ操作及び手書きで文字等を書き込む等の操作を行う。具体的には、ディスプレイＤＩＳ上の任意の点に文字等を書き込む場合には、ユーザは、文字等を書き込む位置に、電子ペンＰＥをディスプレイＤＩＳに接触させる。そして、各カメラは、電子ペンＰＥを撮像して画像データをそれぞれ生成する。このようにして生成されるそれぞれの画像データに基づいて、電子ペンＰＥ又は電子ペンＰＥの所定の箇所の座標が計算される。
【００１４】
また、座標は、例えば、以下のように計算される。
【００１５】
図２は、本発明の一実施形態に係る画像処理装置による座標の計算例を示す概念図である。まず、以下の説明では、いわゆる電子ペンＰＥのペン先が所定の箇所である例で説明する。すなわち、図示するように、この例は、電子ペンＰＥのペン先が位置する座標が計算結果として出力される例である。なお、所定の箇所は、電子ペンの位置を示す電子ペンのペン先以外の箇所でもよい。
【００１６】
なお、以下の説明では、電子ペンＰＥの所定の箇所を示す３次元の座標系を「世界座標系」という。図示する例では、図において横方向がＸ軸となり、図において奥行き方向がＹ軸となる。そして、図において縦方向がＺ軸となる。また、ディスプレイＤＩＳ上の世界座標系は、Ｚ軸の値が一定であるとし、Ｚ軸の値の記載を省略して、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）と示す。さらに、カメラの主点、すなわち、カメラが有する撮像素子の中心位置等を主点ＣＡＭＯＲとする。
【００１７】
一方で、各カメラによって撮像された画像における座標を以下の説明では「カメラ座標系」（「イメージ座標系」という場合もある。）という。
【００１８】
世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算するには、図示するように、まず、複数のカメラが撮像した画像データのうち、２つの画像データ（以下「左画像データＩＭＧＬ」及び「右画像データＩＭＧＲ」という。）が画像処理装置によって選択される。なお、左画像データＩＭＧＬにおけるカメラ座標を「（ｘ１，ｙ１）」とし、一方で、右画像データＩＭＧＲにおけるカメラ座標を「（ｘ２，ｙ２）」とする。図示するように、各カメラは、主点ＣＡＭＯＲを基点に撮像するため、被写体は、図示するように、主点ＣＡＭＯＲと、被写体とを結んだ線がカメラ座標系の平面と交わる位置の画素に撮像される。
【００１９】
そして、（ｘ１，ｙ１）及び（ｘ２，ｙ２）が求まると、画像処理装置は、三角測量等によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算することができる。なお、三角測量は、公知の技術等で実現される。
【００２０】
＜画像処理装置のハードウェア構成例＞
図３は、本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。例えば、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０Ｈ１、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０Ｈ２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０Ｈ３、キーボード１０Ｈ４及びマウス１０Ｈ５を有する。さらに、画像処理装置１０は、ハードディスク１０Ｈ６、グラフィックボード１０Ｈ７、ネットワークカード１０Ｈ８、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９及びプログラム読取装置１０Ｈ１０を有する。
【００２１】
ＣＰＵ１０Ｈ１は、各処理を実現させるための演算及びデータ加工を行う演算装置である。また、ＣＰＵ１０Ｈ１は、各ハードウェアを制御する制御装置である。さらに、ＣＰＵ１０Ｈ１は、プログラムに基づいて動作する装置である。
【００２２】
ＲＯＭ１０Ｈ２は、プログラム及びパラメータ等を含むデータを記憶する記憶装置である。
【００２３】
ＲＡＭ１０Ｈ３は、プログラム及びパラメータ等を含むデータを記憶する主記憶装置である。そして、ＲＡＭ１０Ｈ３は、ＣＰＵ１０Ｈ１が処理を行う際に作業領域を提供する装置である。
【００２４】
キーボード１０Ｈ４及びマウス１０Ｈ５は、入力装置の一例である。すなわち、キーボード１０Ｈ４及びマウス１０Ｈ５は、ユーザが画像処理装置１０に対して、コマンド及びクリック等の操作を入力するためのインタフェースとなる。
【００２５】
ハードディスク１０Ｈ６は、補助記憶装置の一例である。図示するように、ハードディスク１０Ｈ６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、デバイスドライバ及び各種アプリケーションプログラム等のデータを記憶する。
【００２６】
グラフィックボード１０Ｈ７は、画像及びＣＰＵ１０Ｈ１による処理結果等を表示する出力装置である。なお、グラフィックボード１０Ｈ７には、ディスプレイ等の外部装置が接続され、グラフィックボード１０Ｈ７が画像等を外部装置に出力して、外部装置が画像等をユーザに表示する。
【００２７】
ネットワークカード１０Ｈ８は、有線又は無線によって、ネットワークを介して、外部装置とデータを送受信するためのインタフェースである。例えば、ネットワークカード１０Ｈ８は、コネクタ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等である。
【００２８】
Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、外部装置をケーブル等を介して接続させるインタフェースである。例えば、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、コネクタ及び処理ＩＣ等である。
【００２９】
プログラム読取装置１０Ｈ１０は、記録媒体１１等に記憶されるプログラムを読み取る装置である。例えば、記録媒体１１が光学ディスクである場合には、プログラム読取装置１０Ｈ１０は、光学ディスクドライブ等である。
【００３０】
このように、画像処理装置１０は、プログラム等に基づいて動作するＰＣ、サーバ、ワークステーション又はモバイル機器等の情報処理装置である。すなわち、画像処理装置１０は、コンピュータである。
【００３１】
なお、画像処理装置１０は、図示する構成に限られない。例えば、画像処理装置１０は、ＣＰＵ等を補助する補助装置を更に有する構成でもよい。
【００３２】
＜操作器のハードウェア構成例＞
図４は、本発明の一実施形態に係る操作器のハードウェア構成例を示す模式図である。例えば、電子ペンＰＥは、図示するように、発光部ＰＥＨ１と、支持部ＰＥＨ２とを有する構成であるのが望ましい。以下、図示する構成を例に説明する。
【００３３】
発光部ＰＥＨ１は、筆記用具においてインクが滲み出る箇所、すなわち、ペン先等の位置が望ましい。また、発光部ＰＥＨ１は、図示するように、ディスプレイＤＩＳの表面に接触する箇所に近い箇所であるのが望ましい。なお、発光部ＰＥＨ１は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。また、発光部ＰＥＨ１は、カメラが有する撮像素子が感知する可視光及び赤外光を発光する。
【００３４】
支持部ＰＥＨ２は、電子ペンＰＥを用いる際に、ユーザが手で持つ箇所である。つまり、ユーザは、支持部ＰＥＨ２を握って、電子ペンＰＥによる操作を行う。
【００３５】
また、所定の箇所は、例えば、発光部ＰＥＨ１が設置される位置である。
【００３６】
＜全体処理例＞
図５は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
【００３７】
＜撮像例＞（ステップＳ１０１）
ステップＳ１０１では、画像処理装置は、各カメラに操作器を撮像させる。そして、カメラが操作器を撮像した画像データを生成し、画像処理装置に入力する。
【００３８】
＜撮像された画像に基づく観測点の生成例＞（ステップＳ１０２）
ステップＳ１０２では、画像処理装置は、入力された画像データが示す画像に基づいて、観測点を生成する。例えば、観測点は、以下のように生成される。
【００３９】
図６は、本発明の一実施形態に係る観測点の生成例を示す図である。
【００４０】
図９は、本発明の一実施形態に係る画像データの一例を示す図である。図示するように、ディスプレイＤＩＳの表面における任意の点が電子ペンのペン先で指示されるとすると、例えば、左上カメラＣＡＭ１１が撮像する画像データＩＭＧに、電子ペンのペン先を示すｂｌｏｂＢＬが写る。なお、ペン先で指示される点が観測点ＴＰの例である。また、図示するように、観測点ＴＰと、ｂｌｏｂＢＬとは、投影関係となる。したがって、ｂｌｏｂＢＬの位置、すなわち、ｂｌｏｂＢＬを追跡すると、画像処理装置は、逆投影から観測点ＴＰを算出することができる。
【００４１】
なお、ｂｌｏｂ（Ｂｉｎａｒｙ  Ｌａｒｇｅ  Ｏｂｊｅｃｔ）は、例えば、"ｈｔｔｐ:／／ｗｗｗ.ｅｉｚｏｊｏｈｏ.ｃｏ.ｊｐ／ｉ／ｉ_ｐｄｆ／０００４.ｐｄｆ"等に記載される通り、画像内に存在する特定のグレイスケールの値又は値の範囲を持ったピクセルの「かたまり」のことを指す。
【００４２】
＜今回の予測点の生成例＞（ステップＳ１０３）
図５に戻り、ステップＳ１０３では、画像処理装置は、今回の予測点を生成する。予測点は、現在位置を示す観測点より以前に生成された観測点に基づいて生成される。つまり、予測点は、電子ペンの運動を分析して生成される。なお、予測点は、例えば、速度又は加速度等に基づいて算出する。また、予測点は、カルマンフィルタ等によって予測されてもよい。
【００４３】
図７は、本発明の一実施形態に係る観測点及び予測点の一例を示す図である。例えば、以前の観測点及び以前の予測点を含む各点を結ぶと、図示するように、各点を結ぶ線は、電子ペンによる筆記の軌跡となる。以下の説明では、現在位置、すなわち、最新の時点を時刻ｔと示す。また、時刻ｔより、１つ前に生成された各点は、時刻ｔ−１に生成されたと示し、同様に、２つ前の各点は、時刻ｔ−２に生成されたと示す。具体的には、時刻ｔに生成された観測点は、第１観測点ＰＯ１である。
【００４４】
そして、時刻ｔに生成される予測点は、第１予測点ＰＣ１である。第１予測点ＰＣ１は、次の位置、すなわち、時刻ｔ＋１における位置を予測した結果である。また、第１観測点ＰＯ１より、１つ前、すなわち、時刻ｔ−１に生成された観測点は、ＰＯ２である。同様に、第１予測点ＰＣ１より、１つ前、すなわち、時刻ｔ−１に生成された予測点は、ＰＣ２である。
【００４５】
＜今回の予測点に今回の観測点と同じＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及びタグの設定例＞（ステップＳ１０４）
図５に戻り、ステップＳ１０４では、画像処理装置は、今回の予測点に、今回の観測点と同じＩＤ及びタグを設定する。まず、複数の電子ペンには、それぞれの電子ペンを認識できるＩＤが設定される。
【００４６】
なお、タグは、以前の判定処理等によってあらかじめ設定されている状態である。初期値は、例えば「併合なし」とする値等である。ＩＤは、各電子ペンを識別できるデータである。また、タグは、判定処理によって定まる電子ペンの状態を示すデータである。
【００４７】
＜ノード化例＞（ステップＳ１０５）
ステップＳ１０５では、画像処理装置は、ノード化を行う。まず、以下のように、複数の観測点が時刻ｔに生成されたとする。
【００４８】
図８は、本発明の一実施形態に係る複数の観測点がある場合の一例を示す図である。複数の電子ペンを用いて操作が行われると、例えば、図７に示すような第１観測点ＰＯ１とは別に、時刻ｔにおいて、第３観測点ＰＯ３が生成される場合がある。このような場合には、まず、以下のようなノード化の処理が行われる。
【００４９】
図９は、本発明の一実施形態に係る画像処理システムによるノード化処理の一例を示すフローチャートである。
【００５０】
＜所定距離内に今回の観測点があるか否かの判断例＞（ステップＳ２０１）
ステップＳ２０１では、画像処理装置は、今回生成した予測点、すなわち、第１予測点について判断を行う。具体的には、ステップＳ２０１では、画像処理装置は、第１予測点から所定距離内に今回の観測点、すなわち、時刻ｔに生成された観測点があるか否かを判断する。例えば、図８に示すように、第１予測点ＰＣ１から所定距離ＤＳＴ内に、第１観測点ＰＯ１があるか否かが判断される。なお、所定処理ＤＳＴは、あらかじめ設定される距離である。
【００５１】
所定距離内に第１観測点があると判断されると（ステップＳ２０１でＹＥＳ）、画像処理装置は、ステップＳ２０２に進む。一方で、所定距離内に第１観測点がないと判断されると（ステップＳ２０１でＮＯ）、画像処理装置は、ステップＳ２０３に進む。
【００５２】
＜予測点に最も近い観測点をリンクさせる例＞（ステップＳ２０２）
ステップＳ２０２では、画像処理装置は、予測点に最も近い観測点をリンクさせる。例えば、リンクは、以下のような処理である。
【００５３】
図１０は、本発明の一実施形態に係る画像処理装置によるリンクの一例を示す図である。例えば、図示するように、観測点及び予測点をノードとすると、各ノードがリンクされると、各ノードを結ぶ線ＬＫが生成される。なお、図示する例は、第１観測点ＰＯ１及び第１予測点ＰＣ１が１対１の関係でリンクされる例である。
【００５４】
＜リンクが未設定の今回の観測点があるか否かの判断例＞（ステップＳ２０３）
図９に戻り、ステップＳ２０３では、画像処理装置は、リンクが未設定の今回の観測点があるか否かを判断する。後段のステップＳ２０４では、各今回の観測点から所定距離内に予測点があると、観測点及び予測点は、リンクされ、図１０に示すように、各ノードを結ぶ線ＬＫが生成される。このように、すべての今回の観測点について、予測点とリンクできるか否かの判断が行われたか否かが画像処理装置に判断される。
【００５５】
リンクが未設定の今回の観測点があると画像処理装置に判断されると（ステップＳ２０３でＹＥＳ）、画像処理装置は、ステップＳ２０４に進む。一方で、リンクが未設定の今回の観測点があると画像処理装置に判断されると（ステップＳ２０３でＮＯ）、画像処理装置は、処理を終了する。
【００５６】
＜リンクが未設定の今回の観測点に、所定距離内にあって、最も近い今回の予測点をリンクさせる例＞（ステップＳ２０４）
ステップＳ２０４では、画像処理装置は、リンクが未設定の今回の観測点に、所定距離内にあって、最も近い今回の予測点をリンクさせる。例えば、画像処理装置は、まず、今回の観測点から、所定距離内に今回の予測点があるか否かを判断する。そして、所定距離内に、今回の予測点があると、画像処理装置は、観測点と、予測点とを図１０と同様にリンクさせる。
【００５７】
＜判定処理例＞（ステップＳ１０６）
図５に戻り、ステップＳ１０６では、画像処理装置は、判定処理を行う。判定処理は、ノード化された各観測点及び各予測点が、以下のどのような状態であるか判定する。
【００５８】
図１１は、本発明の一実施形態に係る画像処理装置による判定処理の一例を示す図である。例えば、各ノードは、図示するように、観測点又は観測点とリンクされた予測点の単位（以下「判定単位」という。）ごとに、それぞれの状態が判定される。すなわち、画像処理装置は、ノードが複数リンクしている場合には、判定単位となるように、観測点及び予測点を分割する。次に、画像処理装置は、ノードの数に基づいて以下のように状態を判定する。
【００５９】
「状態１」は、観測点が１点のみで存在している状態である。このような状態は、時刻ｔから新しく加えられた観測点である。すなわち、「状態１」と判定される観測点は、電子ペンによる書き始めの点等である。次に、「状態１」と判定されると、判定処理後、画像処理装置は、観測点に、新しいＩＤを設定する。また、画像処理装置は、観測点に、「併合なし」のタグを設定する。そして、次の時刻ｔ＋１について、図５に示す処理を開始する。
【００６０】
「状態２」は、観測点と予測点が１対１の関係でリンクされている状態である。このような状態は、追跡が成功の状態である。次に、「状態２」と判定されると、判定処理後、画像処理装置は、観測点に、予測点と同じＩＤを設定する。また、画像処理装置は、観測点に、「併合なし」のタグを設定する。
【００６１】
「状態２」のように、追跡が成功している状態では、以前から今回までの観測点を結べば、電子ペンによる描画の軌跡が精度良く表示される状態となる。したがって、画像処理装置は、時刻ｔから以前の観測点を結ぶ線をディスプレイＤＩＳ（図１）等に表示する。なお、結ばれる観測点は、同一のＩＤが設定された観測点同士である。また、１点だけを追跡する場合は、「状態２」と同様の処理が行われる。
【００６２】
「状態３」は、１つの観測点に対して複数の予測点がリンクされている状態である。例えば、図示するように、１つの観測点に対して２つの予測点がリンクされる場合がある。このような状態は、「併合状態」である。
【００６３】
このように、「併合状態」とは、センサー受光により形成された画像中のポインター（ペン）位置が重合する状態（分離が困難な状態）である。したがって、画像処理装置は、「併合状態」であることをタグで保存する。また、観測点には、図示する「予測点Ｂ１」及び「予測点Ｂ２」の２つのＩＤを設定する。このように、観測点に２つ以上のＩＤが設定されていると、画像処理装置は、「併合状態」であることを認識できる。さらに、「併合状態」の場合は、次の時刻ｔ＋１で、「併合状態」を分離するため、時刻ｔ−１の観測点に係るデータを使うので、画像処理装置は、次の時刻ｔ＋１の処理のために、時刻ｔ−１の観測点に係るデータを記憶する。
【００６４】
そして、時刻ｔまでは、「併合なし」の状態であるため、「状態２」と同様に、時刻ｔまでは、追跡が成功している状態である。したがって、時刻ｔまでは、「状態２」と同様に、画像処理装置は、時刻ｔから以前の観測点を結ぶ線をディスプレイＤＩＳ（図１）等に表示する。
【００６５】
「状態４」は、複数の観測点に対して１つの予測点がリンクされている状態である。このような状態は、例えば、図示するように、１つの予測点に対して２つの観測点がリンクされている状態である。したがって、このような状態は、１つの予測点が２つのＩＤを持つ状態である。すなわち、「状態４」は、「併合状態」の観測点又は予測点に対して分離処理を行い、「併合状態」を「併合なし」の状態にする処理を行う「分離状態」である。ゆえに、画像処理装置は、２つのＩＤを２つの観測点に振り分ける。
【００６６】
ＩＤを振り分ける方法は、例えば、以前に「状態３」等と判定されると、あらかじめ記憶される「併合状態」となる前の観測点に係るデータ、すなわち、時刻ｔ−１の観測点に係るデータ等を用いて行われる。具体的には、以下のような処理である。
【００６７】
図１２は、本発明の一実施形態に係る画像処理装置によるＩＤの振り分け方法の一例を示す図である。例えば、図１２（Ａ）に示す状態（「併合なし」の状態）から、図１２（Ｂ）に示すような状態となり（「併合状態」）、図１２（Ｃ）に示す状態で、ＩＤを振り分ける処理が行われる例で説明する。なお、図示するように、この例では、２つの観測点のそれぞれのＩＤは、「ＩＤ＝３」と、「ＩＤ＝４」であるとする。まず、図１２（Ｂ）に示す状態と判定されると、時刻ｔ−１において、時刻ｔ−２等の「併合なし」の観測点に係るデータが記憶される。
【００６８】
そして、ＩＤを振り分ける時刻ｔでは、各観測点の時刻ｔ−２の観測点に係るデータを用いて、振り分けが行われる。具体的には、図１２（Ｃ）に示すように、時刻ｔ−２の観測点に近い方のＩＤがそれぞれの観測点に振り分けられる。
【００６９】
他に、ＩＤを振り分ける方法は、例えば、米国特許ＵＳ８６９２７６８等に記載されている方法等でもよい。
【００７０】
図１１に戻り、「状態５」は、図示するように、複数の予測点と複数の観測点とがリンクされた状態である。このような状態では、予測点と観測点とを、例えば、以下のようにリンクする。
【００７１】
図１３は、本発明の一実施形態に係る画像処理装置による「状態５」におけるリンクの一例を示す図である。例えば、図１３（Ａ）に示すような「状態５」の状態である場合を例に説明する。そして、画像処理装置は、図１３（Ｂ）に示すような状態にリンクする。
【００７２】
例えば、リンクした予測点及び観測点のそれぞれの距離の平方和が最小かつ重複がないように、画像処理装置は、観測点及び予測点を分離する。図１３（Ｂ）に示すように、分離が行われると、各リンクされた予測点及び観測点は、「状態２」と同様の状態である。そのため、各リンクされた予測点及び観測点に対して、画像処理装置は、「状態２」の場合と同様に、時刻ｔから以前の観測点を結ぶ線をディスプレイＤＩＳ（図１）等に表示する。
【００７３】
このように、複数の電子ペンが用いられる場合には、判定処理によって状態を判定し、「併合状態」であるか否かが判定されると（上記「状態３」であるか否かが判定されると）、画像処理装置は、ＩＤを振り分ける等によって、「併合状態」であっても、精度良く各観測点を分離できる。例えば、画像処理装置は、以下のような誤認識を少なくすることができる。
【００７４】
図１４は、誤認識の一例を示す図である。例えば、複数の電子ペンを用いて図１４（Ａ）に示すように、筆記が行われているとする。このような場合等では、図１４（Ｂ）に示すように、「併合状態」となると、一方の電子ペンによる軌跡と、他方の電子ペンによる軌跡とが誤認識され、図１４（Ｂ）に示すように、図１４（Ａ）に示す「実際の筆記」とは異なる軌跡が表示ディスプレイＤＩＳ上に表示される場合がある。この原因は、以下のような「併合」が原因である場合が多い。
【００７５】
図１５は、「併合状態」の一例を示す図である。例えば、複数の電子ペンを用いる場合であって、２点の観測点が左上カメラＣＡＭ１１によって認識される場合を例に説明する。まず、「併合なし」、すなわち、上記「状態２」の場合には、図１５（Ａ）に示すように、２点の観測点は、それぞれ異なるＩＤであると、分離して認識される。一方で、「併合状態」では、図１５（Ｂ）に示すように、異なる電子ペンで入力された観測点であっても、２点の観測点は、同一のＩＤであると認識される場合である。このような「併合状態」が起きると、図１４に示すような誤認識の原因となる場合がある。一方で、判定処理によって、誤認識が少ないと、画像処理装置は、以下のような表示をさせることができる。
【００７６】
図１６は、本発明の一実施形態に係る画像処理装置による効果の一例を示す図である。例えば、「ＩＤ＝３」の観測点と、「ＩＤ＝４」の観測点とによる軌跡が図示するように、連続して、それぞれ表示されるようにすることができる。すなわち、「ＩＤ＝３」の観測点と、「ＩＤ＝４」の観測点が、混ざらずに、軌跡が表示できる。
【００７７】
＜変形例＞
電子ペンを用いて、いわゆる光遮断方式が行われる場合がある。例えば、光遮断方式は、以下のような構成である。
【００７８】
図１７は、本発明の一実施形態に係る光遮断方式の一例を示す図である。図示するように、電子ペンＰＥを用いる場合には、入力の際に、資料、ユーザの手又は衣類等がディスプレイに触れると、接触位置が、電子ペンＰＥによる指示位置と認識されてしまう場合がある。そこで、図４に示すような発光部分のある電子ペンが用いられる。このような発光部分がある電子ペンが用いられると、発光部分の座標を検出することができる。しかしながら、発光部分を検出するだけでは、ジェスチャー等の指による操作を検出できない場合がある。そこで、例えば、特開２０１６−０３８９０２に示す方法等が用いられる。
【００７９】
このような方法が用いられると、指示器の発光に基づく座標検出と、光遮断に基づく座標検出とを組み合わせ、図示するように、座標を検出することができる。このような光遮断方式が用いられてもよい。
【００８０】
＜機能構成例＞
図１８は、本発明の一実施形態に係る画像処理システム及び画像処理装置の機能構成例を示す機能ブロック図である。例えば、画像処理システム１は、複数の撮像装置ＣＡＭと、表示装置ＯＵＴと、観測点生成部１Ｆ１と、予測点生成部１Ｆ２と、判定部１Ｆ３と、出力部１Ｆ４とを備える。なお、図示する例は、撮像装置ＣＡＭを４つとする例である。
【００８１】
観測点生成部１Ｆ１は、撮像装置ＣＡＭから入力される画像データに基づいて、操作器ＩＦの現在位置を示す観測点を生成する。例えば、観測点生成部１Ｆ１は、ＣＰＵ１０Ｈ１（図３）等によって実現される。
【００８２】
予測点生成部１Ｆ２は、操作器ＩＦの運動に基づいて、現在位置の次の位置となる予測点を生成する。例えば、予測点生成部１Ｆ２は、ＣＰＵ１０Ｈ１（図３）等によって実現される。
【００８３】
判定部１Ｆ３は、観測点及び予測点の状態を判定する。例えば、判定部１Ｆ３は、ＣＰＵ１０Ｈ１（図３）等によって実現される。
【００８４】
出力部１Ｆ４は、判定部１Ｆ３によって判定される状態に基づいて、観測点を結ぶ線を表示装置ＯＵＴに表示させる。例えば、出力部１Ｆ４は、ＣＰＵ１０Ｈ１（図３）及びグラフィックボード１０Ｈ７（図３）等によって実現される。
【００８５】
まず、画像処理システム１が有する画像処理装置は、撮像装置ＣＡＭから、操作器ＩＦを撮像した画像データを入力する。次に、画像処理装置は、観測点生成部１Ｆ１及び予測点生成部１Ｆ２によって、観測点及び予測点をそれぞれ生成する。
【００８６】
そして、画像処理装置は、判定部１Ｆ３によって、図１１に示すように、「状態１」乃至「状態５」のように、観測点及び予測点の状態を判定する。このような判定が行われると、例えば、「状態３」のような「併合状態」を判定することができる。
【００８７】
「併合状態」は、例えば、「状態３」のように、観測点に対して複数の予測点がリンクされた状態である。また、「併合状態」は、例えば、「状態３」のように、予測点に対して複数の観測点がリンクされた状態である。このように、「併合状態」と判定された後、「併合状態」であることを示すデータ及び以前の観測点に係るデータ等が記憶されると、画像処理装置は、「併合状態」の観測点に、ＩＤを振り分ける等を行うことができる。
【００８８】
このようにすると、図１４に示すような誤認識を少なくし、画像処理装置は、座標の検出精度を良くすることができる。
【００８９】
＜その他の実施形態＞
なお、本発明に係る実施形態は、アセンブラ言語、Ｃ言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。
【００９０】
画像処理装置は、１つの情報処理装置でなくともよい。つまり、本発明に係る実施形態は、１以上の情報処理装置を有する画像処理システムによって実現されてもよい。すなわち、ネットワーク等で接続される複数の情報処理装置によって、各処理は、冗長、分散又は並列に実行されてもよい。
【００９１】
また、各処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の電子回路で実現されてもよい。さらに、各処理の一部又は全部は、例えば、ファームウェア等で実現されてもよい。
【００９２】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００９３】
１  画像処理システム
１０  画像処理装置
ＣＡＭ１１  左上カメラ
ＣＡＭ１２  右上カメラ
ＣＡＭ１３  右下カメラ
ＣＡＭ１４  左下カメラ
ＤＩＳ  ディスプレイ
ＰＥ  電子ペン
【先行技術文献】
【特許文献】
【００９４】
【特許文献１】米国特許第８６９２７６８号明細書
【図１】
2018010578.tif 000003
【図２】
2018010578.tif 000004
【図３】
2018010578.tif 000005
【図４】
2018010578.tif 000006
【図５】
2018010578.tif 000007
【図６】
2018010578.tif 000008
【図７】
2018010578.tif 000009
【図８】
2018010578.tif 000010
【図９】
2018010578.tif 000011
【図１０】
2018010578.tif 000012
【図１１】
2018010578.tif 000013
【図１２】
2018010578.tif 000014
【図１３】
2018010578.tif 000015
【図１４】
2018010578.tif 000016
【図１５】
2018010578.tif 000017
【図１６】
2018010578.tif 000018
【図１７】
2018010578.tif 000019
【図１８】
2018010578.tif 000020