(57)【要約】【課題】座標の検出精度を良くすることを目的とする。【解決手段】操作器を撮像する複数の第１撮像装置に接続される画像処理装置が、それぞれの前記第１撮像装置から、それぞれの第１画像データを入力し、前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定し、前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定し、前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算することで上記課題を解決する。【選択図】図１
2018005543.tif 000002
【特許請求の範囲】
【請求項１】
操作器を撮像する複数の第１撮像装置に接続される画像処理装置であって、
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える画像処理装置。
【請求項２】
前記操作器は、発光部を有し、
前記判定部は、前記発光部が発光する光に基づいた所定の輝度以上の画素があるか否か又は前記所定の輝度以上の画素の画素数に基づいて、遮蔽されているか否かを判定する請求項１に記載の画像処理装置。
【請求項３】
前記操作器は、複数である請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、表示装置に接続され、
前記座標は、前記表示装置の表面における位置を示す請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定部は、前記操作器に対して遮蔽されている前記第１撮像装置を除外して、前記第２撮像装置を決定する請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
操作器を撮像する複数の第１撮像装置と、前記第１撮像装置に接続される１以上の画像処理装置とを有する画像処理システムであって、
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える画像処理システム。
【請求項７】
操作器を撮像する複数の第１撮像装置に接続される画像処理装置が行う画像処理方法であって、
前記画像処理装置が、それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力手順と、
前記画像処理装置が、前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定手順と、
前記画像処理装置が、前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定手順と、
前記画像処理装置が、前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算手順と
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、タッチパネル及び電子ペン等を用いて、いわゆるホワイトボードのように、ユーザが書き込んだ文字及び図形、記号、絵又はこれらの組み合わせ（以下単に「文字等」という。）を表示装置に表示する方法が知られている。
【０００３】
この方法では、ユーザが書き込み等の操作を行う点の座標を検出する方法が行われる。
具体的には、いわゆるペン発光方式が、この方法では用いられる。そして、ペン発光方式において、座標検出システムが、まず、ディスプレイ上の位置を指示する指示具が備える発光手段から発光される光を検出する。次に、座標検出システムが、光の強度が所定の閾値を下回るか否かを判定する。そして、光の強度が所定の閾値を下回ると判定されると、座標検出システムが、指示具と、検出部との間に遮蔽物があることを通知する方法が知られている（例えば、特許文献１等）。
【０００４】
他にも、まず、座標入力装置は、複数の検出手段によって、複数の指又は指示具の影又は像をそれぞれ検出する。次に、影又は像が重複して観測されると、座標入力装置が、指又は指示具の太さデータを参照して、重複しない場合の影又は像の角度幅を推定する。続いて、座標入力装置が、推定された角度幅と、実際に観測された角度とに基づいて、指又は指示具の存在する方向を示す角度を算出する。このようにして、座標入力装置は、算出された角度から指示入力が行われた座標を計算する（例えば、特許文献２等）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、操作を入力するのに用いられる電子ペン等の操作器と、操作器を撮像する撮像装置とが、ユーザの手等によって遮断される場合がある。このような場合等では、撮像装置は、操作器又は操作器の所定の箇所を撮像できない場合がある。そして、撮像装置が操作器又は操作器の所定の箇所を撮像できない状態で生成した画像データが座標計算等に用いられると、座標の検出精度が悪くなることが課題となる。
【０００６】
本発明の１つの側面は、座標の検出精度を良くすることを目的とする。
【課題を解決するための手段】
【０００７】
一態様における、操作器を撮像する複数の第１撮像装置に接続される画像処理装置は、
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える。
【発明の効果】
【０００８】
座標の検出精度を良くすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理システムの全体構成例を示す概念図である。
【図２】本発明の一実施形態に係る画像処理装置による座標の計算例を示す概念図である。
【図３】本発明の一実施形態に係る画像処理装置による座標の計算例を示すフローチャートである。
【図４】本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。
【図５】本発明の一実施形態に係る操作器のハードウェア構成例を示す模式図である。
【図６】本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
【図７】本発明の一実施形態に係る画像処理装置による判定例を示す図である。
【図８】本発明の一実施形態に係る計算される座標の一例を示す図である。
【図９】本発明の一実施形態に係る画像データの一例を示す図である。
【図１０】本発明の一実施形態に係る効果の一例を示す図である。
【図１１】本発明の一実施形態に係る「手付き」の一例を示す図である。
【図１２】比較例における座標の検出結果例を示す図である。
【図１３】比較例における誤検出の影響の一例を示す図である。
【図１４】本発明の一実施形態に係る画像処理システム及び画像処理装置の機能構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について説明する。
【００１１】
＜第１実施形態＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例を示す概念図である。図示するように、画像処理システム１は、複数の第１撮像装置の例である４台のカメラと、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の画像処理装置１０とを備える。なお、第１撮像装置は、３つ以上であればよい。
【００１２】
図示するように、例えば、それぞれのカメラの視野角が約９０°であるとすると、表示装置の例であるディスプレイＤＩＳの平面全体を撮像しやすいように、各カメラは、四隅等に設置される。以下、図において、４台のカメラのうち、左上に図示するカメラを左上カメラＣＡＭ１１という。同様に、４台のカメラのうち、右上に図示するカメラを右上カメラＣＡＭ１２という。さらに、４台のカメラのうち、右下に図示するカメラを右下カメラＣＡＭ１３という。さらにまた、４台のカメラのうち、左下に図示するカメラを左下カメラＣＡＭ１４という。
【００１３】
図示するように、画像処理装置１０は、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４が撮像したそれぞれの画像データを入力し、画像データに基づいて、電子ペンＰＥ等の被写体が位置する座標、すなわち、位置を計算する。
【００１４】
画像処理システム１及びディスプレイＤＩＳは、例えば、以下のように用いられる。例えば、ユーザは、操作器の例である電子ペンＰＥを用いて、タッチ操作及び手書きで文字等を書き込む等の操作を行う。具体的には、ディスプレイＤＩＳ上の任意の点に文字等を書き込む場合には、ユーザは、文字等を書き込む位置に、電子ペンＰＥをディスプレイＤＩＳに接触させる。そして、各カメラは、電子ペンＰＥを撮像して画像データをそれぞれ生成する。このようにして生成されるそれぞれの画像データに基づいて、電子ペンＰＥ又は電子ペンＰＥの所定の箇所の座標が計算される。
【００１５】
また、座標は、例えば、以下のように計算される。
【００１６】
図２は、本発明の一実施形態に係る画像処理装置による座標の計算例を示す概念図である。まず、以下の説明では、いわゆる電子ペンＰＥのペン先が所定の箇所である例で説明する。すなわち、図示するように、この例は、電子ペンＰＥのペン先が位置する座標が計算結果として出力される例である。なお、所定の箇所は、電子ペンの位置を示す電子ペンのペン先以外の箇所でもよい。
【００１７】
なお、以下の説明では、電子ペンＰＥの所定の箇所を示す３次元の座標系を「世界座標系」という。図示する例では、図において横方向がＸ軸となり、図において奥行き方向がＹ軸となる。そして、図において縦方向がＺ軸となる。また、ディスプレイＤＩＳ上の世界座標系は、Ｚ軸の値が一定であるとし、Ｚ軸の値の記載を省略して、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）と示す。さらに、カメラの主点、すなわち、カメラが有する撮像素子の中心位置等を主点ＣＡＭＯＲとする。
【００１８】
一方で、各カメラによって撮像された画像における座標を以下の説明では「カメラ座標系」（「イメージ座標系」という場合もある。）という。
【００１９】
世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算するには、図示するように、まず、複数のカメラが撮像した画像データのうち、２つの画像データ（以下「左画像データＩＭＧＬ」及び「右画像データＩＭＧＲ」という。）が画像処理装置によって選択される。なお、左画像データＩＭＧＬにおけるカメラ座標を「（ｘ１，ｙ１）」とし、一方で、右画像データＩＭＧＲにおけるカメラ座標を「（ｘ２，ｙ２）」とする。図示するように、各カメラは、主点ＣＡＭＯＲを基点に撮像するため、被写体は、図示するように、主点ＣＡＭＯＲと、被写体とを結んだ線がカメラ座標系の平面と交わる位置の画素に撮像される。
【００２０】
そして、（ｘ１，ｙ１）及び（ｘ２，ｙ２）が求まると、画像処理装置は、三角測量等によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算することができる。すなわち、例えば、画像処理装置は、以下の処理によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算することができる。
【００２１】
図３は、本発明の一実施形態に係る画像処理装置による座標の計算例を示すフローチャートである。
【００２２】
＜画像データの入力例＞（ステップＳ０１）
ステップＳ０１では、画像処理装置は、画像データを入力する。具体的には、まず、画像処理装置は、図１に示す左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４から、２つの画像データを入力する。
【００２３】
＜各画像データにおけるそれぞれのカメラ座標の算出例＞（ステップＳ０２）
ステップＳ０２では、画像処理装置は、各画像データにおけるそれぞれのカメラ座標を算出する。すなわち、画像処理装置は、電子ペンのペン先を示す画素のカメラ座標を算出する。このように、各画像データにおけるそれぞれのカメラ座標が算出されると、図２に示す（ｘ１，ｙ１）及び（ｘ２，ｙ２）が求まる。
【００２４】
＜三角測量による世界座標の計算例＞（ステップＳ０３）
ステップＳ０３では、画像処理装置は、三角測量等によって世界座標を計算する。すなわち、ステップＳ０３では、画像処理装置は、ステップＳ０２で計算される（ｘ１，ｙ１）及び（ｘ２，ｙ２）に基づいて、図２に示すように、三角測量等によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算する。
【００２５】
＜世界座標の出力例＞（ステップＳ０４）
ステップＳ０４では、画像処理装置は、世界座標を出力する。すなわち、画像処理装置は、ステップＳ０３で計算された世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を出力する。
【００２６】
＜画像処理装置のハードウェア構成例＞
図４は、本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。例えば、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０Ｈ１、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０Ｈ２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０Ｈ３、キーボード１０Ｈ４及びマウス１０Ｈ５を有する。さらに、画像処理装置１０は、ハードディスク１０Ｈ６、グラフィックボード１０Ｈ７、ネットワークカード１０Ｈ８、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９及びプログラム読取装置１０Ｈ１０を有する。
【００２７】
ＣＰＵ１０Ｈ１は、各処理を実現させるための演算及びデータ加工を行う演算装置である。また、ＣＰＵ１０Ｈ１は、各ハードウェアを制御する制御装置である。さらに、ＣＰＵ１０Ｈ１は、プログラムに基づいて動作する装置である。
【００２８】
ＲＯＭ１０Ｈ２は、プログラム及びパラメータ等を含むデータを記憶する記憶装置である。
【００２９】
ＲＡＭ１０Ｈ３は、プログラム及びパラメータ等を含むデータを記憶する主記憶装置である。そして、ＲＡＭ１０Ｈ３は、ＣＰＵ１０Ｈ１が処理を行う際に作業領域を提供する装置である。
【００３０】
キーボード１０Ｈ４及びマウス１０Ｈ５は、入力装置の一例である。すなわち、キーボード１０Ｈ４及びマウス１０Ｈ５は、ユーザが画像処理装置１０に対して、コマンド及びクリック等の操作を入力するためのインタフェースとなる。
【００３１】
ハードディスク１０Ｈ６は、補助記憶装置の一例である。図示するように、ハードディスク１０Ｈ６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、デバイスドライバ及び各種アプリケーションプログラム等のデータを記憶する。
【００３２】
グラフィックボード１０Ｈ７は、画像及びＣＰＵ１０Ｈ１による処理結果等を表示する出力装置である。なお、グラフィックボード１０Ｈ７には、ディスプレイ等の外部装置が接続され、グラフィックボード１０Ｈ７が画像等を外部装置に出力して、外部装置が画像等をユーザに表示する。
【００３３】
ネットワークカード１０Ｈ８は、有線又は無線によって、ネットワークを介して、外部装置とデータを送受信するためのインタフェースである。例えば、ネットワークカード１０Ｈ８は、コネクタ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等である。
【００３４】
Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、外部装置をケーブル等を介して接続させるインタフェースである。例えば、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、コネクタ及び処理ＩＣ等である。
【００３５】
プログラム読取装置１０Ｈ１０は、記録媒体１１等に記憶されるプログラムを読み取る装置である。例えば、記録媒体１１が光学ディスクである場合には、プログラム読取装置１０Ｈ１０は、光学ディスクドライブ等である。
【００３６】
このように、画像処理装置１０は、プログラム等に基づいて動作するＰＣ、サーバ、ワークステーション又はモバイル機器等の情報処理装置である。すなわち、画像処理装置１０は、コンピュータである。
【００３７】
なお、画像処理装置１０は、図示する構成に限られない。例えば、画像処理装置１０は、ＣＰＵ等を補助する補助装置を更に有する構成でもよい。
【００３８】
＜操作器のハードウェア構成例＞
図５は、本発明の一実施形態に係る操作器のハードウェア構成例を示す模式図である。例えば、電子ペンＰＥは、図示するように、発光部ＰＥＨ１と、支持部ＰＥＨ２とを有する構成であるのが望ましい。以下、図示する構成を例に説明する。
【００３９】
発光部ＰＥＨ１は、筆記用具においてインクが滲み出る箇所、すなわち、ペン先等の位置が望ましい。また、発光部ＰＥＨ１は、図示するように、ディスプレイＤＩＳの表面に接触する箇所に近い箇所であるのが望ましい。なお、発光部ＰＥＨ１は、例えば、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。また、発光部ＰＥＨ１は、カメラが有する撮像素子が感知する可視光及び赤外光を発光する。
【００４０】
支持部ＰＥＨ２は、電子ペンＰＥを用いる際に、ユーザが手で持つ箇所である。つまり、ユーザは、支持部ＰＥＨ２を握って、電子ペンＰＥによる操作を行う。
【００４１】
また、所定の箇所は、例えば、発光部ＰＥＨ１が設置される位置である。
【００４２】
＜全体処理例＞
図６は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
【００４３】
＜第１画像データの入力例＞（ステップＳ１１）
ステップＳ１１では、画像処理装置は、第１画像データを入力する。すなわち、画像処理装置は、各カメラが撮像したそれぞれの画像データ（以下「第１画像データ」という。）を入力する。
【００４４】
＜各第１撮像装置が指示器に対して遮蔽されているか否かの判定例＞（ステップＳ１２）
ステップＳ１２では、画像処理装置は、各カメラが電子ペンに対して遮蔽されているか否かをそれぞれ判定する。具体的には、図５に示すように、電子ペンが発光部を有する例では、電子ペンと、カメラとの間に、何らかの物体があると、カメラと、電子ペンとは遮蔽されるため、第１画像データに、発光部が発光した光が写らない又は光を写す画素数が少ない場合が多い。また、発光部が発光した光を撮像した画素は、明るい光を撮像するため、輝度が高くなる。
【００４５】
したがって、画像処理装置は、所定の輝度以上の画素が、所定の画素数以上であるか否かに基づいて、各カメラが電子ペンに対して遮蔽されているか否かをそれぞれ判定する。具体的には、各第１画像データ内に、明るい画素の画素数が所定の画素数以上ある場合には、発光部が撮像できている場合であるため、画像処理装置は、カメラと、電子ペンとは遮蔽されていない、すなわち、電子ペンのペン先を撮像できるカメラであると判定する。
【００４６】
一方で、各第１画像データ内に、明るい画素の画素数が所定の画素数未満である場合には、発光部が撮像できていない場合であるため、画像処理装置は、カメラと、電子ペンとは遮蔽されていると判定する。
【００４７】
なお、判定に用いられる所定の輝度及び所定の画素数は、あらかじめ設定される値等である。また、判定は、指示器をパターンマッチング等によって検出する方法でもよい。
【００４８】
以下の説明では、判定の結果に基づいて、第１撮像装置のうち、電子ペンのペン先を撮像できる撮像装置を「第２撮像装置」という。また、第２撮像装置の数を数えると、各カメラが撮像した電子ペンのペン先と、主点ＣＡＭＯＲ（図２）とを結ぶ直線の交差する数（以下「交差点」という。）が算出できる。
【００４９】
具体的には、第２撮像装置が４つ、すなわち、すべてのカメラが電子ペンのペン先を撮像できる場合には、「４交差点」となる。同様に、第２撮像装置が３つ、すなわち、第１撮像装置のうち、１つが遮蔽されてる場合には、「３交差点」となる。さらに、第２撮像装置が２つ、すなわち、第１撮像装置のうち、２つが遮蔽されてる場合には、「２交差点」となる。
【００５０】
図７は、本発明の一実施形態に係る画像処理装置による判定例を示す図である。例えば、図６に示すステップＳ１２が行われると、以下のような判定の結果となる。
【００５１】
図７（Ａ）は、判定の結果が「４交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のいずれのカメラも、電子ペンＰＥのペン先を撮像することができる状態である。
【００５２】
図７（Ｂ）は、判定の結果が「３交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のうち、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２及び左下カメラＣＡＭ１４の３つが第２撮像装置と判定される。一方で、右下カメラＣＡＭ１３は、カメラと、電子ペンＰＥのペン先との間に、ユーザの手ＨＮがあるため、右下カメラＣＡＭ１３と、電子ペンＰＥのペン先とが遮蔽されていると判定される第１撮像装置の例である。
【００５３】
図７（Ｃ）は、判定の結果が「２交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のうち、右上カメラＣＡＭ１２及び右下カメラＣＡＭ１３の２つが第２撮像装置と判定される。一方で、左上カメラＣＡＭ１１及び左下カメラＣＡＭ１４は、カメラと、電子ペンＰＥのペン先との間に、ユーザの手ＨＮがあるため、左上カメラＣＡＭ１１及び左下カメラＣＡＭ１４と、電子ペンＰＥのペン先とが遮蔽されていると判定される第１撮像装置の例である。
【００５４】
＜「４交差点」であるか否かの判断例＞（ステップＳ１３）
図６に戻り、ステップＳ１３では、画像処理装置は、「４交差点」であるか否かを判断する。例えば、図７（Ａ）に示すような状態であると、第２撮像装置は、４つとなるため、画像処理装置は、「４交差点」であると判断する。次に、「４交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１６に進む。一方で、「４交差点」でないと画像処理装置が判断すると、画像処理装置は、ステップＳ１４に進む。
【００５５】
＜「３交差点」であるか否かの判断例＞（ステップＳ１４）
ステップＳ１４では、画像処理装置は、「３交差点」であるか否かを判断する。例えば、図７（Ｂ）に示すような状態であると、第２撮像装置は、３つとなるため、画像処理装置は、「３交差点」であると判断する。次に、「３交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１７に進む。一方で、「３交差点」でないと画像処理装置が判断すると、画像処理装置は、ステップＳ１５に進む。
【００５６】
＜「２交差点」であるか否かの判断例＞（ステップＳ１５）
ステップＳ１５では、画像処理装置は、「２交差点」であるか否かを判断する。例えば、図７（Ｃ）に示すような状態であると、第２撮像装置は、２つとなるため、画像処理装置は、「２交差点」であると判断する。次に、「２交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１８に進む。一方で、「２交差点」でないと画像処理装置が判断すると、画像処理装置は、処理を終了する。
【００５７】
＜第２撮像装置のうち、４つの撮像装置を用いる座標の計算例＞（ステップＳ１６）
ステップＳ１６では、画像処理装置は、第２撮像装置のうち、４つの撮像装置を用いて座標を計算する。具体的には、ステップＳ１６が行われる場合は、４つの撮像装置のいずれもが電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、４つの撮像装置のうち、２つの撮像装置を選んで、選ばれた各撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、選ばれた２つの撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
【００５８】
４つの撮像装置から２つの撮像装置を選ぶため、組み合わせは、「４Ｃ２＝６通り」となる。したがって、画像処理装置は、座標を最大６通り計算して、６通りの計算結果を出力することができる。
【００５９】
＜第２撮像装置のうち、３つの撮像装置を用いる座標の計算例＞（ステップＳ１７）
ステップＳ１７では、画像処理装置は、第２撮像装置のうち、３つの撮像装置を用いて座標を計算する。具体的には、ステップＳ１７が行われる場合は、３つの撮像装置が電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、３つの撮像装置のうち、２つの撮像装置を選んで、選ばれた各撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、選ばれた２つの撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
【００６０】
３つの撮像装置から２つの撮像装置を選ぶため、組み合わせは、「３Ｃ２＝３通り」となる。したがって、画像処理装置は、座標を最大３通り計算して、３通りの計算結果を出力することができる。
【００６１】
＜第２撮像装置を用いる座標の計算例＞（ステップＳ１８）
ステップＳ１８では、画像処理装置は、第２撮像装置を用いて座標を計算する。具体的には、ステップＳ１８が行われる場合は、２つの撮像装置が電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、２つの第２撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、２つの第２撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
【００６２】
なお、座標は、例えば、以下のような点が計算される。
【００６３】
図８は、本発明の一実施形態に係る計算される座標の一例を示す図である。例えば、各カメラが撮像した電子ペンのペン先と、主点ＣＡＭＯＲ（図２）とを結ぶ４つの直線は、図８（Ａ）に示すように、交点ＣＰの１点で一致する。
【００６４】
しかし、外乱又は計算誤差等があると、図８（Ｂ）に示すように、４つの直線が１点で一致しない場合がある。このような場合には、画像処理装置は、最尤推定法等に基づいて、誤差が最小となる、いわゆる最尤点を計算し、交点と計算してもよい。他にも、画像処理装置は、図８（Ｂ）に示すように、４つの直線が形成する三角形の図心等又は各交点の平均値等を交点ＣＰと計算してもよい。さらに、画像処理装置は、４つの直線のうち、信頼度が高い直線を２本選んで、交点を計算する等でもよい。
【００６５】
＜画像データ例＞
図９は、本発明の一実施形態に係る画像データの一例を示す図である。図示するように、ディスプレイＤＩＳの表面における任意の点（以下（指示位置ＴＰ）という。）が電子ペンのペン先で指示されるとすると、例えば、左上カメラＣＡＭ１１が撮像する画像データＩＭＧに、電子ペンのペン先を示すｂｌｏｂＢＬが写る。また、図示するように、指示位置ＴＰと、ｂｌｏｂＢＬとは、投影関係となる。したがって、ｂｌｏｂＢＬの位置、すなわち、ｂｌｏｂＢＬを追跡すると、画像処理装置は、逆投影から指示位置ＴＰを算出することができる。
【００６６】
なお、ｂｌｏｂ（Ｂｉｎａｒｙ  Ｌａｒｇｅ  Ｏｂｊｅｃｔ）は、例えば、"ｈｔｔｐ:／／ｗｗｗ.ｅｉｚｏｊｏｈｏ.ｃｏ.ｊｐ／ｉ／ｉ_ｐｄｆ／０００４.ｐｄｆ"等に記載される通り、画像内に存在する特定のグレイスケールの値又は値の範囲を持ったピクセルの「かたまり」のことを指す。
【００６７】
＜処理結果例＞
図６に示す全体処理が行われると、例えば、処理結果によって、以下のような効果が得られる。
【００６８】
図１０は、本発明の一実施形態に係る効果の一例を示す図である。例えば、図示するように、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれて、画像データが撮像される。そのため、画像処理装置は、ユーザの手ＨＮ等によって、電子ペンＰＥと、カメラとが遮蔽されている状態を写す画像データを除外して座標を検出することができる。電子ペンＰＥと、カメラとが遮蔽されている状態を写す画像データが用いられると、誤検出等が発生する場合が多い。そこで、誤検出等が発生しやすい画像データを除外して座標を検出すると、画像処理装置は、座標の検出精度を良くすることができる。したがって、図示するように、画像処理装置は、電子ペンＰＥを用いて、ユーザが書き込む文字等を示す軌跡ＬＣを精度良く検出できる。
【００６９】
特に、図示するように２つの指示器が用いられるような、複数の指示器が同時に使用される場合には、電子ペンＰＥと、カメラとがユーザの手ＨＮ又は袖等によって、遮蔽されやすくなる。一方で、本実施形態のように、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれると、画像処理装置は、各座標の検出精度を良くする効果を奏する。
【００７０】
また、誤検出等が起こる原因は、例えば、以下のような「手付き」が発生することが考えられる。
【００７１】
図１１は、本発明の一実施形態に係る「手付き」の一例を示す図である。図示するように、ユーザが電子ペンＰＥを用いて書き込みの操作等を行う場合には、ディスプレイＤＩＳの表面に、ユーザの手ＨＮ等の体の一部又は袖等の衣服が接触する場合がある。このように、電子ペンＰＥ以外の物体がディスプレイの表面に接触する「手付き」の現象が起きる場合がある。このような「手付き」が起きている点は、電子ペンＰＥが接触していると、誤検出される場合がある。一方で、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれると、画像処理装置は、「手付き」による誤検出の影響を少なくし、各座標の検出精度を良くする効果を奏する。
【００７２】
＜比較例＞
図１２は、比較例における座標の検出結果例を示す図である。例えば、常に、４つの撮像装置が用いられる例である。比較例であっても、電子ペンＰＥと、カメラとが遮蔽されていない状態であれば、図１２（Ａ）のように、軌跡ＬＣが精度良く検出される場合が多い。一方で、電子ペンＰＥと、カメラとが遮蔽されている状態で、特に、「手付き」が起きると、電子ペンＰＥが接触する点が、図１２（Ｂ）のように、第１接触点Ｐ１及び第２接触点Ｐ２等であるのに、他の点（以下「ゴースト点ＰＧ」という。）が検出される場合がある。このように、第１接触点Ｐ１及び第２接触点Ｐ２等が、誤ってゴースト点ＰＧと検出されると、座標の検出精度が悪くなる場合がある。例えば、以下のような影響がある。
【００７３】
図１３は、比較例における誤検出の影響の一例を示す図である。例えば、図１２（Ａ）と同様に座標が検出されると、図１３（Ａ）に示すように、軌跡ＬＣが精度良く検出される。次に、図１２（Ｂ）に示すような誤検出があると、軌跡ＬＣは、誤検出されたゴースト点ＰＧ（図１２（Ｂ））の座標に続くように、誤った線ＭＩＳとなる場合がある。図示するように、誤った線ＭＩＳは、電子ペンＰＥが指示する座標とは、異なる座標である。そのため、図示するように、誤検出によって、ユーザが意図しない文字等が書き込まれてしまう場合がある。
【００７４】
＜機能構成例＞
図１４は、本発明の一実施形態に係る画像処理システム及び画像処理装置の機能構成例を示す機能ブロック図である。例えば、画像処理システム１は、複数の第１撮像装置ＣＡＭと、入力部１Ｆ１と、判定部１Ｆ２と、決定部１Ｆ３と、座標計算部１Ｆ４とを備える。なお、図示する例は、第１撮像装置ＣＡＭを４つとする例である。
【００７５】
入力部１Ｆ１は、それぞれの第１撮像装置ＣＡＭから、それぞれの第１画像データを入力する。例えば、入力部１Ｆ１は、Ｉ／Ｆ１０Ｈ９（図４）又はネットワークカード１０Ｈ８（図４）等によって実現される。
【００７６】
判定部１Ｆ２は、第１画像データに基づいて、それぞれの第１撮像装置ＣＡＭが操作器Ｉ／Ｆに対して遮蔽されているか否かをそれぞれ判定する。例えば、判定部１Ｆ２は、ＣＰＵ１０Ｈ１（図４）等によって実現される。
【００７７】
決定部１Ｆ３は、判定部１Ｆ２による判定に基づいて、第１撮像装置ＣＡＭのうち、操作器ＩＦ又は操作器ＩＦの所定の箇所を撮像できる第２撮像装置を決定する。例えば、決定部１Ｆ３は、ＣＰＵ１０Ｈ１（図４）等によって実現される。
【００７８】
座標計算部１Ｆ４は、第２撮像装置から入力される第２画像データに基づいて、操作器ＩＦの座標を計算する。例えば、座標計算部１Ｆ４は、ＣＰＵ１０Ｈ１（図４）等によって実現される。
【００７９】
まず、画像処理システム１が有する画像処理装置は、入力部１Ｆ１によって、それぞれの第１撮像装置ＣＡＭから、それぞれの第１画像データを入力する。次に、画像処理装置は、判定部１Ｆ２によって、それぞれの第１画像データに基づいて、それぞれの第１撮像装置ＣＡＭが操作器ＩＦに対して遮蔽されているか否かをそれぞれ判定する。例えば、図６に示すステップＳ１２のように、画像処理装置は、判定を行う。そして、判定の結果から、画像処理装置は、操作器ＩＦ又は操作器ＩＦの所定の箇所を撮像できる第２撮像装置を特定することができる。第２撮像装置は、撮像装置と、操作器ＩＦとの間に遮蔽する物体がないため、操作器ＩＦによって指定される位置を示す第２画像データを撮像することができる。このように、画像処理装置は、座標計算部１Ｆ４によって、第２画像データに基づいて、操作器ＩＦの座標を計算する。このようにすると、誤検出等が少ないため、画像処理装置は、座標の検出精度を良くすることができる。
【００８０】
＜その他の実施形態＞
なお、本発明に係る実施形態は、アセンブラ言語、Ｃ言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。
【００８１】
画像処理装置は、１つの情報処理装置でなくともよい。つまり、本発明に係る実施形態は、１以上の情報処理装置を有する画像処理システムによって実現されてもよい。すなわち、ネットワーク等で接続される複数の情報処理装置によって、各処理は、冗長、分散又は並列に実行されてもよい。
【００８２】
また、各処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の電子回路で実現されてもよい。さらに、各処理の一部又は全部は、例えば、ファームウェア等で実現されてもよい。
【００８３】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００８４】
１  画像処理システム
１０  画像処理装置
ＣＡＭ１１  左上カメラ
ＣＡＭ１２  右上カメラ
ＣＡＭ１３  右下カメラ
ＣＡＭ１４  左下カメラ
ＤＩＳ  ディスプレイ
ＰＥ  電子ペン
【先行技術文献】
【特許文献】
【００８５】
【特許文献１】特開２０１６−２４５１８号公報
【特許文献２】特許第４５４６２２４号公報
【図１】
2018005543.tif 000003
【図２】
2018005543.tif 000004
【図３】
2018005543.tif 000005
【図４】
2018005543.tif 000006
【図５】
2018005543.tif 000007
【図６】
2018005543.tif 000008
【図７】
2018005543.tif 000009
【図８】
2018005543.tif 000010
【図９】
2018005543.tif 000011
【図１０】
2018005543.tif 000012
【図１１】
2018005543.tif 000013
【図１２】
2018005543.tif 000014
【図１３】
2018005543.tif 000015
【図１４】
2018005543.tif 000016