(57)【要約】  画像処理装置は、投影面に対して投影画像を投影させる。そして、画像処理装置は、該投影面を撮像させる。その後、画像処理装置は、投影画像に対して実行される処理を特定する。そして、画像処理装置は、特定された処理に基づいて、指示体が投影画像と接触するタッチ操作または指示体が投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の投影面からの高さの閾値、または、処理の開始契機のいずれかを変更する。
2016092656.tif 000002
【特許請求の範囲】
【請求項１】
投影面に対して投影画像を投影させる投影部と、
該投影面を撮像させる撮像部と、
前記投影画像に対して実行される処理を特定する特定部と、
前記特定部によって特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する変更部と
を有することを特徴とする画像処理装置。
【請求項２】
前記特定部は、前記タッチ操作が検出された後、前記投影画像に対する指示体の操作内容に基づいて、実行対象とするクリッピング処理の種別を特定して、特定した種別のクリッピング処理を実行し、
前記変更部は、前記リリース操作の検出に使用する前記高さの閾値を、前記特定部によって実行された前記クリッピング処理の種別に対応付けられる閾値に変更することを特徴する請求項１に記載の画像処理装置。
【請求項３】
コンピュータが、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
前記投影画像に対して実行される処理を特定し、
特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する
処理を含んだことを特徴とする画像処理方法。
【請求項４】
コンピュータに、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
前記投影画像に対して実行される処理を特定し、
特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する
処理を実行させることを特徴とする画像処理プログラム。
【請求項５】
投影面に対して投影画像を投影させる投影部と、
該投影面を撮像させる撮像部と、
前記撮像部が撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画する描画部と、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する削除部と
を有することを特徴とする画像処理装置。
【請求項６】
コンピュータが、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画し、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する
処理を含むことを特徴とする画像処理方法。
【請求項７】
コンピュータに、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画し、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する
処理を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクターで投影した投影画像を手や指などの指示体で操作するシステムが知られている。具体的には、このシステムは、プロジェクターで投影した投影画像を２台のカメラで撮像して手の位置を検出し、２台のカメラの視差を使って手までの距離を計算して、投影画像に対する手のタップ操作を検出する。【０００３】
より詳細には、プロジェクターが、指と投影画像とが接触する接触面の上方向から接触面に画像を投影し、カメラが、同じく接触面の上方向から撮影する。そして、システムは、撮影された画像を色空間に変換し、色空間の各軸に上限値と下限値とを設定し、肌色を抽出することで手の領域を検出する。このようにして、システムは、プロジェクターで投影した投影画像に対して、手の検出および手操作を検出し、モニタとタッチパネルとを合わせたような機能を実現する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０３１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記技術では、撮影画像のうち指操作で指定した一部分を表示したり、指定部分だけを切り抜いたりするクリッピング操作などのように、手などの指示体を用いて投影画像を操作するときの操作性がよくない。【０００６】
１つの側面では、指示体を用いて投影画像を操作するときの操作性を向上させることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
画像処理装置は、投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部と、前記投影画像に対して実行される処理を特定する特定部とを有する。画像処理装置は、前記特定部によって特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する変更部を有する。【０００８】
画像処理装置は、投影面に対して投影画像を投影させる投影部と、該投影面を撮像させる撮像部を有する。画像処理装置は、前記撮像部が撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画する描画部を有する。画像処理装置は、前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する削除部を有する。
【発明の効果】
【０００９】
一実施形態によれば、指示体を用いて投影画像を操作するときの操作性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施例１に係るシステムの全体構成例を示す図である。
【図２】図２は、実施例１に係る画像処理装置１０の機能構成を示す機能ブロック図である。
【図３】図３は、機器パラメータＤＢ１２ｂに記憶される情報の例を示す図である。
【図４】図４は、２点タッチ処理を説明する図である。
【図５】図５は、ドラッグ処理を説明する図である。
【図６】図６は、リリース判定処理の流れを示すフローチャートである。
【図７】図７は、タッチおよびリリース判定処理の流れを示すフローチャートである。
【図８】図８は、誤検出を説明する図である。
【図９】図９は、タッチおよびリリース操作を説明する図である。
【図１０】図１０は、実施例２に係る画像処理装置３０の機能構成を示す機能ブロック図である。
【図１１】図１１は、抽出ＤＢ３２ｂに記憶される情報の例を示す図である。
【図１２】図１２は、指示点の例を示す図である。
【図１３】図１３は、指示点を結ぶ線を描画する動作を説明する図である。
【図１４】図１４は、キャンセル時の動作を説明する図である。
【図１５】図１５は、実施例２に係る領域確定処理の流れを示すフローチャートである。
【図１６】図１６は、位置特定処理の流れを示すフローチャートである。
【図１７】図１７は、実施例１および実施例２に係る画像処理装置のハードウェア構成例を説明する図である。
【図１８】図１８は、実施例１および実施例２に係る画像処理装置のハードウェア構成例を説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【実施例１】
【００１２】
［全体構成］
図１は、実施例１に係るシステムの全体構成例を示す図である。図１に示すように、このシステムは、カメラ１、カメラ２、プロジェクター３、画像処理装置１０を有するプロジェクターシステムの一例である。【００１３】
具体的には、プロジェクター３は、投影面６に対して、画像処理装置１０に保持される画像等を投影する（以下、「投影画像」と記載する場合がある）。例えば、図１に示すように、プロジェクター３は、投影面に対して上の方向、すなわちｚ軸方向から画像を投影する。なお、ｘ軸方向は、投影面を有する載置台７の横方向であり、ｙ軸方向は、載置台７の奥行方向である。【００１４】
カメラ１およびカメラ２は、プロジェクター３が投影する投影面６すなわち対象物を撮像する。例えば、図１に示すように、カメラ１およびカメラ２は、投影面に対して上の方向、すなわちｚ軸方向から投影画像を撮像する。【００１５】
そして、画像処理装置１０は、２台のカメラで撮像された撮像画像から手や指などの指示体の位置を検出し、２台のカメラの視差を使って指示体までの方向や距離を計算して、対象物に対するタップ操作などを検出する。なお、本実施例では、指示体の一例として指８を用いる例で説明する。【００１６】
このような状態において、画像処理装置１０は、投影面６に対して投影画像を投影させ、投影面６を撮像させる。そして、画像処理装置１０は、投影画像に対して実行される処理を特定する。その後、画像処理装置１０は、特定された処理に基づいて、指示体が投影画像と接触するタッチ操作または指示体が投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の投影面からの高さの閾値を変更する。または、画像処理装置１０は、特定された処理の開始契機のいずれかを変更する。【００１７】
つまり、画像処理装置１０は、投影画像を各カメラで撮像して指による操作を実現する際に、操作の種類によって、指のタッチ又はリリース判定に用いる高さ閾値や該判定に用いる撮像フレームの保護段数を動的に変更する。この結果、画像処理装置１０は、指などの指示体を用いて投影画像を操作するときの操作性を向上させることができる。なお、本実施例では、指示体の一例として指を用いる場合で説明するが、手や指示棒などでも同様に処理することができる。【００１８】
［機能構成］
図２は、実施例１に係る画像処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、画像処理装置１０は、通信部１１、記憶部１２、制御部１５を有する。【００１９】
通信部１１は、有線通信または無線通信を用いて他の装置の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、カメラ１およびカメラ２に対して撮像開始や撮像停止などの指示を送信し、カメラ１およびカメラ２が撮像した画像を受信する。また、通信部１１は、プロジェクター３に対して投影開始や投影抑制などの指示を送信する。【００２０】
記憶部１２は、制御部１５が実行するプログラムや各種データを記憶する記憶装置であり、例えばメモリやハードディスクなどである。この記憶部１２は、画像ＤＢ１２ａと機器パラメータＤＢ１２ｂを記憶する。【００２１】
画像ＤＢ１２ａは、各カメラによって撮像された画像などを記憶するデータベースである。例えば、画像ＤＢ１２ａは、各カメラによって撮像された画像、すなわち画像フレームを記憶する。また、画像ＤＢ１２ａは、投影画像に対するクリッピング操作時に選択された領域のデータ、サイズ情報、位置情報、表示状態などを記憶する。また、画像ＤＢ１２ａは、画像認識によって特定された指の位置情報やタップ操作の内容などを含む解析結果を記憶する。【００２２】
機器パラメータＤＢ１２ｂは、指８と投影面とが接触するタッチ操作や指８と投影面とが離れるリリース操作の開始を判定する判定条件を記憶するデータベースである。ここで記憶される情報は、管理者等によって登録や更新される。【００２３】
図３は、機器パラメータＤＢ１２ｂに記憶される情報の例を示す図である。図３に示すように、機器パラメータＤＢ１２ｂは、「処理、タッチ（保護段数、高さ閾値）、リリース（保護段数、高さ閾値）」を対応付けて記憶する。【００２４】
ここで記憶される「処理」は、投影画像に対して実行される各種処理を示し、例えば２点タッチ処理やドラッグ処理などである。「タッチ」は、指８と投影面とが接触するタッチ操作を示し、「リリース」は、指８と投影面とが離れるリリース操作を示す。【００２５】
「高さ閾値」は、タッチ操作またはリリース操作が開始されたと判定する指の高さを示し、投影画像である対象物からｚ軸方向の高さであり、単位はｍｍである。「保護段数」は、指８が高さ閾値を超えたと判定された撮像画像から何枚目の撮像画像を用いて、タッチ操作またはリリース操作が開始されたと判定するかを示す情報であり、単位はフレーム数である。【００２６】
図３の場合、処理１では、高さ１５ｍｍ以下の位置に位置する指８を含む撮像画像が撮像されてから１枚目の撮像画像を無視し、２枚目の撮像画像からタッチ操作の開始と判定することを示す。また、処理１では、高さ１５ｍｍより高い位置に位置する指８を含む撮像画像が撮像されてから１枚目の撮像画像を無視し、２枚目の撮像画像からリリース操作の開始と判定することを示す。【００２７】
ここで、例えば、処理１は、デフォルト値であり、未定義の処理などに利用される。また、処理２は、２点タッチ処理であり、処理３は、投影画像のドラッグ処理であり、処理４は、投影画像のスクロール処理などである。【００２８】
なお、タッチ操作とリリース操作とでは、同じ保護段数や高さ閾値を設定することもできるが、例えばドラッグ処理などの画像に直接触れる処理では指８の検出に誤差が発生しやすくなるため、保護段数を増やし、高さの閾値も高く設定する。このようにすることで、ドラッグを切れにくくすることができる。また、２点をタッチする処理では、タッチ操作とリリース操作の保護段数を減らし、タッチ操作およびリリース操作がスムーズに実施できるようにする。【００２９】
一例として、２点タッチ処理とドラッグ処理とについて説明する。図４は、２点タッチ処理を説明する図である。図４に示すように、２点タッチ処理とは、指８が投影画像を選択して引き延ばす処理のことであり、引き延ばす前の位置から引き延ばし後の位置までを指定する処理である。なお、指８が投影画像を選択して、小さくする処理も含まれる。【００３０】
図５は、ドラッグ処理を説明する図である。図５に示すように、ドラッグ処理は、指８が投影画像を選択して、投影画像を回転、移動させる処理である。投影画像は、指８の移動に伴って移動させられる。【００３１】
制御部１５は、画像処理装置１０全体を司る処理部であり、例えばプロセッサなどの電子回路である。この制御部１５は、投影処理部１６、撮像処理部１７、画像取得部１８、色空間変換部１９、手領域検出部２０、手操作判定部２１、操作実行部２２を有する。なお、投影処理部１６、撮像処理部１７、画像取得部１８、色空間変換部１９、手領域検出部２０、手操作判定部２１、操作実行部２２は、電子回路の一例やプロセッサが実行するプロセスの一例である。【００３２】
投影処理部１６は、プロジェクター３への投影制御を実行する処理部である。例えば、投影処理部１６は、プロジェクター３に対して投影開始、投影停止などの指示を送信する。また、投影処理部１６は、プロジェクター３に対して、投影する際の照度を制御する。【００３３】
撮像処理部１７は、カメラ１およびカメラ２への撮像制御を実行する処理部である。例えば、撮像処理部１７は、各カメラに対して撮像開始などの指示を送信して、各カメラに投影面を撮像させる。【００３４】
画像取得部１８は、撮像画像を取り込んで画像ＤＢ１２ａに格納する処理部である。例えば、撮像処理部１７が各カメラに撮像させた撮像画像を、各カメラから取り込んで画像ＤＢ１２ａに格納する。【００３５】
色空間変換部１９は、撮像画像を色空間に変換する処理部である。例えば、色空間変換部１９は、画像ＤＢ１２ａから撮像画像を読み出し、読み出した撮像画像を色空間に変換し、色空間の各軸に上限値および下限値を設定する。そして、色空間変換部１９は、色空間に変換した画像を手領域検出部２０に出力する。【００３６】
なお、色空間変換部１９は、画像ＤＢ１２ａに撮像画像が格納されるたびに、最新の撮像画像を読み出して色空間の変換を実行する。また、色空間の変換としては、一般的な画像処理を利用することができる。【００３７】
手領域検出部２０は、撮影画像から指８の領域を検出する処理部である。例えば、手領域検出部２０は、色空間変換部１９によって色空間に変換された画像から、肌色の領域を抽出し、抽出した領域を手領域として検出する。そして、手領域検出部２０は、抽出した手領域または撮像画像を手操作判定部２１に出力する。【００３８】
手操作判定部２１は、特定部２１ａと設定部２１ｂと検出部２１ｃとを有し、これらによって指８と撮像画像とが接触するタッチ操作、接触状態から指８と撮像画像とが離れるリリース操作などを判定する処理部である。【００３９】
特定部２１ａは、投影画像に対して実行される処理を特定する処理部である。具体的には、特定部２１ａは、投影画像に対して２点タッチ処理ドラッグ処理などが実行されると特定し、特定した処理の情報を設定部２１ｂに通知する。【００４０】
例えば、特定部２１ａは、処理の開始前に、実行対象の処理をユーザなどから受け付けることで、処理を特定することができる。また、特定部２１ａは、後述する操作実行部２２から操作内容などを取得して、実行中の処理を特定することもできる。【００４１】
設定部２１ｂは、実行される処理に応じて、高さ閾値および保護段数を設定する処理部である。具体的には、設定部２１ｂは、特定部２１ａから通知された処理に対応する高さ閾値および保護段数を機器パラメータＤＢ１２ｂから特定し、検出部２１ｃに通知する。【００４２】
例えば、設定部２１ｂは、特定部２１ａから２点タッチ処理（図３では処理２）が通知された場合、処理２に対応付けられる「タッチ（保護段数：１、高さ閾値：１０）、リリース（保護段数：２、高さ閾値：１０）」を特定して、検出部２１ｃに通知する。【００４３】
検出部２１ｃは、設定部２１ｂから通知された高さ閾値および保護段数を用いて、タッチ操作やリリース操作を検出する処理部である。具体的には、検出部２１ｃは、手領域検出部２０から通知される画像から、指８が位置する高さの変化を検出し、タッチ操作の高さ閾値および保護段数を満たす場合に、タッチ操作を検出する。同様に、検出部２１ｃは、手領域検出部２０から通知される画像から、指８が位置する高さの変化を検出し、リリース操作の高さ閾値および保護段数を満たす場合に、リリース操作を検出する。【００４４】
例えば、検出部２１ｃは、設定部２１ｂから２点タッチ処理（処理２）に対応付けられる「タッチ（保護段数：１、高さ閾値：１０）、リリース（保護段数：２、高さ閾値：１０）」の通知を受信する。そして、検出部２１ｃは、随時撮像される撮像画像のうち、指８の高さが１０ｍｍより高い位置から１０ｍｍ以下となった撮像画像のうち、２枚目の撮像画像をタッチ操作開始と検出する。すなわち、保護段数が１であることから、検出部２１ｃは、高さ閾値を満たす最初の撮像画像を無視し、２枚目の撮像画像をタッチ操作の開始と判定する。【００４５】
また、検出部２１ｃは、随時撮像される撮像画像のうち、指８の高さが１０ｍｍ以下の状態から１０ｍｍより高くなった撮像画像のうち、３枚目の撮像画像をリリース操作開始と検出する。すなわち、保護段数が２であることから、検出部２１ｃは、高さ閾値を満たす最初の撮像画像および２枚目の撮像画像を無視し、３枚目の撮像画像をリリース操作の開始と判定する。【００４６】
そして、検出部２１ｃは、タッチ操作またはリリース操作が検出されてから以降の撮像画像を操作実行部２２に出力する。なお、ここでの高さとは、指と対象物（投影画像や投影面）との距離、つまり対象物からｚ軸方向の距離である。また、検出部２１ｃは、設定部２１ｂから高さ閾値等の情報を受信せずに、指を含む撮像画像を検出した場合、デフォルト値を用いてタッチ操作またはリリース操作の判定を実行する。つまり、検出部２１ｃは、機器パラメータＤＢ１２ｂから処理１に対応する情報を読み出して判定に使用する。【００４７】
操作実行部２２は、投影画像に対する各種操作を実行する処理部である。具体的には、操作実行部２２は、検出部２１ｃから入力される撮像画像の指８の軌跡等によって、処理を特定し、該当する処理を実行する。【００４８】
例えば、操作実行部２２は、タッチ操作の検出後に入力された撮像画像から、２点タッチ操作やドラッグ操作などを検出して、該当する処理を実行する。また、操作実行部２２は、リリース操作の検出後に入力された撮像画像から、２点タッチ操作やドラッグ操作などの終了を検出して、各種処理を終了する。【００４９】
なお、操作実行部２２は、これから実行される処理内容を特定部２１ａから通知されていた場合、検出部２１ｃから通知される撮像画像から指８の位置の軌跡を特定し、特定した軌跡を用いて、通知された処理を実行する。【００５０】
［処理の流れ］
次に、実施例１に係る画像処理装置１０が実行する各種処理を説明する。なお、ここでは、リリース判定処理と、タッチ処理およびリリース判定処理について説明する。【００５１】
（リリース判定処理）
本処理が実行される一例としては、タッチ判定がデフォルトで実行された後、リリース処理については処理に応じた高さ閾値および保護段数で判定する場合である。図６は、リリース判定処理の流れを示すフローチャートである。【００５２】
図６に示すように、特定部２１ａは、操作実行部２２によって処理が開始されると（Ｓ１０１：Ｙｅｓ）、実行されている処理を特定し、該当するリリース（高さ閾値、保護段数）を機器パラメータＤＢ１２ｂから特定する（Ｓ１０２）。【００５３】
続いて、検出部２１ｃは、各種処理部等を介して撮像画像を取得し（Ｓ１０３）、指８の高さが設定される高さ閾値よりも高く（Ｓ１０４：Ｙｅｓ）、撮像画像の枚数が保護段数の規定値を超えた場合（Ｓ１０５：Ｙｅｓ）、リリース操作と判定する（Ｓ１０６）。【００５４】
一方、指８の高さが設定される高さ閾値以下である場合（Ｓ１０４：Ｎｏ）、撮像画像の枚数が保護段数の規定値を超えない場合（Ｓ１０５：Ｎｏ）、操作実行部２２が引き続き該当処理を実行する（Ｓ１０７）。その後、Ｓ１０３以降が繰り返して実行される。【００５５】
（タッチおよびリリース判定処理）
本処理が実行される一例としては、特定部２１ａによって、これから実行される処理が特定された場合である。図７は、タッチおよびリリース判定処理の流れを示すフローチャートである。【００５６】
図７に示すように、特定部２１ａは、これら実行される処理を特定し（Ｓ２０１）、該当する高さ閾値、保護段数を機器パラメータＤＢ１２ｂから特定する（Ｓ２０２）。【００５７】
続いて、検出部２１ｃは、各種処理部等を介して撮像画像を取得し（Ｓ２０３）、指８の高さが設定される高さ閾値以下で（Ｓ２０４：Ｙｅｓ）、撮像画像の枚数が保護段数の規定値を超えた場合（Ｓ２０５：Ｙｅｓ）、タッチ操作と判定する（Ｓ２０６）。【００５８】
一方、撮像画像の枚数が保護段数の規定値を超えない場合（Ｓ２０５：Ｎｏ）、操作実行部２２が引き続き該当処理を実行する（Ｓ２０７）。その後、Ｓ２０３以降が繰り返して実行される。【００５９】
また、Ｓ２０４において、指８の高さが設定される高さ閾値より高く（Ｓ２０４：Ｎｏ）、撮像画像の枚数が保護段数の規定値を超えた場合（Ｓ２０８：Ｙｅｓ）、リリース操作と判定する（Ｓ２０９）。【００６０】
一方、撮像画像の枚数が保護段数の規定値を超えない場合（Ｓ２０８：Ｎｏ）、操作実行部２２が引き続き該当処理を実行する（Ｓ２１０）。その後、Ｓ２０３以降が繰り返して実行される。【００６１】
［効果］
上述したように、画像処理装置１０は、実行される処理内容によって、高さ閾値や保護段数を動的に変更することができるので、最適な閾値を設定することができ、タッチ操作やリリース操作の誤検出を抑制することができる。【００６２】
ここで、高さ閾値等が固定されたときのタッチ操作の誤検出の例と、実施例１に係る画像処理装置１０を用いた場合の誤検出の抑制例とを説明する。図８は、誤検出を説明する図であり、図９は、タッチおよびリリース操作を説明する図である。なお、図９では、タッチおよびリリース時の保護段数を１とする。【００６３】
図８に示すように、従来は、各カメラによって撮像されたフレームａで指８を検出し、フレームｃにおいて指８の高さが閾値以下になったことが検出されると、このフレームｃがタッチ操作の開始となる。しかし、その次のフレームｄにおいて誤差が発生して指８の高さが閾値を超えた場合、タッチ操作が終了してリリース操作が検出される。またその次のフレームｅにおいて指８の高さが閾値以下になると、タッチ操作が検出される。【００６４】
このように、従来では、誤検出に伴ってタッチ操作とリリース操作が頻繁に検出される事象が発生し、実際の処理が正常に検出されない場合がある。つまり、従来では、クリッピング処理に伴うタッチやリリースの指定操作時の誤操作が発生する。【００６５】
これに対して、実施例１に係る画像処理装置１０は、図９に示すように、各カメラによって撮像されたフレームａで指８を検出し、フレームｃにおいて指８の高さが閾値以下になったことを検出するが、保護段数が１であることからフレームｃの検出を無視する。そして、画像処理装置１０は、次のフレームｄにおいても指８の高さが閾値以下であることから、このフレームｄをタッチ操作の開始（タッチイベント）と検出する。【００６６】
リリース操作についても同様に、画像処理装置１０は、フレームｇにおいて指８の高さが閾値より高くなったことを検出した後、次のフレームｈにおいても指８の高さが閾値よりも高いことから、このフレームｈをリリース操作の開始（リリースイベント）と検出する。なお、各イベントの間がタッチ中、すなわち処理実行中となる。【００６７】
上述したように、実施例１に係る画像処理装置１０は、プロジェクター３からの投影画像を手で直接操作する際の誤操作を軽減させることができるとともに、操作での操作感を向上させることができる。
【実施例２】
【００６８】
ところで、実施例１では、画像処理装置１０がタッチ操作やリリース操作の検知を正確に実行する例を説明したが、画像処理装置１０の有用な処理はこれに限定されない。例えば、画像処理装置１０は、投影画像の指定範囲を切り出したりすることもでき、その際の精度を向上させることもできる。【００６９】
そこで、実施例２では、投影画像の指定範囲を切り出す例を説明する。なお、実施例２では、画像処理装置３０として説明するが、全体構成は、実施例１と同様なので、詳細な説明は省略する。【００７０】
実施例２に係る画像処理装置３０は、投影面６に対して投影画像を投影させ、投影面６を撮像させる。画像処理装置３０は、撮像させた撮像画像の指定範囲に指８が含まれる間、指８が指定した指定位置を指定された順に結ぶ線を、投影画像に描画する。そして、画像処理装置３０は、撮像画像の指定範囲外に指８が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、所定の指示位置以降に指示された指示位置間を結ぶ線を、投影画像から削除する。【００７１】
つまり、画像処理装置３０は、投影画像に対する領域選択時に、指８が指定範囲外に移動させられると、選択するエリアの最後の辺が１つ消え、その前の辺の最終点に戻る。したがって、画像処理装置３０は、クリッピング処理に伴う操作のアンドゥをスピーディーに行うことができる。【００７２】
［機能構成］
図１０は、実施例２に係る画像処理装置３０の機能構成を示す機能ブロック図である。図１０に示すように、画像処理装置３０は、通信部３１、記憶部３２、制御部３５を有する。【００７３】
通信部３１は、有線通信または無線通信を用いて他の装置の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部３１は、カメラ１およびカメラ２に対して撮像開始や撮像停止などの指示を送信し、カメラ１およびカメラ２が撮像した画像を受信する。また、通信部３１は、プロジェクター３に対して投影開始や投影抑制などの指示を送信する。【００７４】
記憶部３２は、制御部３５が実行するプログラムや各種データを記憶する記憶装置であり、例えばメモリやハードディスクなどである。この記憶部３２は、画像ＤＢ３２ａと抽出ＤＢ３２ｂを記憶する。【００７５】
画像ＤＢ３２ａは、各カメラによって撮像された画像などを記憶するデータベースである。例えば、画像ＤＢ３２ａは、各カメラによって撮像された画像、すなわち画像フレームを記憶する。また、画像ＤＢ３２ａは、投影画像に対するクリッピング操作時に選択された領域のデータ、サイズ情報、位置情報、表示状態などを記憶する。また、画像ＤＢ３２ａは、画像認識によって特定された指の位置情報やタップ操作の内容などを含む解析結果を記憶する。【００７６】
抽出ＤＢ３２ｂは、投影画像から切り出された領域を記憶するデータベースである。図１１は、抽出ＤＢ３２ｂに記憶される情報の例を示す図である。図１１に示すように、抽出ＤＢ３２ｂは、「ファイル名、内容、領域」などを対応付けて記憶する。【００７７】
ここで記憶される「ファイル名」は、抽出元となった投影画像のファイルを示す図である。「内容」は、抽出元となった投影画像の内容を示す情報である。「領域」は、ファイル名で特定される投影画像の領域を示す情報であり、複数の座標によって構成される。【００７８】
図１１の例では、ファイル名「２０２０１０」の投影画像が「新聞」であり、「（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）」の４点で囲まれた領域が抽出されていることを示す。【００７９】
制御部３５は、画像処理装置３０全体を司る処理部であり、例えばプロセッサなどの電子回路である。この制御部３５は、投影処理部３６、撮像処理部３７、画像取得部３８、色空間変換部３９、手領域検出部４０、手操作判定部４１、描画管理部４２を有する。なお、投影処理部３６、撮像処理部３７、画像取得部３８、色空間変換部３９、手領域検出部４０、手操作判定部４１、描画管理部４２は、電子回路の一例やプロセッサが実行するプロセスの一例である。【００８０】
投影処理部３６は、プロジェクター３への投影制御を実行する処理部である。例えば、投影処理部３６は、プロジェクター３に対して投影開始、投影停止などの指示を送信する。また、投影処理部３６は、プロジェクター３に対して、投影する際の照度を制御する。【００８１】
撮像処理部３７は、カメラ１およびカメラ２への撮像制御を実行する処理部である。例えば、撮像処理部３７は、各カメラに対して撮像開始などの指示を送信して、各カメラに投影面を撮像させる。【００８２】
画像取得部３８は、撮像画像を取り込んで画像ＤＢ３２ａに格納する処理部である。例えば、撮像処理部３７が各カメラに撮像させた撮像画像を、各カメラから取り込んで画像ＤＢ３２ａに格納する。【００８３】
色空間変換部３９は、撮像画像を色空間に変換する処理部である。例えば、色空間変換部３９は、画像ＤＢ３２ａから撮像画像を読み出し、読み出した撮像画像を色空間に変換し、色空間の各軸に上限値および下限値を設定する。そして、色空間変換部３９は、色空間に変換した画像を手領域検出部４０に出力する。【００８４】
なお、色空間変換部３９は、画像ＤＢ３２ａに撮像画像が格納されるたびに、最新の撮像画像を読み出して色空間の変換を実行する。また、色空間の変換としては、一般的な画像処理を利用することができる。【００８５】
手領域検出部４０は、撮影画像から指８の領域を検出する処理部である。例えば、手領域検出部４０は、色空間変換部３９によって色空間に変換された画像から、肌色の領域を抽出し、抽出した領域を手領域として検出する。そして、手領域検出部４０は、抽出した手領域を手操作判定部４１に出力する。【００８６】
手操作判定部４１は、指８と撮像画像とが接触するタッチ操作、接触状態から指８と撮像画像とが離れるリリース操作などを判定する処理部である。具体的には、手操作判定部４１は、撮像画像に対する指８の軌跡などを特定し、２点タッチ操作やドラッグ操作などを検出して、該当する処理を実行する。また、手操作判定部４１は、リリース操作の検出後に入力された撮像画像から、２点タッチ操作やドラッグ操作などの終了を検出して、各種処理を終了する。【００８７】
描画管理部４２は、撮像画像に対する各種操作に基づいて、投影画像に対して描画する処理部である。具体的には、描画管理部４２は、撮像画像の指定範囲に指８が含まれる間、指８が指定した指定位置を指定された順に結ぶ線を、投影画像に描画する。そして、描画管理部４２は、指８によって最後に指定された最後の指定位置と、指８によって最初に指定された最初の指定位置とが一致する場合、最初の指定位置から最後の指定位置までの各指示位置で囲まれる領域内の投影画像を切り出して、抽出ＤＢ３２ｂに格納する。【００８８】
例えば、描画管理部４２は、撮像画像において指８が指定した位置を１番目の指示点として記録し、次の撮像画像において指８が指定した位置を２番目の指示点として記録する。図１２は、指示点の例を示す図である。図１２に示すように、描画管理部４２は、１番目の指示点を（ｘ１，ｙ１）と記憶部３２等に記録し、２番目の指示点を（ｘ２，ｙ２）、３番目の指示点を（ｘ３，ｙ３）などと記録する。そして、描画管理部４２は、記録した指示点を投影画像に描画するとともに、１番の指示点と２番目の指示点を結ぶ線および２番目の指示点と３番目の指示点とを結ぶ線を投影画像に描画する。その後、描画管理部４２は、５番目の指示点が１番目の指示点と一致する場合、１番目から４番目の指示点で囲まれる領域を切り出し領域として抽出して、抽出ＤＢ３２ｂに格納する。【００８９】
また、描画管理部４２は、指８が最後に指示した指定位置から指示体の現位置までを結ぶ線を投影画像にさらに描画し、撮像画像の指定範囲外に指８が移動した場合、最後の指示位置から指８の現位置までの線を削除することもできる。【００９０】
例えば、描画管理部４２は、３番目の指示点を（ｘ３，ｙ３）から現在の指８の位置（ｘ３，ｙ４）までを結ぶ線を描画し、その後に指８が範囲外に移動した場合、３番目から現位置までの線を削除する。【００９１】
なお、削除する線は任意に設定できる。例えば、描画管理部４２は、撮像画像の指定範囲外に指８が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、所定の指示位置以降に指示された指示位置間を結ぶ線を、投影画像から削除する。例えば、描画管理部４２は、４つの指示点と各指示点を結ぶ３つの線を描画した状態で、指８が指定範囲外に移動した後に２番目の指示点を選択した場合、１番目の指示点、２番目の指示点、１番目の指示点と２番目の指示点を結ぶ線以外を削除することもできる。つまり、描画管理部４２が、指８が指定した指示点以降を削除する。【００９２】
［具体例］
次に、図１３と図１４を用いて、指示点および線の描画の具体例を説明する。図１３は、指示点を結ぶ線を描画する動作を説明する図である。図１４は、キャンセル時の動作を説明する図である。なお、各図に示す数字は、指示位置の指示順であり、例えば１が１番目に指示された位置であることを示す。【００９３】
ここでは、確定した指示位置を指示点と記載し、単に指示位置と記載する場合は未確定の位置である。また、確定するとは、指８によって次の指示位置が指定されたことを示し、例えば、指８がある位置を指定した後に、次の位置を指定した場合、ある位置が確定することになる。【００９４】
図１３に示すように、描画管理部４２は、指８が指示した１番目の指示点を投影画像に描画する。次に、描画管理部４２は、指８が指示した２番目の指示点を投影画像に描画するとともに、１番目の指示点と２番目の指示点とを結ぶ線を描画する。さらにその後、描画管理部４２は、指８の現位置（図では３番目の位置）と２番目の指示点とを結ぶ線を描画する。つまり、３番目の位置は、指８が接触状態であり、未確定の位置である。【００９５】
このように、描画管理部４２は、指８が指示して投影面から離れた位置を指示点として確定するとともに、指示点間の線を確定させて、投影画像に描画する。また、描画管理部４２は、指８が指示中の位置を追従しながら、指示中の位置と最後に確定させた指示点とを結ぶ線を仮線として、投影画像に描画する。こうして、描画管理部４２は、投影画像の切り出し領域を確定させていく。【００９６】
その後、図１４に示すように、この状態、すなわち３番目の指示位置が未確定の状態で、描画管理部４２は、指８がカメラの撮像範囲外に位置する場合、最後に確定された２番目の指示点と指示中の３番目の位置とを結ぶ線を、投影画像から削除する。さらに、描画管理部４２は、最後に確定された２番目の指示点周辺に、全描画を削除するキャンセルボタンＡを描画する。【００９７】
つまり、描画管理部４２は、次に各カメラが撮像した撮像画像に指８が含まれない場合、指示中の３番目の位置をキャンセルして、それまでの確定済みの指示点および線を投影画像に描画する。【００９８】
そして、描画管理部４２は、キャンセルボタンが選択された場合、それまでに確定させた指示点および線をキャンセルする。つまり、描画管理部４２は、次に各カメラがキャンセルボタンを選択する指８の画像を撮像した場合、投影画像から指示点および線を削除する。こうして、描画管理部４２は、投影画像の切り出し領域の修正等を実行する。【００９９】
［領域処理の流れ］
次に、実施例２に係る画像処理装置３０の処理を説明する。図１５は、実施例２に係る領域確定処理の流れを示すフローチャートである。【０１００】
図１５に示すように、画像処理装置３０の描画管理部４２は、処理が開始されると、係数Ｎに０を代入し（Ｓ３０１）、位置特定処理を実行する（Ｓ３０２）。【０１０１】
位置特定処理が終了すると、描画管理部４２は、係数Ｎが０であるか否かを判定する（Ｓ３０３）。ここで、描画管理部４２は、係数Ｎが０である場合（Ｓ３０３：Ｙｅｓ）、Ｓ３０２移行を繰り返す。【０１０２】
一方、描画管理部４２は、係数Ｎが０でない場合（Ｓ３０３：Ｎｏ）、第１番目の指示点と第Ｎ番目の指示点が一致するかを判定する（Ｓ３０４）。【０１０３】
ここで、描画管理部４２は、第１番目の指示点と第Ｎ番目の指示点が一致しない場合（Ｓ３０４：Ｎｏ）、Ｓ３０２移行を繰り返す。一方、描画管理部４２は、第１番目の指示点と第Ｎ番目の指示点が一致する場合（Ｓ３０４：Ｙｅｓ）、第１番目の指示点から第Ｎ番目の指示点で囲まれる領域内の画像を抽出して、抽出ＤＢ３２ｂに格納する（Ｓ３０５）。【０１０４】
（位置特定処理）
次に、図１５のＳ３０２で実行される位置特定処理について説明する。図１６は、位置特定処理の流れを示すフローチャートである。【０１０５】
図１６に示すように、描画管理部４２は、第Ｎ番目の指示点と指示体（指８）の検出一を結ぶ線を投影する（Ｓ４０１）。続いて、描画管理部４２は、指示体が検出範囲外にでたか否かを判定する（Ｓ４０２）。【０１０６】
ここで、描画管理部４２は、指示体が検出範囲内である場合（Ｓ４０２：Ｎｏ）、投影面に対する指示があるか否かを判定する（Ｓ４０３）。そして、描画管理部４２は、投影面に対する指示がある場合（Ｓ４０３：Ｙｅｓ）、係数Ｎをインクリメントし（Ｓ４０４）、第Ｎ番目の指示点を投影する（Ｓ４０５）。【０１０７】
さらに、描画管理部４２は、第Ｎ番目の指示点と第Ｎ＋１番目の指示点を結ぶ線と投影し（Ｓ４０６）、図１５の処理に戻る。なお、Ｓ４０３において、描画管理部４２は、投影面に対する指示がない場合（Ｓ４０３：Ｎｏ）、Ｓ４０１以降を繰り返す。【０１０８】
また、Ｓ４０２において指示体が検出範囲外である場合（Ｓ４０２：Ｙｅｓ）、描画管理部４２は、第Ｎ番目の指示点を消滅させ（Ｓ４０７）、係数Ｎが１以上か否かを判定する（Ｓ４０８）。【０１０９】
ここで、係数Ｎが１未満である場合（Ｓ４０８：Ｎｏ）、描画管理部４２は、処理を終了する。一方、描画管理部４２は、係数Ｎが１以上である場合（Ｓ４０８：Ｙｅｓ）、係数Ｎを１減算して（Ｓ４０９）、図１５の処理に戻る。【０１１０】
［効果］
上述したように、画像処理装置３０は、領域選択時に、指８を指定範囲外にアウトさせると、選択するエリアの最後の辺を１つ消去し、その前の辺の最終点に戻ることができる。画像処理装置３０は、上記アンドゥ操作実行後に、全キャンセルボタンも表示し、それが選択されると、全指定領域をリセットすることができる。【０１１１】
したがって、画像処理装置３０は、切り取り操作などクリッピング処理においてアンドゥやリセットを、スピーディーに行うことができる。このように、画像処理装置３０は、指示体を用いて投影画像を操作するときの操作性を向上させることができる。
【実施例３】
【０１１２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。【０１１３】
［高さ閾値、保護段数］
実施例１では、高さ閾値と保護段数とを設定する例を説明したが、これに限定されるものではなく、いずれか一方でも両方でも任意に設定することができる。例えば、画像処理装置１０は、処理に応じて、高さ閾値だけを動的に変更することもでき、保護段数だけを動的に変更することもできる。さらに、画像処理装置１０は、処理に応じて、タッチ操作の高さ閾値や保護段数を動的に変更することもでき、リリース操作の高さ閾値や保護段数を動的に変更することもできる。【０１１４】
［アンドゥ操作］
実施例２では、画像処理装置３０は、指８が範囲外に移動した場合に、当該指８が現に指示する位置への線を削除し、１つ前の指示点まで確定させる例を説明したが、これに限定されるものではない。【０１１５】
例えば、２つ前など確定させる指示点を予め設定することもできる。この場合、画像処理装置３０は、最後から２番目までの指示点を確定させ、最後の指示点および指８の最後の位置、最後の指示点への線および最後の位置への線を削除する。【０１１６】
また、画像処理装置３０は、指示体である指８の速度によって、戻る先を動的に変更することもできる。例えば、画像処理装置３０は、指８が指定範囲外に至るまでの撮像画像の枚数によって、戻る先を特定することができる。一例を挙げると、画像処理装置３０は、各カメラの撮像画像に指が含まれなくなるまでの枚数が３枚以下である場合は、最後の指定点まで確定させ、それ以外は最後から２つ目の指定点までを確定する。【０１１７】
［指定範囲］
実施例２では、指８が撮像画像に含まれなくなったときを指定範囲外に移動したと判定する例を説明したが、これに限定されるものではない。例えば、撮像画像の所定領域を指定範囲外に指定しておき、画像処理装置３０は、予め指定した指定領域に指８が入った画像が撮像された場合に、指定範囲外に移動したと判定することもできる。【０１１８】
［システム］
また、図示した装置の各構成は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、任意の単位で分散または統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。【０１１９】
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。【０１２０】
［ハードウェア］
図１７は、実施例１および実施例２に係る画像処理装置のハードウェア構成例を説明する図である。なお、実施例１および実施例２に係る画像処理装置は同様のハードウェア構成を有するので、ここでは、画像処理装置１００として説明する。【０１２１】
図１７に示すように、画像処理装置１００は、電源１００ａ、通信インタフェース１００ｂ、ＨＤＤ（Hard  Disk  Drive）１００ｃ、メモリ１００ｄ、プロセッサ１００ｅを有する。また、図１７に示した各部は、バス等で相互に接続される。【０１２２】
電源１００ａは、外部から供給される電力を取得して各部を動作させる。通信インタフェース１００ｂは、他の装置との通信を制御するインタフェースであり、例えばネットワークインタフェースカードである。ＨＤＤ１００ｃは、図２や図１０等に示した機能を動作させるプログラム、ＤＢ、テーブルを記憶する。【０１２３】
プロセッサ１００ｅは、図２や図１０等に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｃ等から読み出してメモリ１００ｄに展開することで、図２や図１０等で説明した各機能を実行するプロセスを動作させる。【０１２４】
すなわち、このプロセスは、画像処理装置１０または画像処理装置３０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１００ｅは、投影処理部１６、撮像処理部１７、画像取得部１８、色空間変換部１９、手領域検出部２０、手操作判定部２１、操作実行部２２等と同様の機能を有するプログラムをＨＤＤ１００ｃ等から読み出す。そして、プロセッサ１００ｅは、投影処理部１６、撮像処理部１７、画像取得部１８、色空間変換部１９、手領域検出部２０、手操作判定部２１、操作実行部２２と同様の処理を実行するプロセスを実行する。【０１２５】
また、プロセッサ１００ｅは、投影処理部３６、撮像処理部３７、画像取得部３８、色空間変換部３９、手領域検出部４０、手操作判定部４１、描画管理部４２等と同様の機能を有するプログラムをＨＤＤ１００ｃ等から読み出す。そして、プロセッサ１００ｅは、投影処理部３６、撮像処理部３７、画像取得部３８、色空間変換部３９、手領域検出部４０、手操作判定部４１、描画管理部４２と同様の処理を実行するプロセスを実行する。【０１２６】
このように画像処理装置１００は、プログラムを読み出して実行することで入出力方法を実行する情報処理装置として動作する。また、画像処理装置１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、画像処理装置１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。【０１２７】
［筐体］
また、上記実施例１や実施例２では、各カメラとプロジェクター３と画像処理装置１００が別々の筐体で実現される例を説明したが、これに限定されるものではなく、同じ筐体で実現することもできる。【０１２８】
図１８は、実施例１および実施例２に係る画像処理装置のハードウェア構成例を説明する図である。なお、実施例１および実施例２に係る画像処理装置は同様のハードウェア構成を有するので、ここでは、画像処理装置２００として説明する。【０１２９】
図１８に示すように、画像処理装置２００は、電源２０１、通信インタフェース２０２、ＨＤＤ２０３、カメラ２０４、カメラ２０５、プロジェクター２０６、メモリ２０７、プロセッサ２０８を有する。また、図１８に示した各部は、バス等で相互に接続される。【０１３０】
電源２０１は、外部から供給される電力を取得して各部を動作させる。通信インタフェース２０２は、他の装置との通信を制御するインタフェースであり、例えばネットワークインタフェースカードである。ＨＤＤ２０３は、図２や図１０等に示した機能を動作させるプログラム、ＤＢ、テーブルを記憶する。【０１３１】
カメラ２０４は、図１に示したカメラ１と同様の機能を実行し、カメラ２０５は、図１に示したカメラ２と同様の機能を実行し、プロジェクター２０６は、図１に示したプロジェクター３と同様の機能を実行する。【０１３２】
プロセッサ２０８は、図１７と同様、図２等に示した各処理部と同様の処理を実行するプログラムをＨＤＤ２０３等から読み出してメモリ２０７に展開することで、図２や図１０等で説明した各機能を実行するプロセスを動作させる。【０１３３】
このように画像処理装置２００は、プログラムを読み出して実行することで入出力方法を実行する情報処理装置として動作する。また、画像処理装置２００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、画像処理装置２００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。【０１３４】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。【０１３５】
（付記１）投影面に対して投影画像を投影させる投影部と、
該投影面を撮像させる撮像部と、
前記投影画像に対して実行される処理を特定する特定部と、
前記特定部によって特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する変更部と
を有することを特徴とする画像処理装置。【０１３６】
（付記２）前記特定部は、前記タッチ操作が検出された後、前記投影画像に対する指示体の操作内容に基づいて、実行対象とするクリッピング処理の種別を特定して、特定した種別のクリッピング処理を実行し、
前記変更部は、前記リリース操作の検出に使用する前記高さの閾値を、前記特定部によって実行された前記クリッピング処理の種別に対応付けられる閾値に変更することを特徴する付記１に記載の画像処理装置。【０１３７】
（付記３）前記変更部は、前記指示体が前記投影画像に直接触れて前記投影画像を移動させるドラッグ処理の場合、前記ドラッグ処理以外の処理に比べて、前記閾値に設定する高さを高くすることを特徴とする付記２に記載の画像処理装置。【０１３８】
（付記４）前記変更部は、前記特定部によって実行された前記クリッピング処理の種別にしたがって、前記クリッピング処理の開始契機を、前記リリース操作が検出された以降の前記撮像画像のうち何フレーム目の撮影画像とするかを決定することを特徴する付記２に記載の画像処理装置。【０１３９】
（付記５）前記変更部は、前記指示体が前記投影画像に触れて前記投影画像を移動させるドラッグ処理の場合、前記ドラッグ処理以外の処理に比べて、前記開始契機に設定するフレーム数を多く設定することを特徴とする付記２に記載の画像処理装置。【０１４０】
（付記６）コンピュータが、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
前記投影画像に対して実行される処理を特定し、
特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する
処理を含んだことを特徴とする画像処理方法。【０１４１】
（付記７）コンピュータに、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
前記投影画像に対して実行される処理を特定し、
特定された処理に基づいて、指示体が前記投影画像と接触するタッチ操作または前記指示体が前記投影画像から離れるリリース操作の判定に使用される、撮像画像に含まれる指示体の前記投影面からの高さの閾値、または、前記処理の開始契機のいずれかを変更する
処理を実行させることを特徴とする画像処理プログラム。【０１４２】
（付記８）投影面に対して投影画像を投影させる投影部と、
該投影面を撮像させる撮像部と、
前記撮像部が撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画する描画部と、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する削除部と
を有することを特徴とする画像処理装置。【０１４３】
（付記９）前記描画部は、前記指示体が最後に指示した指定位置から前記指示体の現位置までを結ぶ線を前記投影画像にさらに描画し、
前記削除部は、前記撮像画像の指定範囲外に前記指示体が移動した場合、前記最後の指示位置から前記指示体の現位置までの線を削除することを特徴とする付記８に記載の画像処理装置。【０１４４】
（付記１０）前記描画部は、前記最後の指示位置の近傍に、すべての指示位置および線をキャンセルする操作を実行するボタンを、前記投影画像に描画することを特徴とする付記９に記載の画像処理装置。【０１４５】
（付記１１）前記指示体によって最後に指定された最後の指定位置と、前記指示体によって最初に指定された最初の指定位置とが一致する場合、前記最初の指定位置から前記最後の指定位置までの各指示位置で囲まれる領域内の前記投影画像を切り出して、所定の記憶部に格納する切出部をさらに有することを特徴とする付記８に記載の画像処理装置。【０１４６】
（付記１２）コンピュータが、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画し、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する
処理を含むことを特徴とする画像処理方法。【０１４７】
（付記１３）コンピュータに、
投影面に対して投影画像を投影させ、
該投影面を撮像させ、
撮像させた撮像画像の指定範囲に前記指示体が含まれる間、指示体が指定した指定位置を指定された順に結ぶ線を、前記投影画像に描画し、
前記撮像画像の指定範囲外に前記指示体が移動した場合、指定された指示位置のうち所定の指示位置まで遡り、前記所定の指示位置以降に指示された指示位置間を結ぶ前記線を、前記投影画像から削除する
処理を実行させることを特徴とする画像処理プログラム。
【符号の説明】
【０１４８】
１  カメラ
２  カメラ
３  プロジェクター
１０、３０  画像処理装置
１１、３１  通信部
１２、３２  記憶部
１２ａ、３２ａ  画像ＤＢ
１２ｂ  機器パラメータＤＢ
１５、３５  制御部
１６、３６  投影処理部
１７、３７  撮像処理部
１８、３８  画像取得部
１９、３９  色空間変換部
２０、４０  手領域検出部
２１、４１  手操作判定部
２１ａ  特定部
２１ｂ  設定部
２１ｃ  検出部
２２  操作実行部
３２ｂ  抽出ＤＢ
４２  描画管理部
【図１】
2016092656.tif 000003
【図２】
2016092656.tif 000004
【図３】
2016092656.tif 000005
【図４】
2016092656.tif 000006
【図５】
2016092656.tif 000007
【図６】
2016092656.tif 000008
【図７】
2016092656.tif 000009
【図８】
2016092656.tif 000010
【図９】
2016092656.tif 000011
【図１０】
2016092656.tif 000012
【図１１】
2016092656.tif 000013
【図１２】
2016092656.tif 000014
【図１３】
2016092656.tif 000015
【図１４】
2016092656.tif 000016
【図１５】
2016092656.tif 000017
【図１６】
2016092656.tif 000018
【図１７】
2016092656.tif 000019
【図１８】
2016092656.tif 000020
【国際調査報告】
2016092656.tif 000021
2016092656.tif 000022
2016092656.tif 000023
2016092656.tif 000024
2016092656.tif 000025
2016092656.tif 000026