(57)【要約】      （修正有）【課題】カメラの設置位置や対象物の存在などの制約を問題とせずに、空間に配置された指定物体を検出し、指定物体の座標を基準面に投影することで３次元領域を設定することができる画像処理装置を提供する。【解決手段】画像処理装置１００は、空間における物体からの距離情報を取得し、距離情報に基づいて空間の基準面及び空間の３次元座標を設定する距離情報取得手段１１０と、空間に配置された指定物体を検出し、３次元座標における指定物体の座標を指定座標として取得する指定座標取得手段１１１と、指定座標を基準面に投影した投影座標を取得する投影座標取得手段１１２と、指定座標及び投影座標に基づいて、空間に指定領域を設定する指定領域設定手段１１３とを備える。【選択図】図１
2016176816.tif 000002
【特許請求の範囲】
【請求項１】
空間における物体からの距離情報を取得し、前記距離情報に基づいて前記空間の基準面及び前記空間の３次元座標を設定する距離情報取得手段と、
前記空間に配置された指定物体を検出し、前記３次元座標における前記指定物体の座標を指定座標として取得する指定座標取得手段と、
前記指定座標を前記基準面に投影した投影座標を取得する投影座標取得手段と、
前記指定座標及び前記投影座標に基づいて、前記空間に指定領域を設定する指定領域設定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記距離情報取得手段は、
前記距離情報から前記物体の表面を示す３次元点群を取得し、前記３次元点群に基づいて平面を抽出する平面抽出手段と、
前記平面から前記基準面を設定する基準面設定手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記空間を撮像して２次元画像を取得する撮像手段を備え、
前記距離情報取得手段は、前記２次元画像内の空間座標の座標系と前記３次元座標の座標系とを一致させる座標設定手段を備え、
前記指定座標取得手段は、前記２次元画像内の前記指定物体を検出し、前記２次元画像における前記指定物体の位置から前記指定座標を取得することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記指定座標取得手段は、前記指定物体の色、光、形状、動き、信号、マーカー、及びパターンの少なくとも１つにより、前記指定物体を検出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記指定座標取得手段は、前記指定座標の消去、移動、及び変更の少なくとも１つを実行することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記指定座標取得手段により前記指定座標が取得されたことを通知する通知手段を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記空間を撮像して２次元画像を取得する撮像手段と、
前記基準面の位置、前記指定物体の位置、前記指定座標の位置、前記投影座標の位置、前記指定座標と前記投影座標とを結ぶ線、前記指定物体と前記指定座標とを結ぶ線、複数の前記指定座標を結ぶ線、複数の前記投影座標を結ぶ線、及び前記指定領域の位置の少なくとも１つを前記２次元画像に表示する表示手段と
を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記指定領域設定手段は、予め設定された前記指定領域の形状に基づいて、前記指定座標及び前記投影座標の少なくとも１つを、前記指定領域の形状を規定する点とすることにより、前記指定領域を設定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記指定領域設定手段は、前記指定領域の数、大きさ、位置、及び形状の少なくとも１つを調整することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
空間における物体からの距離情報を取得し、前記距離情報に基づいて前記空間の基準面及び前記空間の３次元座標を設定する工程と、
前記空間に配置された指定物体を検出し、前記３次元座標における前記指定物体の座標を指定座標として取得する工程と、
前記指定座標を前記基準面に投影した投影座標を取得する工程と、
前記指定座標及び前記投影座標に基づいて、前記空間に指定領域を設定する工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
安全を確保するための防犯カメラの設置が進んでいる。特に、美術館や博物館など貴重な文化財を展示する場において、盗難や故意による破損などの犯罪を抑止し、早急に犯罪事件を解決するために、防犯カメラが設置されている。
【０００３】
文化財保護のための監視システムとして、文化財から所定の距離内に人物などが立ち入った際に自動通報する監視システムが提案されている。このような監視システムは、カメラの他に距離情報を取得する測距センサを備えており、３次元領域（例えば、文化財を中心とした所定の距離内の領域）における画像と距離情報の変化を検知し、人物などの３次元領域への侵入を検知する。
【０００４】
また、３次元領域を設定する方法として、距離情報を基に床面（基準面）を推定し、防犯カメラで撮影した２次元画像から床面の座標を検出することで、床面の座標を３次元領域の底面とする方法がある（例えば、特許文献１参照）。また、柱状の対象物を測距することにより得られた３次元点群から、柱状の対象物の３次元柱状モデルを作成する方法がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７１４０８号公報
【特許文献２】特許第５４５１４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の方法では、防犯カメラで撮影した２次元画像から床面の座標を検出するため、３次元領域の底面に対応する床面が確実に認識される範囲まで２次元画像に含まれていなければならない。したがって、床面を撮像するために、監視領域（例えば、文化財の周囲領域）より必要以上に広い画角でカメラを設置したり、カメラ光軸を下方向に傾けたりする必要があり、真に欲する領域の画像を撮像する際の制約となることがある。
【０００７】
また、特許文献２の方法は、対象物を測距することにより得られた３次元点群から対象物に対応する３次元柱状モデルを作成するため、対象物が存在しない仮想的な３次元柱状モデルを作成することができない。
【０００８】
本発明は、カメラの設置位置や対象物の存在などの制約を解決するため、空間に配置された指定物体を検出し、指定物体の座標を基準面に投影することで３次元領域を設定することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、空間における物体からの距離情報を取得し、前記距離情報に基づいて前記空間の基準面及び前記空間の３次元座標を設定する距離情報取得手段と、前記空間に配置された指定物体を検出し、前記３次元座標における前記指定物体の座標を指定座標として取得する指定座標取得手段と、前記指定座標を前記基準面に投影した投影座標を取得する投影座標取得手段と、前記指定座標及び前記投影座標に基づいて、前記空間に指定領域を設定する指定領域設定手段とを備える。
【発明の効果】
【００１０】
本発明によれば、カメラの設置位置や対象物の存在などの制約を問題とせずに、空間に配置された指定物体を検出し、指定物体の座標を基準面に投影することで３次元領域を設定することができる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）本発明に係る画像処理装置の一例を示すブロック図である。（ｂ）本発明に係る画像処理装置の距離情報取得部の一例を示すブロック図である。
【図２】本発明に係る画像処理装置の具体的な構成例を示すブロック図である。
【図３】指定領域の設定の一例を示す図である。
【図４】本発明に係る画像処理装置の動作の一例を示すフローチャートである。
【図５】指定形状の例を示す図である。
【図６】投影座標を全て包含する多角形を算出する手法の一例を示す図である。
【図７】通知部又は表示部であるディスプレイの表示画面の一例を示す図である。
【図８】指定領域設定部が指定領域の大きさを調整する一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。
【００１３】
図１（ａ）は、本発明に係る画像処理装置の一例を示すブロック図である。図１（ｂ）は、本発明に係る画像処理装置の距離情報取得部の一例を示すブロック図である。
【００１４】
図１（ａ）に示すように、画像処理装置１００は、撮像部１０１、制御部１０２、入出力部１０３、通知部１０４、表示部１０５、及び記憶部１０６を備える。制御部１０２は、距離情報取得部１１０、指定座標取得部１１１、投影座標取得部１１２、及び指定領域設定部１１３を備える。また、図１（ｂ）に示すように、距離情報取得部１１０は、平面抽出部１１５、基準面設定部１１６、及び座標設定部１１７を備える。
【００１５】
撮像部１０１は、空間における物体を撮像し、２次元画像を取得する。制御部１０２は、画像処理装置１００を機能させるためのコンピュータプログラムを実行し、画像処理装置１００の構成要素を制御する。入出力部１０３は、画像処理装置１００に各種のデータを入出力する。通知部１０４は、各種の情報をユーザに通知する。表示部１０５は、２次元画像や各種のデータなどを表示する。記憶部１０６は、各種のデータを記憶する。
【００１６】
距離情報取得部１１０は、空間における物体からの距離情報を取得し、距離情報に基づいて空間の基準面及び空間の３次元座標を設定する。距離情報は、光や超音波の反射を利用して物体までの距離を計測する距離センサにより取得される。また、赤外線レーザなどで所定のパターンを照射し、赤外線カメラ又は撮像部１０１により撮像されたパターンの歪みや形状に基づいて、距離情報が取得されてもよい。
【００１７】
平面抽出部１１５は、距離情報から物体の表面を示す３次元点群を取得し、３次元点群に基づいて平面を抽出する。基準面設定部１１６は、平面抽出部１１５により抽出された平面から基準面（例えば、底面）を設定する。座標設定部１１７は、撮像部１０１により取得された２次元画像内の空間座標の座標系と距離情報に基づく３次元座標の座標系とを一致させる。
【００１８】
指定座標取得部１１１は、空間に配置された指定物体を検出し、３次元座標における指定物体の座標を指定座標として取得する。指定物体は、色、光、形状、移動、信号、マーカー、及びパターンの少なくとも１つにより、空間における任意の座標を指定する物体である。例えば、指定物体は、ペン型デバイスの先端に取り付けられたＬＥＤである。この場合、指定座標取得部１１１は、発光のＯＮ／ＯＦＦ機能を有するＬＥＤが発光した位置を指定座標として取得する。また、指定物体は、ペン型デバイスの先端に取り付けられたＱＲコード（登録商標）などの２次元コードであってもよい。
【００１９】
また、指定物体が手や指であり、指定座標取得部１１１は、手や指の動きによるジェスチャー（指で円を描く動作など）により、指定座標を取得してもよい。
【００２０】
投影座標取得部１１２は、指定座標を基準面に投影した投影座標を取得する。基準面が底面である場合、指定座標を底面の垂線に沿って底面に投影した座標が投影座標となる。なお、投影座標取得部１１２は、垂線の他、所定の角度で基準面（例えば、底面）に投影された座標を投影座標としてもよい。
【００２１】
指定領域設定部１１３は、指定座標及び投影座標に基づいて、空間に指定領域を設定する。例えば、指定領域設定部１１３は、指定座標の４点及び投影座標の４点を頂点とする四角柱を指定領域として設定する。指定領域に人物などが立ち入った際に、入出力部１０３、通知部１０４、及び表示部１０５の少なくとも１つが通報又は警報を出力する。
【００２２】
図２は、本発明に係る画像処理装置の具体的な構成例を示すブロック図である。図２に示すように、撮像部１０１に相当する撮像装置１２１は、対象物を撮像し、外光を画像データに変換するデジタルカメラ又はビデオカメラなどである。制御部１０２に相当する処理装置１２２は、画像処理装置１００の各要素を制御処理するＣＰＵ、ＭＰＵ、及びＧＰＵなどである。
【００２３】
入出力部１０３に相当する入出力装置１２３は、画像処理装置１００に信号を入出力するボタン、センサ（距離センサなど）、タッチパネル、及び音声入出力装置などのＵＩ（ユーザ・インターフェイス）である。なお、入出力部１０３は画像処理装置１００に電気的に接続されていればよく、図２のようにバスで接続されている必要はない。
【００２４】
通知部１０４に相当する通知装置１２４は、指定座標の入力成否、指定座標の入力内容、画像データ、及び距離情報などの各種の情報をユーザに通知するＬＥＤ、スピーカ、及びディスプレイなどである。表示部１０５に相当する表示装置１２５は、撮像部１０１の２次元画像や各種情報を表示するディスプレイなどである。記憶部１０６に相当する記憶装置１２６は、画像処理プログラムや撮像部１０１により取得された画像データや制御部１０２の処理結果などの各種のデータを保持するメモリやハードディスクなどである。
【００２５】
なお、図２に示す画像処理装置の構成例は一例であり、ここで示した以外の構成要素を含んでいてもよい。また、外部の汎用コンピュータなどを用いて、画像処理プログラムが実行されてもよいし、電子回路上で画像処理プログラムが実行されてもよい。
【００２６】
次に、指定領域の設定について説明する。図３は、指定領域の設定の一例を示す図である。図３（ａ）では、監視カメラ（撮像部）３０１が、監視の対象である対象物３０３を撮像し、２次元画像を取得する。また、距離センサ３０２が、物体までの距離を計測し、距離情報を距離情報取得部１１０に出力する。
【００２７】
ここで、ユーザは、対象物３０３を囲む３次元領域を指定領域として設定するために、指定物体（例えば、ＬＥＤ）を有するポインタ３０４を用いて空間における指定座標を指定する。ポインタ３０４は、スイッチによりＬＥＤの点灯を可能とし、指定座標を指定したい位置でＬＥＤの点灯をＯＮにすることで、指定座標の位置を指定する。
【００２８】
図３（ｂ）では、物体表面までの距離情報により、空間における物体の３次元座標が点群として出力される。平面抽出部１１５は、物体の表面を示す３次元点群から平面３０５，３０６を推定して抽出する。例えば、特許第４０１６１８０号に開示される技術を用いることで、平面３０５，３０６の推定が実現される。
【００２９】
基準面設定部１１６は、平面抽出部１１５により抽出された平面３０５，３０６から底面を設定する。例えば、抽出された平面のうち、最も下方向にある平面３０６を底面として設定してもよい。また、所定のパターンが表示されたマーカーを床面の一部又は床面以外の平面（例えば、壁面）に貼付し、撮像部１０１により撮像された２次元画像からマーカーの位置と方向を検出することで、底面が設定されてもよい。また、距離センサの座標系を実空間の座標系に対して予めキャリブレ―ションしておき、仮想的に与えた平面を底面として設定してもよい。
【００３０】
このように、距離センサによる距離情報、床面の一部又は床面以外の平面に貼付されたマーカー、又はキャリブレーションによる仮想平面に基づいて底面が抽出される。この結果、２次元画像から床面の座標を検出する必要がなくなり、床面が確実に認識される範囲まで２次元画像に含まれる必要がなくなる。つまり、必要以上に広い画角で監視カメラ３０１を設置したり、監視カメラ３０１の光軸を下方向に傾けたりする必要がなくなり、真に欲する対象物の領域の画像を撮像することができる。
【００３１】
図３（ｃ）では、監視カメラ３０１が空間を撮像して２次元画像を取得する。指定座標取得部１１１は、２次元画像内のポインタ（指定物体）３０４を検出し、２次元画像におけるポインタ３０４の位置から指定座標を取得する。指定座標取得部１１１は、ＬＥＤの発光に起因する局所的に高輝度な点を２次元画像から検出することにより、指定座標の位置３０７を取得する。また、指定座標取得部１１１は、ＱＲコード（登録商標）や所定のパターンが表示されたマーカーを２次元画像から検出することにより、指定座標の位置３０７を取得する。
【００３２】
このように、指定座標取得部１１１は、２次元画像におけるポインタ（指定物体）３０４の位置に基づいて、指定領域に対応する指定座標を取得するので、監視の対象である対象物３０３が存在しない場合であっても指定領域を設定することができる。
【００３３】
なお、２次元画像から指定座標を取得するために、監視カメラ３０１はステレオカメラ又は複数のカメラにより構成される。また、単眼測距技術を用いれば、監視カメラ３０１は単眼カメラにより構成されてもよい。これにより、監視カメラ３０１が撮像する空間の座標（２次元画像内の空間座標）の座標系を設定することができる。
【００３４】
また、図３（ｃ）では、指定座標の位置３０７を円形のマークで表示しているが、監視カメラ３０１の実際の２次元画像にマークは表示されなくてもよい。また、通知部１０４のディスプレイに表示される２次元画像には、指定座標の位置３０７を表すマークが表示され、表示部１０５のディスプレイに表示される２次元画像には、指定座標の位置３０７を表すマークが表示されないようにしてもよい。このように、装置によってマークの表示／非表示が区別されてもよい。
【００３５】
また、指定座標取得部１１１は、指定座標の消去、移動、及び変更の少なくとも１つを実行してもよい。この場合、ポインタ３０４が入出力装置１２３を備え、ポインタ３０４のボタンや切り替えスイッチを押下することで、これらの処理が実行されてもよい。
【００３６】
図３（ｄ）では、指定座標取得部１１１は、２次元画像から取得された指定座標の位置３０７に基づいて、３次元座標における指定座標の位置３０８を取得する。この場合、座標設定部１１７が、２次元画像内の空間座標の座標系と距離情報に基づく３次元座標の座標系とを一致させている。例えば、監視カメラ３０１と測距センサ３０２の相対位置又は基準位置が分かれば、座標系を一致させることができる。座標系を一致させることにより、指定座標取得部１１１は、２次元画像内の指定座標の位置３０７と距離情報に基づく３次元座標における指定座標の位置３０８を一致させることができる。
【００３７】
また、投影座標取得部１１２が、指定座標を底面（基準面）に投影した投影座標の位置３０９を取得する。なお、基準面は、曲面であってもよく、底面以外の面であってもよい。例えば、対象物が絵画であり、側面（壁面）に設置されている場合、側面を基準面として、指定座標を側面に投影した投影座標の位置３０９を取得する。通知部１０４又は表示部１０５のディスプレイが、平面抽出部１１５により抽出された平面を表示し、入出力部１０３が、抽出された平面から基準面を選択してもよい。また、入出力部１０３が、距離情報に基づく３次元座標において基準面を任意に設定してもよい。
【００３８】
図３（ｅ）では、４つの指定座標が指定され、これらの指定座標を投影した４つの投影座標が示されている。そして、指定領域設定部１１３は、指定座標及び投影座標に基づいて、３次元座標に指定領域を設定する。図３（ｅ）では、指定領域設定部１１３は、指定座標の４点及び投影座標の４点を頂点とする四角柱を指定領域３１０として設定する。
【００３９】
図３（ｆ）では、指定領域設定部１１３が、指定領域３１０の中心を共通の中心として指定領域３１０を拡大し、指定領域３１０を指定領域３１１に変更する。指定領域３１０と指定領域３１１は相似形である。
【００４０】
このように、指定領域設定部１１３は、指定領域３１０の数、大きさ、位置、及び形状の少なくとも１つを調整してもよい。この結果、指定領域３１０を容易に設定又は変更することで、対象物が取り替えられた場合であっても、対象物の大きさや数などに迅速に対応することができる。また、指定領域３１０及び指定領域３１１などの複数の指定領域を設定することで、人物の侵入場所や人物と対象物との距離に応じた警戒レベルを設定することができる。例えば、人物が指定領域３１１に侵入した場合は低レベルの警戒を発令し、人物が指定領域３１０に侵入した場合は高レベルの警戒を発令してもよい。
【００４１】
次に、画像処理装置１００の動作について説明する。図４は、本発明に係る画像処理装置１００の動作の一例を示すフローチャートである。
【００４２】
ステップＳ４０１において、入出力部１０３が、指定領域の形状（指定形状）を設定する。複数の指定形状（例えば、多角柱、円柱、及び平面など）が記憶部１０６に予め登録されており、入出力部１０３が指定形状を選択してもよい。この場合、ポインタ３０４が入出力装置１２３を備え、ポインタ３０４のボタンや切り替えスイッチを押下することで、指定形状が設定されてもよい。指定形状が設定された場合は、指定形状を規定する点（例えば、頂点）が、形状規定情報として指定形状情報とともに記憶部１０６に保持され、制御部１０２に入力される。
【００４３】
ステップＳ４０２において、撮像部１０１が、監視カメラ３０１を用いて、対象物３０３を含む空間を撮像し、撮影画像（２次元画像）を取得する。ステップＳ４０３において、指定座標取得部１１１が、２次元画像内のポインタ（指定物体）３０４を検出する。
【００４４】
ステップＳ４０２，Ｓ４０３とは別に、ステップＳ４０４において、距離センサ３０２が、対象物３０３を含む空間の距離情報を取得し、距離情報を距離情報取得部１１０に出力する。ステップＳ４０５において、平面抽出部１１５が、物体の表面を示す３次元点群から平面３０５，３０６を推定して抽出し、基準面設定部１１６が、平面抽出部１１５により抽出された平面３０５，３０６から底面を基準面として設定する。
【００４５】
ステップＳ４０６において、指定座標取得部１１１は、撮像部１０１の撮像空間と距離情報取得部１１０の距離情報との座標系を一致させることにより、２次元画像から取得された指定座標の位置を３次元座標の座標系で取得する。
【００４６】
ステップＳ４０７において、通知部１０４が、指定座標取得部１１１により指定座標が取得されたことを通知し、指定座標の入力成否をユーザに通知する。例えば、ポインタ３０４の先端に取り付けられた指定物体が、撮像部１０１の撮像範囲外にあって撮像画像に写らなかったり、他の物体に隠れたりする場合、ステップＳ４０６において指定座標の位置を３次元座標の座標系で取得できないことがある。そのため、指定座標の位置を３次元座標の座標系で取得できた場合には、指定座標の入力成立をユーザに通知することで、ユーザが意図する指定座標の入力を支援することができる。
【００４７】
例えば、通知部１０４の通知は、監視カメラ３０１に備えられたＬＥＤを点灯させることにより実現される。また、通知部１０４の通知は、音声、ポインタ３０４の振動、及びディスプレイに表示される撮像画像中のマークなどにより実現されてもよい。
【００４８】
ステップＳ４０８において、指定領域設定部１１３が、ステップＳ４０１で設定された指定形状を規定するために必要な指定座標の全てが指定されたか否かを判定する。指定座標の全てが指定されていない場合は、ステップＳ４０２及びステップＳ４０４に戻り、指定座標の指定が行われる。指定座標の全てが指定されていない場合は、ステップＳ４０９へ進む。
【００４９】
例えば、ステップＳ４０１で設定された指定形状が四角柱であり、四角柱を規定するために必要な指定座標の数が４つである場合は、指定領域設定部１１３が、４つの指定座標が指定されているか否かを判定する。４つの指定座標が指定されていない場合は、ステップＳ４０２及びステップＳ４０４に戻り、４つの指定座標が指定されている場合は、ステップＳ４０９へ進む。
【００５０】
ステップＳ４０９において、投影座標取得部１１２が、指定座標を底面（基準面）に投影した投影座標の位置を３次元座標の座標系で取得する。ステップＳ４１０において、ステップＳ４０６で取得した指定座標の位置とステップＳ４０９で取得した投影座標の位置から、指定領域設定部１１３が３次元座標に指定領域を設定する。例えば、四角柱の形状規定情報に従って４つの指定座標が指定されている場合、４つの指定座標と４つの投影座標とを頂点とする四角柱が指定領域として設定される。
【００５１】
ステップＳ４１１において、指定領域設定部１１３が、入出力部１０３の入力に従って指定領域の調整が必要か否かを判断する。指定領域の調整が必要である場合は、ステップＳ４１２に進み、指定領域設定部１１３が、指定領域の数、大きさ、位置、及び形状の少なくとも１つを調整する。指定領域の調整が不要である場合は、処理が終了する。
【００５２】
このように、本実施形態に係る画像処理方法は、空間における物体からの距離情報を取得し、距離情報に基づいて空間の基準面及び空間の３次元座標を設定する工程を備える。また、本実施形態に係る画像処理方法は、空間に配置された指定物体を検出し、３次元座標における指定物体の座標を指定座標として取得する工程と、指定座標を基準面に投影した投影座標を取得する工程とを備える。また、本実施形態に係る画像処理方法は、指定座標及び投影座標に基づいて、空間に指定領域を設定する工程を備える。
【００５３】
以上、本発明にかかる実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。
【００５４】
例えば、ステップＳ４０１において、入出力部１０３が、複数の指定形状から指定形状を選択してもよいし、所定の指定形状を入力してもよい。図５は、指定形状の例を示す図である。図５の黒い円形のマークは、指定形状を規定する点のうち、指定形状を規定するために必要な指定座標を示している。図５の白い円形のマークは、指定形状を規定する点のうち、指定形状を規定するために必要な投影座標を示している。
【００５５】
図５（ａ）は、Ｎ角柱の指定形状である。Ｎは３以上の任意整数であり、指定座標の必要数Ｓ１はＮ個である（形状規定情報：Ｎ角柱，Ｓ１＝Ｎ）。この場合、形状規定情報に従って、Ｎ個の指定座標が取得され、それらを基準面に投影した投影座標がＮ個取得される。そして、Ｎ個の指定座標及びＮ個の投影座標を頂点とするＮ角柱が指定領域として設定される。Ｎ角柱の高さは、Ｎ個の指定座標の高さの平均であってもよいし、予め設定された高さＨであってもよい。また、Ｎ角柱ではなく、Ｎ個の指定座標を含む任意の平面又は曲面で上面を構成する柱状体が、指定領域として設定されてもよい。
【００５６】
図５（ｂ）は、図５（ａ）と形状規定情報が異なる正Ｎ角柱の指定形状である。Ｎは３以上の任意整数であり、指定座標の必要数Ｓ２は２個である（形状規定情報：正Ｎ角柱，Ｓ２＝２）。この場合、形状規定情報に従って、２個の指定座標が取得され、それらを基準面に投影した投影座標が２個取得される。そして、２個の指定座標のうち１つを正Ｎ角形の中心とし、もう１つを頂点とする正Ｎ角形が構成され、正Ｎ角形の各頂点の頂点座標が取得される。また、正Ｎ角形の各頂点を基準面に投影した投影座標が取得される。Ｎ個の頂点座標及びＮ個の投影座標を頂点とする正Ｎ角柱が指定領域として設定される。
【００５７】
図５の（ｃ）は、円柱の指定形状である。指定座標の必要数Ｓ３は２個である（形状規定情報：円柱，Ｓ３＝２）。この場合、形状規定情報に従って、２個の指定座標が取得され、それらを基準面に投影した投影座標が２個取得される。そして、２個の指定座標のうち１つを円形の中心とし、もう１つを中心までの半径とする円形が構成され、円形の座標が取得される。また、円形を基準面に投影した投影座標が取得される。円形の座標を投影方向に平行移動させた円柱が指定領域として設定される。
【００５８】
図５（ｄ）は、平面の指定形状である。例えば、平面の指定領域を通過した人物の数をカウントする場合に、平面の指定形状が設定される。指定座標の必要数Ｓ４は２個である（形状規定情報：平面，Ｓ４＝２）。この場合、形状規定情報に従って、２個の指定座標が取得され、それらを基準面に投影した投影座標が２個取得される。そして、２個の指定座標及び２個の投影座標を頂点とする平面が指定領域として設定される。
【００５９】
図５（ｅ）は、任意の指定形状である。指定座標の必要数Ｓ５は不定である（形状規定情報：任意形状，Ｓ５＝不定）。この場合、形状規定情報に従って、任意のＭ個の指定座標が取得され、それらを基準面に投影した投影座標がＭ個取得される。そして、Ｍ個の指定座標及びＭ個の投影座標を頂点とする柱状体が指定領域として設定される。ポインタ３０４のボタンや切り替えスイッチを押下してＬＥＤを所定のパターンで点滅させることで、撮像部１０１の撮像画像を介して、指定座標の指定終了を指定領域設定部１１３に出力してもよい。
【００６０】
また、任意の指定形状である場合、Ｍ個の投影座標を全て包含する多角形を算出し、この多角形を投影方向と逆方向に平行移動させた多角柱が指定領域として設定されてもよい。図６は、Ｍ個の投影座標を全て包含する多角形を算出する手法の一例を示す図である。図６（ａ）に示すように、指定領域設定部１１３は、Ｍ個の投影座標のうち、ｙ座標が最小になる投影座標６０１を取得する。指定領域設定部１１３は、投影座標６０１とその他の投影座標とを結ぶ直線がｘ軸と成す角度をそれぞれ求め、角度が最小になる投影座標６０２を取得する。
【００６１】
そして、図６（ｂ）に示すように、指定領域設定部１１３は、投影座標６０１，６０２を結ぶ直線を多角形の１辺とする。次に、指定領域設定部１１３は、投影座標６０１とその他の投影座標とを結ぶ直線がｘ軸と成す角度をそれぞれ求め、角度が最小になる投影座標６０３を取得する。指定領域設定部１１３は、最初に取得した投影座標６０１が再度取得されるまで、この処理を繰り返す。そして、最終的に取得された投影座標を頂点とする多角形が、Ｍ個の投影座標を全て包含する多角形となる。
【００６２】
このように、指定領域設定部１１３は、予め設定された指定領域の形状に基づいて、指定座標及び投影座標の少なくとも１つを、指定領域の形状を規定する点とすることにより、指定領域を設定してもよい。
【００６３】
図７は、通知部１０４又は表示部１０５であるディスプレイの表示画面の一例を示す図である。図７に示すように、ディスプレイ７０１は、撮像部１０１により撮像された撮像画像７０２を表示する。撮像画像７０２には、基準面設定部１１６により設定された基準面（底面）７０３、指定座標取得部１１１により取得された指定座標の位置７０４、及び投影座標取得部１１２により取得された投影座標の位置７０５が強調表示により重畳される。
【００６４】
また、撮像画像７０２には、位置７０４と位置７０５との結線７０６、指定物体の位置７０７、位置７０７を基準面に投影した投影座標の位置７０８、位置７０４と位置７０７とを結ぶ結線７０９、及び位置７０５と位置７０８とを結ぶ結線７１０が重畳される。
【００６５】
このように、通知部１０４又は表示部１０５のディスプレイは、基準面（底面）７０３、指定物体の位置７０７、指定座標の位置７０４、投影座標の位置７０５、指定座標と投影座標を結ぶ線７０６、指定物体と指定座標とを結ぶ線７０９、複数の投影座標を結ぶ線７１０、及び指定領域の位置の少なくとも１つを撮像画像（２次元画像）７０２に重畳表示してもよい。また、通知部１０４又は表示部１０５のディスプレイは、複数の指定座標を結ぶ線及び指定領域の位置の少なくとも１つを撮像画像（２次元画像）７０２に重畳表示してもよい。
【００６６】
なお、指定物体の位置７０７を指定座標の位置７０４と区別するために、指定物体が変化してもよい。例えば、ポインタ３０４がマーカーとＬＥＤとを備える。そして、指定座標取得部１１１がマーカーを検出した場合は、指定物体の位置７０７が撮像画像７０２に重畳され、指定座標取得部１１１がＬＥＤの発光を検出した場合は、指定座標の位置７０４が撮像画像７０２に重畳されてもよい。つまり、ＬＥＤの発光により指定座標が取得される。
【００６７】
また、ＬＥＤの発光パターンが変化してもよい。この場合、指定座標取得部１１１が第１の発光パターンを検出した場合は、指定物体の位置７０７が撮像画像７０２に重畳され、指定座標取得部１１１が第２の発光パターンを検出した場合は、指定座標の位置７０４が撮像画像７０２に重畳される。
【００６８】
つまり、指定物体が変化することにより、様々な命令を入力することができる。指定物体は、色、光、形状、動き、信号、マーカー、及びパターンの少なくとも１つにより変化すればよい。例えば、指定物体が手や指であり、手や指の動きによるジェスチャー（手を開いたり閉じたりする動作など）により、様々な命令が入力されてもよい。
【００６９】
図８は、指定領域設定部１１３が指定領域の大きさを調整する一例を示す図である。図８には、ポインタ３０４を用いて設定された第１の指定領域８０１と、第１の指定領域８０１の大きさが調整された第２の指定領域８０２の関係が示されている。図８（ａ）は俯瞰図であり、図８（ｂ）は上面図であり、図８（ｃ）は側面図であり、図８（ｄ）は正面図である。
【００７０】
指定領域設定部１１３が、第１の指定領域８０１の中心を共通の中心として第１の指定領域８０１の幅及び奥行を所定の距離で拡大し、第２の指定領域８０２に変更する。なお、指定領域設定部１１３は、第１の指定領域８０１の高さを所定の距離で拡大してもよい。
【００７１】
また、上述の実施形態の機能を実現するソフトウェア（プログラム）が、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータ（ＣＰＵ、ＭＰＵ、及びＧＰＵなどを含む）により読み出されて実行されてもよい。このプログラム及びこのプログラムを記憶するコンピュータ読取可能な記憶媒体は、本発明に含まれる。
【００７２】
以上のように、本実施形態によれば、カメラの設置位置や対象物の存在などの制約を問題とせずに、空間に配置された指定物体を検出し、指定物体の座標を基準面に投影することで３次元領域を設定することができる。
【符号の説明】
【００７３】
１０１  撮像部
１０２  制御部
１０３  入出力部
１０４  通知部
１０５  表示部
１０６  記憶部
１１０  距離情報取得部
１１１  指定座標取得部
１１２  投影座標取得部
１１３  指定領域設定部
１１５  平面抽出部
１１６  基準面設定部
１１７  座標設定部
１２１  撮像装置
１２２  処理装置
１２３  入出力装置
１２４  通知装置
１２５  表示装置
１２６  記憶装置
【図１】
2016176816.tif 000003
【図２】
2016176816.tif 000004
【図３】
2016176816.tif 000005
【図４】
2016176816.tif 000006
【図５】
2016176816.tif 000007
【図６】
2016176816.tif 000008
【図７】
2016176816.tif 000009
【図８】
2016176816.tif 000010