(57)【要約】【課題】ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることを目的とする。【解決手段】複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定し、設定された対象領域に、合成画像における複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、予め定められた表示処理を実行する。【選択図】図６
2019075739.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、
前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、予め定められた表示処理を実行する表示制御手段と、
を有する情報処理装置。
【請求項２】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれ、且つ、前記複数の撮像部に含まれる前記対象領域に含まれる被写体を撮影する撮像部と前記被写体との距離の値が予め定められた範囲に含まれる場合、前記表示部に対して、前記予め定められた表示処理を実行する請求項１記載の情報処理装置。
【請求項３】
前記予め定められた範囲は、予め定められた閾値以下となる範囲である請求項２記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線分を予め定められた表示態様で表示する処理である前記予め定められた表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線分を、前記対象領域に含まれない前記複数の画像に含まれる画像同士の境界を示す線分の表示態様と異なる前記予め定められた表示態様で、表示する処理である前記予め定められた表示処理を実行する請求項４記載の情報処理装置。
【請求項６】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線分を、予め定められた色で表示する表示態様である前記予め定められた表示態様で、表示する処理である前記予め定められた表示処理を実行する請求項４又は５記載の情報処理装置。
【請求項７】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を示す線分を、前記複数の撮像部に含まれる前記対象領域に含まれる被写体を撮影する撮像部と前記被写体との距離に応じた幅で表示する表示態様である前記予め定められた表示態様で、表示する処理である前記予め定められた表示処理を実行する請求項４又は５記載の情報処理装置。
【請求項８】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域に含まれる前記複数の画像に含まれる画像同士の境界を撮影する撮像部であって、それぞれの露出値が異なるように露出値が更新された撮像部を含む前記複数の撮像部を介して撮影された複数の画像が合成された合成画像を表示する表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
【請求項９】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、エラーを示す情報を表示する処理である前記予め定められた表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
【請求項１０】
前記表示制御手段は、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、前記表示部に対して、前記対象領域をそのまま設定していいか否かの確認に用いられる画面を表示する処理である前記予め定められた表示処理を実行する請求項１乃至３何れか１項記載の情報処理装置。
【請求項１１】
前記設定手段は、前記合成画像に、予め定められたオブジェクトの形状を利用する処理である前記予め定められた処理の対象となる領域である前記対象領域を設定する請求項１乃至１０何れか１項記載の情報処理装置。
【請求項１２】
複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、
前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、予め定められた表示処理を実行する表示制御手段と、
を有するシステム。
【請求項１３】
情報処理装置が実行する情報処理方法であって、
複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定ステップと、
前記設定ステップで設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、予め定められた表示処理を実行する表示制御ステップと、
を含む情報処理方法。
【請求項１４】
コンピュータを、請求項１乃至１１何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
監視等の用途に使用される撮像装置においては、より広域の監視が求められる。そこで、特許文献１では、複数の撮像装置により撮影された画像を合成し、周囲３６０°のパノラマ画像を生成する撮像装置が提案されている。
一方、監視等の用途に使用される撮像装置においては、撮影された画像内の設定された領域内において予め定められた処理を実行する機能が実装される場合がある。例えば、設定された領域内を人が通過したかどうかを判断する処理を実行する機能や、設定された領域内に人が何人いるかを検出する処理を実行する機能が実装されることがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９２０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、設定された領域内の人数を検出する処理を実行する場合、設定された領域の画像から人の形状を画像から識別する必要がある。しかし、特許文献１に示された撮像装置が生成するパノラマ画像において、パノラマ画像として合成された画像同士の境界部分において、画像の位置ズレが生じることがある。そのため、位置ズレが生じている部分に人がいる場合、設定された領域の画像から人の形状を正確に識別することができない場合がある。
このように、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、予め定められた処理を適切に実行できない場合がある。そのような場合、撮像装置の画角を変更したり、予め定められた処理の対象となる領域を設定し直したりする必要がある。そのため、予め定められた処理の対象として設定された領域が、位置ズレが生じうる部分を含む場合、ユーザがそのことをより容易に把握できるようにしたいという要望があった。
そこで、本発明は、ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、複数の撮像部を介して撮影された複数の画像が合成された合成画像に予め定められた処理の対象となる領域である対象領域を設定する設定手段と、前記設定手段により設定された前記対象領域に、前記合成画像における前記複数の画像に含まれる画像同士の境界が含まれる場合、表示部に対して、予め定められた表示処理を実行する表示制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、ユーザが、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようにすることができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムのシステム構成の一例を示す図である。
【図２】撮像装置等のハードウェア構成の一例を示す図である。
【図３】撮像装置の概要の一例を示す図である。
【図４】合成画像の一例を示す図である。
【図５】合成画像の一例を示す図である。
【図６】情報処理システムの処理の一例を示すフローチャートである。
【図７】合成画像の一例を示す図である。
【図８】合成画像の一例を示す図である。
【図９】情報処理システムの処理の一例を示すフローチャートである。
【図１０】情報処理システムの処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。
【０００９】
＜実施形態１＞
図１は、本実施形態の情報処理システムのシステム構成の一例を示す図である。情報処理システムは、撮像装置１００、クライアント装置１０１を含む。撮像装置１００、クライアント装置１０１は、ネットワーク１０２を介して相互に通信可能に接続されている。
撮像装置１００は、複数の撮像部を含み、複数の撮像部を介して撮影された画像を合成することで、単一の撮像部を介して撮影された場合よりも広角な画像を生成する撮像装置である。
クライアント装置１０１は、撮像装置１００に対して、撮像装置１００を制御する各種コマンドを送信するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。
ネットワーク１０２は、インターネット、無線ＬＡＮ、有線ＬＡＮ等のネットワークである。また、クライアント装置１０１は、ネットワーク１０２を介して、撮像装置１００に電源を供給することとしてもよい。
【００１０】
図２（ａ）は、撮像装置１００のハードウェア構成の一例を示す図である。撮像装置１００は、ＣＰＵ２０１、主記憶装置２０２、補助記憶装置２０３、ネットワークＩ／Ｆ２０４、撮像部２０５を含む。各要素は、システムバス２０６を介して、相互に通信可能に接続されている。
ＣＰＵ２０１は、撮像装置１００を制御する中央演算装置である。主記憶装置２０２は、ＣＰＵ２０１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２０２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶媒体を用いて実装される。補助記憶装置２０３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報を記憶する記憶装置である。補助記憶装置２０３は、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶媒体を用いて実装される。
ネットワークＩ／Ｆ２０４は、クライアント装置１０１等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。撮像部２０５は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子、レンズ等を含み、周囲を撮影する撮像部である。撮像装置１００は、撮像部２０５を複数含む。
【００１１】
図２（ｂ）は、クライアント装置１０１のハードウェア構成の一例を示す図である。クライアント装置１０１は、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、入力Ｉ／Ｆ２１４、出力Ｉ／Ｆ２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。
ＣＰＵ２１１は、クライアント装置１０１を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶領域等として機能する記憶装置である。主記憶装置２１２は、ＲＡＭ等の記憶媒体を用いて実装される。補助記憶装置２１３は、各種設定情報、各種プログラム、撮像装置１００が撮影した画像等の情報、撮像装置１００の制御コマンドの情報等を記憶する記憶装置である。補助記憶装置２１３は、ＲＯＭ、ＨＤＤ、ＳＳＤ等の記憶媒体を用いて実装される。
入力Ｉ／Ｆ２１４は、マウス、キーボード、タッチパネルの操作部等の入力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、入力Ｉ／Ｆ２１４を介して、入力Ｉ／Ｆ２１４に接続されている入力装置を介した入力を受付ける。出力Ｉ／Ｆ２１５は、モニタ、ディスプレイ、スピーカ、タッチパネルの表示部等の出力装置との接続に用いられるインターフェースである。ＣＰＵ２１１は、出力Ｉ／Ｆ２１５を介して、出力Ｉ／Ｆ２１５に接続されている出力装置へ情報を出力する。ネットワークＩ／Ｆ２１６は、撮像装置１００等の外部の装置とのネットワーク１０２を介した通信に用いられるインターフェースである。
【００１２】
図３は、撮像装置１００の概要の一例を示す図である。
本実施形態の撮像装置１００は、図３に示すように、放射状に配置された複数の撮像部２０５を含む。図３に示す撮像部２０５から放射状に出ている２つの破線で囲まれる範囲は、撮像部２０５の視野を示す。撮像装置１００は、撮像部２０５のそれぞれを介して撮影された画像を合成することで、単体の撮像部により撮影された画像よりも広角な画像（例えば、パノラマ画像等）を生成する。隣接する撮像部２０５同士は、撮影範囲が重なるように配置されている。撮像装置１００は、撮像部２０５同士の重なった撮影範囲の領域については、画像の合成処理を行う。
図４は、撮像装置１００により生成される合成画像の一例を示す図である。図４の合成画像４００は、撮像装置１００が４つの撮像部２０５を介して撮影した画像を合成して生成した合成画像である。合成境界４０２それぞれは、合成画像４００における撮像部２０５を介して撮影された画像同士の境界である。合成画像４００における合成境界４０２それぞれの位置は、位置ズレが生じうる位置である。図４の例では、合成境界４０２の数は、合成境界４０２（ａ）〜（ｃ）の３つであるが、合成に使用される画像の数によって変動する。例えば、図４の例のように、横に並べる形で画像を合成する場合、ｎ個の画像を合成すると、合成境界４０２の数は、ｎ−１個となる。
【００１３】
例えば、クライアント装置１０１のＣＰＵ２１１が撮像装置１００に対し、合成画像４００の生成を指示するコマンドを送信すると、撮像装置１００のＣＰＵ２０１は、複数の撮像部２０５を介して画像を撮影し、撮影した画像を合成し、合成画像４００を生成する。そして、ＣＰＵ２０１は、クライアント装置１０１に対して、生成した合成画像４００を送信する。ＣＰＵ２１１は、例えば、出力Ｉ／Ｆ２１５に接続されたモニタに合成画像４００を表示させる。これにより、ユーザは、モニタに表示された合成画像４００を視認することができる。また、ＣＰＵ２０１は、合成画像４００と併せて、合成境界４０２それぞれが合成画像４００上のどの位置に存在するかを示す情報もクライアント装置１０１に送信する。ＣＰＵ２１１は、合成画像４００をモニタに表示するとともに、合成画像４００と併せて受信した合成境界４０２の位置の情報に基づいて、モニタに表示した合成画像４００上に、合成境界４０２それぞれを表示する。本実施形態では、ＣＰＵ２１１は、合成境界４０２それぞれを破線で表示することとするが、一点鎖線等の他の表示態様で表示してもよい。また、ＣＰＵ２１１は、合成境界４０２それぞれを表示しないこととしてもよい。
ユーザは、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを用いてドラッグ操作を行うことで、モニタに表示された合成画像４００内の任意の位置に、予め定められた処理の対象となる領域を任意のサイズで指定できる。ＣＰＵ２１１は、例えば、入力Ｉ／Ｆ２１４に接続されたマウスを介したユーザの操作に基づいて、予め定められた処理の対象となる領域の指定を受付け、受け付けた指定が示す合成画像４００内の領域を、予め定められた処理の対象となる領域として設定する。図４の領域４０１は、設定された予め定められた処理の対象となる領域である。
図４の例では、撮影範囲が重ならない等の原因により、画像合成がうまくいかず、合成画像４００の合成境界４０２（ｃ）に存在する被写体４０３に位置ずれが生じている。
【００１４】
図５は、撮像装置１００により生成される合成画像の一例を示す図である。また、図６は、情報処理システムの処理の一例を示すフローチャートである。以下では、図５と図６とを用いて、本実施形態の情報処理システムの処理の一例を説明する。本実施形態では、ＣＰＵ２１１は、合成境界４０２それぞれを、出力Ｉ／Ｆ２１５に接続されたモニタに表示された合成画像４００上に、破線で表示している。
図６の処理について、説明する。
Ｓ６０１において、ＣＰＵ２１１は、入力Ｉ／Ｆ２１４に接続されている入力装置を介したユーザの操作に基づいて、合成画像４００上に予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、を設定する。本実施形態では、予め定められた処理は、例えば、領域内から人の形状を検出することで領域内の人の数を検出する処理のように、予め定められたオブジェクトの形状を利用する処理である。本実施形態では、予め定められたオブジェクトは、人であるとするが、自動車、動物、貨物等の他のオブジェクトでもよい。また、本実施形態では、他の処理は、領域内の画像の変動から人の通過を検出する処理のように、予め定められたオブジェクトの形状を利用しない処理である。領域５００は、予め定められた処理の対象となる領域である対象領域の一例である。
図５には、図４で説明した合成画像４００に、予め定められた処理の対象となる領域５００と、他の処理の対象となる領域５０１と、が設定された様子が示されている。
【００１５】
Ｓ６０２において、ＣＰＵ２１１は、合成画像４００内に設定された領域（領域５００、領域５０１）から１つを、選択領域として選択する。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、Ｓ６０６の処理に進む。
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ６０５の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、Ｓ６０６の処理に進む。
【００１６】
Ｓ６０５において、ＣＰＵ２１１は、出力Ｉ／Ｆ２１５に接続されたモニタに対して、予め定められた表示処理を実行する。これにより、ＣＰＵ２１１は、選択領域に位置ズレが生じうる部分である合成境界４０２が含まれることをユーザに提示できる。本実施形態では、ＣＰＵ２１１は、Ｓ６０４で選択領域と重複すると判定された合成境界４０２の表示態様を、破線から実線に更新することで、選択領域と重複する合成境界４０２を強調表示する表示処理を行う。図５には、領域５００と重複する合成境界４０２（ａ）の表示態様が、実線に更新された様子が示される。これにより、ユーザは、破線から実線に変わった合成境界４０２の部分で、設定された領域と合成境界４０２とが重なっていることをより容易に視認できる。そして、ユーザは、人の形状を利用する処理の対象として設定された領域が、位置ズレが生じうる合成境界４０２を含んでいることをより容易に把握することができる。Ｓ６０５の処理は、表示制御処理の一例である。
ユーザは、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含むことを把握した場合、以下のようなことを行うことができる。即ち、ユーザは、例えば、クライアント装置１０１を介して、撮像装置１００に撮像部２０５それぞれの画角を、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更するように指示することができる。図７には、撮像部２０５の画角が、人の形状を利用する処理の対象として設定された領域が、合成境界４０２を含まないように変更された後の合成画像４００が示される。領域５００と合成境界４０２とが重なっていないことが分かる。また、ユーザは、例えば、クライアント装置１０１を介して、人の形状を利用する処理の対象として設定された領域の位置を、合成境界４０２を含まないような位置に変更することができる。
【００１７】
Ｓ６０６において、ＣＰＵ２１１は、合成境界４０２の表示態様を変更しないことを決定する。
Ｓ６０７において、ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３〜Ｓ６０６の処理を実行したか否かを判定する。ＣＰＵ２１１は、合成画像４００内に設定された領域全てについて、Ｓ６０３〜Ｓ６０６の処理を実行したと判定した場合、図６の処理を終了する。ＣＰＵ２１１は、合成画像４００内に設定された領域の中に、Ｓ６０３〜Ｓ６０６の処理が実行されていない領域があると判定した場合、Ｓ６０２の処理に進む。
【００１８】
本実施形態では、ＣＰＵ２１１は、Ｓ６０５で、設定された領域と重複する合成境界４０２を示す線分を、実線による表示態様とする表示処理を行うことで、強調することとした。しかし、ＣＰＵ２１１は、設定された領域と重複する合成境界４０２を示す線分の色を、他の合成境界４０２を示す線分の色と異なる予め定められた色（例えば、赤）にする表示処理を行うことで、その合成境界４０２を強調してもよい。また、ＣＰＵ２１１は、合成境界４０２を強調するため、設定された領域と重複する合成境界４０２を示す破線を点滅させることで、その合成境界４０２を強調してもよい。
また、本実施形態では、合成境界４０２は、予め破線で表示されることとしたが、予め合成境界４０２を示す線分を表示しないこととしてもよい。その場合、ＣＰＵ２１１は、例えば、Ｓ６０５で、人の形状を利用する処理の対象として設定された領域と重なった合成境界４０２を示す線分（例えば、直線、破線等）を表示する表示処理を行うこととしてもよい。
また、ＣＰＵ２１１は、Ｓ６０５で、合成境界４０２を強調するために、以下の処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、強調する対象の合成境界４０２を撮影する２つの撮像部２０５の露出値を、それぞれ異なるように更新するよう、撮像装置１００に指示する。露出値とは、絞り値と露光時間に基づいて決まる露出の度合いを表す指標である。ＣＰＵ２１１は、露出値が更新された撮像部２０５を含む複数の撮像部２０５を介して撮影された画像が合成された合成画像４００を、撮像装置１００から取得する。そして、ＣＰＵ２１１は、取得した合成画像４００を、出力Ｉ／Ｆ２１５に接続されているモニタに表示することとしてもよい。これにより、モニタには、強調する対象の合成境界４０２を挟んで、明るさの異なる画像が並ぶことになり、ユーザは、どの合成境界４０２と設定された領域とが重複するのかを視認することができる。
本実施形態では、ＣＰＵ２１１は、Ｓ６０６で、合成境界４０２の表示態様を変更しないことを決定したが、合成境界４０２を示す破線を削除することとしてもよい。
【００１９】
以上、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域と合成境界４０２とが重複した場合、出力Ｉ／Ｆ２１５に接続されたモニタに、予め定められた表示処理を実行することとした。即ち、情報処理システムは、ユーザに対して、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分である合成境界４０２が含まれていることを提示できる。これにより、ユーザは、予め定められた処理の対象として設定された領域に、位置ズレが生じうる部分が含まれることを、より容易に把握できるようになる。
【００２０】
＜実施形態２＞
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更する表示処理を行うこととした。このように、情報処理システムは、重複部分における合成境界４０２を示す線分の表示態様を変更する表示処理を行うことで、予め定められた処理の対象として設定された領域が合成境界４０２と重複することをユーザに提示した。
図３に示すように、撮像部２０５の視野は、撮像部２０５から遠くなる程、幅が広くなる。そのため、異なる撮像部２０５同士の視野は、撮像部２０５からの距離が遠い程、重複しやすくなる。そのため、合成画像４００における合成境界４０２において位置ズレが生じる可能性は、被写体を撮影する撮像部２０５と、被写体との距離（以下では、被写体距離とする）が短い程大きくなり、長い程小さくなる。即ち、例え合成境界４０２の部分であっても、合成境界４０２の部分に存在する被写体についての被写体距離が、一定の値よりも大きければ、位置ズレは、生じないか、生じても人等のオブジェクトの形状の検出に影響のない程に小さくなると仮定できる。そこで、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複し、且つ、その領域に存在する被写体の被写体距離が予め定められた閾値以下である場合、予め定められた表示処理を行う。
【００２１】
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理システムのシステム構成要素のハードウェア構成も、実施形態１と同様である。
図８は、撮像装置１００により生成される合成画像の一例を示す図である。図９は、本実施形態の情報処理システムの処理の一例を示すフローチャートである。以下では、図８と図９とを用いて、本実施形態の処理の一例を説明する。ここで画像合成境界線はあらかじめ破線で表示していることを想定している。
図９のＳ６０１〜Ｓ６０３、Ｓ６０６〜Ｓ６０７の処理は、図６と同様の処理である。
【００２２】
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ９０１の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、Ｓ６０６の処理に進む。
Ｓ９０１において、ＣＰＵ２１１は、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ（ＴＯＦ）方式を用いて、選択領域内に存在する被写体における被写体距離を特定する。ＣＰＵ２１１は、例えば、撮像部２０５に含まれる発光部を介して光を被写体に照射し、撮像部２０５に含まれる受光部を介して被写体から反射された光を受光する。そして、ＣＰＵ２１１は、被写体に光を照射した時刻と、被写体から反射された光を受光した時刻と、の差分に基づいて、被写体と撮像部２０５との距離を特定する。ＣＰＵ２１１は、例えば、被写体を撮影する撮像部２０５それぞれについて、被写体距離を求めて、その平均値を最終的な被写体距離として特定する。また、ＣＰＵ２１１は、被写体を撮影する撮像部２０５の中から１つを選択し、選択した撮像部２０５について、被写体距離を求めて、求めた被写体距離を最終的な被写体距離として特定してもよい。
そして、ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下か否かを判定する。ＣＰＵ２１１は、特定した被写体距離が予め定められた閾値以下と判定した場合、Ｓ６０５の処理に進み、特定した被写体距離が予め定められた閾値よりも大きいと判定した場合、Ｓ６０６の処理に進む。
【００２３】
Ｓ６０５において、ＣＰＵ２１１は、選択領域と重複する合成境界４０２を示す線分の幅を広げるように、表示態様を変更する表示処理を行うことで、選択領域が合成境界４０２を含むことを提示する。図８には、合成境界４０２（ａ）を示す破線の幅が広げられた様子が示されている。合成境界４０２（ａ）を示す破線は、合成境界４０２（ｂ）、（ｃ）を示す破線よりも幅の広い破線になっていることが分かる。
また、ＣＰＵ２１１は、Ｓ６０５で実施形態１と同様の処理を行うこととしてもよい。
【００２４】
以上、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体の被写体距離が閾値以下の範囲に含まれる場合、予め定められた表示処理を実行することとした。このように、本実施形態では、情報処理システムは、位置ズレの影響がないと仮定できる場合は、予め定められた処理の対象となる領域に位置ズレが生じうる合成境界４０２が含まれることを提示する処理を実行しない。これにより、情報処理システムは、不要な処理に係るＣＰＵ２１１の使用率等を軽減できる。
本実施形態では、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体の被写体距離が閾値以下の範囲に含まれる場合、予め定められた表示処理を実行することとした。しかし、ＣＰＵ２１１は、予め定められた処理の対象として設定された領域と合成境界４０２とが重複した場合、出力Ｉ／Ｆ２１５に接続されているモニタに、以下のような表示処理を行うこととしてもよい。即ち、ＣＰＵ２１１は、Ｓ９０１で説明した処理と同様の処理で、設定された領域内の被写体の被写体距離を特定し、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離に応じた幅に変更する表示処理を行うこととしてもよい。例えば、ＣＰＵ２１１は、設定された領域と重複する合成境界４０２の幅を、特定した被写体距離が小さい程、大きな幅になるよう変更してもよい。これにより、ユーザは、その合成境界において生じる位置ズレの程度を視覚的に把握することができる。また、ＣＰＵ２１１は、設定された領域と合成境界４０２とが重複し、且つ、設定された領域内の被写体における被写体距離が閾値以下の範囲に含まれる場合に、同様の表示処理を行うこととしてもよい。
【００２５】
＜実施形態３＞
実施形態１では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、重複部分における合成境界４０２を示す線分を破線から実線に変更することとした。しかし、本実施形態では、情報処理システムは、予め定められた処理の対象として設定された領域が合成境界４０２と重複する場合、エラーを示す情報を、出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行する。
本実施形態の情報処理システムのシステム構成は、実施形態１と同様である。また、本実施形態の情報処理システムのシステム構成要素のハードウェア構成も、実施形態１と同様である。
【００２６】
図１０は、本実施形態の情報処理システムの処理の一例を示すフローチャートである。
図１０のＳ６０１、Ｓ６０２、Ｓ６０７の処理は、図６と同様である。
Ｓ６０３において、ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であるか否かを判定する。ＣＰＵ２１１は、選択領域が、人の形状を利用する処理の対象であると判定した場合、Ｓ６０４の処理に進み、選択領域が、人の形状を利用する処理の対象でないと判定した場合、図１０の処理を終了する。
【００２７】
Ｓ６０４において、ＣＰＵ２１１は、合成境界４０２それぞれと選択領域とが重複するか否かを判定する。ＣＰＵ２１１は、合成境界４０２の何れかと選択領域とが重複すると判定した場合、Ｓ１００１の処理に進み、選択領域が合成境界４０２の何れとも重複していないと判定した場合、図１０の処理を終了する。
Ｓ１００１において、ＣＰＵ２１１は、エラーを示す情報を出力Ｉ／Ｆ２１５に接続されたモニタに表示する表示処理を実行することで、ユーザへ、予め定められた処理の対象として設定された領域が合成境界４０２と重複することを提示する。エラーを示す情報とは、例えば、選択領域が不適切な位置に設定されていることを示す情報である。エラーを示す情報としては、例えば、文字列や画像等がある。ＣＰＵ２１１は、例えば、出力Ｉ／Ｆ２１５に接続されているモニタに、エラーを示す文字列を表示する。また、ＣＰＵ２１１は、出力Ｉ／Ｆ２１５に接続されているモニタに、選択領域が合成境界４０２と重複しているが、選択領域をこのまま設定してもよいか否かを確認するためのポップアップ画面を表示することとしてもよい。
【００２８】
以上、本実施形態の処理により、情報処理システムは、エラーを示す情報を表示することで、ユーザに対して、より詳細な情報を提示できる。
【００２９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３０】
例えば、上述した情報処理システムの機能構成の一部又は全てをハードウェアとして撮像装置１００、クライアント装置１０１に実装してもよい。
実施形態１〜３では、撮像装置１００は、複数の撮像部２０５を含む単体の撮像装置であることとした。しかし、撮像装置１００は、複数の撮像装置と接続されたＰＣ、サーバ装置等の情報処理装置であることとしてもよい。その場合、撮像装置１００は、接続された外部の複数の撮像装置を、実施形態１〜３における撮像部２０５として用いる。
実施形態１〜３では、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたモニタに対して、予め定められた表示処理を実行することとした。しかし、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたタッチパネルの表示部等の他の表示装置に対して、予め定められた表示処理を実行することとしてもよい。また、情報処理システムは、出力Ｉ／Ｆ２１５に接続されたスクリーン投影装置を介して、外部のスクリーンに対して、予め定められた表示処理を実行することとしてもよい。
【００３１】
実施形態１〜３では、クライアント装置１０１が、図６、９、１０の処理を行うこととした。しかし、撮像装置１００が、図６、９、１０の処理を行うこととしてもよい。その場合、撮像装置１００は、以下のような処理を行う。即ち、撮像装置１００は、合成画像４００を生成したら、クライアント装置１０１に送信する。クライアント装置１０１は、例えば、受信した合成画像４００を、出力Ｉ／Ｆ２１５に接続されたモニタに表示する。ユーザは、入力Ｉ／Ｆ２１４に接続されたマウス等を用いて、予め定められた処理の対象となる領域、他の処理の対象となる領域等の指定を行う。クライアント装置１０１は、指定された領域の位置の情報を、撮像装置１００に送信する。そして、撮像装置１００は、送信された位置の情報に基づいて、図６、９、１０におけるＳ６０２以降の処理を行う。そして、撮像装置１００は、Ｓ６０５で、合成境界４０２の表示態様を変更した場合、変更した表示態様の情報をクライアント装置１０１に送信し、出力Ｉ／Ｆ２１５に接続されたモニタにおける合成境界４０２の表示態様の変更を指示する。また、撮像装置１００は、Ｓ１００１で、エラー情報を、クライアント装置１０１に送信することで出力し、エラー情報を、出力Ｉ／Ｆ２１５に接続されたモニタに表示するよう指示する。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。
【符号の説明】
【００３２】
１００  撮像装置
１０１  クライアント装置
２１１  ＣＰＵ
【図１】
2019075739.tif 000003
【図２】
2019075739.tif 000004
【図３】
2019075739.tif 000005
【図４】
2019075739.tif 000006
【図５】
2019075739.tif 000007
【図６】
2019075739.tif 000008
【図７】
2019075739.tif 000009
【図８】
2019075739.tif 000010
【図９】
2019075739.tif 000011
【図１０】
2019075739.tif 000012