(57)【要約】      （修正有）【課題】オブジェクトの状態が変化する際に、オブジェクトが紛失しないようオブジェクトの所有者に警告する方法及び装置、プログラムを提供する。【解決手段】オブジェクト状態検出部３００は、撮影画像と基準画像とを比較し、その差分からオブジェクトを検出する。警告レベル判定部３０１は、オブジェクト状態検出部３００により検出されたオブジェクトの状態に基づき、オブジェクトが紛失に至る可能性を警告レベルとして判定する。状態変化表示部３０２は、検出したオブジェクトの状態を示す情報に所定の変化がある場合に、警告を表示する。【選択図】図３
2018074384.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像と基準画像とを比較し、その差分からオブジェクトを検出する検出手段と、
前記検出手段で検出した前記オブジェクトの状態を示す情報に変化がある場合に、警告を提示する提示手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記オブジェクトの重要度を決定する決定手段を更に備え、
前記提示手段は、前記重要度に基づいて提示する内容を異ならせることを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記オブジェクトの状態を示す情報を抽出する抽出手段を更に備え、
前記決定手段は、前記抽出された情報に応じて前記重要度を決定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記オブジェクトの状態を示す情報の変化のレベルを判定する判定手段を更に備え、
前記提示手段は、前記レベルに基づいて提示する内容を異ならせることを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
【請求項５】
前記変化のレベルと前記提示する内容とを保持する保持手段を更に備え、
前記提示手段は、前記保持手段を参照して提示する内容を異ならせることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記検出手段では、前記オブジェクトの位置を検出しており、
前記提示手段は、前記オブジェクトの位置に合わせて警告を提示することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
【請求項７】
前記提示手段は、前記オブジェクトの位置にオブジェクトの輪郭を提示することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記提示手段は、プロジェクタであることを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
【請求項９】
撮影画像と基準画像とを比較し、その差分からオブジェクトを検出する検出工程と、
前記検出工程で検出した前記オブジェクトの状態を示す情報に変化がある場合に、警告を提示する提示工程と、
を備えることを特徴とする情報処理方法。
【請求項１０】
コンピュータを、
撮影画像と基準画像とを比較し、その差分からオブジェクトを検出する検出手段と、
前記検出手段で検出した前記オブジェクトの状態を示す情報に変化がある場合に、警告を提示する提示手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の紛失を予防するための警告提示を行う情報処理方法および情報処理装置、プログラムに関するものである。
【背景技術】
【０００２】
ユーザの所有物を置き忘れてしまった際に警告を行う技術が知られている。たとえば、特許文献１では、文書をスキャンする際に、複合機の原稿台に文書を置いたままにし、複合機の操作者がその場を離れると、文書の置き忘れとして警告を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２７７８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の背景技術では、所有物を置き忘れたことが確定した後、警告を行っているが、このタイミングで警告を行っても、既に所有物は紛失してしまっている可能性がある。たとえば、警告が行われた後、物体の所有者が置き忘れた場所に戻っても、その前のタイミングで第三者により持ち去られることや裁断などをされてしまうことが考えられる。また、第三者が介在しなくとも、風などで物体が飛ばされてしまい、結果として紛失してしまうこともある。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、物体の紛失を予防するための警告提示を行う装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は以下の構成を備える。即ち、撮影画像と基準画像とを比較し、その差分からオブジェクトを検出する検出手段と、前記検出手段で検出した前記オブジェクトの状態を示す情報に所定の変化がある場合に、警告を提示する提示手段。
【発明の効果】
【０００７】
本発明によれば、物体が紛失に至る前の段階に、物体が紛失する可能性があることを所有者に警告することで、物体が紛失することを予防することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態における情報処理装置を使用したときの外観である。
【図２】実施形態におけるハードウェア構成の一例を示すブロック図である。
【図３】実施形態における情報処理装置の構成を示すブロック図である。
【図４】実施形態における処理の全体の流れを示すフローチャートである。
【図５】実施形態における状態検出処理の流れを示すフローチャートである。
【図６】実施形態における状態保持テーブルの一例である。
【図７】実施形態における警告レベル判定処理の流れを示すフローチャートである。
【図８】実施形態における警告レベル判定テーブルの一例である。
【図９】実施形態における状態変化表示処理の流れを示すフローチャートである。
【図１０】実施形態における表示内容生成処理の流れを示すフローチャートである。
【図１１】実施形態における情報処理装置を使用したときの操作例である。
【図１２】実施形態における状態検出処理の流れを示すフローチャートである。
【図１３】実施形態におけるオブジェクト管理テーブルの一例である。
【図１４】実施形態における操作者管理テーブルの一例である。
【図１５】実施形態における操作許可テーブルの一例である。
【図１６】実施形態における警告レベル判定処理の流れを示すフローチャートである。
【図１７】実施形態における情報処理装置を使用したときの操作例である。
【図１８】実施形態における操作者管理テーブルおよび操作許可テーブルの一例である。
【図１９】実施形態における警告レベル判定テーブルの一例である。
【図２０】実施形態における処理の全体の流れを示すフローチャートである。
【図２１】実施形態における警告レベル判定処理の流れを示すフローチャートである。
【図２２】実施形態におけるオブジェクト管理テーブルの一例である。
【図２３】実施形態における情報処理装置を使用したときの外観である。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して詳細に説明する。
【００１０】
＜実施形態１＞
はじめに、図１（ａ）（ｂ）（ｃ）（ｄ）（ｅ）（ｆ）（ｇ）を用いて本実施形態における情報処理システムの外観を説明する。図１（ａ）は情報処理システムで用いられる情報処理装置の外観である。本実施形態では、プロジェクタ１０２、カメラ１０３、赤外センサ１０４を備える情報処理装置１０１を用いる。情報処理装置１０１は、本装置が備えるカメラ１０３を用いて、机１０５に置かれた物体１０６を撮影する。撮影された物体に応じて、プロジェクタ１０２を用いて当該物体に関連する情報を投影する。また、各種操作のためのＵＩもプロジェクタ１０２により投影される。ユーザはジェスチャー操作により投影されたＵＩを指示することができる。ユーザのジェスチャー操作は赤外センサ１０４により取得される情報を用いて認識される。
【００１１】
図１（ｂ）から図１（ｇ）は、図１（ａ）を用いて説明した情報処理システムの使用例である。本実施形態では、施設における受付システムとして使用した例で説明する。施設への訪問者が受付を行う際、上述の情報処理システムを用いて受付処理を行う。受付処理をシステムが行うことで、従来は人手で行っていた施設における受付業務のコストを削減することができる。訪問者が受付システムを使用すると、まず、訪問者の確認が行われる（図１（ｂ））。訪問者の確認シーンでは、訪問者確認のための書類提出を促すメッセージ１０８が表示され、訪問者はメッセージ１０８に従い、書類１０９を机１０５上に配置する。受付システムは、書類が置かれたことを検知してカメラ１０３により撮影を行う。撮影された書類の画像から訪問者の情報を抽出して、訪問者を特定する。
【００１２】
訪問者の確認完了後、訪問目的の確認が行われる（図１（ｃ））。訪問目的の確認シーンでは、訪問目的を申告するための帳票記入を促すメッセージ１１０が表示される。訪問者はメッセージ１１０に従い、帳票作成作業に着手する。帳票１１１は訪問者が記入するために取得した帳票である。帳票は、机１０５上に置かれているもの（不図示）を訪問者が取得する。書類１０９は、帳票を記入するために訪問者により移動されている。次に、帳票を記入するために記入見本１１２を机１０５上に配置し、記入対象の帳票と並べることで、訪問者は帳票の記入方法を確認しながら記入作業を行う。なお、記入見本１１２については、机１０５に置かれているもの（不図示）を所有者が適宜移動させて用いる。この際、記入見本１１２を持ってきたため元々置かれていた書類１０９が隠れてしまっている。結果として、受付が終わった後に、記入見本の下に書類１０９を置いたままにしてしまう可能性が生じる。
【００１３】
なお、記入見本１１２を紙で用意するのは次のような場合である。プロジェクタの投影面に余裕（何も置いてない領域）が存在せず、投影が難しい。プロジェクタの投影解像度はディスプレイに比べて低いので、帳票見本のように文字が多数存在するようなケースでは、利用者にとっては文字が見えにくく、十分な情報を投影できない。
【００１４】
本情報処理システムでは、記入見本１１２の下に書類１０９が隠れる状況が生じた場合、紛失に至る可能性があることをユーザ（本実施形態では訪問者）に通知する。具体的な通知例は図１（ｅ）（ｆ）である。プロジェクタ１０２により、紛失に至る可能性があることを示す警告用のアニメーション表示として、注意メッセージ１１３と記入見本に書類１０９の輪郭１１４を重畳投影する。輪郭１１４を重畳投影することで、記入見本に隠れてしまっている物体があることを通知することができる。また、輪郭１１４のみを重畳投影するのではなく、書類１０９の撮影画像１１５を重畳投影することで、どのような物体が隠れてしまっているのかを通知することができる。
【００１５】
上述の例では、物体により隠れが生じたことにより紛失につながる可能性があることを通知する場合を示したが、異なる通知例も存在する。たとえば、図１（ｇ）は、記入見本１１６で書類を隠してしまっていないが、所有者以外の第三者が書類を触った場合を示している。窃盗などを目的とする複数人から構成される第三者グループがいた場合、第三者の一人が訪問者への注意をひくような行動をとり、別の第三者が書類を窃盗することが考えられる。本実施形態では、このように窃盗などを目的とした第三者１１７が書類に触れた場合も、紛失につながる可能性があることを示す警告音声や警告メッセージ１１８を通知することができる。警告が通知されることで、訪問者自身に紛失の恐れがあることを知らせることができるだけでなく、窃盗などを目的とするような第三者に対しても悪意のある行為を検知した旨を示すことで抑止効果を見込める。
【００１６】
上記の処理により、物体の所有者は、物体が紛失した状態になる前に、紛失する可能性があることを知ることができ、結果として物体の紛失を予防することができるようになる。当該処理を実現する方法について、以降、図２から図１３を用いて詳細を説明する。
【００１７】
図２は、実施形態における情報処理装置に含まれる各ハードウェア構成の一例である。図１にて説明した情報処理装置１０１は以下に説明するハードウェア構成を備えている。
【００１８】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。
【００１９】
本情報処理装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３であっても良いし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４であっても良い。あるいは、これらの組合せで実現しても構わない。
【００２０】
記憶装置２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。また、本実施形態では、投影用のデータや撮影結果を保持しておくためにも利用される。なお、投影用データや撮影結果の保持装置としては、外部接続やネットワーク接続された不図示のデータ保持装置を用いても良い。ここで、外部記憶装置２０６は、たとえば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。
【００２１】
入力装置２０７は現実世界の情報をデジタルデータとして取り込むための装置である。本実施形態では、図１に示す情報処理装置１０１におけるカメラ１０３、距離センサ１０４により構成される。
【００２２】
出力装置２０８は処理結果等を表示出力する表示手段としての装置である。出力装置２０８は、図１に示す情報処理装置１０１におけるプロジェクタ１０２により実現されており、投影用データやＵＩボタン等を投影表示する。
【００２３】
インタフェース２０９は、情報の仲介を行う装置であり、このインタフェース２０９を介して外部装置とのデータのやり取りを行う。たとえば、ネットワークインタフェースである。
【００２４】
図３は、実施形態における情報処理装置の機能構成を示すブロック図である。情報処理装置は、オブジェクト状態検出部３００、警告レベル判定部３０１、状態変化表示部３０２から構成される。前述のように本装置は図２にて説明したハードウェアを備える。
【００２５】
オブジェクト状態検出部３００は、図１の情報処理装置１０１が備えるカメラ１０３及び赤外センサ１０４により取得される情報を用いて物体の状態を検出する。
【００２６】
警告レベル判定部３０１は、オブジェクト状態検出部３００により検出されたオブジェクトの状態に基づき、オブジェクトが紛失に至る可能性を警告レベルとして判定する。詳細な警告レベルまでの判定を行わず、警告すべきかどうかの判定だけを行うだけでもよい。
【００２７】
状態変化表示部３０２は、警告レベル判定部３０１の判定結果に応じて、ユーザに対して警告を表示する。表示には、図１の情報処理装置１０１が備えるプロジェクタ１０２を用いる。
【００２８】
ブロック図が示す各処理は、図２のＣＰＵ２０２によって制御されている。各処理の詳細は後述する。
【００２９】
図４は、実施形態における情報処理装置全体の処理の流れをフローチャートにより説明するものである。図１の情報処理装置１０１が備えるカメラ１０３は、常に机１０５上を撮影しており、撮影フレーム毎に以下の処理を実施する。
【００３０】
ステップＳ４０００は状態検出処理である。状態検出処理では、図１の情報処理装置１０１が備えるカメラ１０３により撮影された画像からオブジェクトを検出し、当該オブジェクトの状態を示す情報を抽出する。オブジェクト状態の検出処理については、図５を用いて後述する。
【００３１】
ステップＳ４０１０は警告レベル判定処理である。警告レベル判定処理では、ステップＳ４０００にて検出したオブジェクト状態を用いて、オブジェクトの紛失に至る可能性を評価し、オブジェクトに対する警告レベルとして判定する。警告レベル判定処理の詳細は、図７を用いて後述する。このステップＳ４０１０を省き、オブジェクトをステップＳ４０００で検出したときには、常にステップＳ４０２０の警告表示を行ってもよい。
【００３２】
ステップＳ４０２０は状態変化表示処理である。状態変化表示処理では、ステップＳ４０１０にて判定された警告レベルに基づいて、ユーザに対してオブジェクトの状態について警告を行う。状態変化表示処理の詳細は、図９を用いて後述する。
【００３３】
図５は、図４のステップＳ４０００にて記載した状態検出処理の流れをフローチャートにより説明するものである。上述のように、状態検出処理では、図１の情報処理装置１０１が備えるカメラ１０３により撮影された画像からオブジェクトを検出し、当該オブジェクトの状態を示す情報の抽出を行う。当該処理は以下のステップにて実現される。
【００３４】
ステップＳ５０００は、位置検出処理である。位置検出処理では、オブジェクトの位置を取得する。オブジェクトの位置検出では、既存のオブジェクト検出処理を用いる。たとえば、背景差分と呼ばれる技術を用いることができる。背景差分では、何もオブジェクトが存在しない状態の撮影画像を基準画像とし、当該基準画像と現状の撮影画像を比較し、差分が生じている領域に新たなオブジェクトが存在すると判断する。検出されたオブジェクト領域からオブジェクトの位置として、オブジェクト領域の左上頂点を取得する。座標系は、カメラ１０３により撮影された画像の左上を原点（０、０）、単位をピクセルとする。なお、その他の座標系を用いてもよい。カメラ１０３により撮影される範囲は一定であるので、中心点を原点としてもよい。また、ピクセルを単位とするのではなく、ピクセルから物理的な距離としてメートル単位に変換し、管理することもできる。
【００３５】
検出したオブジェクトの位置情報は、図６に示す状態保持テーブルにおいて、現在処理中のフレーム６０１に対応するオブジェクト位置６０３に格納される。また、検出したオブジェクトの画像を不図示の画像ＤＢに格納する。
【００３６】
ステップＳ５０１０は、画像特徴抽出処理である。画像特徴抽出処理では、ステップＳ５０００にて検出されたオブジェクトの画像から、画像特徴量を抽出する。画像特徴量の抽出には既存の画像特徴量抽出技術を用いる。画像特徴量抽出技術としては、たとえば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）と呼ばれる特徴量を用いることができる。ＳＩＦＴ特徴量の持つ特徴である撮影時の外光（照明）への頑健さ、画像の回転・拡大・縮小への耐性を活用する。すると、撮影外光（照明）に変化のあった場合や、オブジェクトの回転が起きた場合も、同一のオブジェクトから得られる特徴量として扱うことができる。
【００３７】
抽出された画像特徴量は図６に示す状態保持テーブルにおいて、現在処理中のフレーム６０１に対応するオブジェクト特徴量６０２に格納される。
【００３８】
なお、本実施形態では、画像特徴量としてＳＩＦＴを用いたが、異なる特徴量を用いても良い。たとえば、ＳＩＦＴと同様に画像から抽出できる局所特徴量として知られるＳＵＲＦを使うことも可能である。また、画像に対して解析・認識処理を実施して、その結果を特徴量として扱ってもよい。たとえば、画像に対して文字認識技術を用いて文字情報を抽出し、抽出された文字列の情報を特徴量とすることも可能である。
【００３９】
ステップＳ５０２０は、操作者情報取得処理である。操作者情報取得処理では、ステップＳ５０００にて検出されたオブジェクト位置に対して操作を行っている人間の情報を取得する。取得する操作者の情報としては、操作者の手が存在する方向と操作者の手の色である。操作者の手が存在する方向については、既存のジェスチャー認識技術を用いて取得する。ジェスチャー認識技術としては、赤外センサの情報を用いて人間の手の領域および形状を推定する技術が知られている。ジェスチャー認識技術により取得した手の領域が存在する位置から、手が差し出された方向を特定する。方向は、図１の情報処理装置１０１からみた方向を角度で表現する。さらに、操作者の手の色を取得するために、ジェスチャー認識技術により取得された手の領域に対応するカメラ１０３による撮影画像内の領域を特定し、当該領域内の平均色をＲＧＢにて算出する。
【００４０】
取得された手が差し出された方向および手の色は、図６に示す状態保持テーブルにおいて、現在処理中のフレーム６０１に対応するオブジェクト操作者情報６０４に格納される。
【００４１】
なお、本実施形態では、操作者情報として操作者の手が差し出された方向と手の色を用いたが、異なる情報を用いてもよい。たとえば、操作者の手領域に対応する撮影画像から画像特徴量を抽出して、当該情報を操作者情報とすることも可能である。
【００４２】
以上、説明した処理ステップにより、図４のステップＳ４０００における状態検出処理を実現できる。なお、本実施形態では、位置検出処理、画像特徴抽出処理、操作者情報取得処理の順で実施したが、これらステップＳ５０００からステップＳ５０２０までの処理群は順不同で実施することが可能である。たとえば、操作者情報取得処理、位置検出処理、画像特徴抽出処理の順で実施することもできるし、これらの処理を並列実行することも可能である。
【００４３】
次に、図４のステップＳ４０１０にて記載した警告レベル判定処理について、図７を用いて説明する。図７は、警告レベル判定処理の流れをフローチャートにより示すものである。上述のように、警告レベル判定処理では、図４のステップＳ４０００にて検出したオブジェクト状態を用いて、オブジェクトの紛失に至る可能性を評価し、警告レベルとして判定する。当該処理は、以下のステップにて実現される。
【００４４】
ステップＳ７０００は、状態取得処理である。状態取得処理では、図４のステップＳ４０００において検出したオブジェクト状態を取得する。具体的には、図６に示す状態保持テーブルから現在処理中のフレームに対応するオブジェクト状態と、直前のフレームに対応するオブジェクト状態を取得する。取得されるオブジェクト状態は、図６に示すようにオブジェクト特徴量、オブジェクト位置、オブジェクト操作者情報で構成されている。
【００４５】
ステップＳ７０１０は、状態比較処理である。状態比較処理では、ステップＳ７０００にて取得した現在処理中のフレームに対応するオブジェクト状態と直前のフレームに対応するオブジェクト状態を比較する。比較の結果、変化のあったオブジェクト状態を特定する。比較処理では、完全一致だけでなく、規定の振れ幅分に収まる差であれば、一致としてみなしてもよい。画像特徴量や操作者の手が差し出される方向など、大きくは変化しないが、多少変化することが予想される場合は、予想される変化量だけ振れ幅として規定しておくことで、オブジェクト状態が想定範囲で変化した際にも変化なしとして扱うことができる。
【００４６】
ステップＳ７０２０は、警告レベル決定処理である。警告レベル決定処理では、ステップＳ７０１０にて比較したオブジェクト状態の差異に基づいて、警告レベルを決定する。具体的には、警告レベル判定テーブルを参照し、オブジェクト状態の差異に基づく警告レベルを特定する。図８は、警告レベル判定テーブルの一例である。警告レベル判定テーブルは、例えば、以下の情報から構成される。オブジェクト特徴量の変化有無を示すオブジェクト特徴量８０１。オブジェクト位置の変化有無を示すオブジェクト位置８０２。オブジェクト操作者の変化有無を示すオブジェクト操作者８０３。これらの情報の変化有無に応じた警告レベル８０４。たとえば、オブジェクト特徴量に変化があり、その他のオブジェクト状態には変化がなかった場合、警告レベルは“警戒”として特定される。
【００４７】
なお、オブジェクト特徴量に変化があり、その他のオブジェクト状態に変化のない具体例としては、所有者により異なるオブジェクトが重ねられることで、注目しているオブジェクトの画像特徴量が変わってしまう場合がある。着目オブジェクトの位置が、移動により変化していないのに、その着目オブジェクトの特徴量が検出できなくなるなどの変化があるときには、着目オブジェクトが別のオブジェクトに隠されていることが考えられる。また、全てのオブジェクト状態に変化が生じている場合は、“紛失”として特定される。全てのオブジェクト状態に変化が生じる具体例としては、風によりオブジェクトが飛ばされてしまい、図１の情報処理装置１０１のカメラ１０３および赤外センサ１０４の撮影範囲から外れてしまう場合がある。オブジェクト操作者は、風のため検出されず、オブジェクト特徴量およびオブジェクト位置についても上述のカメラおよびセンサの撮影範囲から外れてしまうために取得できなくなる。
【００４８】
すなわち、図６のオブジェクト管理テーブルにおいて、全てのオブジェクト状態の値が無くなる場合、直前のフレームにオブジェクト状態の値が存在すると、オブジェクト状態に差が生じていることになる。このように、紛失に至る可能性があるシーンもしくは紛失状態にあるシーンを特定し、当該シーンに対応するオブジェクト状態を規定したものが警告レベル判定テーブルである。情報処理装置の適用先の特性に合わせて、警告レベル判定テーブルを規定しておくことで、様々なユースケースにおける紛失予防を行うことができる。なお、警告レベル判定テーブルの規定方法としては、本実施形態のように予め規定しておく方法に加え、情報処理装置の処理中に動的に変更する方法もある。たとえば、警告レベル判定テーブルで“正常”と規定していた状態から“紛失”に至ってしまった場合、“紛失”に至ってしまったタイミングで“正常”と規定していた状態の警告レベルを“警戒”に更新することができる。当該処理を実施することで、実際に生じた紛失事例を予防するため、警告レベル判定テーブルを更新することができる。
【００４９】
続いて、図４のステップＳ４０２０にて記載した状態変化表示処理について、図９を用いて説明する。図９は、状態変化表示処理の流れをフローチャートにより示すものである。上述のように、状態変化表示処理では、図４のステップＳ４０１０にて判定された警告レベルに基づいて、ユーザに対してオブジェクトの状態について警告を行う。当該処理は、以下のステップにて実現される。
【００５０】
ステップＳ９０００は、警告レベル取得処理である。警告レベル取得処理では、図４のステップＳ４０１０にて判定された警告レベルを取得する。
【００５１】
ステップＳ９０１０は、レベル判定処理である。レベル判定処理では、ステップＳ９０００にて取得した警告レベルが“正常”なのか、“警戒”もしくは“紛失”なのかを判定する。判定の結果、警告レベルが“正常”である場合は、処理を終了する。警告レベルが“警戒”もしくは“紛失”と判定された場合は、ステップＳ９０２０に移行する。
【００５２】
ステップＳ９０２０は、表示内容生成処理である。表示内容生成処理では、ステップＳ９０００で取得した警告レベルに基づき、表示すべき内容を生成する。表示に限らず、音による警告でも良い。当該処理の詳細は、図１０を用いて後述する。
【００５３】
ステップＳ９０３０は、オブジェクト位置取得処理である。オブジェクト位置取得処理では、警告レベルが“警戒”もしくは“紛失”のオブジェクトの位置情報を取得する。具体的には、状態保持テーブルを参照して最新フレームにおけるオブジェクト位置情報を取得する。
【００５４】
ステップＳ９０４０は、警告表示処理である。警告表示処理では、ステップＳ９０２０にて生成された表示内容をステップＳ９０３０で取得したオブジェクト位置に対して表示する。当該情報の表示は、図１の情報処理装置１０１が備えるプロジェクタ１０２により実施される。警告の表示は、ステップＳ９０３０で取得した位置に限らず、予め定められた位置でも良い。
【００５５】
ステップＳ４０１０が省略された場合には、ステップＳ９０００〜ステップＳ９０２０も省略される。
【００５６】
次に、図９のステップＳ９０２０にて記載した表示内容生成処理について、図１０を用いて説明する。図１０は、表示内容生成処理の流れをフローチャートにより示すものである。
【００５７】
ステップＳ１００００は、警告判定処理である。警告判定処理では、図９のステップＳ９０００にて取得された警告レベルが“警戒”なのか“紛失”なのかを判定する。判定の結果、警告レベルが“警戒”の場合、ステップＳ１００１０に移行する。警告レベルが“紛失”と判定された場合、ステップＳ１００３０に移行する。
【００５８】
ステップＳ１００１０は、オブジェクト画像取得処理である。オブジェクト画像取得処理では、警告レベルが“警戒”とされたオブジェクトの画像を取得する。オブジェクトの画像は、図５のステップＳ５０００にて記載した不図示の画像ＤＢから取得できる。
【００５９】
ステップＳ１００２０は、警告アニメーション生成処理である。警告アニメーション生成処理では、予め規定したアニメーションルールによって、ステップＳ１００１０で取得したオブジェクト画像を用いたアニメーションを生成する。たとえば、アニメーションルールが“画像の輪郭と画像自体を交互に表示する”、“紛失に至ることを示すメッセージを表示する”という２つであった場合、図１（ｅ）（ｆ）で例示したアニメーションが生成される。
【００６０】
なお、本実施形態では、アニメーションだけを用いて警告提示を行ったが、異なる情報を用いて警告しても良い。たとえば、警告音のような音声を使うことも可能である。
【００６１】
ステップＳ１００３０は、警戒フレーム特定処理である。警戒フレーム特定処理では、“紛失”に至る前の“警戒”状態であったフレームを特定する。通常、“紛失”に至る前段階として“警戒”状態が存在する。本処理では、当該“警戒”状態のフレームを特定する。“警戒”のフレームが特定できない場合、“紛失”状態の直前のフレームを当該処理の結果として取得されるフレームとする。
【００６２】
ステップＳ１００４０は、紛失アニメーション生成処理である。紛失アニメーション生成処理では、予め規定したアニメーションルールによって、ステップＳ１００３０で取得したフレームから最新フレームまでの映像を用いたアニメーションを生成する。たとえば、“警戒フレームから最新フレームまでの映像を再生する”というアニメーションルールであった場合、“警戒”状態から“紛失”状態に至るまでの映像がアニメーションとして生成される。なお、本実施形態では、アニメーションだけを用いたが、ステップＳ１００２０と同様に、音声などの他の情報を用いても良い。また、ユーザに警告を通知するだけでなく、警備システムのような他システムへの通知などを行っても良い。
【００６３】
本実施形態では、警告表示位置として、オブジェクト位置に対して警告提示を行ったが、異なる提示方法を用いてもよい。たとえば、配置されたオブジェクトの画像を一覧できるような表示を行い、当該一覧に対して警告提示を行うことも可能である。一覧を提示しておくことで、現在、オブジェクト所有者が配置したオブジェクトを常時確認することができ、置き忘れ防止の効果を得ることができる。
【００６４】
以上、詳細に説明したように、オブジェクト状態に基づき、警告レベルを判定して、ユーザに対して警告を行うことで、オブジェクトの紛失を予防することが可能になる。
【００６５】
＜実施形態２＞
実施形態１では、オブジェクトの操作者が１人である場合を説明した。本実施形態では、複数人がオブジェクトを操作する場合の処理について説明する。たとえば、図１１に示すような外観の受付システムが、当該処理を必要とするケースとして考えられる。図１１に示す受付システムでは、訪問者のみでシステムを使用するのではなく、受付システムの使い方などを説明する説明員１１０１が存在する場合もある。説明員１１０１によってオブジェクトが操作された場合に、第三者による操作とみなされて、警告が提示されると、訪問者にとって煩わしいものとなるため、当該課題を解決する必要がある。
【００６６】
図２および図３に示すハードウェア構成、機能構成、図４に示す情報処理装置全体の処理の流れは実施形態１と同様である。本実施形態では、実施形態１と差異のある処理のみ説明を行う。
【００６７】
図１２は、図４のステップＳ４０００にて記載した状態検出処理の流れをフローチャートにより説明するものである。上述のように、状態検出処理では、図１の情報処理装置１０１が備えるカメラ１０３により撮影された画像からオブジェクトを検出し、当該オブジェクトの状態を示す情報の抽出を行う。当該処理は以下のステップにて実現される。
【００６８】
ステップＳ１２０００は、位置検出処理である。位置検出処理は、図５におけるステップＳ５０００の処理と同様である。
【００６９】
ステップＳ１２０１０は、画像特徴抽出処理である。画像特徴抽出処理は、図５におけるステップＳ５０１０の処理と同様である。
【００７０】
ステップＳ１２０２０は、操作者情報取得処理である。操作者情報取得処理は、図５におけるステップＳ５０２０の処理と同様である。
【００７１】
ステップＳ１２０３０は、管理テーブル更新処理である。管理テーブル更新処理では、上述のステップＳ１２０００からステップＳ１２０２０にて更新された状態保持テーブルを用いて、オブジェクト管理テーブル、操作者管理テーブル、操作許可テーブルを更新する。各テーブルについて図を用いて説明する。
【００７２】
オブジェクト管理テーブルは、ステップＳ１２０１０で抽出されたオブジェクト特徴量を用いて、オブジェクトを一意に特定するための管理情報を規定する。図１３は、オブジェクト管理テーブルの一例である。オブジェクト管理テーブルは、オブジェクトを一意に特定するためのオブジェクトＩＤ１３０１、オブジェクトＩＤ１３０１に対応するオブジェクト特徴量１３０２から構成される。オブジェクト管理テーブル更新処理では、現在処理中のフレームで抽出されたオブジェクト特徴量がオブジェクト管理テーブルに存在するか判定する。判定の結果、オブジェクト特徴量が存在しない場合、新規にオブジェクトＩＤを発行し、当該オブジェクトＩＤと対応するオブジェクト特徴量をテーブルに追加する。判定の結果、オブジェクト特徴量が存在する場合は、テーブルの更新は行わない。
【００７３】
なお、オブジェクト特徴量がオブジェクト管理テーブルに存在するか判定する処理では、オブジェクト特徴量が完全に一致しない場合も存在すると判定してもよい。たとえば、オブジェクト特徴量の類似性を算出し、類似度が規定の閾値よりも高い場合は、オブジェクト特徴量がオブジェクト管理テーブルに存在すると判定することができる。このような処理を適用することで、オブジェクト特徴量に軽微な変化が生じた場合も対応することが可能になる。
【００７４】
操作者管理テーブルは、ステップＳ１２０２０で取得したオブジェクト操作者情報を用いて、オブジェクト操作者を一意に特定するための管理情報を規定する。図１４は、操作者管理テーブルの一例である。操作者管理テーブルは、操作者を一意に特定するためのオブジェクト操作者１４０１、オブジェクト操作者１４０１に対応するオブジェクト操作者情報１４０２から構成される。操作者管理テーブル更新処理では、現在処理中のフレームで抽出されたオブジェクト操作者情報が操作者管理テーブルに存在するか判定する。判定の結果、オブジェクト操作者情報が存在しない場合、新規にオブジェクト操作者を発行し、当該オブジェクト操作者と対応するオブジェクト操作者情報をテーブルに追加する。判定の結果、オブジェクト操作者情報が存在する場合は、テーブルの更新は行わない。図１４の例では、Ｏｐ００１というオブジェクト操作者が存在した状態で、Ｏｐ００２というオブジェクト操作者１４０３が追加された例である。ここで、Ｏｐ００１を説明員として登録しておくことで、受付システムのオブジェクト操作者として説明員が存在することを予め規定できる。
【００７５】
なお、オブジェクト操作者情報が操作者管理テーブルに存在するか判定する処理では、オブジェクト操作者情報が完全に一致しない場合も存在すると判定してもよい。たとえば、方向および色情報の差分をとり、差分が規定の閾値以下であれば、オブジェクト操作者情報が操作者管理テーブルに存在すると判定してもよい。当該処理を適用することで、操作者の手が差し出された方向が変化した場合や、外光等の影響で色の情報が変化した場合にも対応できる。
【００７６】
続いて、操作許可テーブルについて説明する。操作許可テーブルは、オブジェクトに対する操作許可が与えられた人物を規定するためのテーブルである。図１５は、操作許可テーブルの一例である。操作許可テーブルは、オブジェクト一意に特定するためのオブジェクトＩＤ１５０１、オブジェクトＩＤ１５０１に対する操作許可を与えられた人物を示す操作許可者１５０２から構成される。操作許可テーブル更新処理では、図６に示す状態保持テーブルおよびオブジェクト管理テーブルを参照し、現在処理中のオブジェクトＩＤが新規に登録されたものか判定する。オブジェクトＩＤが新規に登録されたものの場合、当該オブジェクトはオブジェクトの所有者により配置されたものとみなし、状態保持テーブルおよび操作者管理テーブルを参照し、オブジェクトＩＤに対応するオブジェクト操作者を特定する。特定されたオブジェクトＩＤとオブジェクト操作者は操作許可テーブルに登録される。たとえば、図６に示す状態保持テーブル、図１３のオブジェクト管理テーブル、図１４の操作者管理テーブルを用いた場合を考える。フレームｎにて初めて“画像特徴量ＡＡＡ”が取得された場合、フレームｎの時点で、“画像特徴量ＡＡＡ”に対応するオブジェクトが所有者により配置されたとみなさる。所有者を示すオブジェクト操作者情報は“１８０°、２５２／２２６／１９６”である。そして、“画像特徴量ＡＡＡ”に対応するオブジェクトＩＤは、図１３のオブジェクト管理テーブルから“Ｏｂｊ００１”であることがわかる。また、オブジェクト操作者情報“１８０°、２５２／２２６／１９６”に対応するオブジェクト操作者は、図１４の操作者管理テーブルから“Ｏｐ００２”であることが特定できる。結果として、操作許可テーブルには、オブジェクトＩＤ“Ｏｂｊ００１”に対応する操作許可者として“Ｏｐ００２”が登録できる。ここで、上述のように受付システムの説明員をオブジェクト操作者“Ｏｐ００１”として、予め全てのオブジェクトに操作許可を与えておくことで、受付システムの説明員についても操作許可が与えられた状態にすることができる。したがって、図１５の例では、操作許可テーブルの初期状態として、全てのオブジェクトにオブジェクト操作者“Ｏｐ００１”（説明員）が存在する。オブジェクト所有者“Ｏｐ００２”がオブジェクトを配置した段階で、オブジェクトに対する操作許可者としてオブジェクト所有者“Ｏｐ００２”追加される。
【００７７】
次に、図４のステップＳ４０１０にて記載した警告レベル判定処理について、図１６を用いて説明する。図１６は、警告レベル判定処理の流れをフローチャートにより示すものである。上述のように、警告レベル判定処理では、図４のステップＳ４０００にて検出したオブジェクト状態を用いて、オブジェクトの紛失に至る可能性を評価し、警告レベルとして判定する。当該処理は、以下のステップにて実現される。
【００７８】
ステップＳ１６０００は、状態取得処理である。状態取得処理は、図７におけるステップＳ７０００の処理と同様である。
【００７９】
ステップＳ１６０１０は、状態比較処理である。状態比較処理は、図７におけるステップＳ７０１０の処理と同様である。
【００８０】
ステップＳ１６０２０は、項目判定処理である。項目判定処理では、ステップＳ１６０１０にて比較したオブジェクト状態の差異が、“オブジェクト操作者情報”であるかを判定する。判定の結果、“オブジェクト操作者情報”に差異が生じている場合は、ステップＳ１６０３０に移行する。オブジェクト状態の差異が、“オブジェクト操作者情報”以外の場合は、ステップＳ１６０５０へ移行する。
【００８１】
ステップＳ１６０３０は、操作許可者取得処理である。操作許可者取得処理では、操作許可テーブルを参照し、現在処理中のオブジェクトに対する操作許可者の一覧を取得する。
【００８２】
ステップＳ１６０４０は、状態比較結果更新処理である。状態比較結果更新処理では、ステップＳ１６０３０にて取得したオブジェクトに対する操作許可者の一覧を用いて、ステップＳ１６０１０の状態比較処理の結果を更新する。具体的には、差異が生じた操作者が操作許可者に含まれているか確認し、操作許可者に含まれている場合は、オブジェクト操作者情報には変化がなかったとして状態比較結果を更新する。当該処理により、オブジェクト操作者が変わった場合も、オブジェクトへの操作許可が与えられている場合は、オブジェクト操作者が変わったとみなさないことができる。具体例としては、オブジェクトの所有者（訪問者）によって配置されたオブジェクトに対して、説明員がオブジェクトを操作した場合も、オブジェクト操作者には変化が生じていないとして扱うことができる。
【００８３】
以上、詳細に説明したように、オブジェクトへの操作許可を管理することで、オブジェクトへの操作者が複数存在する場合も、オブジェクトの紛失を予防するための警告を行うことが可能になる。
【００８４】
＜変形例１＞
実施形態２では、オブジェクトの操作者が複数人存在する場合の適用例について説明した。本変形例では実施形態２と同様にオブジェクト操作者が複数人存在する場合の異なるケースについて説明する。具体的には、図１７に示すように、図１の情報処理装置１０１を挟んで２名で情報処理システムを用いる場合である。図１７では、対面で商談を行うケースを示している。店員１７０１と顧客１７０２が情報処理装置を用いて、商談を進める。商談にて実施する内容は、顧客の身分確認のためのスキャンや商談で用いられる商材のプレゼンテーションである。このような対面でのケースにおいてもオブジェクトの配置が何回も行われるため、上述のようなオブジェクト紛失の可能性が生じる。
【００８５】
図２および図３に示すハードウェア構成、機能構成、図４に示す情報処理装置全体の処理の流れは実施形態１と同様である。また、図１２から図１６に示す処理およびテーブルについては実施形態２と同様である。本変形例１では、実施形態１および実施形態２と差異のある部分のみ説明を行う。
【００８６】
図１８は、操作者管理テーブルおよび操作許可テーブルの一例である。オブジェクト操作者１８０１として、店員１８０３、顧客１８０４を登録し、オブジェクトＩＤ１８０２に対する操作許可者として、店員に該当する“Ｏｐ００１”、顧客に対応する“Ｏｐ００２”を登録する。すると、実施形態２に記載した処理によって、店員および顧客が操作しても警告が提示される煩わしさが生じることはない。
【００８７】
＜変形例２＞
実施形態１から実施形態３では、警告レベルを“正常”“警戒”“紛失”の３つのレベルで規定した。変形例２では、警告レベルを３つ以上のレベルに細分化したケースについて説明する。“警戒”状態であっても、紛失に至る可能性が高いケースと、あまり紛失に至る可能性がないケースが存在する場合が考えられる。警告レベルを細分化することで、紛失に至る可能性が高いケースを効果的に警告する処理について説明する。
【００８８】
図１９に示す警告レベル判定テーブルについて変形例を示す。その他は、実施形態１から実施形態３の処理と同様である。図７のステップＳ７０２０における警告レベル決定処理にて、図１９に示す警告レベル判定テーブルを参照することで警告レベルを細分化して管理することができる。具体的には、図１９の警告レベル１９０１において、警告レベルを３つ以上のレベルで表現可能な数値として表現する。例示したものでは、０から３の４段階のレベルを規定している。
【００８９】
なお、オブジェクト状態の変化を“変化あり”“変化なし”の２値で表現したが、多値で表現しても良い。たとえば、オブジェクト状態の変化量に応じて、“変化なし”“変化小”“変化中”“変化大”といった４段階で変化状態を表現することも可能である。この場合、４段階の全組合せが網羅されるよう警告レベル判定テーブルの行を拡張することになる。
【００９０】
＜変形例３＞
上述の実施形態では、システムで扱われた全オブジェクトを警告対象として処理を実施した。本変形例３では、オブジェクトの重要度に応じて警告の方法を変更する場合の処理について説明する。たとえば、個人情報を含む書類は重要であるが、情報処理装置近傍に存在する帳票の記入見本や、施設入口や近傍で配布された広告を持ち込んだ場合、これらのオブジェクトは重要でない場合がある。重要でないオブジェクトについても警告が提示されると、ユーザにとって煩わしいものとなるため、当該課題を解決する必要がある。
【００９１】
図４を除き、本変形例のハードウェア構成は実施形態１と同様である。本変形例３では、上述の実施形態と差異のある処理のみ説明を行う。
【００９２】
図２０は、情報処理装置全体の処理の流れをフローチャートにより説明するものである。
【００９３】
ステップＳ２００００は、状態検出処理である。状態検出処理は、図４のステップＳ４０００における状態検出処理と同様である。
【００９４】
ステップＳ２００１０は、重要度抽出処理である。重要度抽出処理では、ステップＳ２００００で状態が抽出されたオブジェクトから重要度を抽出する。重要度は、規定の情報が含まれるか判定することで決定する。たとえば、既存の文字認識技術を用いて住所や氏名がオブジェクトに含まれるか判定し、含まれている場合は重要と決定する。また、既存の顔認識の技術を用いてオブジェクトに人物の顔が含まれているか判定し、顔が含まれている場合は重要としても良い。
【００９５】
なお、本変形例３では、規定の情報が含まれるかをオブジェクトに対する認識技術を用いて判断したが、異なる方法で重要度を決定しても良い。たとえば、情報処理装置が所有者に対して提出を要求したオブジェクトを重要とすることもできる。受付システムの具体例としては、身分証明等の書類をシステムが提出させた場合、当該身分証明書を重要と判断することができる。
【００９６】
ステップＳ２００２０は、重要度判定処理である。重要度判定処理では、ステップＳ２００１０で抽出された重要度が“重要”であるか判定する。“重要である”と判定された場合は、ステップＳ２００３０へ移行する。“重要でない”と判定された場合は、処理を終了する。
【００９７】
ステップＳ２００３０は、警告レベル判定処理である。警告レベル判定処理は、図４のステップＳ４０１０における警告レベル判定処理と同様である。
【００９８】
ステップＳ２００４０は、状態変化表示処理である。状態変化表示処理は、図４のステップＳ４０２０における状態変化表示処理と同様である。
【００９９】
以上、詳細に説明したように、オブジェクトの重要度を判定することで、重要なオブジェクトに絞って警告提示を行うことで、警告提示が煩わしくなる問題を解消することができる。
【０１００】
なお、本変形例３では、重要度を２値（重要、重要でない）としたが、重要度を多値で表現してもよい。重要度を多値で表現した場合、警告レベル判定テーブルにおける警告レベルに対する係数として重要度を用い、警告レベルと重要度を乗算したものを最終的な警告レベルとすることで本発明の処理を適用することができる。
【０１０１】
＜変形例４＞
上述の実施形態では、オブジェクトが操作者によって改変されない場合について説明した。変形例４では、オブジェクトが操作者によって改変される場合について説明する。オブジェクトが操作者によって改変されるケースとは、文書に対して文字などを記入することでオブジェクトの見た目が変化する、文書を裏返すことでオブジェクトの見た目が変化する、などの状況が考えられる。同一のオブジェクトであるにもかかわらずオブジェクトの見た目が変化してしまい、結果としてオブジェクト状態が変化したと判断されてしまう可能性があるため、当該課題を解消する必要がある。
【０１０２】
変形例４では、実施形態１と差異のある処理である図４のステップＳ４０１０の警告レベル判定処理の詳細についてのみ説明する。図２１は、図４のステップＳ４０１０の警告レベル判定の変形例として、詳細な処理の流れをフローチャートにより示すものである。上述のように、警告レベル判定処理では、図４のステップＳ４０００にて検出したオブジェクト状態を用いて、オブジェクトの紛失に至る可能性を評価し、警告レベルとして判定する。当該処理は、以下のステップにて実現される。
【０１０３】
ステップＳ２１０００は、状態取得処理である。状態取得処理は、図７におけるステップＳ７０００の処理と同様である。
【０１０４】
ステップＳ２１０１０は、状態比較処理である。状態比較処理は、図７におけるステップＳ７０１０の処理と同様である。
【０１０５】
ステップＳ２１０２０は、項目判定処理である。項目判定処理では、ステップＳ２１０１０にて比較したオブジェクト状態の差異が、“オブジェクト特徴量”であるかを判定する。判定の結果、“オブジェクト特徴量”に差異が生じている場合は、ステップＳ２１０３０へ移行する。オブジェクト状態の差異が、“オブジェクト特徴量”以外の場合は、ステップＳ２１０７０へ移行する。
【０１０６】
ステップＳ２１０３０は、同一文書判定処理である。同一文書判定処理では、図２２に示すオブジェクト管理テーブルを参照し、オブジェクト特徴量が異なった場合も同一のオブジェクトＩＤであるかを判定する。たとえば、画像特徴量ＡＡＡと画像特徴量ＢＢＢは異なるオブジェクト特徴量を持つが、オブジェクトＩＤは同一のものに紐付けられているため、同一であると判定できる。同一であると判定された場合、ステップＳ２１０６０へ移行する。同一でないと判定された場合、ステップＳ２１０４０へ移行する。
【０１０７】
ステップＳ２１０４０は、文書操作判定処理である。文書操作判定処理では、既存のジェスチャー認識技術を用いて文書に対して操作が行われたか判定する。具体的には、ジェスチャー認識技術により、オブジェクト操作者のジェスチャーを認識する。認識結果が書き込みや裏返しの場合は、文書に対して操作が行われたと判定する。文書に対する操作として判定された場合は、ステップＳ２１０５０へ移行する。文書に対する操作ではないと判定された場合は、ステップＳ２１０７０へ移行する。
【０１０８】
ステップＳ２１０５０は、管理テーブル更新処理である。管理テーブル更新処理では、オブジェクト管理テーブルを更新する。具体的には、変化後のオブジェクト特徴量を直前のフレームが持つオブジェクト特徴量に対応するオブジェクトＩＤと紐付ける。図２２の例では、オブジェクトＩＤがＯｂｊ００１のオブジェクト特徴量が画像特徴量ＡＡＡだけであった。その後、オブジェクトＯｂｊ００１に対して文書操作が行われ、オブジェクト特徴量が画像特徴量ＢＢＢに変化し、オブジェクトＯｂｊ００１に対して、オブジェクト特徴量として、画像特徴量ＢＢＢが追加されることになる。
【０１０９】
ステップＳ２１０６０は、状態比較結果更新処理である。状態比較結果更新処理では、オブジェクト管理テーブルを参照し、オブジェクト特徴量が変化していてもオブジェクトＩＤが変化していない場合は、オブジェクト特徴量に変化がないものとして比較結果を更新する。
【０１１０】
ステップＳ２１０７０は、警告レベル決定処理である。警告レベル決定処理は、図７におけるステップＳ７０２０の処理と同様である。
【０１１１】
＜変形例５＞
上述の実施形態では、オブジェクトが文書の場合について説明した。本変形例５では、オブジェクトが文書以外のものを含む場合について説明する。たとえば、図２３（ａ）のように物品２３０２を段ボール２３０１に梱包する作業を図１に示す情報処理装置１０１により支援するシステムを想定する。この場合、納品書や送付票に加えて、物品がオブジェクトとして登場する。これらの物品は正しく梱包される必要があり、紛失を防ぐ必要が生じる。
【０１１２】
処理としては、上述の実施形態にて記載した処理を適用することが可能である。オブジェクトからオブジェクト状態として、オブジェクト特徴量（画像特徴量）、オブジェクト位置、オブジェクト操作者情報を同様の処理で取得可能であり、固有処理の追加なしで適用することが可能である。図２３（ｂ）は処理結果の一例であり、文書によって物品が隠されてしまった場合も、警告２３０３を提示できる。
【０１１３】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１４】
３０１  オブジェクト状態検出部
３０２  警告レベル判定部
３０３  状態変化表示部
【図１】
2018074384.tif 000003
【図２】
2018074384.tif 000004
【図３】
2018074384.tif 000005
【図４】
2018074384.tif 000006
【図５】
2018074384.tif 000007
【図６】
2018074384.tif 000008
【図７】
2018074384.tif 000009
【図８】
2018074384.tif 000010
【図９】
2018074384.tif 000011
【図１０】
2018074384.tif 000012
【図１１】
2018074384.tif 000013
【図１２】
2018074384.tif 000014
【図１３】
2018074384.tif 000015
【図１４】
2018074384.tif 000016
【図１５】
2018074384.tif 000017
【図１６】
2018074384.tif 000018
【図１７】
2018074384.tif 000019
【図１８】
2018074384.tif 000020
【図１９】
2018074384.tif 000021
【図２０】
2018074384.tif 000022
【図２１】
2018074384.tif 000023
【図２２】
2018074384.tif 000024
【図２３】
2018074384.tif 000025