(57)【要約】【課題】画像及び３次元情報を利用し、オブジェクトの識別や位置の管理を実現し、積み重ねられたオブジェクトの探索に効果的な情報を管理する。【解決手段】画像入力装置１はオブジェクトの管理の対象となる空間を撮像する。データベース２は、オブジェクトを管理する情報を格納する。変化検出手段３は、該空間を撮像した画像から、変化のあった領域を対象領域として検出する。追加オブジェクト特定手段４は、該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベース２に格納する。削除オブジェクト特定手段５は、該対象領域から削除されたオブジェクトを特定し、該データベース２を更新する。【選択図】  図１
2004272321.tif 000002
【特許請求の範囲】
【請求項１】
積み重ねられるオブジェクトを管理するオブジェクト管理システムであって、
オブジェクトの管理の対象となる空間を撮像する画像入力装置と、
オブジェクトを管理する情報を格納するデータベースと、
該空間を撮像した画像から、変化のあった領域を対象領域として検出する変化検出手段と、
該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベースに格納する追加オブジェクト特定手段と、
該対象領域から削除されたオブジェクトを特定し、該データベースを更新する削除オブジェクト特定手段と、を備える
ことを特徴とするオブジェクト管理システム。
【請求項２】
前記画像入力装置は、
管理の対象となる空間の上面、及び側面の画像情報を同時に入力するものである
ことを特徴とする請求項１に記載のオブジェクト管理システム。
【請求項３】
前記データベースに格納されるオブジェクトを管理する情報は、
積み重ねのある領域の上面画像、側面画像、高さ、及び該積み重ねを構成するオブジェクトの上面画像、側面画像、高さに関する情報を含む
ことを特徴とする請求項１または２に記載のオブジェクト管理システム。
【請求項４】
前記変化検出手段は、
最後にデータベースに格納された積み重ねのある領域の上面画像、側面画像、及び高さと、画像入力装置から入力された上面画像、側面画像、及びこれらで算出された高さを比較すること、あるいは、前フレームの上面画像、側面画像と、画像入力装置から入力された上面画像、及び側面画像を比較すること、により、積み重ねのある領域に変化が生じたかどうかを判断すること、及びそれぞれの比較を一定期間行いその比較結果のばらつきを利用することにより変化が生じたかどうかを判断するものである
ことを特徴とする請求項１ないし３のいずれかに記載のオブジェクト管理システム。
【請求項５】
前記追加オブジェクト特定手段は、
対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の側面画像、及び高さを入力し、該入力情報から新規オブジェクトの高さの算出、及び側面画像の生成を行い、これらを該データベースに格納するものである
ことを特徴とする請求項１ないし４のいずれかに記載のオブジェクト管理システム。
【請求項６】
前記削除オブジェクト特定手段は、
前記対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の上面画像、側面画像、高さ、及び構成するオブジェクト情報を入力し、対象領域の上面画像の比較を行い、異なる場合に対象領域の上面画像に対応する上面画像を有するオブジェクトを探索して削除オブジェクト群を決定し、そうでない場合に対象領域の高さの減少量を算出して削除候補オブジェクト群を決定し、該オブジェクト群が削除された場合の該対象領域の側面画像と該対象領域の側面画像の比較を行って削除オブジェクト群を決定し、該データベースを更新するものである
ことを特徴とする請求項１ないし５のいずれかに記載のオブジェクト管理システム。
【請求項７】
積み重ねられるオブジェクトを管理するオブジェクト管理システムにおけるデータベースに格納される、オブジェクトを管理する情報を生成するための方法であって、
オブジェクトの管理の対象となる空間を撮像した画像を入力する画像入力手順と、
該空間を撮像した画像から、変化のあった領域を対象領域として検出する変化検出手順と、
該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベースに格納する追加オブジェクト特定手順と、
該対象領域から削除されたオブジェクトを特定し、該データベースを更新する削除オブジェクト特定手順と、を備える
ことを特徴とするオブジェクト管理方法。
【請求項８】
前記画像入力手順では、
管理の対象となる空間の上面、及び側面の画像情報を同時に入力する
ことを特徴とする請求項７に記載のオブジェクト管理方法。
【請求項９】
前記データベースに格納されるオブジェクトを管理する情報は、
積み重ねのある領域の上面画像、側面画像、高さ、及び該積み重ねを構成するオブジェクトの上面画像、側面画像、高さに関する情報を含む
ことを特徴とする請求項７または８に記載のオブジェクト管理方法。
【請求項１０】
前記変化検出手順では、
最後にデータベースに格納された積み重ねのある領域の上面画像、側面画像、及び高さと、画像入力手順で入力された上面画像、側面画像、及びこれらで算出された高さを比較すること、あるいは、前フレームの上面画像、側面画像と、画像入力手順で入力された上面画像、及び側面画像を比較すること、により、積み重ねのある領域に変化が生じたかどうかを判断すること、及びそれぞれの比較を一定期間行いその比較結果のばらつきを利用することにより変化が生じたかどうかを判断する
ことを特徴とする請求項７ないし９のいずれかに記載のオブジェクト管理方法。
【請求項１１】
前記追加オブジェクト特定手順では、
対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の側面画像、及び高さを入力し、該入力情報から新規オブジェクトの高さの算出、及び側面画像の生成を行い、これらを該データベースに格納する
ことを特徴とする請求項７ないし１０のいずれかに記載のオブジェクト管理方法。
【請求項１２】
前記削除オブジェクト特定手順では、
前記対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の上面画像、側面画像、高さ、及び構成するオブジェクト情報を入力し、対象領域の上面画像の比較を行い、異なる場合に対象領域の上面画像に対応する上面画像を有するオブジェクトを探索して削除オブジェクト群を決定し、そうでない場合に対象領域の高さの減少量を算出して削除候補オブジェクト群を決定し、該オブジェクト群が削除された場合の該対象領域の側面画像と該対象領域の側面画像の比較を行って削除オブジェクト群を決定し、該データベースを更新する
ことを特徴とする請求項７ないし１１のいずれかに記載のオブジェクト管理方法。
【請求項１３】
請求項７ないし１２のいずれかに記載のオブジェクト管理方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とするオブジェクト管理プログラム。
【請求項１４】
請求項７ないし１２のいずれかに記載のオブジェクト管理方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とするオブジェクト管理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、オブジェクトやオブジェクトの場所を管理するためのシステム、及び方法に関し、特に、積み重ねられたオブジェクトの探索に効果的な情報を管理するためのシステム、及び方法に関する。
【０００２】
【従来の技術】
従来から、物品や物品が置かれている場所を管理し、それらの探索に効果的な情報を提供するためのシステムの開発が行われている。これらの代表的なものとして、各物品にタグを取り付け、そのタグと無線で交信することにより、管理を行うシステムが開発されている。これらのタグはＲＦＩＤと総称され、タグのＩＤを利用した物品の識別、及びタグを検知するアンテナを利用した位置探索を実現している。これらを利用した発明には、例えば、特許文献１、２、及び３などに記載のものがある。
【０００３】
しかしながら、これらのＲＦＩＤを利用するには、このタグを物品にいちいち取り付けるという作業が発生するという大きな問題があった。更に、アンテナの指向性などの限界により、例えば、同じ場所に複数の物品を置いた場合や重ねて置いた場合など、個々の物品がどれであるかを判断することが非常に難しいという問題がある。
【０００４】
また、これらの問題を鑑み、画像情報を利用するという試みも発表されている。例えば、非特許文献１の論文では、引き出しの中の物品の管理をする手法を提案している。引き出しの上方に取り付けられたカメラを引き出しの開け閉めにより制御し、引き出しの開け閉めというというトリガで、引き出しに入れられた物品の上面の画像を取得する。更に、このときの引き出しの中にたまっている物品の高さをレーザにより計測し、同時に記録する。
【０００５】
しかしながら、この方法では、積み重ねられた状態に対して，そのかたまりの上面の画像、及び高さの情報を利用しているだけであり、それらを構成するオブジェクトを管理することができないという問題がある。また、これは、引き出しの中という限定された手法であると同時に、トリガが引き出しの開け閉めに限定されており、物品が増減することに対しても大きな問題がある。
【０００６】
【特許文献１】
特開平７−１４４７１９号公報
【０００７】
【特許文献２】
特開２００１−１１４４０５号公報
【０００８】
【特許文献３】
特開２００２−２７１２２９号公報
【０００９】
【非特許文献１】
Ｓｉｉｏ，  Ｉ．，  Ｒａｗａｎ，  Ｊ．  ａｎｄ  Ｍｙｎａｔｔ，  Ｅ．：  Ｐｅｅｋ−ａ−ｄｒａｗｅｒ：  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｂｙ  ｆｕｒｎｉｔｕｒｅ．  Ｐｒｏｃ．  ＣＨＩ  ２００２，  ５８２−５８３．
【００１０】
【発明が解決しようとしている課題】
本発明は、上記従来技術に鑑み、その問題点を解決するためになされたもので、画像、及び３次元情報を利用することにより、オブジェクトの識別、及び位置の管理を実現し、積み重ねられたオブジェクトの探索に効果的な情報を管理するためのシステム、及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、例えば以下の構成からなる。即ち、積み重ねられるオブジェクトを管理するオブジェクト管理システムであって、オブジェクトの管理の対象となる空間を撮像する画像入力装置と、オブジェクトを管理する情報を格納するデータベースと、該空間を撮像した画像から、変化のあった領域を対象領域として検出する変化検出手段と、該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベースに格納する追加オブジェクト特定手段と、該対象領域から削除された（抜き取られた）オブジェクトを特定し、該データベースを更新する削除オブジェクト特定手段と、を備えて構成されることを特徴としている。
【００１２】
好ましくは、前記システムにおいて、前記画像入力装置は、管理の対象となる空間の上面、及び側面の画像情報を同時に入力するものとする。
【００１３】
好ましくは、前記システムにおいて、前記データベースに格納されるオブジェクトを管理する情報は、積み重ねのある領域の上面画像、側面画像、高さ、及び該積み重ねを構成するオブジェクトの上面画像、側面画像、高さに関する情報を含むものとする。
【００１４】
好ましくは、前記システムにおいて、前記変化検出手段は、最後にデータベースに格納された積み重ねのある領域の上面画像、側面画像、及び高さと、画像入力装置から入力された上面画像、側面画像、及びこれらで算出された高さを比較すること、あるいは、前フレームの上面画像、側面画像と、画像入力装置から入力された上面画像、及び側面画像を比較すること、により、積み重ねのある領域に変化が生じたかどうかを判断すること、及びそれぞれの比較を一定期間行いその比較結果のばらつきを利用することにより変化が生じたかどうかを判断するものとする。
【００１５】
好ましくは、前記システムにおいて、前記追加オブジェクト特定手段は、対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の側面画像、及び高さを入力し、該入力情報から新規オブジェクトの高さの算出、及び側面画像の生成を行い、これらを該データベースに格納するものとする。
【００１６】
好ましくは、前記システムにおいて、前記削除オブジェクト特定手段は、前記対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の上面画像、側面画像、高さ、及び構成するオブジェクト情報を入力し、対象領域の上面画像の比較を行い、異なる場合に対象領域の上面画像に対応する上面画像を有するオブジェクトを探索して削除オブジェクト群を決定し、そうでない場合に対象領域の高さの減少量を算出して削除候補オブジェクト群を決定し、該オブジェクト群が削除された場合の該対象領域の側面画像と該対象領域の側面画像の比較を行って削除オブジェクト群を決定し、該データベースを更新するものとする。
【００１７】
また、上記の目的を達成するために、本発明は、積み重ねられるオブジェクトを管理するオブジェクト管理システムにおけるデータベースに格納される、オブジェクトを管理する情報を生成するための方法であって、オブジェクトの管理の対象となる空間を撮像した画像を入力する画像入力手順と、該空間を撮像した画像から、変化のあった領域を対象領域として検出する変化検出手順と、該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベースに格納する追加オブジェクト特定手順と、該対象領域から削除された（抜き取られた）オブジェクトを特定し、該データベースを更新する削除オブジェクト特定手順と、を備えて構成されることを特徴としている。
【００１８】
好ましくは、前記方法において、前記画像入力手順では、管理の対象となる空間の上面、及び側面の画像情報を同時に入力する。
【００１９】
好ましくは、前記方法において、前記データベースに格納されるオブジェクトを管理する情報は、積み重ねのある領域の上面画像、側面画像、高さ、及び該積み重ねを構成するオブジェクトの上面画像、側面画像、高さに関する情報を含む。
【００２０】
好ましくは、前記方法において、前記変化検出手順では、最後にデータベースに格納された積み重ねのある領域の上面画像、側面画像、及び高さと、画像入力手順で入力された上面画像、側面画像、及びこれらで算出された高さを比較すること、あるいは、前フレームの上面画像、側面画像と、画像入力手順で入力された上面画像、及び側面画像を比較すること、により、積み重ねのある領域に変化が生じたかどうかを判断すること、及びそれぞれの比較を一定期間行いその比較結果のばらつきを利用することにより変化が生じたかどうかを判断する。
【００２１】
好ましくは、前記方法において、前記追加オブジェクト特定手順では、対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の側面画像、及び高さを入力し、該入力情報から新規オブジェクトの高さの算出、及び側面画像の生成を行い、これらを該データベースに格納する。
【００２２】
好ましくは、前記方法において、前記削除オブジェクト特定手順では、前記対象領域の上面画像、側面画像、及び高さを入力し、前記データベースから該対象領域の上面画像、側面画像、高さ、及び構成するオブジェクト情報を入力し、対象領域の上面画像の比較を行い、異なる場合に対象領域の上面画像に対応する上面画像を有するオブジェクトを探索して削除オブジェクト群を決定し、そうでない場合に対象領域の高さの減少量を算出して削除候補オブジェクト群を決定し、該オブジェクト群が削除された場合の該対象領域の側面画像と該対象領域の側面画像の比較を行って削除オブジェクト群を決定し、該データベースを更新する。
【００２３】
また、上記の目的を達成するために、本発明は、前記の方法における手順を、コンピュータに実行させるためのプログラム（オブジェクト管理プログラム）としたことを特徴としている。
【００２４】
また、上記の目的を達成するために、本発明は、前記方法における手順を、コンピュータに実行させるためのプログラム（オブジェクト管理プログラム）とし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴としている。
【００２５】
上記構成によると、画像、及び３次元情報を利用することにより、オブジェクトの識別、及び位置の管理を実現することができ、積み重ねられたオブジェクトの探索に効果的な情報を管理するためのシステムや方法を提供することが可能となる。
【００２６】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。本発明で扱うオブジェクトは、積み重ねているうちに高さ方向に変形するようなことがなく（高さが一定）、かつ高さが一様であることを前提としている。
【００２７】
図１は、本発明の一実施形態例によるオブジェクト管理システムの機能ブロック図を示す。図１に示すように、本システムは、オブジェクトの管理の対象となる空間を撮像する画像入力装置１と、オブジェクトを管理する情報を格納するデータベース（ＤＢ）２と、該空間を撮像した画像から、変化のあった領域を対象領域として検出する変化検出手段３と、該対象領域に追加された新規オブジェクトに関する情報を算出し、該データベース２に格納する追加オブジェクト特定手段４と、該対象領域から削除された（抜き取られた）オブジェクトを特定し、該データベース２を更新する削除オブジェクト特定手段５から構成されている。
【００２８】
この画像入力装置１は、ＣＣＤカメラなどを利用するとしてよい。これはＣＣＤを撮像素子として用いたカメラであり、鏡などの光学系６を利用することにより、上方、及び横方向からの構図を同時に撮像する。また、データベース２は、オブジェクトを管理する情報を格納するためのものであり、積み重ねのある領域の上面画像、側面画像、高さ、及び該積み重ねを構成するオブジェクトの上面画像、側面画像、高さに関する情報を含む情報を管理する。
【００２９】
図２、図３、図４及び図５は、本発明の一実施形態例によるオブジェクト管理方法を示すフローチャートである。以下、この流れにしたがって詳細に説明する。なお、図２のＡは図３のＡに処理が連続することを示している。
【００３０】
変化検出手段３では、入力された画像から、変化のあった領域を検出する。この処理は図２及び図３に示す手順で以下のように行われる。
［ステップ１］時間Ｔｓを初期化し、参照状態の上面画像、側面画像、高さを入力する。
［ステップ２］画像入力装置１から、上面画像、側面画像を入力する。
［ステップ３］時間Ｔｓが設定済みかどうかを判断し、設定している場合に処理を［ステップ７］に移す。
［ステップ４］上面画像、側面画像と参照状態の上面画像、側面画像との差分処理を行う、
［ステップ５］画像の変化量が大きいかどうかを判断し、変化量が大きくない場合に処理を［ステップ２］に移す。
［ステップ６］時間Ｔｓを設定し、処理を［ステップ２］に移す。
［ステップ７］上面画像、側面画像に対して、前フレームとの差分処理を行う。
［ステップ８］画像の変化量が大きいかどうかを判断し、変化量が大きい場合に処理を［ステップ６］に移す。
［ステップ９］時間経過が大きいかどうかを判断し、変化量が大きくない場合に処理を［ステップ２］に移す。
［ステップ１０］上面画像、側面画像と参照状態の上面画像、側面画像との差分処理を行う。
［ステップ１１］差分画像に対して、２値化処理により領域を抽出する。
［ステップ１２］上面画像、側面画像から、この領域の高さを算出する。
［ステップ１３］この高さが参照状態の高さと異なるかどうかを判断し、異ならない場合に処理を、［ステップ１］に移す。
［ステップ１４］抽出された領域を対象領域として決定する。
［ステップ１５］この状態の上面画像、側面画像、高さで参照状態を更新する。
［ステップ１６］既に登録されている領域かを判断し、登録されている場合に処理を［ステップ１８］に移す。
［ステップ１７］新規領域としてＤＢ２に登録し、処理を追加オブジェクト特定手段４へ移す。
［ステップ１８］高さ変化量に対して増加している場合には、追加オブジェクト特定手段４に、減少している場合には、削除オブジェクト特定手段５へ、処理を移す。
【００３１】
ここで、ステップ４，７，１０の差分処理は、２つの画像の各画素値の差分を求める処理であり、この差分を閾値と比較することにより、これらの画像の変化量を評価する。この際の閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、ステップ９で時間経過を判断する際に比較対象とする閾値についても、あらかじめ決めておくとしてもよいし、それまでの経過時間に関して統計的に算出される値を利用して動的に算出するとしてもよい。また、ステップ１１で用いられる差分画像は、後述する例のように、テーブルの上にあるオブジェクトが置かれる場合を考えると、上面画像の参照画像は何も置かれていないテーブル上面の画像となるため、オブジェクトの置かれた領域のみが抜けたような画像となる。従って、この差分画像を２値化処理することにより、オブジェクトの置かれた領域を抽出することができる。また、ステップ１２の高さの算出処理の手順は、例えば、Ｆｕｊｉｉ，  Ｋ．，  Ｓｈｉｍａｍｕｒａ，  Ｊ  ．，  Ａｒａｋａｗａ，  Ｋ．  ａｎｄ  Ａｒｉｋａｗａ，  Ｔ．：  Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｆｉｎｇｅｒ  ｔｒａｃｋｉｎｇ  ｕｓｉｎｇ  ｄｉｒｅｃｔ  ａｎｄ  ｒｅｆｌｅｃｔｅｄ  ｉｎｆｒａｒｅｄ  ｉｍａｇｅｓ．  Ｐｒｏｃ．  ＵＩＳＴ  ２００２，  ２９−３０．の論文に記載の方法を使うとしてよい。
【００３２】
以上のように、変化検出手段３による変化検出の処理手順では、最後にデータベース２に格納された積み重ねのある領域の上面画像、側面画像、及び高さと、画像入力装置２から入力された上面画像、側面画像、及びこれらで算出された高さを比較すること、あるいは、前フレームの上面画像、側面画像と、画像入力装置２から入力された上面画像、及び側面画像を比較すること、により、積み重ねのある領域に変化が生じたかどうかを判断すること、及びそれぞれの比較を一定期間行いその比較結果のばらつきを利用することによって、変化が生じたかどうかを判断する。
【００３３】
追加オブジェクト特定手段４は、対象領域に追加された新規オブジェクトに関する情報を算出し、ＤＢ２に格納する。この処理は図４に示す手順で以下のように行われる。
［ステップ１］対象領域の上面画像、側面画像、高さを入力する。
［ステップ２］ＤＢ２から該対象領域の側面画像、高さを入力する。
［ステップ３］新規オブジェクトの高さを算出する。
［ステップ４］新規オブジェクトの側面画像を生成する。
［ステップ５］対象領域情報、構成するオブジェクト情報により、ＤＢ２を更新する。
【００３４】
この対象領域情報は、対象領域の上面画像、側面画像、及び高さに関する情報を含む情報である。また、オブジェクト情報は、構成されるオブジェクトの上面画像、側面画像、及び高さに関する情報を含む情報である。
【００３５】
削除オブジェクト特定手段５は、対象領域から削除されたオブジェクトを特定し、ＤＢ２を更新する。この処理は図５に示す手順で以下のように行われる。
［ステップ１］対象領域の上面画像、側面画像、高さを入力する。
［ステップ２］ＤＢ２から該対象領域の上面画像、側面画像、高さ、構成するオブジェクト情報を入力する。
［ステップ３］対象領域の上面画像の比較を行い、異なる場合に処理を［ステップ８］に移す。
［ステップ４］対象領域の高さの減少量を算出する。
［ステップ５］削除候補オブジェクト群を算出する。
［ステップ６］削除候補オブジェクト群が削除された場合の対象領域の側面画像を生成する。
［ステップ７］対象領域の側面画像を比較して削除オブジェクト群を決定し処理を［ステップ９］に移す。
［ステップ８］対象領域の上面画像に対応する上面画像を有するオブジェクトを探索して削除オブジェクト群を決定する。
［ステップ９］対象領域情報、構成するオブジェクト情報により、ＤＢ２を更新する。
【００３６】
ここで、利用者の一度に行うことが可能な動作の制限から、削除されたオブジェクトが複数である場合、それらのオブジェクトは連続して積み重ねられていたものと考えて差し支えない。よって［ステップ５］の削除候補オブジェクト群を算出する際には、連続するオブジェクトで、かつ、最上位置にあるオブジェクトを含まないものが選ばれる。またステップ３，７の画像の比較は、通常の画像処理で利用されるマッチング処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３７】
続いて、以下では、これまで説明してきたオブジェクト管理システムにおいて、オブジェクトを管理する際の具体的な手順を説明する。ある積み重ねられるオブジェクトを管理する場合を例に採り、説明を行う。
【００３８】
図６は、本発明における一実施形態例を示すあるシステムの構成例である。テーブル７の上に積み重ねられるオブジェクト８の上面を上方から、その側面を鏡６から、カメラ１により同時に観測し、これに接続されるコンピュータ９により処理が行われる。ここでのコンピュータ９は、本発明の変化検出手段、追加オブジェクト特定手段、削除オブジェクト特定手段、及びデータベースを包含している。
【００３９】
このシステムにおいて、図７の７０１に示すようなオブジェクト８がテーブル７に置かれたとする。ここで、図１５に示すように、このオブジェクトが置かれた領域が変化領域として検出される。例えば、テーブル７に何も置かれていないときを参照状態とし、この参照状態の上面画像１５０１、側面画像１５０２、及び高さ０が入力される。これに対し、利用者が何かオブジェクト８をテーブル７の上に置き始めると、参照状態の上面画像１５０１、側面画像１５０２と画像入力装置から入力された上面画像１５０３、側面画像１５０４の画像の変化量が大きくなり、前フレームとの差分処理になる。これからしばらくは、利用者がオブジェクト８を置く途中となるので、画像の変化量は大きい状態が続くことになる。利用者がオブジェクト８を置き終えて安定すると、変化量は小さくなるので、上面画像１５０５、側面画像１５０６に示すような状態になり、対象領域が決定することになる。この対象領域に対して、７０２に示す上面画像、７０３に示す側面画像、及び高さ３が入力される。このとき、これはそのままオブジェクト情報になり、７０４に示す上面画像、７０５に示す側面画像、及び高さ３となる。これらがデータベース２に格納されることになる。
【００４０】
続いて、このオブジェクト７０１に新たなオブジェクトが積み重ねられ、図８の８０１に示すようになったとする。この対象領域に対して、８０２に示す上面画像、８０３に示す側面画像、及び高さ５が入力される。これに対して、すでに置かれているオブジェクト情報から、新たに置かれたオブジェクト情報を算出することが行われる。ここでは、８０４に示す上面画像、８０５に示す側面画像、及び高さ２（＝５−３）が算出されることになる。
【００４１】
更に、図９の９０１に示すようになると、９０２に示す上面画像、９０３に示す側面画像、及び高さ６が入力される。これに対して、新たに置かれたオブジェクト情報として、９０４に示す上面画像、９０５に示す側面画像、及び高さ１（＝６−３−２）が算出される。
【００４２】
同様に、図１０の１００１に示すようになると、１００２に示す上面画像、１００３に示す側面画像、及び高さ８が入力される。これに対して、新たに置かれたオブジェクト情報として、１００４に示す上面画像、１００５に示す側面画像、及び高さ２（＝８−３−２一１）が算出される。
【００４３】
また、これらの状態から、オブジェクトが抜き取られる場合の例を示す。図１１の１１０１に示すような状態から、あるオブジェクトが抜き取られ、この領域が変化領域として検出されたとする。このとき、１１０２に示す上面画像、１１０３に示す側面画像、及び高さ５が入力されたとすると、上面画像が異なるため、最上位置にあるオブジェクトから、高さ３（＝８−５）分のオブジェクトが抜かれたと判断できる。ここでは、上から２つのオブジェクトがそれに相当し、これらのオブジェクト情報がデータベース２から削除されることになる。また、１１０４に示す上面画像、１１０５に示す側面画像、及び高さ５が入力されたとすると、上面画像が同じであるため、削除候補オブジェクト群を算出することが行われる。ここでは、高さ３（＝８−５）分となる連続するものとなるので、図１２の１２０ｌ、１２０２、及び１２０３の３つの候補が算出される。しかしながら、１２０１は最上位置にあるオブジェクトを含むため、候補から外されることになる。続いて、これらのオブジェクトが削除された際の側面画像が生成され、図１３の１３０１、及び１３０２の２種類となる。これらと１１０５に示す側面画像を比較することにより、１３０１が選択されることになる。よって、これらから、図１４の１４０１に示すような状態になっていると判断でき、データベース２が更新されることになる。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施形態例に限定されるものではなく、幅広く応用することができる。なお、図１で示した各手段の一部もしくは全部の処理機能を、コンピュータを用いて実現できること、あるいは、図２、図３、図４及び図５で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、配布したりすることが可能である。
【００４５】
【発明の効果】
以上説明したように本発明によれば、上記構成によって、画像、及び３次元情報を利用することにより、オブジェクトの識別、及び位置の管理を実現することができ、積み重ねられたオブジェクトの探索に効果的な情報を管理するためのシステムあるいは方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態例に係るシステムの機能ブロック図を示した図である。
【図２】本発明の一実施形態例に係る処理のフローを説明するための図である。
【図３】図２に続く処理のフローを説明するための図である。
【図４】本実施形態例に係る追加オブジェクト特定処理のフローを説明するための図である。
【図５】本実施形態例に係る削除オブジェクト特定処理のフローを説明するための図である。
【図６】本発明に係る処理の一例を説明するための図である。
【図７】（ａ），（ｂ），（ｃ）は、本発明に係る処理の一例を説明するための図である。
【図８】（ａ），（ｂ），（ｃ）は、本発明に係る追加オブジェクト特定処理の一例を説明するための図である。
【図９】（ａ），（ｂ），（ｃ）は、本発明に係る追加オブジェクト特定処理の一例を説明するための図である。
【図１０】（ａ），（ｂ），（ｃ）は、本発明に係る追加オブジェクト特定処理の一例を説明するための図である。
【図１１】（ａ），（ｂ），（ｃ）は、本発明に係る削除オブジェクト特定処理の一例を説明するための図である。
【図１２】（ａ），（ｂ），（ｃ）は、本発明に係る削除オブジェクト特定処理の一例を説明するための図である。
【図１３】（ａ），（ｂ）は、本発明に係る削除オブジェクト特定処理の一例を説明するための図である。
【図１４】本発明に係る削除オブジェクト特定処理の一例を説明するための図である。
【図１５】（ａ），（ｂ），（ｃ）は、本発明に係る処理の一例を説明するための図である。
【符号の説明】
１…画像入力装置（カメラ）
２…データベース（ＤＢ）
３…変化検出手段
４…追加オブジェクト特定手段
５…削除オブジェクト特定手段
６…光学系（鏡）
７…テーブル
８…オブジェクト
９…コンピュータ
【図１】
2004272321.tif 000003
【図２】
2004272321.tif 000004
【図３】
2004272321.tif 000005
【図４】
2004272321.tif 000006
【図５】
2004272321.tif 000007
【図６】
2004272321.tif 000008
【図７】
2004272321.tif 000009
【図８】
2004272321.tif 000010
【図９】
2004272321.tif 000011
【図１０】
2004272321.tif 000012
【図１１】
2004272321.tif 000013
【図１２】
2004272321.tif 000014
【図１３】
2004272321.tif 000015
【図１４】
2004272321.tif 000016
【図１５】
2004272321.tif 000017