(57)【要約】機械、装置自体が、人間と同様に理解、判断し、それに基づいて機械、装置を操作し、過程と結果を認識できる自動作業システムを提供する。自動作業システム１１を、入力装置１２と、仮想モデルデータベース１３と、仮想モデル変換装置１４と、仮想モデル再構成装置１５と、仮想モデル処理装置１６と、制御装置１７又は表示装置５７とから構成する。仮想モデル変換装置１４は、入力装置１２から取得した複数の対象物に関する情報を認識し、仮想モデルデータベース１３から対応する仮想モデルを特定し、置換する。仮想モデル再構成装置１５は、対象物及びそれらの関係を仮想空間において対応する仮想モデル及びそれらの関係に再構成する。仮想モデル処理装置１６は、再構成された仮想モデル及びこれらの関係を基礎として、仮想モデル及びこれらの関係を理解、判断し、制御装置１７又は表示装置５７に指令する。
2003063087.tif 000002
【特許請求の範囲】
【請求項１】
現実世界における複数の対象物に関する情報を取得する入力装置と、
前記対象物に対応する仮想空間における仮想モデルを複数登録、蓄積した仮想モデルデータベースと、
前記入力装置によって取得された複数の対象物に関する情報を認識し、前記仮想モデルデータベースから選択してそれら複数の対象物に対応する仮想モデルを特定し、複数の対象物を対応する複数の仮想モデルに置換する仮想モデル変換装置と、
複数の対象物及びこれら対象物間の関係を仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成する仮想モデル再構成装置と、
前記仮想モデル再構成装置によって再構成された仮想空間における複数の仮想モデル及びこれらの関係を基礎として、演算、処理し、複数の仮想モデル及びこれらの関係を理解、判断する仮想モデル処理装置と、
前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における所定の対象物を自動的に操作する制御装置と、
から構成される自動作業システム。
【請求項２】
前記制御装置に代えて、前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における過程及び結果を自動的に表示する表示装置を構成要素としたことを特徴とする請求の範囲第１項記載の自動作業システム。
【請求項３】
前記仮想モデル処理装置は、
前記再構成された複数の仮想モデルに関連する属性データの中から、作業目的に合致した属性データを選択、抽出し、目的属性データモデルに変換する目的属性データモデル変換装置と、
前記抽出された目的属性データモデルの関係から、作業目的に関連する意味データを生成し、意味データモデルに変換する意味データモデル変換装置と、
前記生成された意味データモデルの関係から、作業目的に関連する総合意味データを生成し、総合意味データモデルに変換する総合意味データ変換装置と、
前記生成された総合意味データモデルの中から、作業目的に最適な判断データを生成し、判断データモデルに変換して出力する判断データモデル変換装置と、
から構成されることを特徴とする請求の範囲第１項又は第２項記載の自動作業システム。
【請求項４】
前記仮想モデルには、対象物を複数の構成要素に分割して、その構成要素をモデル化した断片モデルを含むことを特徴とする請求の範囲第１項乃至第３項記載の自動作業システム。
【請求項５】
前記属性データには、物理量、音声、臭い等を含むことを特徴とする請求の範囲第１項乃至第４項記載の自動作業システム。
【請求項６】
前記仮想モデル変換装置は、移動又は変化する対象物に対応する仮想モデルを特定する前に、対象物を認識して追跡し、時間の推移とともに対象物が移動又は変化する中で、仮想モデルの特定が容易な部分を捉えて、対象物に対応する仮想モデルを特定するものであることを特徴とする請求の範囲第１項乃至第５項記載の自動作業システム。
【請求項７】
前記仮想モデル処理装置において、前記意味データモデル変換装置を複数段構成したことを特徴とする請求の範囲第１項乃至第６項記載の自動作業システム。
【請求項８】
前記自動作業システムは、自動作業システム内で又は自動作業システム間でデータを送受信できる、データ送受信装置を有するものであることを特徴とする請求の範囲第１項乃至第７項記載の自動作業システム。
【発明の詳細な説明】
技術分野
この発明は、自動車、航空機等の輸送機械、起重機、ロボット等の作業機械等の自動運転システム、人間と相対してゲーム、手話等をする自動作業システム、人間に代替して監視、観察等をする自動監視システム等に応用することが可能な自動作業システムに関する。
背景技術
自動車、航空機等の輸送機械、起重機、ロボット等の作業機械等の自動運転システム、人間と相対してゲーム、手話等をする自動作業システム、人間に代替して監視、観察等をする自動監視システム等を実現することは、かなり以前から要望され、期待されてきたことではあるが、現在にあっても、殆ど人間の補助を必要としない程度まで完全自動化された機械、装置というものは存在しない。
その中にあって、自動車の自動運転システムに関しては、完全自動化には程遠いものの、現在に至るまで、多数の研究、検討が為されており、各種の方式が提案、発表されている。
例えば、道路の走行経路に沿って磁石又は信号発信用の電線を埋設し、その磁石又は電線上に沿って自動車を走行させる方式、先行する自動車との距離を簡易レーダーによって計測し、車間距離を一定に保持しつつ自動車を走行させる方式等は、よく知られており、実用化されている。また、最近では、路面に描かれた車線区分表示用ラインを認識し、そのラインとの距離を一定に保持しつつ自動車を走行させる方式も提案されている。
しかしながら、自動車の自動運転に関する上記従来の方式は、予め決められた走行経路を、何等かの目印を検出して、予め決められた車間距離で、予め決められた位置を自動車が走行する方式であり、目に見えないレールが敷設されているのと同様で、実際にレール上を列車等が走行する方式と何等大差はなく、人間が自動車を運転する場合とは全く異なる。
また、自動車自体は、先行する自動車との距離を計測してはいても、人間が運転する場合のように、その計測対象が自動車であることを理解しているわけではなく、道路標識を読んでその表示内容を理解しているわけでもない。ましてや、道路標識に表示された制限速度を理解して、その制限速度を遵守しよう等と判断することは決してない。
すなわち、上記従来の方式では、人間が自動車を運転する際にするように、自動車自体が周囲の交通状況を判断して、車間距離を決めたり、道路標識を読んで理解して、それを遵守しようとしたり、さらには、危険度を判断して、ブレーキを踏んだり等ということは決してないのである。
本発明は、かかる従来技術における問題点に鑑みて為されたものであって、自動車を運転する際に人間がするような、種々状況を理解し、判断し、そして、その理解、判断に基づいて自動車を操作するという作業を、自動車、航空機等の輸送機械自体が、また、起重機、ロボット等の作業機械自体が実行できて、略完全な自動運転システムが実現可能となる自動作業システムを提供することを目的とする。
また、本発明は、ゲーム、監視等をする際に人間がするような、種々状況を理解し、判断し、そして、その理解、判断に基づいて過程と結果を認識するという作業を、人間と相対する、また、人間に代替する装置が実行できて、人間と相対してゲーム、手話等をする自動作業システム、人間に代替して監視、観察等をする自動監視システム等が実現可能となる自動作業システムを提供することをも目的とする。
発明の開示
上記のように、自動車を運転する際に人間がするような、現実の世界を大脳の中に一旦投影し、その中で様々な情報を読み取り、理解し、総合的に判断して、自動車を操作するという、複雑で高度の作業を機械、装置にさせるためには、その基本技術として、現実の物理的環境をコンピュータによる仮想現実世界の三次元空間に投影し、目的作業に必要な幾つかの対象物を、自動的にモデル化された仮想三次元空間にリアルタイムで取り込み、現実世界の複数の対象物と仮想三次元空間内の複数のモデルとを実質的にリアルタイムで対応させる技術が必要となる。
上記基本技術は、本願発明者により出願された日本国特許出願第２０００−１９０７２５号において、部品再構築法（Ｐａｒｔｓ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｍｅｔｈｏｄ：ＰＲＭ）を実現する情報変換システムとして開示されている。
この情報変換システム１は、第１図に示すように、入力装置２、比較画像情報生成装置３、部品データベース４、比較部品情報生成装置５、部品特定装置６及び出力装置７から構成される。
入力装置２は、現実世界における対象物に関する情報を取得するものであり、ビデオカメラ等を採用することができる。
ビデオカメラによれば、複数の対象物が存在する所定範囲の状況を二次元画像として取得することができる。また、複数のビデオカメラを使用すれば、異なる方向から対象物を撮影することにより、対象物を視差のある擬似三次元画像として取得することができる。
比較画像情報生成装置３は、入力装置２により取得された対象物の画像を処理して、比較画像情報を生成するものである。
比較画像情報としては、二次元画像、三次元画像、二次元画像から輪郭線のみを抽出したもの、外周面のみを抽出したもの、さらには、積分変換データとしたもの等であってもよい。
部品データベース４は、対象物をモデル化した複数の部品を登録、蓄積したものである。
部品には、対象物の三次元形状をはじめ、名称、性質、色彩等の属性データが付与されており、それら属性データは、各部品の識別コードに対応付けられて、部品データベース４に登録されている。
比較部品情報生成装置５は、部品データベース４に登録された部品毎に、属性データに基づいて比較部品情報を生成するものである。
比較部品情報としては、三次元形状データを有する部品を各方向に投影した二次元画像、積分変換データとしたもの等であってもよい。
部品特定装置６は、同一種類のデータを有する比較画像情報及び比較部品情報を対比して、対象物に対応する部品を特定するものであり、検索処理部６−１、認識処理部６−２、特定処理部６−３、固定処理部６−４、追跡処理部６−５から構成される。
検索処理部６−１は、比較部品情報を順次抽出し、比較画像情報に比較部品情報と対応する部分がないか検索するものである。認識処理部６−２は、比較画像情報に比較部品情報と対応する部分があった場合に、それを対象物であると認識するものである。そして、特定処理部６−３は、比較部品情報を有する部品を対象物に対応する部品であると特定するものである。
固定処理部６−４は、特定された部品の位置を認識された対象物の位置によって決定し、さらに、その部品の配置方向を対象物に対応した比較部品情報に基づいて決定するものである。追跡処理部６−５は、同一対象物の位置が連続的に変化する場合に、固定処理部６−４によって部品の位置を繰り返し更新させながら、対象物を追跡するものである。
出力装置７は、特定された部品の識別コード、属性データを出力し、さらに、複数の部品及びこれら部品の空間配置を、任意位置の視点から見た画像として再構成して表示するものである。
上記情報交換システム１によってＰＲＭを実行すれば、現実世界における対象物を仮想三次元空間における種々属性データが付与された部品に変換することができ、高度な画像認識や画像理解の実現を図ることができる。
本発明は、人間がすると同様な作業を実行できる自動作業システムを提供するため、かかるＰＲＭを基礎技術として適用したものであり、現実世界における複数の対象物に関する情報を取得する入力装置と、前記対象物に対応する仮想空間における仮想モデルを複数登録、蓄積した仮想モデルデータベースと、前記入力装置によって取得された複数の対象物に関する情報を認識し、前記仮想モデルデータベースから選択してそれら複数の対象物に対応する仮想モデルを特定し、複数の対象物を対応する複数の仮想モデルに置換する仮想モデル変換装置と、複数の対象物及びこれら対象物間の関係を仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成する仮想モデル再構成装置と、前記仮想モデル再構成装置によって再構成された仮想空間における複数の仮想モデル及びこれらの関係を基礎として、演算、処理し、複数の仮想モデル及びこれらの関係を理解、判断する仮想モデル処理装置と、前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における所定の対象物を自動的に操作する制御装置と、から自動作業システムを構成したことを特徴とする。
前記制御装置に代えて、前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における過程及び結果を自動的に表示する表示装置を構成要素とした自動作業システムを構成することもできる。
前記仮想モデル処理装置は、前記再構成された複数の仮想モデルに関連する属性データの中から、作業目的に合致した属性データを選択、抽出し、目的属性データモデルに変換する目的属性データモデル変換装置と、前記抽出された目的属性データモデルの関係から、作業目的に関連する意味データを生成し、意味データモデルに変換する意味データモデル変換装置と、前記生成された意味データモデルの関係から、作業目的に関連する総合意味データを生成し、総合意味データモデルに変換する総合意味データ変換装置と、前記生成された総合意味データモデルの中から、作業目的に最適な判断データを生成し、判断データモデルに変換して出力する判断データモデル変換装置と、から構成することができる。
前記仮想モデルには、対象物を複数の構成要素に分割して、その構成要素をモデル化した断片モデルを含んでもよい。
前記属性データには、物理量、音声、臭い等を含んでもよい。
前記仮想モデル変換装置は、移動又は変化する対象物に対応する仮想モデルを特定する前に、対象物を認識して追跡し、時間の推移とともに対象物が移動又は変化する中で、仮想モデルの特定が容易な部分を捉えて、対象物に対応する仮想モデルを特定するものとしてもよい。
前記仮想モデル処理装置において、前記意味データモデル変換装置を複数段構成してもよい。
前記自動作業システムは、自動作業システム内で又は自動作業システム間でデータを送受信できる、データ送受信装置を有するものとしてもよい。
発明を実施するための最良の形態
以下、本発明の自動作業システムの好適な実施形態について、図面を参照して説明する。
本発明の一実施例の自動作業システム１１は、第２図及び第３図に示すように、入力装置１２と、仮想モデルデータベース１３と、仮想モデル変換装置１４と、仮想モデル再構成装置１５と、仮想モデル処理装置１６と、制御装置１７と、から構成される。
入力装置１２は、現実世界における対象物に関する情報を取得するものであり、ビデオカメラ等を採用することができる。
ビデオカメラによれば、複数の対象物が存在する所定範囲の状況を二次元画像として取得することができる。また、複数のビデオカメラを使用すれば、異なる方向から対象物を撮影することにより、対象物を視差のある擬似三次元画像として取得することができる。
仮想モデルデータベース１３は、対象物をモデル化した複数の仮想モデルを登録、蓄積したものである。
仮想モデルには、対象物の三次元形状をはじめ、名称、性質、色彩等の属性データが付与されており、それら属性データは、各部品の識別コードに対応付けられて、仮想モデルデータベース１３に登録されている。
仮想モデルとしては、対象物自体をモデル化したものに限らず、第４図に示すように、対象物を複数の構成要素に分割して、その各構成要素をモデル化した断片モデルを採用してもよい。
これによれば、三次元形状の定まらない対象物、三次元形状を一義的には決定できない対象物、又は、三次元形状の確定した仮想モデルを用意できない対象物において、対象物を断片モデルを複合化したもので対応させることができる。
属性データとしては、対象物の画像からだけでは捉えられない、物理量、音声、臭い等を採用してもよい。
これによれば、抽象化された対象物、対象物の存在する環境をもモデル化することができる。
仮想モデル変換装置１４は、入力装置１２によって取得された複数の対象物に関する情報を認識し、仮想モデルデータベース１３から選択してそれら複数の対象物に対応する仮想モデルを特定し、複数の対象物を対応する複数の仮想モデルに置換するものである。
ここで、仮想モデルは三次元形状を属性として有し、その三次元位置座標は仮想モデルが特定される際に固定される。また、対象物が移動すれば対応する仮想モデルも移動し、対象物の位置が追跡される。
仮想モデル変換装置１４は、第５図に示すように、移動又は変化する対象物に対応する仮想モデルを特定する前に、対象物を認識して追跡し、時間の推移とともに対象物が移動又は変化する中で、仮想モデルの特定が容易な部分を捉えて、対象物に対応する仮想モデルを特定するものとしてもよい。
仮想モデル再構成装置１５は、複数の対象物及びこれら対象物間の関係を仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成するものである。
これにより、現実の三次元空間に存在する複数の対象物の移動、変化、これら対象物間の関係が、仮想三次元空間において、仮想モデルの移動、変化、これら対象物間の関係として再現されることになる。
仮想モデル処理装置１６は、再構成された仮想空間における複数の仮想モデル及びこれらの関係を基礎として、プログラム、数式による演算、処理を実行し、シミュレーションを実行し、複数の仮想モデル及びこれらの関係を理解、判断するものである。
制御装置１７は、仮想モデル処理装置１６によって生成された理解、判断を基礎として、現実世界における所定の対象物を自動的に操作するものであり、制御回路の出力命令によって作動する油圧装置等を採用することができる。
本発明の他実施例の自動作業システム５１は、第３図に示すように、自動作業システム１１における制御装置１７に代えて、表示装置５７を構成要素としたものである。
表示装置５７は、仮想モデル処理装置１６によって生成された理解、判断を基礎として、現実世界における過程及び結果を自動的に表示するものであり、液晶ディスプレイ等の各種表示装置を採用することができる。
自動作業システム１１又は５１において、第６図に示すように、前記仮想モデル処理装置１６は、目的属性データモデル変換装置１６−１と、意味データモデル変換装置１６−２と、総合意味データ変換装置１６−３と、判断データモデル変換装置１６−４と、から構成することができる。
目的属性データモデル変換装置１６−１は、前記再構成された複数の仮想モデルに関連する属性データの中から、作業目的に合致した属性データを選択、抽出し、目的属性データモデルに変換するものである。
この変換処理においては、前記再構成された複数の仮想モデルに関連する属性データの中から、作業目的に合致した属性データを選択し、これら属性データの分布を比較信号とし、一方、前記属性データの分布に対応する目的属性データモデルを予めデータベースに登録、蓄積しておき、これら目的属性データモデルを被比較信号とし、比較信号と被比較信号とを比較し、属性データの分布が一致するものを目的属性データモデルとして出力する。
意味データモデル変換装置１６−２は、前記抽出された目的属性データモデルの関係から、作業目的に関連する意味データを生成し、意味データモデルに変換するものである。
この変換処理は、前記抽出された目的属性データの中から、作業目的に関連した目的属性データを選択し、これら目的属性データの分布を比較信号とし、一方、前記目的属性データの分布に対応する意味データモデルを予めデータベースに登録、蓄積しておき、これら意味データモデルを被比較信号とし、比較信号と被比較信号とを比較し、目的属性データの分布が一致するものを意味データモデルとして出力する。
総合意味データ変換装置１６−３は、前記生成された意味データモデルの関係から、作業目的に関連する総合意味データを生成し、総合意味データモデルに変換するものである。
この変換処理は、前記生成された意味データの中から、作業目的に関連した意味データを選択し、これら意味データの分布を比較信号とし、一方、前記意味データの分布に対応する総合意味データモデルを予めデータベースに登録、蓄積しておき、これら総合意味データモデルを被比較信号とし、比較信号と被比較信号とを比較し、意味データの分布が一致するものを総合意味データモデルとして出力する。
判断データモデル変換装置１６−４は、前記生成された総合意味データの中から、作業目的に最適な判断データを生成し、判断データモデルに変換して出力するものである。
この変換処理は、前記生成された総合意味データの中から、作業目的に最適な総合意味データを選択し、これら総合意味データの分布を比較信号とし、一方、前記総合意味データの分布に対応する判断データモデルを予めデータベースに登録、蓄積しておき、これら判断データモデルを被比較信号とし、比較信号と被比較信号とを比較し、総合意味データの分布が一致するものを判断意味データモデルとして出力する。
意味データが複雑で、多層的に存在する場合には、仮想モデル処理装置６において、意味データモデル変換装置１６−２を複数段構成してもよい。
自動作業システム１１又は５１は、自動作業システム１１，５１内で又は自動作業システム１１，５１間でデータを送受信できるデータ送受信装置を有するものとしてもよい。
［実施例］
次に、本発明の自動作業システムを、種々状況を理解し、判断し、そして、その理解、判断に基づいて操作するという作業を機械自体が実行する自動運転システムに適用した場合、また、種々状況を理解し、判断し、そして、その理解、判断に基づいて過程と結果を認識するという作業を人間と相対する装置が実行する自動作業システムに適用した場合について、図面を参照して説明する。
〔実施例１〕
第７図は、本発明の自動作業システムを自動車の自動運転システムに適用した場合の概念図である。
自動車の自動運転システム１０１も、基本的には、入力装置１０２、仮想モデルデータベース１０３、仮想モデル変換装置１０４、仮想モデル再構成装置１０５、仮想モデル処理装置１０６及び制御装置１０７から構成される。
入力装置１０２としては、ビデオカメラ等を採用することができ、ビデオカメラによって、現実世界における複数の対象物が存在する所定範囲の状況を二次元画像又は擬似三次元画像として取得することができる。
仮想モデルとしては、第８図に示すように、道路、道路付帯物、車両等の対象物に対応したモデルが想定され、車両モデルに関しては、自車両、先行車両、対向車両、並進車両、後続車両等に分類しておく。そして、車両モデルに関する属性データとしては、形状、色彩、車種、車両重量等が想定される。
仮想モデル変換装置１０４では、ビデオカメラ等によって取得された道路、道路付帯物、車両等の対象物に関する情報を認識し、仮想モデルデータベース１０３から選択してそれら対象物に対応する仮想モデルを特定し、対応する仮想モデルに置換する。
ここで、車両モデルに関する属性データである位置座標、速度、加速度、角速度等は車両モデルが特定される際に固定される。また、現実の車両が移動すれば対応する車両モデルも移動し、現実の車両の位置が追跡される。
仮想モデル再構成装置１０５では、道路、道路付帯物、車両等の対象物及びこれら対象物間の関係を仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成する。
ここで、現実世界から対象物を全て仮想空間に取り込む必要はなく、第９図に示すように、車両の走行に必要な対象物及びその属性データのみを選択的に取り込めばよい。
上記処理によって、第１０図に示すように、現実世界における対象物、環境、出来事は、仮想三次元空間における対象物モデル、環境モデル、出来事概念モデルへと変換され、対応付けられることになる。
次に、仮想モデル処理装置１０６における演算、処理、シミュレーション、そして、理解、判断に至る過程について説明する。
ここで、仮想モデル処理装置１０６は、目的属性データモデル変換装置１０６−１と、意味データモデル変換装置１０６−２と、総合意味データ変換装置１０６−３と、判断データモデル変換装置１０６−４と、から構成されている。
現実世界においては、第７図に示すように、環境として、季節は秋、天候は快晴、時刻は１８時、気温は１８℃、国道２３０号線を南に走行、対象物として、道路、道路標示、交通標識、ガードレール、電柱、自車両、対向車両、後続車両、出来事として、対向車両がセンターラインを大きく超えている、という状況であった。
先ず、目的属性データモデル変換装置１０６−１によって、第１１図に示すように、再構成された仮想モデルに関連する属性データの中から、作業目的に合致した属性データとして、道路標示及び交通標識に関しては、「追い越し禁止」、「直進以外禁止」、「制限時速５０ｋｍ」という表示内容、ガードレールに関しては、三次元形状、位置座標、衝突弾性係数、自車両及び対向車両に関しては、三次元形状、位置座標、「時速５５ｋｍ」という速度が選択、抽出され、目的属性データモデルとして出力された。
次に、意味データモデル変換装置１０６−２によって、出力された目的属性データの関係から、作業目的に関連する意味データとして、道路に対する自車両の位置及び方向、道路に対する対向車両の位置及び方向、対向車両に対する自車両の位置及び相対速度、ガードレールに対する自車両の位置及び方向が生成され、意味データモデルとして出力された。
次に、総合意味データモデル変換装置１０６−３によって、出力された意味データの関係から、第１２図ａに示すように、未来予測シミュレーションが実行され、作業目的に関連する総合意味データとして、「対向車両がセンターラインをはみ出してこちらに向かって来るのでこのままでは衝突」、「衝突回避行動が必要」というデータが生成され、総合意味データモデルとして出力された。
そして、最終的には、判断データモデル変換装置１０６−４によって、出力された総合意味データの中から、作業目的に最適な判断データとして、「段階４で左３０°ハンドル操作」、「段階７でブレーキ、時速２０ｋｍまで減速」というデータが生成され、判断データモデルとして出力された。
この判断データに基づいて制御装置１０７が作動され、現実世界において、第１２図ｂに示すように、自車両が自動的に操作されて、対向車両との衝突を回避することができる。
自動車の自動運転システム１０１の方式としては、第１３図に示すように、走行する車両単独でデータを確保する完全自立走行方式、走行する複数の車両間でデータを送受信する相互コミュニケーション方式、走行する複数の車両と基地局との間でデータを送受信する基地コミュニケーション方式等が想定される。
コミュニケーション方式による場合には、道路、道路付帯物等の時間によって変化しない静止対象物に関する情報は、基地局等からデータを受信することにより供給され、他の車両が取得したリアルタイム情報も、他の車両からデータを受信することにより供給されるから、第１４図に示すように、自車両の周囲のリアルタイム情報のみを単独で取得すればよい。
〔実施例２〕
第１５図は、本発明の自動作業システムをトランプゲームの自動監視システムに適用した場合の概念図である。
トランプゲームの自動監視システム２０１も、基本的には、入力装置２０２、仮想モデルデータベース２０３、仮想モデル変換装置２０４、仮想モデル再構成装置２０５、仮想モデル処理装置２０６及び表示装置２０７から構成される。
入力装置２０２としては、ビデオカメラ等を採用することができ、ビデオカメラによって、現実世界における複数の対象物が存在する所定範囲の状況を二次元画像又は擬似三次元画像として取得することができる。
仮想モデルは、第１６図に示すように、カード、テーブルシート等の対象物に対応したモデルが想定され、カードモデルに関する属性データとしては、名称、形状、色彩、位置等が想定される。
自動監視システム２０１では、仮想モデルとして、第１７図に示すように、対象物であるカードの適宜部分を取り出して、その部分をモデル化した断片モデルを採用している。
仮想モデル変換装置２０４では、ビデオカメラによって取得されたカード、テーブルシート等の対象物に関する情報を認識し、仮想モデルデータベース２０３から選択してそれら対象物に対応する仮想モデルを特定し、対応する仮想モデルに置換する。
ここで、カードモデルに関する属性データである位置座標はカードモデルが特定される際に固定される。また、現実のカードが移動すれば対応するカードモデルも移動し、現実のカードの位置が追跡される。
仮想モデル再構成装置２０５では、カード、テーブルシート等の対象物及びこれら対象物間の関係を仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成する。
上記処理によって、第１８図に示すように、現実世界における対象物、出来事は、仮想三次元空間における対象物モデル、出来事概念モデルへと変換され、対応付けられることになる。
次に、仮想モデル処理装置２０６における演算、処理、シミュレーション、そして、理解、判断に至る過程について説明する。
ここで、仮想モデル処理装置２０６は、目的属性データモデル変換装置２０６−１と、意味データモデル変換装置２０６−２と、総合意味データ変換装置２０６−３と、判断データモデル変換装置２０６−４と、から構成されている。
現実世界においては、第１８図に示すように、対象物として、カード、テーブルシート、出来事として、ディーラー側に「スペードのＱ」、「ハートのＪ」が、プレイヤー側に「ハートの９」、「スペードのＪ」、「ダイヤの２」が配られている、という状況であった。
先ず、目的属性データモデル変換装置２０６−１によって、再構成された仮想モデルに関連する属性データの中から、作業目的に合致した属性データとして、カードに関して、名称、数値、位置が選択、抽出され、目的属性データモデルとして出力された。
次に、意味データモデル変換装置２０６−２によって、出力された目的属性データの関係から、作業目的に関連する意味データとして、カード間の距離が生成され、意味データモデルとして出力された。
次に、総合意味データモデル変換装置２０６−３によって、出力された意味データの関係から、第１８図に示すように、「ブラックジャック」ゲームのルール演算が実行され、作業目的に関連する総合意味データとして、「ディーラー側のカードの数値の合計は２０、プレイヤー側のカードの数値の合計は２１」というデータが生成され、総合意味データモデルとして出力された。
そして、最終的には、判断データモデル変換装置２０６−４によって、出力された総合意味データの中から、作業目的に最適な判断データとして、「ディーラーが勝者」、「プレイヤーが敗者」というデータが生成され、判断データモデルとして出力された。
この判断データに基づいて、現実世界において、第１８図に示すように、表示装置２５７には、ディーラー側及びプレイヤー側に配られたカードの名称、合計数値、勝敗が表示されて、トランプゲームを監視することができる。
尚、トランプゲームの自動監視システム２０１は、サーバー装置とクライアント装置とから構成され、サーバー装置とクライアント装置との間でデータを送受信するようになっている。
産業上の利用可能性
以上のように、本発明の自動作業システムによれば、人間がするような、種々状況を理解し、判断し、そして、その理解、判断に基づいて機械を操作するという作業を、自動車、航空機等の輸送機械自体が、また、起重機、ロボット等の作業機械自体が実行できて、略完全な自動運転システムが実現可能となる。
また、本発明の自動作業システムによれば、その理解、判断に基づいて過程と結果を認識するという作業を、人間と相対する、また、人間に代替する装置が実行できて、人間と相対してゲーム、手話等をする自動作業システム、人間に代替して監視、観察等をする自動監視システム等が実現可能となる。
【図面の簡単な説明】
第１図は、部品再構築法を実施する手順を示す概念図である。
第２図は、本発明の自動作業システムの概念図である。
第３図は、本発明の自動作業システムの概念図である。
第４図は、仮想モデル処理装置の処理手順を示す説明図である。
第５図は、移動する対象物を追跡して、仮想モデルを特定する方法を示す説明図である。
第６図は、断片モデルにより対象物に対応する仮想モデルを特定する方法を示す説明図である。
第７図は、自動車の自動運転システムにおける処理手順を示す説明図である。
第８図は、自動車の自動運転システムにおける仮想モデルと属性データの説明図である。
第９図は、現実世界と仮想三次元空間との対応関係を示す説明図である。
第１０図は、現実世界と仮想三次元空間との対応関係を示す概念図である。
第１１図は、仮想三次元空間における車両の位置関係を示す説明図である。
第１２図は、対向車両との衝突回避作業を示す説明図である。
第１３図は、自動運転システムの各方式を示す概念図である。
第１４図は、静止対象物モデルと移動対象物モデルとの合成方法を示す説明図である。
第１５図は、ゲーム監視装置の概略構成図である。
第１６図は、サーバー装置における表示画面を示す図である。
第１７図は、カードの断片モデルを示す説明図である。
第１８図は、クライアント装置における表示画面を示す図である。
【図１】
2003063087.tif 000003
【図２】
2003063087.tif 000004
【図３】
2003063087.tif 000005
【図４】
2003063087.tif 000006
【図５】
2003063087.tif 000007
【図６】
2003063087.tif 000008
【図７】
2003063087.tif 000009
【図８】
2003063087.tif 000010
【図９】
2003063087.tif 000011
【図１０】
2003063087.tif 000012
【図１１】
2003063087.tif 000013
【図１２】
2003063087.tif 000014
【図１３】
2003063087.tif 000015
【図１４】
2003063087.tif 000016
【図１５】
2003063087.tif 000017
【図１６】
2003063087.tif 000018
【図１７】
2003063087.tif 000019
【図１８】
2003063087.tif 000020
【手続補正書】
【提出日】平成15年4月30日(2003.4.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（補正後）現実世界における対象物の中から、目的作業に必要な複数の対象物に関する情報を取得する入力装置と、
現実世界における複数の対象物に対応して、各対象物の属性データが付与された仮想空間における複数の仮想モデルを登録、蓄積した仮想モデルデータベースと、
前記入力装置によって取得された現実世界における複数の対象物に関する情報を認識し、前記仮想モデルデータベースから、作業目的に合致した属性データを選択し、それら複数の対象物に対応する仮想モデルを特定し、現実世界における複数の対象物を、それに対応する複数の仮想モデルに置換する仮想モデル変換装置と、
現実世界における複数の対象物及びこれら対象物間の関係を、仮想空間において対応する複数の仮想モデル及びこれら仮想モデル間の関係に再構成する仮想モデル再構成装置と、
前記仮想モデル再構成装置によって再構成された仮想空間における複数の仮想モデル及びこれらの関係を基礎として、演算、処理し、複数の仮想モデル及びこれらの関係を理解、判断する仮想モデル処理装置と、
前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における所定の対象物を自動的に操作する制御装置と、
から構成される自動作業システム。
【請求項２】
（補正後）前記仮想モデルデータベースに登録される複数の仮想モデルの属性データは、対応する現実世界における複数の対象物の三次元形状とその三次元位置座標，当該対象物の移動又は変化を示す情報を含み、
前記仮想モデル変換装置は、前記入力装置で取得される現実世界における複数の対象物の情報と、前記仮想モデルデータベースに登録された対応する対象物の属性データから、目的作業に必要な複数の対象物を選択して認識し、その三次元形状を特定し、その三次元位置座標を固定し、仮想三次元空間にモデル化された仮想モデルに置換し、
前記仮想モデル再構成装置は、現実の三次元空間に存在する複数の対象物と対象物間の関係を、仮想三次元空間における複数の仮想モデルと仮想モデル間の関係に再構成し、仮想三次元空間に取り込んだリアルタイム情報を生成する請求の範囲第１項記載の自動作業システム。
【請求項３】
（補正後）前記制御装置に代えて、前記仮想モデル処理装置によって生成された理解、判断を基礎として、現実世界における過程及び結果を自動的に表示する表示装置を構成要素としたことを特徴とする請求の範囲第１項又は第２項記載の自動作業システム。
【請求項４】
（補正後）前記仮想モデル処理装置は、
前記再構成された複数の仮想モデルに関連する属性データの中から、作業目的に合致した属性データを選択、抽出し、目的属性データモデルに変換する目的属性データモデル変換装置と、
前記抽出された目的属性データモデルの関係から、作業目的に関連する意味データを生成し、意味データモデルに変換する意味データモデル変換装置と、
前記生成された意味データモデルの関係から、作業目的に関連する総合意味データを生成し、総合意味データモデルに変換する総合意味データ変換装置と、
前記生成された総合意味データモデルの中から、作業目的に最適な判断データを生成し、判断データモデルに変換して出力する判断データモデル変換装置と、
から構成されることを特徴とする請求の範囲第１項，第２項又は第３項記載の自動作業システム。
【請求項５】
（補正後）前記仮想モデルには、対象物を複数の構成要素に分割して、その構成要素をモデル化した断片モデルを含むことを特徴とする請求の範囲第１項乃至第４項記載の自動作業システム。
【請求項６】
（補正後）前記属性データには、物理量、音声、臭い等を含むことを特徴とする請求の範囲第１項乃至第５項記載の自動作業システム。
【請求項７】
（補正後）前記仮想モデル変換装置は、移動又は変化する対象物に対応する仮想モデルを特定する前に、対象物を認識して追跡し、時間の推移とともに対象物が移動又は変化する中で、仮想モデルの特定が容易な部分を捉えて、対象物に対応する仮想モデルを特定するものであることを特徴とする請求の範囲第１項乃至第６項記載の自動作業システム。
【請求項８】
（補正後）前記仮想モデル処理装置において、前記意味データモデル変換装置を複数段構成したことを特徴とする請求の範囲第１項乃至第７項記載の自動作業システム。
【請求項９】
（追加）前記自動作業システムは、自動作業システム内で又は自動作業システム間でデータを送受信できる、データ送受信装置を有するものであることを特徴とする請求の範囲第１項乃至第８項記載の自動作業システム。
【国際調査報告】
2003063087.tif 000021
2003063087.tif 000022
2003063087.tif 000023
2003063087.tif 000024
2003063087.tif 000025
2003063087.tif 000026