(57)【要約】【課題】特定の環境における人間の活動をシミュレートする合成画像を自動的に生成するためのコンピュータ装置とコンピュータ化の方法を提供する。【解決手段】プログラム命令は自然言語の形で入力される。特定のコラムがユーザーインタフェース１１で提供され、これにより、ユーザは複数組の限定候補から所望の命令要素を選択することができる。命令要素はプログラム命令を形成する。本装置はプログラム命令を分析して、命令の標準所定時間評価コードを得る。入力プログラム命令に含まれていないパラメータは自動的に生成される。合成画像は、入力プログラム命令と得られるパラメータとを用いて生成される。【選択図】  図１
2009043246.tif 000002
【特許請求の範囲】
【請求項１】
合成画像自動生成装置であって、
人間の動作をシミュレートする一連の合成画像を定義する自然言語命令をユーザが入力できる編集インタフェースを提供する命令エディタと、
前記入力自然言語命令を、特定のデジタル人間モデル型のコンピュータプログラムで実行可能な動作命令に翻訳するシミュレーション画像生成器と、
複数のシミュレーション画像ファイルを格納するためのシミュレーション画像ファイル記憶装置部を含み、一連の自然言語命令と、少なくとも１つのデジタル人間モデル型のコンピュータプログラムを格納するデジタル人間モデル型のコンピュータプログラム収納部と、を有するデータベースと、を備える合成画像自動生成装置において、
前記シミュレーション画像生成器は、ポリシー決定モジュールと、シミュレーション画像生成モジュールと、を含み、
前記ポリシー決定モジュールは、前記自然言語命令要素の属性にしたがって、前記動作に関連するパラメータを生成し、
前記パラメータは、前記人間の位置、姿勢、配向、動作の種類からなる群から選択される少なくとも１つを含み、
前記シミュレーション画像生成モジュールは、前記自然言語命令を用い、
前記ポリシー決定モジュールによって生成された前記パラメータは、前記動作命令を生成することを特徴とする合成画像自動生成装置。
【請求項２】
前記自然言語命令は、少なくとも１人のオペレータと、少なくとも１つの操作と、少なくとも１つの物体と、の記述を含むことを特徴とする請求項１に記載の合成画像自動生成装置。
【請求項３】
前記自然言語命令は、前記操作条件の記述をさらに含むことを特徴とする請求項２に記載の合成画像自動生成装置。
【請求項４】
前記編集インタフェースは、ユーザが、前記オペレータ、限定数の候補オペレータから前記操作および前記物体、候補操作、候補物体を選択できる選択コラムを提供することを特徴とする請求項２に記載の合成画像自動生成装置。
【請求項５】
前記編集インタフェースは、ユーザが、前記オペレータ、前記操作、前記物体、限定数の候補オペレータ、候補操作、候補物体、候補条件の前記操作条件を選択できる選択コラムを提供することを特徴とする請求項３に記載の合成画像自動生成装置。
【請求項６】
前記候補操作は、操作環境においてオペレータにより実行される複数の操作を含むことを特徴とする請求項４に記載の合成画像自動生成装置。
【請求項７】
前記候補操作は、操作環境においてオペレータにより実行される複数の上肢操作を含むことを特徴とする請求項６に記載の合成画像自動生成装置。
【請求項８】
前記編集インタフェースは、ユーザが、前記オペレータ、前記操作、ならびに限定数の候補オペレータ、候補操作、候補物体から前記物体を順次選択できる選択コラムを提供することを特徴とする請求項４に記載の合成画像自動生成装置。
【請求項９】
前記編集インタフェースは、ユーザが、前記オペレータ、前記操作、前記物体ならびに限定数の候補オペレータ、候補操作、候補物体、候補条件から前記条件を順次選択できる選択コラムを提供することを特徴とする請求項５に記載の合成画像自動生成装置。
【請求項１０】
前記編集インタフェースは、少なくとも１つの入力自然言語命令を表示し、ユーザが前記自然言語命令の内容を変更できるようにし、かつ自然言語命令の順序を変えることができるようにする編集ウィンドウをさらに提供することを特徴とする請求項１に記載の合成画像自動生成装置。
【請求項１１】
前記ポリシー決定モジュールは、作業領域モデルにしたがい、特定の時点で前記人間の姿勢と位置を決定することを特徴とする請求項１に記載の合成画像自動生成装置。
【請求項１２】
前記ポリシー決定モジュールは、前記作業領域モデルに定義された最大限に快適な作業ラインにしたがい、前記姿勢と位置を決定することを特徴とする請求項１１に記載の合成画像自動生成装置。
【請求項１３】
前記ポリシー決定モジュールは、集中ポリシーと非集中から成る群から選択される操作ポリシーにしたがい、かつ前記自然言語命令の内容にしたがい、特定の時点で前記人間の姿勢と位置を決定する装置であって、前記集中ポリシーは、前記オペレータが、所定の方向に面した所定の位置から前記操作を行なうことを必要とすることを特徴とする請求項２に記載の合成画像自動生成装置。
【請求項１４】
前記ポリシー決定モジュールは、集中ポリシーと非集中から成る群から選択される操作ポリシーにしたがい、かつ前記自然言語命令の内容にしたがい、前記操作における前記人間の動作の経路を決定する装置であって、前記集中ポリシーは、前記オペレータが、所定の方向に面した所定の位置から前記操作を行なうことを必要とすることを特徴とする請求項２に記載の合成画像自動生成装置。
【請求項１５】
前記集中ポリシーの前記人間の動作の経路は、前記人間の向きを転換し、前記人間を前方へ動かし、物体に向き合わせるため前記人間の向きを転換する動作を含む前記ポリシー決定モジュールで決定されることを特徴とする請求項１４に記載の合成画像自動生成装置。
【請求項１６】
前記非集中ポリシーの前記人間の動作の経路は、前記人間の向きを転換し、前記人間を物体に移動させる動作を含む前記ポリシー決定モジュールで決定されることを特徴とする請求項１４に記載の合成画像自動生成装置。
【請求項１７】
前記自然言語命令に含まれるエラーを検出するためのエラー検出モジュールをさらに含むことを特徴とする請求項１に記載の合成画像自動生成装置。
【請求項１８】
人間の動作をシミュレートする一連の合成画像を定義する自然言語命令をユーザが入力できるようにした編集インタフェースを提供する命令エディタと、
前記合成画像の生成において、デジタル人間モデル型のコンピュータプログラムで用いられる標準所定時間評価システムに定義された、前記入力自然言語命令をコードに変換する命令翻訳器と、を備える装置であって、
前記命令翻訳器は、前記変数翻訳器が、前記自然言語命令に含まれる属性情報にしたがい、前記入力自然言語命令を前記標準所定時間評価コードに変換するために検索テーブルを用いる可変翻訳器を含むことを特徴とする合成画像自動生成装置。
【請求項１９】
前記自然言語命令は、少なくとも１人のオペレータと、少なくとも１つの操作と、少なくとも１つの物体と、の記述を含むことを特徴とする請求項１８に記載の合成画像自動生成装置。
【請求項２０】
前記自然言語命令は、前記操作条件の記述をさらに含むことを特徴とする請求項１９に記載の合成画像自動生成装置。
【請求項２１】
前記編集インタフェースは、ユーザが、限定数の候補オペレータ、候補操作、候補物体から、前記オペレータ、前記操作、前記物体を選択できる選択コラムを提供することを特徴とする請求項１９に記載の合成画像自動生成装置。
【請求項２２】
前記編集インタフェースは、ユーザが、限定数の候補オペレータ、候補操作、候補物体、候補条件から、前記オペレータ、前記操作、前記物体、前記候補条件を選択できる選択コラムを提供することを特徴とする請求項２０に記載の合成画像自動生成装置。
【請求項２３】
前記候補操作は、操作環境においてオペレータにより実行される複数の操作を含むことを特徴とする請求項２１に記載の合成画像自動生成装置。
【請求項２４】
前記候補操作は、操作環境においてオペレータにより実行される複数の上肢操作を含むことを特徴とする請求項２３に記載の合成画像自動生成装置。
【請求項２５】
前記編集インタフェースは、ユーザが、限定数の候補オペレータ、候補操作、候補物体から前記オペレータ、前記操作、および前記物体を順次選択できる選択コラムを提供することを特徴とする請求項２１に記載の合成画像自動生成装置。
【請求項２６】
前記編集インタフェースは、ユーザが、限定数の候補オペレータ、候補操作、候補物体、候補条件から前記オペレータ、前記操作、前記物体、前記候補条件を順次選択できる選択コラムを提供することを特徴とする請求項２２に記載の合成画像自動生成装置。
【請求項２７】
前記編集インタフェースは、少なくとも１つの入力自然言語命令を表示し、ユーザが前記自然言語命令の内容を変更できるようにし、かつ自然言語命令の順序を変えることができるようにする編集ウィンドウをさらに提供することを特徴とする請求項１８に記載の合成画像自動生成装置。
【請求項２８】
前記自然言語命令に含まれるエラーを検出するためのエラー検出モジュールをさらに含むことを特徴とする請求項１８に記載の合成画像自動生成装置。
【請求項２９】
合成画像自動生成方法であって、
コンピュータ装置の編集インタフェースから、少なくとも人間記述と、少なくとも物体記述と、少なくとも操作記述と、の動作の要素を含む１組の自然言語命令を取得する工程と、
前記自然言語命令に含まれる前記動作の要素の属性を決定する工程と、
前記得られる属性情報にしたがい、前記操作において前記人間の動作パラメータを生成する工程と、を含み、
前記動作パラメータは、前記操作における前記人間の位置、姿勢、配向、および前記操作における前記人間の動作の速度と経路からなる群から選択される少なくとも１つを定義する情報を含み、
前記自然言語命令および前記動作パラメータにしたがい、デジタル人間モデル型のコンピュータプログラムで実行可能な動作命令を生成する工程と、
一連の合成画像を生成するために、前記デジタル人間モデル型のコンピュータプログラムで前記動作命令を実行する工程と、を含むことを特徴とする合成画像自動生成方法。
【請求項３０】
前記動作要素の前記属性は、前記編集インタフェースで定義されたコラムで提供された情報にしたがい決定されることを特徴とする請求項２９に記載の合成画像自動生成の方法。
【請求項３１】
前記人間の位置と姿勢は、作業領域モデルを用いることにより決定されることを特徴とする請求項２９に記載の合成画像自動生成の方法。
【請求項３２】
前記人間の位置と姿勢は、前記作業領域モデルに定義された最大限に快適な作業ラインにしたがい決定されることを特徴とする請求項３１に記載の合成画像自動生成の方法。
【請求項３３】
特定の時点における前記人間の姿勢と位置は、集中ポリシーと非集中から成る群から選択される操作ポリシーにしたがい、かつ前記自然言語命令の内容にしたがい決定され、前記集中ポリシーは、前記オペレータが、所定の方向に面した所定の位置から前記操作を行なうことを必要とすることを特徴とする請求項２９に記載の合成画像自動生成の方法。
【請求項３４】
前記操作における前記人間の動作の経路は、集中ポリシーと非集中ポリシーから成る群から選択される操作ポリシーにしたがい、かつ前記自然言語命令の内容にしたがい決定され、前記集中ポリシーは、前記オペレータが、所定の方向に面した所定の位置から前記操作を行なうことを必要とすることを特徴とする請求項２９に記載の合成画像自動生成の方法。
【請求項３５】
前記集中ポリシーの前記人間の動作の経路は、前記人間の向きを転換し、前記人間を前方へ動かし、物体に向き合わせるため前記人間の向きを転換する動作を含むことを特徴とする請求項３４に記載の合成画像自動生成の方法。
【請求項３６】
前記非集中ポリシーにおける前記人間の動作の前記経路は、前記人間の向きを転換し、前記人間を物体に移動させる動作を含むことを特徴とする請求項３４に記載の合成画像自動生成の方法。
【請求項３７】
前記生成された画像を、２つのキーフレーム対の各組間で中間像を生成するためにキーフレームとして用いる工程をさらに含むことを特徴とする請求項３４に記載の合成画像自動生成の方法。
【請求項３８】
前記中間像は挿入により生成されることを特徴とする請求項３４に記載の合成画像自動生成の方法。
【請求項３９】
前記入力自然言語命令におけるエラーを検出する工程をさらに含むことを特徴とする請求項２９に記載の合成画像自動生成の方法。
【請求項４０】
合成画像自動生成の方法であって、
コンピュータ装置の編集インタフェースから、少なくとも人間記述と、少なくとも物体記述と、少なくとも操作記述との動作要素を含む、１組の自然言語命令を取得する工程と、
検索テーブル操作において、前記操作記述のコードを自然言語命令で得る工程と、
前記検索テーブルは、前記動作要素と、標準所定時間評価システムで定義されたコードとの間の対応する関係を定義する工程と、
前記動作要素の属性にしたがい、前記標準所定時間評価システムにおいて、前記動作要素の操作状況コードを前記検索テーブルから得る工程と、
前記編集インタフェースで提供されたコラムで定義された属性情報にしたがい、前記属性が決定される工程と、
前記人間の位置情報と、デジタル人間モデル型のコンピュータプログラムからの前記物体の位置情報とを得る工程と、
前記位置情報を用いて距離情報を得るために計算する工程と、
前記標準所定時間評価システム内の前記距離情報に対応する前記検索テーブル距離コードから得る工程と、
前記命令コードと、前記操作状況コードと、前記距離コードとを標準所定時間評価コードとして出力する工程と、を含むことを特徴とする合成画像自動生成の方法。
【請求項４１】
前記デジタル人間モデル型のコンピュータプログラムで合成画像を生成するために、前記標準所定時間評価コードを実行する工程をさらに含むことを特徴とする請求項４０に記載の合成画像自動生成の方法。
【請求項４２】
前記生成された画像を、２つのキーフレーム間の各組で中間像を生成するためにキーフレームとして用いる工程をさらに含むことを特徴とする請求項４１に記載の合成画像自動生成の方法。
【請求項４３】
前記中間像は挿入により生成されることを特徴とする請求項４２に記載の合成画像自動生成の方法。
【請求項４４】
前記入力自然言語命令におけるエラーを検出する工程をさらに含むことを特徴とする請求項３９に記載の合成画像自動生成の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は合成画像自動生成装置と、かかる装置を用いて合成画像を自動的に発生させる方法に関し、特に装置と、人間の活動および必要に応じて関連する物体の動作をシミュレートする合成画像を自動的に発生させる方法に関する。本発明は、自然言語で書かれたプログラミング命令により、人間と関連する物体の動作をシミュレートする合成画像を自動的に発生させ、コンピュータ装置のディスプレイ装置に合成画像を表示するための装置と方法を提供する。本発明では、ユーザが直感的な態様でプログラム命令を入力できる対話型のユーザーインタフェースが提供される。プログラム命令は、特定の環境における人間と関連する物体の動作の合成画像を定義する。
【背景技術】
【０００２】
コンピュータ装置動作速度の継続的な向上および表示技術の著しい発達のおかげで、近年では表示機器におけるあらゆる種類の合成画像の生成が可能となった。動作シミュレーション技術または画像合成技術は、評価または娯楽のためにコンピュータ表示機器でシミュレーション画像を生成する目的で、種々の用途において広く用いられるようになった。これらの多くの用途の中でも人間工学的評価は、画像合成技術の最も重要で新たに開発された用途の１つである。
【０００３】
人間工学的評価とは、人間のオペレータによって特定の心理学的、生物学的、物理的な条件下で操作が実行される場合に、操作上考えうる影響または費用を評価することである。人間工学的評価とは、人間の活動の適切な生産工程または順序の設計を助け、これにより人間の活動における不測の出来事を防ぎ、活動の効率、円滑さ、安全性を充実させるものである。
【０００４】
従来技術における技術的な制限により、新製品の生産工程における人間工学的評価は、新製品の大量生産の直前段階でのみ実行されている。しかしこの段階では既に、製品の詳細な設計は成熟状態である。人間工学的評価の結果が、例えば新製品の製造工程の変更時に有用な提案を提供することができても、示唆された技術的な変更はかなりのコストと犠牲を払うことになりうる。製造工程の変更にかかるコストが開発費より高くなる事例さえある。
【０００５】
コンピュータ支援設計（ＣＡＤ）技術および対話型のバーチャルリアリティ評価技術の成功は、人間工学的評価技術に有用なツールを提供してきた。ＣＡＤツールと対話型のバーチャルリアリティ評価ソフトウェアのおかげで現在、設計技師は製品設計の初期段階で製造および個々のオペレータの違いによる特定の環境を考慮に入れ、製造工程を評価できるようになった。現在の人間工学的評価技術において「デジタル人間モデル型」ツールは、人間の活動と関連する物体の動作とをシミュレートし、その一連の画像を表示装置に表示するために、コンピュータを用いて画像を生成する。新製品の生産において、設計技師がオペレータの操作をシミュレートできるように複数のデジタル人間モデル型ツールが発表され、市場に提供されてきた。最も人気のあるデジタル人間モデル型の製品の一つとして、Ｄａｓｓａｕｌｔ  Ｓｙｓｔｅｍｓ社製の「ＤＥＬＭＩＡ（登録商標）  ｅＭａｎｕｆａｃｔｕｒｉｎｇ  Ｓｙｔｓｅｍ」があげられる。
【０００６】
これら市販のデジタル人間モデル型の製品は、シミュレーション画像の外観において芸術的なデザインを提供することができるが、画像要素の変化と有用な評価における細密で平滑な制御、ならびにシミュレーション画像の生成に続く有用な用途という点では、ユーザにとって操作しやすいものではない。換言すると、所望のシミュレーション画像を生成するためには、デジタル人間モデル型ツールが合成画像を生成する際、あるいはプロの動画設計技師が合成画像を設計する際に、高価な合成画像生成機器が必要となる。しかしながら適切な合成画像を生成するためには、技術者は画像を生成した後、その修正と微調整に大部分の時間を費やす。その結果、日常の動作のほとんどで、高価な機器の購入および生成画像の調整に多くの投資が費やされる。さらに生成画像を変更する際、技術者には客観的な規則や従うべき規格がない。単に自身の経験と知識により画像を調整するだけである。得られる合成画像は標準化されておらず、よって必ずしも正しいわけではない。
【０００７】
しかしながら、ほとんどの市販のデジタル人間モデル型ツールの提供業者は、ソフトウェアのユーザを、人間の構造、工場のレイアウト、生産技術を十分理解した人間工学的な専門家であるとみなしている。したがってこれらのツールでは、ユーザは一連の動画の生成前にすべての制御パラメータを詳細に入力することが必要とされる。このため、このような知識を有しない人にとって、これらのデジタル人間モデル型ツールを用いることはできない。
【０００８】
デジタル人間モデル型の関連技術において、「標準所定時間評価」は合成画像生成に重要な工程である。デジタル人間モデル型ツールで生成された合成画像は、特定の環境で人間の活動をシミュレートする動画の一部を形成する一連の画像である。一連の合成画像における標準所定時間評価は正しいシミュレーション動画の生成において必要である。デジタル人間モデル型の技術分野において、ＭＴＭ−１Ａ、ＭＴＭ  ＵＡＳ、Ｗｏｒｋ  Ｆａｃｔｏｒ  Ｓｙｓｔｅｍを含むＭｅｔｈｏｄｓ−Ｔｉｍｅ  Ｍｅａｓｕｒｅｍｅｎｔ  Ａｓｓｏｃｉａｔｉｏｎ（ＭＴＭ協会）によって提供される所定時間評価システムは、標準所定時間評価システムとして広く受け入れられている。これらの標準時間評価装置において、操作環境で起こりうる人間の動作は、その特性または属性によりいくつかのタイプに分類され、それぞれのタイプに標準所定時間評価コードが与えられる。しかしながら、従来のデジタル人間モデル型ツールの用途においては、ユーザの個人的な経験と知識により標準所定時間評価コードが動作タイプに与えられる。このようなコード化によって不要な相違がもたらされる。既存のデジタル人間モデル型の製品には、自動の標準所定時間評価ツールが提供されないものもある。
【０００９】
この結果、人間の活動および関連する物体の動作をシミュレートする合成画像を生成するために、新規な合成画像自動生成装置を提供することが必要となる。
装置の使用に特定の人間工学の知識を必要としない合成画像自動生成装置を提供することもまた必要である。
【００１０】
個々のユーザの差異によりもたらされる合成画像の相違を排除できる合成画像自動生成装置を提供することもまた必要である。
自然言語命令により直接、合成画像を生成する合成画像自動生成装置を提供することもまた必要である。
自然言語命令により標準所定時間評価コードを自動的に提供する合成画像自動生成装置を提供することもまた必要である。
【００１１】
人間の動作をシミュレートする合成画像の必要なパラメータを自動的に決定する合成画像自動生成装置を提供することもまた必要である。
上記の装置において、人間および関連する物体の動作をシミュレートする合成画像を自動的に生成する新規な合成画像自動生成装置を提供することもまた必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、人間および関連する物体の動作をシミュレートする合成画像を生成するための新規な合成画像自動生成装置を提供することである。
本発明の他の目的は、装置の使用に人間工学の特定の知識を必要としない合成画像自動生成装置を提供することである。
本発明のさらに他の目的は、個々のユーザの差異により生成される合成画像の相違を排除できる合成画像自動生成装置を提供することである。
【００１３】
本発明のさらに他の目的は、自然言語命令により直接合成画像を生成する合成画像自動生成装置を提供することである。
本発明のさらに他の目的は、自然言語命令により標準所定時間評価コードを自動的に提供する合成画像自動生成装置を提供することである。
本発明のさらに他の目的は、人間の動作をシミュレートする合成画像の必要なパラメータを自動的に決定する合成画像自動生成装置を提供することである。
【００１４】
本発明の他の目的は、上述された装置で、人間および関連する物体の動作をシミュレートする合成画像を自動的に生成するための新規な合成画像自動生成装置を提供することである。
【課題を解決するための手段】
【００１５】
本発明によると、人間の活動をシミュレートする合成動画の自動生成装置および方法が提供される。本発明の合成画像自動生成装置は、特定の環境で一定の操作が実行されるときの人間および関連する物体の動作をシミュレートする合成画像を生成するために用いられる。発明された装置は、ユーザが入力する人間または人間の各部分、人間の活動、活動に関連する物体、人間および物体の相互作用を表す自然言語の一連の命令にしたがって、人間の活動のシミュレーション画像を自動的に生成する。このように生成された合成画像は、発明された装置またはデジタル人間モデル型ツールに組み込まれたコンピュータ装置に接続される表示装置に表示される。
【００１６】
本発明の一態様によると、合成画像自動生成装置構成は、命令エディタと、シミュレーション画像生成器と、データベースとを含む。
本発明の他の態様によると、合成画像自動生成装置構成は、命令エディタと、命令翻訳器と、データベースとを含む。
【００１７】
命令エディタは編集インタフェースを提供し、これによりユーザは編集インタフェースを介して自然言語命令を入力できる。自然言語命令は、人間の活動、たとえば人間および関連する物体の動作をシミュレートする合成画像を定義する。本発明の態様において編集インタフェースは、コラム選択機構を提供し、これによりユーザは自然言語命令を形成するために、オペレータ、操作、および／または物体を定義する必要な動作要素を、オペレータ−＞操作−＞物体−＞物体の記述−＞オペレータの記述、の順序で選択することができる。本発明のいくつかの態様では、ある種の選択可能な操作の操作状況に依存して、操作の種類を最初に選択するときは、限定された所定のコラムのみから他の動作要素を選択する可能性をユーザに提供することによって、コラムにおける選択の自由を限定する。編集インタフェースはまた編集コラムを提供してもよく、これによりユーザは、現存する自然言語命令を変更できる。このように入力された一連の自然言語命令は、合成動画ファイルとして含まれる。
【００１８】
命令翻訳器は、ユーザによって入力された自然言語命令を、自然言語命令で定義される動作の特性または属性にしたがって、特定の標準所定時間装置の標準所定時間評価コードに自動的に変換する。標準所定時間評価コードは、シミュレーション画像の生成のベースとして、デジタル人間モデル型ツールに提供される。これらのコードはまた、参考のためにユーザに提供される。命令翻訳器は、変数インタプリタと、エラー検出モジュールと、標準ユニット時間モジュールと、を含む。変数インタプリタは、命令エディタによって提供される自然言語命令を、デジタル人間モデル型ツールで用いられる標準所定時間評価システムの標準所定時間評価コードに変換するために用いられ、これによりデジタル人間モデル型システムによる自然言語命令に対応するシミュレーション画像生成時の持続時間と時間枠が決定できる。エラー検出モジュールは、ユーザによる自然言語命令入力におけるエラーを検出するために用いられる。標準ユニット時間モジュールは、シミュレーション動作の速度を決定するベースとして用いられる標準ユニット時間を提供する。
【００１９】
シミュレーション画像生成器は自然言語命令を、デジタル人間モデル型ツールで実行可能な動作命令に変換する。デジタル人間モデル型ツールが動作命令を実行するとき、本発明の編集インタフェースまたは他のコンピュータの表示装置には、一連の合成画像が生成され表示される。シミュレーション画像生成器はポリシー決定モジュールと、シミュレーション画像生成モジュールとを含む。ポリシー決定モジュールは、シミュレーション画像を生成する際に、自然言語命令における動作要素の属性にしたがって、姿勢、配向、動作タイプ、速度、その他の必要なパラメータを決定する。シミュレーション画像生成モジュールはポリシー決定モジュールで生成されるパラメータを参照し、デジタル人間モデル装置の表示装置で合成画像を生成するために、特定のデジタル人間モデル型ツールで実行可能なプログラム命令を生成する。
【００２０】
データベースは合成動画ファイル収納部と、デジタル人間モデル型のプログラム収納部と、人間テンプレートデータベースと、物体テンプレートデータベースと、を含む。合成動画ファイル収納部は、複数の合成動画ファイルを保存するために使用される。デジタル人間モデルプログラム収納部は、少なくとも１個のデジタル人間モデル型ツールを収納するために用いられる。人間テンプレートデータベースは、人間または人間の各部分の外観ならびに人間または四肢のデジタルシミュレーション画像の部分を含む複数の動画ファイル等の複数のデジタルテンプレートを収納するために用いられる。物体テンプレートデータベースは、複数の物体の外観のデジタルテンプレートを収納するために用いられる。
【００２１】
本発明の合成画像自動生成方法は、デジタル人間モデル型ツールに組み込まれたコンピュータ装置で人間および関連する物体の動作をシミュレートする合成画像を生成する。
【００２２】
合成画像の生成工程は、
それぞれが、少なくとも人間記述、少なくとも物体記述、少なくとも操作記述の動作要素を含む１組の自然言語命令を取得することと、
かかる自然言語命令に含まれる動作要素の属性を決定することと、
得られる属性にしたがって、操作における人間と物体の動作ポリシー情報を生成することと、を含み、
ここで動作ポリシー情報は、人間の姿勢と配向、物体の配向、人間および物体の動作の速度と経路からなる群から選択される少なくとも１つの記述を含み、
得られる動作ポリシー情報を用い、自然言語命令に対応する動作命令を生成することと、
合成画像を生成するためにデジタル人間モデル型ツールにおける動作命令を実行することと、を含む。
【００２３】
本発明はまた、複数の合成画像を生成し、この複数の合成画像をキーフレームとして動画を形成する方法を提供する。
【００２４】
本発明の他の態様において、合成画像の生成工程は、
それぞれが少なくとも人間記述、少なくとも物体記述、少なくとも操作記述の動作要素を含む、１組の自然言語命令を取得することと、
かかる自然言語命令に含まれた動作要素の属性を決定することと、
このように得られる属性にしたがって、特定の標準所定時間評価システムで、かかる自然言語命令の標準所定時間評価コードを生成することと、
標準ユニット時間を提供することと、
得られる標準所定時間評価コードを用いて自然言語命令に対応する動作命令を生成することと、
合成画像を生成するデジタル人間モデル型ツールで動作命令を実行することと、を含む。
【００２５】
本発明の他の態様において、生成された動作命令は、コンピュータプログラムであるデジタル人間モデル型ツールで実行可能な動作パラメータを含む。
本発明の合成画像生成装置およびその方法は、操作環境における人間の活動をシミュレートする合成動画を生成するために有用であるだけではなく、動画におけるシミュレーション画像の生成においても有用である。発明された装置および方法がシミュレートできる動作は、人間の動作に制限されるものではない。発明された装置および方法はたとえば、動物および他の物体の動作をシミュレートする合成画像を生成することができる。本発明はさらに、必要な微修正を行い人型ロボットの制御にも適用できる。
【００２６】
本発明は、自然言語命令にしたがって人間の活動をシミュレートする合成画像を自動的に生成する合成画像自動生成装置とその方法を提供する。本発明はまた、自然言語命令用の標準所定時間評価コードを自動的に生成する機能を提供する。本発明によりユーザは、自然言語の形で人間および関連する物体の動作を定義するプログラム命令を入力または変更できるとともに、デジタル人間モデル型のアプリケーションプログラム、好ましくは３次元デジタル人間モデル型ツールを組み込んだ、コンピュータ装置における動作のシミュレーション画像を自動的に生成することができる。本発明は、一連の自然言語命令を含む合成動画ファイルを作成、変更できる編集インタフェースをユーザに提供する。本発明は自然言語命令を、特定のデジタル人間モデル型ツールで実行可能な動作命令に自動的に変換する。デジタル人間モデル型ツールを用いると、ユーザは合成動画ファイルの作成に能力または知識を必要としない。本発明は簡易かつ自然な合成動画ファイルの生成を可能にする。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態を図面に基づいて説明する。
人間および関連する物体の動作をシミュレートする合成画像の生成に有用なデジタル人間モデル型ツールは複数あるが、Ｄａｓｓａｕｌｔ  Ｓｙｓｔｅｍｓ社製のＤＥＬＭＩＡＲ  ｅＭａｎｕｆａｃｔｕｒｉｎｇ  Ｓｙｓｔｅｍは、新製品の設計から生産まで全段階を網羅する有用なプランニングおよび評価ツールを提供する。かかる製品をデジタル人間モデル型ツールとして本発明の実施形態に用いてもよい。その設計、用途、機能の内容は本明細書に参考のため含まれる。たとえばデジタル人間モデル型ツールとしてＤＥＬＭＩＡ  Ｓｙｓｔｅｍの実施形態を示すことにより、本発明の一実施形態を以下に説明する。同様の機能を提供する他のデジタル人間モデル型ツールを本発明の他の実施形態で使用することもまた可能であることを理解されたい。
【００２８】
図１は本発明の一実施形態の合成画像自動生成装置のブロック図を示す。この図に示されるように、本実施形態の合成画像自動生成装置は、命令エディタ１０と、命令翻訳器２０と、シミュレーション画像生成器３０と、データベース４０と、を含む。
【００２９】
この中で命令エディタ１０は、編集インタフェース１１を提供し、これによりユーザは、編集インタフェース１１を介して自然言語命令を入力することができる。自然言語命令は、特定の環境で一定の操作が実行されるとき、人間と関連する物体の動作の合成画像を定義する。一連の自然言語命令は合成動画ファイルとして集められる。命令翻訳器２０は、自然言語命令で定義される動作の特性または属性にしたがって、自然言語命令を特定の標準所定時間装置の標準所定時間評価コードに自動的に変換する。標準所定時間評価コードは、合成画像生成のベースとして用いるためにデジタル人間モデル型ツールに提供される。
【００３０】
シミュレーション画像生成器３０は、自然言語命令をデジタル人間モデル型ツールで実行可能な動作命令に変換する。デジタル人間モデル型ツールが自然言語命令を実行するとき、人間の活動をシミュレートする一連の合成画像が生成され、編集インタフェースまたは他のコンピュータの表示装置に表示できる。多くの事例で動作命令は、常にコンピュータプログラムであり、デジタル人間モデル型ツールで実行可能な動作パラメータである。
データベース４０は、合成動画ファイル収納部４１と、デジタル人間モデル型ツール保管部４２と、人間テンプレートデータベース４３と、物体テンプレートデータベース４４と、を含む。
【００３１】
合成動画ファイル収納部４１はユーザによって作成された複数の合成動画ファイルを格納する。デジタル人間モデル型ツール保管部４２は、少なくとも１つのデジタル人間モデル型のアプリケーションプログラムを格納する。人間テンプレートデータベース４３は、人間または人間の各部分の外観を定義する複数のデジタルテンプレートと、人間または四肢の動作を示すデジタルシミュレーション画像を有する複数の合成動画ファイルと、を収納するために用いられる。物体テンプレートデータベース４４は、複数の物体の外観のデジタルテンプレートを収納するために用いられる。
【００３２】
また、図１に示されるように命令翻訳器２０は、変数インタプリタモジュール２１と、エラー検出モジュール２２と、標準ユニット時間モジュール２３と、複数の検索テーブル２４と、を含む。変数インタプリタ２１は、命令エディタ１０によって提供される自然言語命令を、デジタル人間モデル型ツールで用いられる標準所定時間装置で、標準所定時間評価コードに変換するために検索テーブル２４を用いる。これにより、デジタル人間モデル型システムによる自然言語命令に対応するシミュレーション画像生成時の持続時間と時間枠が決定できる。標準ユニット時間モジュール２３は、シミュレーション動作の速度を決定するベースとして用いられる標準ユニット時間を提供する。検索テーブル２４は、自然言語命令の動作要素と、自然言語命令で示される操作の操作状況を定義する対応する変数との関係を定義する。
【００３３】
図１はまた、シミュレーション画像生成器３０が、ポリシー決定モジュール３１と、シミュレーション画像生成モジュール３２と、を含むことを示す。
ポリシー決定モジュール３１は、自然言語命令の動作要素属性にしたがって、姿勢、配向、動作タイプ、速度、その他のシミュレーション画像生成における人間および関連する物体の必要なパラメータなどの動作ポリシーを決定する。
シミュレーション画像生成モジュール３２は、ポリシー決定モジュール３１により提供された情報を参照し、デジタル人間モデル型ツールを組み込んだコンピュータの表示装置で合成画像を生成するために、特定のデジタル人間モデル型ツールで実行可能な動作命令を生成する。シミュレーション画像生成モジュール３２は、合成画像を生成するために、人間テンプレートデータベース４３に格納される人間テンプレートおよび物体テンプレートデータベース４４に格納される物体テンプレートを用いてもよい。
【００３４】
以下に、各モジュールの構造、操作、機能を示す。
（命令エディタ１０）
本実施形態の合成画像自動生成装置は編集インタフェース１１を提供するものであり、これによりユーザは、人間および関連する物体の動作を定義する、特定の環境で実行される操作を記述するための自然言語命令を合成画像自動生成装置に入力することができる。自然言語命令使用の利点として、ユーザは操作中の人間および関連する物体の動作を直感的な態様で記述しうること、このように入力された命令を他人が容易に理解しうること、人間のコミュニケーションで直接使えること、があげられる。
【００３５】
本発明の一般概念は、プログラム命令または命令文を生成するために、ユーザが自然言語命令を用いることができるツールを作成することである。複数のプログラム命令または命令文は、人間の活動における一連の連続的な動作を説明する命令パラグラフを形成する。
本発明の範囲を限定することを意図するものではないが、発明者らは、工場でのオペレータの操作などの特定の環境における人間の活動の記述には、操作に関連するオペレータの識別、操作の記述、物体の識別を含むことを見出した。さらに操作の特性に依存して、オペレータおよび／または物体の記述が必要となろう。そのうえ特定の環境における人々の活動は、一定のタイプの日常操作に制限される。
【００３６】
工場でのオペレータの活動はたとえば、「取り出し」、「移動」、「下ろす」、「点検」、「前に進む」、「よける」等の操作のみを含むであろう。本実施形態において、表１は、操作環境におけるオペレータの活動を示すために用いられる動作要素を示す。この表では、「オペレータ」の記述は、オペレータの名前またはＩＤである。「操作」は上記の７タイプの操作を含む。「物体」は操作の目標物である。物体は、ツール、生成物、生成物の部分などのデジタル人間モデル型ツールで定義された物体である。
【００３７】
「物体の記述」は操作の第２目標を示す。例えば、「下ろす」操作で「物体」は、「下ろす」操作時点でオペレータによって移動される物体であり、「物体記述」は、オペレータによって移動された物体が下に置かれる場合の定位に置かれた物体である。「物体記述」は、デジタル人間モデル型ツールによって定義された物体である。「オペレータ記述」については、オペレータが操作中に用いる手を意味するものであり、右手、左手、両手であってもよい。「オペレータ」、「操作」、「物体」、「物体記述」、「オペレータ記述」は、本実施形態における自然言語命令の「動作要素」と呼ばれる。
【００３８】
【表１】
2009043246.tif 000003
【００３９】
図２は本実施形態の編集インタフェース１１の一例を示す。図に示されるように本実施形態の編集インタフェース１１では、動作要素のカテゴリに対応する複数のコラム２０１〜２０５が提供され、これによりユーザはコラムで提供された選択可能な動作要素から所望の動作要素を選択できる。ユーザは所定の順序において動作要素を選択できる。本装置によりユーザはたとえば、「オペレータ」、「操作」、「物体」、「物体記述」、「オペレータ記述」という順序で動作要素を選択できる。
【００４０】
第一段階としてそのような事例でユーザは、第１コラム２０１、「オペレータ」コラムで、操作中の所望のオペレータの名前またはＩＤを選択する。これに応じて、第２コラム２０２「操作」コラムで選択可能な操作が表示され、ユーザはコラム２０２で所望の操作を選択できる。その後、第３のコラム２０３「物体」コラムは選択可能な物体を表示する。選択された操作の特性に依存して、前のコラムの選択に続き、選択可能なコラムだけが表示される。
【００４１】
ユーザがたとえば「操作」「取り出し」「点検」操作を選択した後には、「物体」コラム２０３と「オペレータ記述」コラム２０５だけが示される。選択可能な物体は操作、取り出し、点検の目標物であり、操作環境におけるツールまたは一物体であってもよい。「オペレータ記述」コラム２０５は、オペレータが物体を操作、取り出し、点検するために用いる手または両手を提供する。
【００４２】
一方、ユーザが「移動」または「下ろす」操作を選択した後には、選択可能なコラムは、「物体」コラム２０３と、「物体記述」コラム２０４と「オペレータ記述」コラム２０５となる。ここで「物体記述」コラム２０４の選択可能な要素は、選択された物体が置かれる、または選択された物体が移動される定位に置かれた物体である。ユーザが「操作」コラム２０２において「前に進む」または「よける」操作を選択すると、「物体」コラム２０３の内容だけが示される。ここで物体とは、オペレータ自身が動く場所に置かれた物体を意味する。
【００４３】
上で説明した配列、制限、および選択の順序は当然、本発明を技術的に制限するものではない。オペレータの選択可能な「操作」は、上で説明したように７つのタイプに制限されるものではない。オペレータの可能な活動を定義するために、７以上または７以下のタイプの操作を行なうことができる。本発明の用途における必要性にしたがい、同様の結果を得るために当業者は、コラムの数、タイプ、内容を決定することができる。
【００４４】
上で説明した編集インタフェース１１によりユーザは、直感的な態様でオペレータの活動を記述すること、ならびにオペレータの活動における動作の記述における標準書式を提供することが可能となる。本実施形態で生成されたプログラム命令は、自然言語システム内のように「文」の標準形式である。ユーザによって入力された命令文は統一されており、これにより、異なる書き込み（ユーザ）により入力された命令文の相違を避けることができる。
【００４５】
ユーザが編集インタフェース１１にプログラム命令または命令文を入力すると、命令エディタ１０が入力命令を記録する。一連の入力命令または命令文の記録は、一連の操作の記述を形成する。これらの命令文はコンピュータプログラムを形成し、これに基づき連続動作画像が生成される。
【００４６】
たとえばユーザが、コラムから動作要素「オペレータＡ」、「取り出し」、「箱」、「テーブル」、「両手で」を選択すると、「オペレータＡはテーブル上の箱を両手で取り出す。」という命令文が記録される。
ユーザが、「オペレータＡ」、「前に進む」、「カート」という次の動作要素を選択する。
選択の結果、「オペレータＡはカートに向かって前進する。」という命令文が記録される。
ユーザは次に、「操作者Ａ」、「下ろす」、「箱」、「カート」、「両手で」という動作要素を選択する。
選択の結果として、「オペレータＡは両手で箱をカートの中に降ろし入れる。」という命令文が記録される。
【００４７】
この結果、オペレータＡの活動の３つの命令文を含む記述が記録される。記録された命令は自然言語であり、すべての人に容易に理解できるものである。さらに、動作要素の属性が命令文に含まれたのでプログラム命令は、コンピュータ装置で実行されるデジタル人間モデル型ツールで実行されるプログラム命令に容易に翻訳できる。
【００４８】
具体的には、本実施形態において動作要素の属性は、編集インタフェース１１のコラム２０１〜２０５により定義される。命令文の要素は、オペレータ、操作、物体としての属性で容易に特定できる。命令文に含まれる物体は、デジタル人間モデル型ツールで定義されるデジタル物体に対応する。対応するデジタル物体の記述は、デジタル人間モデル型ツールに関連するファイルで見ることができる。結果として命令文は全て、関連する操作におけるデジタル人間およびデジタル物体の動作を充分記述するものである。
【００４９】
命令文における動作要素の順序は、自然言語ごとに異なることもありえる。自然言語要素順序変換技術は、得られる命令文を特定の自然言語のユーザが理解できるようにするために動作要素の順序を変更するのに役立つであろう。
【００５０】
本発明の他の実施形態では、編集インタフェース１１に編集ウィンドウ２０６が提供される。編集ウィンドウ２０６では、記録された動作命令文がその順序で表示できる。この編集ウィンドウ２０６によりユーザは、命令文の内容、パラメータ、順序を変更できる。文書処理ソフトウェア、または編集インタフェース１１の入力コラム２０１〜２０５に文をコピーすることによって編集を行なうことができる。一連の命令文にはファイル名が与えられ、合成動画ファイルとして保存される。このようにして自然言語の合成動画ファイルが得られる。ファイルは、変換または他の人々の参考のために命令翻訳器２０に提供されてもよい。命令文の編集、修正、構成技術は当業者には既知である。よって詳細な説明を省略する。
【００５１】
（命令翻訳器２０）
上で説明したように本発明の命令翻訳器２０は、変数インタプリタモジュール２１と、エラー検出モジュール２２と、標準ユニット時間モジュール２３と、複数の検索テーブル２４と、を含む。変数インタプリタモジュール２１は、命令エディタ１０から対応するコードに入力された自然言語命令を、特定のデジタル人間モデル型ツールで用いられる標準所定時間評価システムで、複数の検索テーブル２４を用いて変換する。エラー検出モジュール２２は入力自然言語命令におけるエラーを検出し、ユーザに修正を喚起するために警告メッセージを生成する。エラー検出モジュール２２はまた、連続した相関関係のある命令を特定し、グループとして定義することができる。
【００５２】
標準ユニット時間モジュール２３は、操作の速度を決定する際に自然言語命令で標準ユニット時間を提供する。複数の検索テーブル２４は、自然言語命令の動作要素と、操作の操作状況を定義する対応する変数との間で少なくとも相関関係を定義する。
命令翻訳器２０のブロック図を図１に示す。
【００５３】
命令翻訳器２０は、自然言語命令または命令エディタ１０によって提供された命令文を、デジタル人間モデル型ツールで用いられる標準所定時間評価システムで、標準所定時間評価コードに自動的に変換するために用いられる。評価コードは、人間および関連する物体の動作のシミュレーション画像生成時にベースとしてデジタル人間モデル型ツールに提供される。このような変換に伴う処理には、属性の識別、動作要素のパラメータの決定、標準ユニット時間の確立、命令文内のエラー検出を含む。
【００５４】
属性の識別および変数インタプリタモジュール２１による操作パラメータの決定は、入力自然言語命令と、デジタル人間モデル型ツールで明記される代表コードとの対応する相関関係を確立することを目的とする。
本発明の範囲は、いかなる理論によっても限定されるものではないが、発明者らは、特定の操作環境におけるほとんどすべてのオペレータの活動が、市販されるデジタル人間モデル型ツールで定義される限定数の操作により定義されうることを判明した。したがって特定の環境で見出されうる活動は分析および分類が可能なため、限定数の操作、属性、パラメータにより定義される。
【００５５】
工場でのオペレータの活動を一例としてあげる。すべてまたはほとんどすべてのオペレータの工場での活動を定義するために、表２に示される変数を用いてもよい。表２は、工場で操作するオペレータの活動を定義する変数とそのパラメータを示す。
【００５６】
【表２】
2009043246.tif 000004
【００５７】
表２に示されるように、工場のオペレータの最も一般的な活動は、「取り出し」、「下ろす」、「操作」である。他の活動は、「手の動作」または「身体的な動作」として定義することができる。つまり、工場のオペレータの活動のシミュレーション画像を生成するために用いられる合成画像生成装置において、すべての所望のシミュレーション画像は、上記の５つの操作を用いて定義することができる。オペレータの活動を定義するために５種類以上の操作を用いることも当然可能である。たとえば５つの操作に加え、「歩く」および「観察」の操作を用いることが可能である。また、５種類未満の操作を用いることも可能である。「操作」操作をたとえば、「手の動作」操作に置換する。
本発明において操作の数は技術的な制限となるものではない。
【００５８】
しかしながら、オペレータと物体のシミュレーション画像を生成するために自然言語命令を用いる場合には、特定条件の操作を定義することが必要である。オペレータが操作に用いる手または両手は、たとえば、右手、左手、両手、手なしのいずれであるか定義されるべきであろう。操作に関連するツールまたは通常の物体としての物体の属性もまた、定義されるべきであろう。他の必要な属性には、物体の重量（質量）、動作の力クラスなどが含まれる。操作状況を定義する必要な変数は、適切な標準所定時間評価システムにしたがって決定されてもよく、あるいは用途における実際のニーズにしたがって合成画像自動生成装置の提供業者により決定されてもよい。
【００５９】
複数の検索テーブル２４を準備する。検索テーブル２４の内容は、自然言語命令の動作要素と、操作状況における対応する変数との間の関係を反映する。したがって変数インタプリタモジュール２１は、デジタル人間モデル型ツールで用いられた標準所定時間評価システムで、自然言語命令を対応するコードに容易変換することができる。「オペレータＡはテーブル上の箱を両手で取り出す。」という自然言語命令をたとえば、前述のＭＴＭ−ＵＡＳ標準所定評価時間装置で、対応する標準所定時間評価コードに変換する場合には、以下の工程がなされる。
【００６０】
自然言語命令の動作要素コラムからの自然言語命令での「操作」変数（変数Ｍ）は、Ａの値を有するものとする。Ｈ変数の値はＢの値を有するものとする。同様にＴ変数の値はＰの値を有するものとする。状態変数に関しては、「状態１」の値はＡ（たとえば２ｌｂｓ未満）であり、「状態２」の値はＡ（たとえば通常）である。物体（箱）の座標は、デジタル人間モデル型ツールにより提供されてもよい。
【００６１】
したがってこれらの変数において、ＡＢＰＡＡＸＹＺにおけるＸ、Ｙ、Ｚ軸でＸＹＺが箱の代表座標である一連の値を有する。
さらに上で説明した「オペレータＡはカートに向かって前進する。」場合の自然言語命令の例で、変換後に得られる変数の値は、ＥＮＮＡＡＸＹＺとなり、ここでＸＹＺはカートの座標である。
上で説明した自然言語命令の例で、「オペレータＡは両手で箱をカートの中に降ろし入れる。」場合の変換後に得られる変数の値は、ＢＢＰＡＡＸＹＺとなる。
【００６２】
上記の例で変数の値は、ＭＴＭ−ＵＡＳ装置で提供された定義にしたがって決定される。したがって命令翻訳の結果は、いわゆるＭＴＭ−ＵＡＳコードまたはＵＡＳコードである。ＭＴＭ−ＵＡＳ装置では各ＵＡＳコードは３つの部分からなる。第１の部分は操作を示す装置名であり、英語のアルファベット１文字で表される。第２の部分は操作条件であり、英語のアルファベット１文字で表される。第３の部分は操作の届きうる領域の範囲であり、１つの値で表される。ＵＡＳコードとその定義については、ＭＴＭ−ＵＡＳ規格マニュアルを参照されたい。したがってその詳細な説明を省略する。
【００６３】
上で説明した装置で、「オペレータＡはテーブル上の箱を両手で取り出す」命令の例では、以下のようにＵＡＳコードを自動的に得ることができる。Ｍ変数、Ｈ変数、Ｔ変数の値から装置名を表す第１のＵＡＳコードが得られる。Ｃ変数、Ｓ変数の値から操作の条件を表す第２のＵＡＳコードが得られる。デジタル人間モデル型ツールから第３のＵＡＳコードが計算できる。
【００６４】
上で説明したこの工程ののち本実施形態の検索テーブル２４を用いることによって、ユーザの入力した自然言語命令は、適切な標準所定時間評価システムで定義した適切なコードに変換できる。上で説明したように、上記の例に示されたコードは、ＭＴＭ−ＵＡＳ装置で決定される。異なる標準所定時間評価システムが使用される場合には、これに応じて検索テーブル２４の内容と変換機構の調整または変更が可能である。しかし当業者はこのような調節および修正を理解しうる。したがってその詳細な説明を省略する。
【００６５】
特定の環境におけるオペレータのほとんどすべての活動を記述するために、上で説明した動作要素を用いることはできるが、動作要素の定義および構文におけるユーザの誤解、ならびに命令入力上の誤りのために、自然言語命令はエラーを含む恐れがある。エラーの結果、操作のシミュレーション画像を生成できなくなったり、正しく生成できなくなったりする可能性がある。本実施形態においては、自然言語命令のエラーを検出し、ユーザに修正を喚起するためにエラー検出モジュール２２が備わっている。
【００６６】
本実施形態のエラー検出モジュール２２で検出されるべきエラーは以下を含むが、これに限定されるものではない。ユーザが「下ろす」命令を入力すると、エラー検出モジュール２２は同じ物体に関連する「取り出し」命令が、以前に入力されたかどうかを確認し、入力されていなければエラー検出モジュール２２が警告メッセージを生成し、「取り出し」命令を入力することをユーザに修正を喚起する。ユーザが「取り出し」命令を入力した後に「操作」または「下ろす」命令が入力されない場合には、エラー検出モジュール２２は警告メッセージを生成し、かかる命令を入力することをユーザに喚起する。
【００６７】
「下ろす」命令が前の「取り出し」命令と矛盾する場合、たとえば「使用中の片手または両手」変数の記述が矛盾するような事例では、エラー検出モジュール２２は、ユーザに修正を喚起させる警告メッセージを生成する。さらに、「物体を取り出し、操作し、点検し、物体を移動させ、物体を下に置く」という一連の操作は、工場または他の環境における最も頻繁になされる活動である。エラー検出モジュール２２には、対応する「取り出し」と「下ろす」命令を組み合わせるための論理検出要素が提供される。
【００６８】
たとえば同じ手を用いる場合には、「下ろす」命令を前の「取り出し」命令と組み合わせることが可能である。このような場合には同じ手に関連する他の命令が、２つの命令の間に存在しており、Ｍ変数がＤでないとすると、３つの命令は「ツールを操作する」命令群を決定する。さもなければ２つの命令が「取り出して下におく」命令群を決定する。
【００６９】
最後ではあるが重要なこととして、命令翻訳器２０は、標準ユニット時間モジュール２３をさらに提供する。本実施形態における標準ユニット時間モジュール２３は、合成画像の動作速度を決定するために標準ユニット時間を設ける。命令翻訳器２０は入力系列命令を分析し、標準ユニット時間モジュール２３から提供された標準ユニットに基づいて、持続時間値を系列命令に提供する。本実施形態の用途において、標準ユニット時間として表示装置に表示するために、画像の各フレームに間隔をとることが可能である。
【００７０】
つまり、表示装置が１秒間に３０フレームを表示する例では標準ユニット時間を３０分の１（１／３０）秒に設定してもよい。
標準ユニット時間の長さは本発明を技術的に制限するものではない。
操作の持続時間は、標準ユニット時間モジュール２３により提供される標準ユニット時間ならびに、デジタル人間またはデジタル物体と他のデジタル物体との間の距離にしたがって計算できる。
【００７１】
図３は、命令翻訳器２０における自然言語命令の変換のフローチャートである。フローチャートでは、自然言語命令を標準所定時間評価システムで対応する標準所定時間評価コードに自動変換する工程が示される。図３に示されるように、３０１で、命令翻訳器２０は自然言語命令を得る。３０２で変数インタプリタモジュール２１は、検索テーブル２４から、得られる自然言語命令に含んでいる動作要素が標準所定時間評価システムでの対応コードを得る。３０３で変数インタプリタモジュール２１は、標準所定時間評価システムで自然言語命令の操作状況を示すコードを得るために、自然言語命令で動作要素の属性を分析する。
【００７２】
３０４で変数インタプリタモジュール２１は、デジタル人間モデル型ツールからの物体の座標などの位置情報を得る。３０５で変数インタプリタモジュール２１は、位置の情報を用いて自然言語命令の操作で必要な距離情報を計算し、標準所定時間評価システムで距離の範囲を示すコードを得る。３０６でエラー検出モジュール２２は、自然言語命令の論理エラーや構文エラーなどのエラーを検出する。エラーが見つかると、３０７でエラー検出モジュール２２が警告メッセージを生成し、ユーザに修正を喚起したのち、工程３０６に戻る。
【００７３】
エラーが見つからない場合には、３０８でエラー検出モジュール２２は、入力自然言語命令が他の命令と矛盾するかどうかを確認する。矛盾する場合、３０９でエラー検出モジュール２２は、警告メッセージを生成しユーザに修正を喚起したのち、工程３０８に戻る。そうでない場合は、３１０で標準時間評価コードが出力されると、工程３０２、３０３、３０５で生成されたコードが集められる。デジタル人間モデル型ツールはコードを用いて自然言語命令で定義されたシミュレーション画像を生成することができる。
上で示されているように命令翻訳器２０は、デジタル人間モデル型ツールで用いられ、自然言語命令を代表コードに効率的に正しく変換する。
【００７４】
（シミュレーション画像生成器３０）
前述の説明から理解されるように、命令エディタ１０によって生成された自然言語命令または命令文は、生成される合成画像の部分的な記述を含むのみであり、合成画像について全て説明するには不十分である。たとえば「取り出し」、「操作」、「下ろす」などのようなほとんどの動作命令は、人間の上肢の動作だけを記述するものである。これらの命令で示された物体またはツールは、デジタル人間モデル型ツールで定義されるように、空間の異なる場所に置かれてもよい。
【００７５】
したがって操作を完全なものにするためにオペレータは、物体またはツールに向かって進んだり、物体またはツールに届くように腰を曲げたり、ひざまずいたりする必要がある。オペレータの活動を充分に完全に記述するには、これらのさらなる動作パラメータを記述することが必要である。従来技術においてユーザは、動作を定義するために、オペレータと物体の動作方向と経路、オペレータの配向と姿勢、その他のパラメータを含む動作パラメータの全詳細を設定する必要があった。このような情報がないと、デジタル人間モデル型ツールは、適切な合成画像を生成できなかった。
【００７６】
本発明の範囲を限定することを意図するものではないが、本実施形態は、ユーザが入力した自然言語命令入力では記述されない、人間および関連する物体の動作を記述するための必要なパラメータを自動的に生成するために、基本的な画像を生成する工程と、動作ポリシー情報を生成する工程と、基本画像の修正工程とを用いる。
【００７７】
図１に示され、上で説明されたように、本実施形態のシミュレーション画像生成器３０は、ポリシー決定モジュール３１と、シミュレーション画像生成モジュール３２と、を含む。
ポリシー決定モジュール３１は、自然言語命令における動作要素の属性にしたがって、合成画像におけるデジタル人間およびデジタル物体の姿勢、配向、動作タイプ、速度、動作経路などや他の必要なパラメータの合成画像の動作ポリシーを決定する。本実施形態では以下、「動作ポリシー」または「動作ポリシー情報」と総称する。
【００７８】
シミュレーション画像生成モジュール３２は、表示装置で合成画像を生成するために、特定のデジタル人間モデル型ツールで実行可能な動作命令を生成するポリシー決定モジュール３１で提供される、動作要素と動作ポリシー情報を用いる。シミュレーション画像生成モジュール３２は、合成画像を生成するために、人間テンプレートデータベース４３に収納された人間テンプレートおよび物体テンプレートデータベース４４に収納された物体テンプレートを用いてもよい。
【００７９】
上記の要素に加えてシミュレーション画像生成モジュール３２は、基本画像または最終的なシミュレーション画像を容易に生成するように、自然言語命令における動作要素と、デジタル人間モデル型ツール下で実行可能な動作命令または動作パラメータとの関係を定義するために、動作要素−動作命令表（不図示）を提供してもよい。動作要素−動作命令表で動作要素の各操作は、１または群のデジタル人間モデル型ツールの動作命令に対応する。このように生成された基本画像は、得られる画像のベースとして用いられるであろう。
【００８０】
本実施形態において「動作ポリシー情報」は、ユーザによって入力される自然言語命令には含まれないが、合成画像を定義するのに必要な種々のパラメータを含む。動作ポリシー情報はデジタル人間およびデジタル物体の動作のタイプ、経路、速度、デジタル人間とデジタル物体が位置するべき所定位置、デジタル人間とデジタル物体の配向、デジタル人間またはその四肢の姿勢の記述を含むことができる。ポリシー決定モジュール３１は自然言語命令の属性を分析し、命令の動作ポリシーを定義する。
【００８１】
シミュレーション画像生成モジュール３２は、所望の合成画像を得るために基本画像を変更するのに動作ポリシー情報を用いる。本発明の実施形態において、動作ポリシーの一部を決定するために「操作ポリシー」を用いることが可能である。このような実施形態では３つのタイプの操作ポリシー、つまり集中ポリシー、非集中ポリシー、ユーザによって定義されたポリシーが提供される。本発明の実施形態においてポリシー決定モジュール３１は、自然言語命令およびデジタル人間モデル型ツールで相互に作用する点に対応して提供された情報で定義される「互動点」の位置を用いて、操作の操作ポリシーを自動的に決定する。
【００８２】
他の実施形態では、台湾の人々の人間測定学データベースで提供された情報に基づき「作業領域モデル」が確立される。作業領域モデルでは、身長や他のパラメータを考慮に入れることにより、様々な体格の人々にとって最大限に快適な作業ラインが決定される。デジタル人間がある高さで物体に到達するように命令されると、作業領域モデルで定義されるように、デジタル人間の最大限に快適な作業ラインに位置する場所に物体が移動される。そこでデジタル人間の姿勢は、物体が置かれ、作業領域モデルで定義された屈折／しゃがみの高さの水平線の高さにしたがって決定される。
【００８３】
物体が屈折の高さとしゃがみの高さとの間に配置されるならば、操作を実行するデジタル人間の姿勢は、「しゃがむことなく屈折している」。物体がしゃがみの高さより低い高さに配置されるならば、デジタル人間は、操作を実行するためにしゃがんでいるものとする。
【００８４】
特定の操作を実行するデジタル人間の位置と配向は、操作の操作ポリシーにしたがって以下の通り決定されてもよい。
【００８５】
１．集中ポリシー。
ボルト取り付けなどの操作を実行する際にオペレータは、特定の方向からボルトに対面し操作しなければならない。そのような操作の操作ポリシーは、ポリシー決定モジュール３１で「集中ポリシー」と定義される。ポリシー決定モジュール３１が操作は集中ポリシー中であると決定すると、シミュレーション画像生成モジュール３２はオペレータを特定の所定位置に移動させ、特定の所定方向に向かせる。集中ポリシーは固定位置での操作でデジタル人間の姿勢を決定するだけではなく、デジタル人間の動作の経路を決定する。
【００８６】
集中ポリシーにおいてデジタル人間は、本体の向きを転換することで移動し−＞本体を前進させ−＞目標物に向かって向きを転換する。かかる操作で任意の目標物は、デジタル人間の操作上の位置を１つのみ有する。この操作上の位置は、開始点に関係なく、デジタル人間の動作の停止点である。デジタル人間モデルで定義された対話型のタグ、デジタル人間モデル型ツールで提供されたデジタル物体モデル、自然言語命令の属性、を用いることによって、この操作上の点は決定できる。
【００８７】
２．非集中ポリシー。
非集中ポリシーは、中間的操作ともいわれる。たとえば物体を下に置く場合オペレータは、特定の位置で特定の方向に向かって操作する必要はない。非集中ポリシーはまた、オペレータの動作の経路を決定する。非集中ポリシーでデジタル人間は、本体を方向転換させ前進させることにより自らを移動させる。停止点は、目標物と開始点とを結ぶ線で、目標物の一歩前である。
【００８８】
３．ユーザ定義ポリシー。
ユーザ定義ポリシー下で集中ポリシーと非集中ポリシーで用いられたすべてのパラメータは、ユーザが選択的に用いることができる。このポリシーに明記されたパラメータはたとえば、オペレータのペース、オペレータが効率的に歩く必要性の有無、などを含んでもよい。
【００８９】
作業領域モデルは局所の人間測定学データベースにしたがって設計されているので、最大限に快適な作業ラインはすべての人々に適用されうるものではない。本実施形態でシミュレーション画像生成器３０は、デジタル人間の身長とその各部の長さを調整できる調整機能を提供する。このような機能は、市販のデジタル人間モデル型ツールで提供される既存の機能を用いることによって実現できる。したがってその詳細な説明を省略する。
【００９０】
図４は、シミュレーション画像生成器３０によるシミュレーション画像の生成におけるフローチャートを示す。図４に示されるように４０１では、シミュレーション画像を生成する際にシミュレーション画像生成器３０が１組の自然言語命令を得る。各命令は少なくとも人間記述と、少なくとも物体記述と、少なくとも操作記述の動作要素を含む。４０２でポリシー決定モジュール３１は、自然言語命令に含まれる動作要素の属性を決定する。属性情報は、動作要素のコラムにしたがって得ることができる。４０３でポリシー決定モジュール３１は、得られる属性にしたがって、操作における人間と物体の動作ポリシー情報を生成する。
【００９１】
動作ポリシー情報は、姿勢、人間の配向、物体の配向、人間および物体の動作の速度と経路における記述のうちの少なくとも１つを定義する。４０４でシミュレーション画像生成モジュール３２は、自然言語命令の動作命令を生成するために、得られる動作ポリシー情報を用いる。動作命令はほとんど動作パラメータであり、デジタル人間モデル型ツールで実行可能である。４０５でデジタル人間モデル型ツールは、一連の合成画像を生成するために動作命令を実行する。４０６でシミュレーション画像生成器３０は、動画を生成するキーフレームとして生成された合成画像を用いる。
【００９２】
（発明の効果）
本発明において、ユーザにより入力されたプログラム命令は、自然言語命令である。合成画像を作成するためにユーザの訓練を全く必要としない。本発明におけるプログラム命令は統一された形式である。プログラマの個々の差異によるプログラミングの相違はかくして避けられる。本発明で生成される標準所定時間評価コードは標準化される。ユーザは生産工程の変更または仕事場の諸条件に集中することができる。
また、本発明は、人間の活動のシミュレーションにおいて空間情報と時間的情報の両方を生み出す。人間工学的な用途や評価、仕事のプロセス設計、生産ライン設計に有用な情報を提供する。
【００９３】
以上、本発明の好ましい実施形態を参照して本発明を説明してきたが、本発明の精神および範囲から逸脱することなく、上述および他の変更がなされ得ることを、当業者は認識されたい。
【図面の簡単な説明】
【００９４】
【図１】本発明の合成画像自動生成装置を示す模式図。
【図２】本発明の合成画像自動生成装置の編集インタフェースを示す模式図。
【図３】本発明の命令エディタ操作のフローチャート。
【図４】本発明のシミュレーション画像生成器による合成画像生成のフローチャート。
【符号の説明】
【００９５】
１０：命令エディタ、２０：命令翻訳器、３０：シミュレーション画像生成器、３１：ポリシー決定モジュール、３２：シミュレーション画像生成モジュール、４０：データベース
【図１】
2009043246.tif 000005
【図２】
2009043246.tif 000006
【図３】
2009043246.tif 000007
【図４】
2009043246.tif 000008
【外国語明細書】
2009043246.tif 000009
2009043246.tif 000010
2009043246.tif 000011
2009043246.tif 000012
2009043246.tif 000013
2009043246.tif 000014
2009043246.tif 000015
2009043246.tif 000016
2009043246.tif 000017
2009043246.tif 000018
2009043246.tif 000019
2009043246.tif 000020
2009043246.tif 000021
2009043246.tif 000022
2009043246.tif 000023
2009043246.tif 000024
2009043246.tif 000025
2009043246.tif 000026
2009043246.tif 000027
2009043246.tif 000028
2009043246.tif 000029
2009043246.tif 000030
2009043246.tif 000031
2009043246.tif 000032
2009043246.tif 000033
2009043246.tif 000034
2009043246.tif 000035
2009043246.tif 000036
2009043246.tif 000037
2009043246.tif 000038
2009043246.tif 000039
2009043246.tif 000040
2009043246.tif 000041
2009043246.tif 000042
2009043246.tif 000043
2009043246.tif 000044
2009043246.tif 000045
2009043246.tif 000046
2009043246.tif 000047
2009043246.tif 000048
2009043246.tif 000049
2009043246.tif 000050
2009043246.tif 000051
2009043246.tif 000052
2009043246.tif 000053
2009043246.tif 000054
2009043246.tif 000055
2009043246.tif 000056
2009043246.tif 000057
2009043246.tif 000058