(57)【要約】【課題】複数の部品を組み付けて構成する機械の組み付け状態の変化に伴い、各組み付け状態に対応した撮像画像を記録する。【解決手段】画像記録装置１０は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納したデータベース７を参照し、機械を生産する工程の１又は複数の各時点において、当該機械の組み付け状態を識別し、識別した組み付け状態に関連づけてデータベース７に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する。【選択図】図１
2010282342.tif 000002
【特許請求の範囲】
【請求項１】
機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、
前記機械を生産する工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、
前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段と、
を含むことを特徴とする画像記録装置。
【請求項２】
前記撮像条件情報は、前記機械の１又は複数の動作ごとに当該動作を撮像する撮像条件を関連づけて格納し、
前記記録手段は、前記機械が動作を行う際に、当該動作に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該動作を撮像した動画像を記録する
ことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記機械を生産する工程の各時点において、前記機械に組み付けられる部品を検出する手段をさらに含み、
前記識別手段は、前記検出した部品に基づいて前記機械の組み付け状態を識別する
ことを特徴とする請求項１又は２に記載の画像記録装置。
【請求項４】
前記記録手段は、前記識別手段により識別した組み付け状態の機械を少なくとも三方向から撮像した撮像画像を記録する
ことを特徴とする請求項１乃至３のいずれかに記載の画像記録装置。
【請求項５】
機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに関連づけた撮像条件に従って各組み付け状態の機械を撮像した撮像画像を記録した記録情報を参照する手段と、
前記機械の所与の組み付け状態に関連づけて前記記録情報に記録された撮像画像を取得する取得手段と、
前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段と、を含む
ことを特徴とする画像生成装置。
【請求項６】
前記画像生成手段は、前記記録情報に前記所与の組み付け状態に関連づけられた撮像画像が記録されていない場合に、前記記録情報に記録された撮像画像に基づいて前記所与の組み付け状態に対応する画像を生成する
ことを特徴とする請求項５に記載の画像生成装置。
【請求項７】
機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、
前記機械の組み付け工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、
前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段と、
前記機械の所与の組み付け状態に関連づけて前記記録手段により記録された撮像画像を取得する取得手段と、
前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段と、
を含むことを特徴とする画像処理システム。
【請求項８】
機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、
前記機械の組み付け工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、
前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段としてコンピュータを機能させるためのプログラム。
【請求項９】
機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに関連づけた撮像条件に従って各組み付け状態の機械を撮像した撮像画像を記録した記録情報を参照する手段と、
前記機械の所与の組み付け状態に関連づけて前記記録情報に記録された撮像画像を取得する取得手段と、
前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録装置、画像生成装置、画像処理システム及びプログラムに関する。
【背景技術】
【０００２】
コンピュータグラフィックスでは、ポリゴン等により形状が定められた物体の表面に、当該物体の表面を表す画像をテクスチャとしてマッピングさせることが行われている。例えば、下記の特許文献１では、物体をカメラにより撮像した撮像画像を、３次元モデルを構成する各ポリゴンにマッピングさせる技術が記載されている。また、下記の特許文献２では、カメラで撮像した画像を３次元モデルに描画して、カメラにより撮像された画像と、３次元モデルに基づくグラフィック表示とを一致させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−６３０４１号公報
【特許文献２】特開２００３−２７１９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的の一つは、複数の部品を組み付けて構成する機械の組み付け状態の変化に伴い、各組み付け状態に対応した撮像画像を記録することができる画像記録装置、画像生成装置、画像処理システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の画像記録装置の発明は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、前記機械を生産する工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段と、を含むことを特徴とする。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の画像記録装置において、前記撮像条件情報は、前記機械の１又は複数の動作ごとに当該動作を撮像する撮像条件を関連づけて格納し、前記記録手段は、前記機械が動作を行う際に、当該動作に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該動作を撮像した動画像を記録することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項１又は２に記載の画像記録装置において、前記機械を生産する工程の各時点において、前記機械に組み付けられる部品を検出する手段をさらに含み、前記識別手段は、前記検出した部品に基づいて前記機械の組み付け状態を識別することを特徴とする。
【０００８】
また、請求項４に記載の発明は、請求項１乃至３のいずれかに記載の画像記録装置において、前記記録手段は、前記識別手段により識別した組み付け状態の機械を少なくとも三方向から撮像した撮像画像を記録することを特徴とする。
【０００９】
また、請求項５に記載の画像生成装置の発明は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに関連づけた撮像条件に従って各組み付け状態の機械を撮像した撮像画像を記録した記録情報を参照する手段と、前記機械の所与の組み付け状態に関連づけて前記記録情報に記録された撮像画像を取得する取得手段と、前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段と、を含むことを特徴とする。
【００１０】
また、請求項６に記載の発明は、請求項５に記載の画像生成装置において、前記画像生成手段は、前記記録情報に前記所与の組み付け状態に関連づけられた撮像画像が記録されていない場合に、前記記録情報に記録された撮像画像に基づいて前記所与の組み付け状態に対応する画像を生成することを特徴とする。
【００１１】
また、請求項７に記載の画像処理システムの発明は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、前記機械の組み付け工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段と、前記機械の所与の組み付け状態に関連づけて前記記録手段により記録された撮像画像を取得する取得手段と、前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段と、を含むことを特徴とする。
【００１２】
また、請求項８に記載のプログラムの発明は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに、当該組み付け状態を撮像する撮像条件を関連づけて格納した撮像条件情報を参照する手段と、前記機械の組み付け工程の１又は複数の各時点において、当該機械の組み付け状態を識別する識別手段と、前記識別手段により識別した組み付け状態に関連づけて前記撮像条件情報に格納された撮像条件に基づいて当該組み付け状態の機械を撮像した撮像画像を記録する記録手段としてコンピュータを機能させるためのプログラムである。
【００１３】
また、請求項９に記載のプログラムの発明は、機械を構成する複数の部品の少なくとも一部を組み付けた組み付け状態ごとに関連づけた撮像条件に従って各組み付け状態の機械を撮像した撮像画像を記録した記録情報を参照する手段と、前記機械の所与の組み付け状態に関連づけて前記記録情報に記録された撮像画像を取得する取得手段と、前記所与の組み付け状態における前記機械の形状を表す２次元又は３次元模型の表面に前記取得手段により取得した撮像画像を描画した画像を生成する手段としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１４】
請求項１及び８に記載の発明によれば、複数の部品を組み付けて構成する機械の組み付け状態の変化に伴い、各組み付け状態に対応した撮像画像を記録できる。
【００１５】
請求項２に記載の発明によれば、機械の生産工程に並行して、機械の実際の動作を撮像した撮像画像を記録できる。
【００１６】
請求項３に記載の発明によれば、機械的に認識された機械の組み付け状態に対応した撮像画像を記録できる。
【００１７】
請求項４に記載の発明によれば、３次元物体の各面に描画する撮像画像を記録できる。
【００１８】
請求項５及び９に記載の発明によれば、機械の所与の組み付け状態に対応した２次元又は３次元模型の表面に、当該組み付け状態における実物の機械を撮像した撮像画像を描画できる。
【００１９】
請求項６に記載の発明によれば、記録していない組み付け状態に対応した２次元又は３次元模型の表面に描画する画像を生成できる。
【００２０】
請求項７に記載の発明によれば、複数の部品を組み付けて構成する機械の組み付け状態の変化に伴い、各組み付け状態に対応した撮像画像を記録すると共に、機械の所与の組み付け状態に対応した２次元又は３次元模型の表面に、当該組み付け状態について記録した実物の機械を撮像した撮像画像を描画できる。
【図面の簡単な説明】
【００２１】
【図１】画像処理システムの構成図である。
【図２Ａ】生産ラインに設けられた撮像装置とＲＦＩＤリーダーの一構成例を示す図である。
【図２Ｂ】生産ラインに設けられた撮像装置とＲＦＩＤリーダーの一構成例の詳細図である。
【図３】工程管理データの一例を示す図である。
【図４】撮像条件データの一例を示す図である。
【図５】画像記録装置の機能ブロック図である。
【図６】組み付け履歴データの一例を示す図である。
【図７】撮像画像データの一例を示す図である。
【図８】画像処理装置の機能ブロック図である。
【図９】未記録テクスチャ画像の生成処理を説明する図である。
【図１０Ａ】機械オブジェクトの表示画像の一例を示す図である。
【図１０Ｂ】動画像の一例を示す図である。
【図１１】画像記録処理のフローチャートである。
【図１２】画像生成処理のフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２３】
図１には、本実施形態に係る画像処理システム１の構成図を示す。図１に示されるように、画像処理システム１は、生産ラインの１又は複数の作業領域に設置された撮像装置３及びＲＦＩＤ（radio frequency identification）リーダー５、データベース７、画像記録装置１０、そして画像処理装置２０を含む。上記の生産ラインにおいては、複数の部品を組み付けて構成される、複写機や画像形成装置等の機械を生産する工程が行われる。そして、本実施形態では、撮像装置３により生産ラインにおける多様な組み付け状態の機械を撮像した画像情報（静止画像又は／及び動画像を含む）を画像記録装置１０がデータベース７に記録する画像記録処理、及び、画像処理装置２０に接続するクライアント装置３０の各々が共有する仮想空間に配置された上記機械に対応した３次元オブジェクト（以下、機械オブジェクト）に対して、データベース７に記録された画像情報に基づいて行うテクスチャマッピングや動画像再生等の画像再生処理を実行する。以下、画像処理システム１に含まれる各装置の詳細について説明する。
【００２４】
図２Ａ及び図２Ｂには、生産ライン２に設けられた撮像装置３とＲＦＩＤリーダー５の一構成例を示した。図２Ａに示されるように、生産ライン２には１又は複数の作業領域（スポット）が設けられており、各作業領域ではそれぞれ実行する作業が定められており、例えば作業領域Ａ、Ｂ，Ｃの順序で生産対象の機械を移動させていくことで当該機械に部品が組み付けられる。本実施形態では、各作業領域に撮像装置３とＲＦＩＤリーダー５が備え付けられており、各作業領域において作業する機械の組み付け状態を撮像した画像を順次記録していくものである。
【００２５】
図２Ｂには、生産ライン２の各作業領域における撮像装置３とＲＦＩＤリーダー５の構成例の詳細図を示した。図２Ｂに示されるように、作業領域には、生産対象の機械を載せる回転台４と、回転台４上の機械を三方から撮像する３台の撮像装置３と、回転台４上のＲＦＩＤタグを読み取る位置に設けられたＲＦＩＤリーダー５とが設置されている。なお、本実施形態では、組み付け対象の部品にはＲＦＩＤタグを貼付しておくこととし、貼付したＲＦＩＤタグをＲＦＩＤリーダー５により読み取ることにより、機械に組み付けられている部品や新規に追加された部品の情報を取得することとする。撮像装置３、ＲＦＩＤリーダー５、回転台４はそれぞれ後述する画像記録装置１０と無線又は有線で接続され、撮像装置３は画像記録装置１０により撮像方向、撮像倍率等が制御されると共に、回転台４は画像記録装置１０により回転角度等が制御されるようになっている。
【００２６】
データベース７は、画像処理システム１における処理に用いられるデータを格納すると共に、画像記録装置１０により記録された記録データを格納するものである。本実施形態では、データベース７をリレーショナルデータベースとして構成しているが、ＸＭＬデータベース等の他の形態を用いてもよい。また、本実施形態に係るデータベース７は、工程管理情報格納部７Ａ、撮像条件格納部７Ｂ、撮像画像格納部７Ｃ、そして組み付け履歴格納部７Ｄを含み、画像記録装置１０による処理に関するデータを格納している。
【００２７】
工程管理情報格納部７Ａは、生産ライン２で行われる工程ごとの作業と、当該作業に係る機械を撮像する撮像条件とを定めた工程管理データを格納するものである。
【００２８】
図３には、本実施形態に係る工程管理データの一例を示す。図３に示されるように、工程管理データは、工程を識別する工程ＩＤに関連づけて、スポットＩＤ、機械ＩＤ、部品リスト、撮像条件ＩＤを格納したテーブルとして構成される。スポットＩＤは、生産ライン２において本工程が行われる場所を識別する情報であり、機械ＩＤは、本工程の対象となる機械を識別する情報である。また、部品リストは、本工程において取り付け等の作業の対象となる部品の一覧情報であり、撮像条件ＩＤは、本工程により部品が組み付けられた状態の機械を撮像する際の撮像条件を識別する情報である。なお、撮像条件の詳細は後述する撮像条件格納部７Ｂに格納される。
【００２９】
図４には、撮像条件格納部７Ｂに格納される撮像条件データの一例を示す。図４に示されるように、撮像条件データは、撮像条件を識別する撮像条件ＩＤに関連づけて、撮像装置３による静止画像撮影時の設定（静止画像撮影設定）、動画像撮影時の設定（動画像撮影設定）、回転台４の回転角度を格納したテーブルとして構成される。静止画像撮影設定及び動画像撮影設定は、複数の撮像装置３のうち撮像動作させる撮像装置３と、撮像動作させる撮像装置３に対して、ズーム倍率、関心領域（ＲＯＩ：region of interest）等のパラメータを設定する情報である。関心領域は撮像画像において対象画像を含む領域を表すものであり、例えば関心領域を矩形領域とし、撮像画像の左上に原点、右方向にＸ軸、下方向にＹ軸をとる場合には、ＲＯＩ（Ｘ，Ｙ，Ｗ，Ｈ）は、座標（Ｘ，Ｙ）から横（右）にＷ、縦（下）にＨの矩形領域を関心空間に設定することを表す。また、動画像撮影は、動画像撮影設定に指定された動作（例えば“コピー開始”）が実行されることを契機として行われる。
【００３０】
組み付け履歴格納部７Ｄは、生産ライン２での生産工程時に行われた部品の組み付け作業の履歴を格納するものであり、組み付け履歴格納部７Ｄに格納されるデータの詳細については後述する。
【００３１】
撮像画像格納部７Ｃは、生産ライン２での生産工程時に、撮像条件格納部７Ｂに格納された撮像条件に従って撮像された画像データ（静止画像又は／及び動画像）を格納するものであり、撮像画像格納部７Ｃに格納されるデータの詳細については後述する。
【００３２】
図５には、本実施形態に係る画像記録装置１０の機能ブロック図を示す。図５に示されるように、画像記録装置１０は、部品情報取得部４０、撮像条件取得部４２、撮像画像取得部４４、及び記録部４６を含む。上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像記録装置１０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００３３】
部品情報取得部４０は、生産ライン２に設置されたＲＦＩＤリーダー５により読み取られた部品情報を取得するものである。本実施形態では、生産ライン２に設置された各ＲＦＩＤリーダー５が部品情報を読み取った場合に、当該読み取った部品情報を有線又は無線通信により画像記録装置１０に転送することとする。
【００３４】
撮像条件取得部４２は、部品情報取得部４０により取得された部品情報に基づいて、当該部品情報により識別される組み付け状態の機械を撮像する撮像条件を取得するものである。本実施形態では、部品情報取得部４０により取得される部品情報の履歴を管理し、当該履歴として保持される部品情報と最新の部品情報との差分に基づいて新規に追加された部品を識別し、当該新規部品を組み付ける工程に対応して工程管理データに格納された撮像条件を取得することとする。具体的には、撮像条件取得部４２は、部品情報を取得したＲＦＩＤリーダー５が設置されたスポットＩＤ、生産対象の機械ＩＤ、組み付け対象の部品リストに基づいてデータベース７に格納された工程管理データの中から対応する撮像条件ＩＤを検索する。そして、撮像条件取得部４２は、検索された撮像条件ＩＤに関する撮像条件のデータを撮像条件格納部７Ｂに格納されたデータから取得する。
【００３５】
撮像画像取得部４４は、撮像条件取得部４２により取得された撮像条件に基づいて撮像装置３が撮像した機械の撮像画像を取得するものである。本実施形態では、撮像画像取得部４４は、撮像条件取得部４２により取得された撮像条件に従って回転台４を回転させると共に、上記撮像条件に指定された倍率、撮像方向を撮像装置３の各々に設定して静止画像を撮像させる。静止画像の撮像は複数の撮像装置３で一斉に行ってもよいし１台ずつであってもよい。
【００３６】
撮像画像取得部４４は、動画像の取得を以下のように、動画像の撮像対象動作（例えば「コピー開始」）の開始を検知すると共に行う。すなわち、撮像画像取得部４４は、動画像の撮像対象となる動作の開始信号が入力されると、当該開始信号に基づいて撮像装置３に動画像の撮像を開始させ、上記動作の終了信号が入力されるまで動画像の撮像を継続する。例えば、機械を複写機とし、撮像対象動作をコピー操作とした場合には、コピー操作が開始されることを示す信号が画像記録装置１０に入力されると、画像記録装置１０は撮像装置３に当該コピー処理の撮像を開始させ、コピー処理が終了すると撮像を終了させる。
【００３７】
記録部４６は、生産ライン２で行われた組み付け作業の履歴データと、撮像画像取得部４４により取得された撮像画像データ（静止画像又は／及び動画像を含む）をデータベース７に記録するものである。本実施形態では、記録部４６は組み付け作業の履歴データを組み付け履歴格納部７Ｄに格納し、撮像画像取得部４４により取得された撮像画像データを撮像画像格納部７Ｃに格納することとする。
【００３８】
図６には、組み付け履歴格納部７Ｄに格納される組み付け履歴データの一例を示す。図６に示されるように、組み付け履歴データは、工程ＩＤに関連づけて、生産対象の機械ＩＤと、撮像記録を識別する撮像記録ＩＤを格納したテーブルとして構成される。
【００３９】
図７には、撮像画像格納部７Ｃに格納される撮像画像データの一例を示す。撮像画像データは、撮像記録ＩＤに関連づけて、静止画像データ、動画像データのそれぞれのファイル名が格納されたテーブルとして構成される。なお、ファイルの実体データは、撮像画像格納部７Ｃに格納されることとしてよい。
【００４０】
次に、画像記録装置１０により記録された画像データの利用方法の一例として、記録された静止画像データを仮想空間内に設けられた３次元の機械オブジェクトにテクスチャ画像としてマッピングし、また、記録された動画像データを機械オブジェクトが行う動作に応じて再生する例について説明する。本実施形態では、データベース７は、仮想空間データ格納部７Ｅとモデリングデータ格納部７Ｆを含み、上記の仮想空間を構築することとしている。
【００４１】
仮想空間データ格納部７Ｅは、仮想空間上に配置されたオブジェクト（機械オブジェクトや生産ラインオブジェクトを含む）や、クライアント装置３０からの入力に応じて位置や行動が制御されるアバター（仮想空間内の人に対応するオブジェクト）の座標位置、属性情報、動作情報等が格納されるものである。
【００４２】
モデリングデータ格納部７Ｆは、仮想空間上に配置されたオブジェクトの３次元形状を規定するモデリングデータを格納するものである。モデリングデータは、物体形状を複数のポリゴンにより構成したデータとしてよく、オブジェクトが複数の部品から構成される場合には、部品毎にモデリングデータを保持することとしてよい。
【００４３】
図８には、上述した仮想空間のビューを生成する画像生成機能を備えた画像処理装置２０の機能ブロック図を示す。図８に示されるように、画像処理装置２０は、通信部５０、仮想空間制御部５２、記録画像取得部５４、テクスチャ画像生成部５６、及び表示画像生成部５８を含む。上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信手段を介して供給されることとしてもよい。
【００４４】
通信部５０は、ネットワークインターフェイスを含み構成され、ネットワークインターフェイスを介してクライアント装置３０等の情報処理装置とデータ通信を行うものである。
【００４５】
仮想空間制御部５２は、仮想空間データ格納部７Ｅに格納されたデータに基づいて仮想空間を構築すると共に、通信部５０を介して接続する各クライアント装置３０からの入力に基づいて仮想空間内での各オブジェクト（機械オブジェクト、アバター等）を制御するものである。本実施形態では、仮想空間内に上述した生産ライン２と同様の環境を構築し、仮想空間の生産ライン２において上述した機械の生産を再現する例について説明する。
【００４６】
記録画像取得部５４は、仮想空間制御部５２により制御される仮想空間に配置される機械オブジェクトの状態に基づいて、当該機械オブジェクトに関してデータベース７に記録された画像を取得するものである。具体的には、記録画像取得部５４は以下の処理によりデータベース７に記録された静止画像データ、及び動画像データを取得することとしてよい。
【００４７】
まず、記録画像取得部５４は、仮想空間に配置された対象機械に対応する機械オブジェクトの配置位置に基づいて、当該機械オブジェクトの生産ライン２における工程を識別する。そして、記録画像取得部５４は、上記識別した工程に関連づけて撮像画像格納部７Ｃに格納された撮像画像を取得することとする。
【００４８】
次に、記録画像取得部５４は、仮想空間に配置された機械オブジェクトに対してアバターが操作を行うことにより、当該機械オブジェクトが予め定められた動作を行うことを検知する場合に、当該検知した動作に関連づけてデータベース７に記録される動画像データを取得することとする。
【００４９】
テクスチャ画像生成部５６は、仮想空間に配置された機械オブジェクトに対してアバターが操作を行った結果、機械オブジェクトが実機に対して画像を記録していない状態に変化した場合に、当該状態の機械オブジェクトにマッピングするテクスチャ画像（未記録テクスチャ画像）を生成するものである。以下、テクスチャ画像生成部５６による処理を具体的に説明する。
【００５０】
図９には、未記録テクスチャ画像の生成処理を説明する図を示した。図９に示されるように、生産ライン２では、状態Ｓ０、状態Ｓ０１、状態Ｓ０１２、状態Ｓ０１２３の順に組み付けが行われ、これらの各状態については記録された画像データが存在するとする。なお、状態Ｓ０は部品が何も組み付けられていない状態、状態Ｓ０１は部品Ｐ１が組み付けられた状態、状態Ｓ０１２は状態Ｓ０１に部品Ｐ２が組み付けられた状態、そして状態Ｓ０１２３は状態Ｓ０１２に部品Ｐ３が組み付けられた状態であるとする。これに対して、仮想空間では、状態Ｓ０１２３に対応した機械オブジェクトに対して分解操作が行われた結果、部品Ｐ１とＰ３が組み付けられた状態Ｓ０１３になったとすると、この状態Ｓ０１３については撮像画像が記録されていない。これに対して、テクスチャ画像生成部５６は、図９に示されるように実在した工程（記録パス）のうち、状態Ｓ０１３に最も近い実在状態Ｓ０１を始点に設定し、Ｓ０１を撮像した画像に、部品Ｐ３が組み付けられた工程において撮影された写真のＲＯＩを重畳により合成して状態Ｓ０１３に対応するテクスチャ画像を生成することとする。同様にして、テクスチャ画像生成部５６は、生産工程時に記録していない他の組み付け状態についても記録された組み付け状態について撮像された撮像画像に基づいてテクスチャ画像を生成することとしてよい。
【００５１】
表示画像生成部５８は、仮想空間に配置された機械オブジェクトに対して、記録画像取得部５４により取得された画像、又はテクスチャ画像生成部５６により生成された画像をテクスチャとしてマッピングすると共に、クライアント装置３０ごとの撮像位置及び撮像方向に基づく機械オブジェクトのレンダリング処理を行って仮想空間のビューとして表示する表示画像を生成するものである。テクスチャマッピングは、３次元の機械オブジェクトの３つの可視面の各頂点に、各可視面に対応した撮像方向から撮像したテクスチャ画像をマッピングさせることで行うこととしてよい。なお、撮影時に被写体と撮像装置３との位置関係を保持し、当該保持した位置関係の情報をテクスチャマッピングやレンダリング時に用いることとしてよい。表示画像生成部５８により生成された表示画像は、通信部５０を介して各クライアント装置３０に送信され、クライアント装置３０に接続された表示装置に表示される。
【００５２】
図１０Ａは、機械オブジェクトの組み付け状態の変化に応じて表示画像生成部５８により生成される機械オブジェクトの表示画像の一例を示したものである。図１０Ａに示されるように、組み付け状態が変化すると、変化した組み付け状態に対応したテクスチャ画像が機械オブジェクトにマッピングされて、組み付け状態に対応した表示画像が生成される。
【００５３】
図１０Ｂは、仮想空間において機械オブジェクトに予め定められた動作が指示された場合に表示される動画像の一例を示したものである。図１０Ｂに示されるように、例えば仮想空間においてアバターにより機械オブジェクトのコピー開始ボタンが押下されると、コピー開始の動作に対応した動画像がデータベース７から取得され、取得された動画像が機械オブジェクトに重ね合わせて再生されることとしてよい。なお、コピー開始ボタンが押下されたことの検知は、仮想空間制御部５２がクライアント装置３０からの入力に基づいて行うこととしてよい。
【００５４】
次に、本実施形態に係る画像処理システム１において行われる画像記録処理及び仮想空間の画像生成処理の各々について、図１１及び図１２に示したフローチャートを参照しながら説明する。
【００５５】
図１１には、画像記録処理のフローチャートを示した。図１１に示されるように、画像記録装置１０は、ＲＦＩＤリーダー５により検出された部品情報を取得し（Ｓ１０１）、当該取得した部品情報の履歴に基づいて新規に追加された部品情報を抽出する（Ｓ１０２）。次に、画像記録装置１０は、抽出された部品情報、ＲＦＩＤリーダー５の設置されたスポットＩＤ、生産対象の機械ＩＤに基づいて、上記部品情報が追加された場合の組み付け状態を撮像する撮像条件を取得する（Ｓ１０３）。画像記録装置１０は、上記取得した撮像条件に従って、回転台４や撮像装置３を調整し（Ｓ１０４）、撮像指示に「静止画像」があれば（Ｓ１０５：Ｙ）、撮像装置３に静止画像を一斉に撮像させ（Ｓ１０６）、機械を撮像した撮像画像を取得する。また、画像記録装置１０は、撮像指示に「動画像」があれば（Ｓ１０７：Ｙ）、機械が対象動作を行うタイミングを待機し、当該対象動作が行われる際に（Ｓ１０８：Ｙ）撮像装置３に動画像を一斉に撮像し（Ｓ１０９）、機械の対象動作を撮像した動画像を取得する。画像記録装置１０は、Ｓ１０６及びＳ１０９で取得した静止画像や動画像をデータベース７に記録して（Ｓ１１０）、記録処理を終了する。なお、上記の画像記録処理は、ＲＦＩＤリーダー５から受信される部品情報が更新される毎に行うこととしてよい。
【００５６】
次に、仮想空間の画像生成処理について説明する。図１２には、仮想空間の画像生成処理のフローチャートを示した。図１２に示されるように、画像処理装置２０は、接続するクライアント装置３０から仮想空間に配置されたアバターを操作する操作情報の入力を受け付け（Ｓ２０１）、当該操作により仮想空間に配置された機械オブジェクトの組み付け状態が変化した場合には（Ｓ２０２：Ｙ）、変化後の組み付け状態に対応したテクスチャ画像を取得し（Ｓ２０３）、取得したテクスチャ画像を機械オブジェクトにマッピングする（Ｓ２０４）。
【００５７】
次に、画像処理装置２０は、上記受け付けた操作により機械オブジェクトが予め定められた動作のうちいずれかを実行した場合には（Ｓ２０５：Ｙ）、当該動作を実機で記録した動画像を取得して（Ｓ２０６）、当該取得した動画像を再生する（Ｓ２０７）。また、上記操作により機械オブジェクトの組み付け状態が変化せず（Ｓ２０２：Ｎ）、また、機械オブジェクトが予め定められた動作のいずれも実行しない場合には（Ｓ２０５：Ｎ）、テクスチャ画像の更新や動画像の再生を行わずに処理を終了する。なお、以上の画像生成処理は、クライアント装置３０から操作情報を受け付ける毎に行うこととしてよい。
【００５８】
また、本発明は上記の実施形態に限定されるものではない。例えば、実物の機械における各組み付け状態の静止画像、動画像を記録するにあたり、上記の実施形態では、機械の生産工程に伴って記録することとしているが、機械の分解工程に伴って記録しても構わない。また、上記の実施形態では、機械の組み付け状態を、ＲＦＩＤリーダー５で検出した部品情報に基づいて識別することとしているが、組み付け対象の機械の重量変化に基づいて機械の組み付け状態を識別することとしてもよい。
【００５９】
また、記録した画像データを利用するにあたり、上記の実施形態では仮想空間に配置された３次元の機械オブジェクトにテクスチャ画像をマッピングする例を説明したが、２次元オブジェクトに記録した画像データをマッピングさせても構わない。さらに、上記の実施形態では、仮想空間に配置されたアバターの動作に応じて機械オブジェクトを動作させる際に、当該動作を記録した実写の動画像を再生することとしたが、実空間側で機械を動作させた場合に、当該動作に連動して仮想空間側で対応する動画像を再生させる等して、実空間と仮想空間とを連動させることとしてもよい。
【符号の説明】
【００６０】
１  画像処理システム、２  生産ライン、３  撮像装置、４  回転台、５  ＲＦＩＤリーダー、７  データベース、７Ａ  工程管理情報格納部、７Ｂ  撮像条件格納部、７Ｃ  撮像画像格納部、７Ｄ  組み付け履歴格納部、７Ｅ  仮想空間データ格納部、７Ｆ  モデリングデータ格納部、１０  画像記録装置、２０  画像処理装置、３０  クライアント装置、４０  部品情報取得部、４２  撮像条件取得部、４４  撮像画像取得部、４６  記録部、５０  通信部、５２  仮想空間制御部、５４  記録画像取得部、５６  テクスチャ画像生成部、５８  表示画像生成部。
【図１】
2010282342.tif 000003
【図２Ａ】
2010282342.tif 000004
【図２Ｂ】
2010282342.tif 000005
【図３】
2010282342.tif 000006
【図４】
2010282342.tif 000007
【図５】
2010282342.tif 000008
【図６】
2010282342.tif 000009
【図７】
2010282342.tif 000010
【図８】
2010282342.tif 000011
【図９】
2010282342.tif 000012
【図１０Ａ】
2010282342.tif 000013
【図１０Ｂ】
2010282342.tif 000014
【図１１】
2010282342.tif 000015
【図１２】
2010282342.tif 000016