Source: https://patents.google.com/patent/JP4667111B2/en
Timestamp: 2018-12-12 16:48:57
Document Index: 610859544

Matched Legal Cases: ['art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301', 'art 301']

JP4667111B2 - Image processing apparatus, image processing method - Google Patents
Image processing apparatus, image processing method Download PDF
JP4667111B2
JP4667111B2 JP2005123980A JP2005123980A JP4667111B2 JP 4667111 B2 JP4667111 B2 JP 4667111B2 JP 2005123980 A JP2005123980 A JP 2005123980A JP 2005123980 A JP2005123980 A JP 2005123980A JP 4667111 B2 JP4667111 B2 JP 4667111B2
JP2005123980A
JP2006302034A (en )
太一 松井
隆明 遠藤
英生 野呂
本発明は、現実空間に仮想空間の映像を重畳させて観察者に提示する為の技術に関するものである。 The present invention relates to a technique for presenting to an observer by superimposing the image of the virtual space to physical space.
複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。 The mixed reality system, there is provided a real space image, the viewpoint position of the user, a mixed reality space image obtained by synthesizing the virtual space image generated according to the viewing direction, etc. to the user. 複合現実感システムでは、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である。 The mixed reality system, it is possible to virtual object on the physical space is presented to the observer as if they were real, more realistic compared to the conventional virtual reality system (VR system), exact sense it is possible to accordingly was observed.
一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。 On the other hand, conventional, design that uses a 3-dimensional CAD in the design and manufacturing (shape, design) has become the mainstream. この場合、３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３Ｄ−ＣＧとして計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を製作し、触覚的に評価する方法などが主流である。 In this case, as a method for evaluating an object designed by three-dimensional CAD is Ya how to visually evaluated displayed on computer screen of the data created by three-dimensional CAD (solid type) as 3D-CG , produced a simple prototype (simple mock-up) in such rapid prototyping equipment, is the mainstream, such as how to tactile evaluation.
ただし、３Ｄ−ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。 However, in the method for displaying on a computer screen 3D-CAD data as 3D-CG, it made an evaluation in a virtual space, it is impossible to evaluate the object to Scale sensation in the real space. またラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を製作する方法では、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインの詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。 In the method of making a simple prototype (simple mock-up) in such rapid prototyping equipment, processing accuracy, due to restrictions such as material, it is effective to grasp a rough shape, design details, color such as, but not detailed information designed on 3D-CAD is reproduced.
そこで、より完成品に近い状況で設計データを評価するために、３Ｄ−ＣＡＤデータよりラピッド・プロトタイピング装置等で製作した簡易試作物（簡易モックアップ）に、同じ３Ｄ−ＣＡＤデータを変換して作成した３Ｄ−ＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示することで、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とする手法が提案されている。 Therefore, in order to evaluate the design data in closer to the finished product situation, the simple prototype that was produced in the 3D-CAD data from rapid prototyping device, and the like (simple mock-up), to convert the same 3D-CAD data the 3D-CG data created, overlay to match the position and orientation direction by using a mixed reality system, by displaying, to achieve visual evaluation and tactile evaluation at the same time, closer to the finished product technique that allows the evaluation in the state have been proposed.
さらに、簡易試作物にマーカを添付し、その添付されたマーカを映像データとして入力された現実空間の映像情報から検出し、検出したマーカの位置情報を使って現実空間と仮想空間の位置合わせの補正を行う手法も提案されている。 Furthermore, the marker was attached to the simple prototype, it is detected from the image information of the real space that is input to the attached markers as image data, the alignment of the real and virtual spaces using the position information of the detected marker method of performing the correction has also been proposed.
特開２００３−３０８５１４号 Japanese Unexamined Patent Publication No. 2003-308514
しかしながら、従来の手法では簡易試作物が剛体である場合しか扱えなかった。 However, it can not be handled only when the simple prototype is a rigid body is in a conventional manner. すなわち、簡易試作物が可動部を有する場合に、可動部の動きに合わせて３Ｄ−ＣＧデータを動かして、簡易試作物と重ね合わせて表示することはできなかった。 That is, when the simple prototype has a movable portion, by moving the 3D-CG data in accordance with the movement of the movable part, could not be displayed superimposed with the simple prototype. また、現実空間と仮想空間の位置合わせの補正に、可動部に貼られたマーカの位置情報を使うことはできなかった。 Further, the correction of alignment of real and virtual spaces, could not be used positional information of the marker affixed to the movable portion.
本発明は上記の課題に鑑みてなされたものであり、簡易試作物が可動部を有する場合にも、可動部の動きに合わせて３Ｄ−ＣＧデータを動かし、簡易試作物と重ね合わせて表示するための技術を提供することを目的とする。 The present invention has been made in view of the above problems, even when the simple prototype have a movable portion moves the 3D-CG data in accordance with the movement of the movable part, displays superimposed on the simple prototype an object of the present invention is to provide a technique for.
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。 To achieve the object of the present invention, for example, an image processing apparatus of the present invention comprises the following arrangement.
即ち、仮想空間の画像を生成して出力する画像処理装置であって、 That is, an image processing apparatus for generating and outputting an image of the virtual space,
観察者の視点の位置姿勢を取得する第１の取得手段と、 A first acquisition means for acquiring the position and orientation of the viewpoint of the observer,
前記視点から見える現実空間の画像を入力する入力手段と、 Input means for inputting an image of the real space seen from the viewpoint,
可動部分を有する現実物体の位置姿勢を取得する第２の取得手段と、 A second acquisition means for acquiring the position and orientation of the physical object having a movable part,
前記可動部分の可動量を取得する可動量取得手段と、 A movable amount obtaining means for obtaining a moving amount of the moving part,
前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動手段と、 A movable means for moving the portion corresponding to the movable portion of the virtual object representing said real object based on the moving amount,
前記可動部分と、前記現実物体における前記可動部分以外の非可動部分と、のそれぞれに１以上のマーカが取り付けられている場合に、前記入力手段が入力した現実空間の画像上における各マーカの位置を検出する検出手段と、 And the moving part, when the non-moving parts other than the moving part in the physical object, one or more markers on each of the installed position of each marker in the image of the real space in which the input means inputs and detection means for detecting,
前記可動部分と、前記現実物体における前記可動部分以外の非可動部分と、のそれぞれに１以上のマーカが取り付けられている場合に、前記可動量取得手段で取得した可動量に基づいて、前記可動部分に取り付けられているマーカの位置を求める計算手段と、 And the moving part, when said and unmovable portions other than the movable portion in the physical object, the one or more markers in each is attached, based on the moving amount acquired by the movable amount obtaining means, the movable and calculating means for determining the position of a marker attached to a portion,
前記検出手段が検出した各マーカの位置と、前記計算手段が計算した位置と、を用いて、前記第１の取得手段が取得した前記観察者の視点の位置姿勢を補正する補正手段と、 The position of each marker detected by the detection means, and correcting means for the use and calculation means has calculated the position, and corrects the position and orientation of the first acquisition means has acquired the observer viewpoint,
前記可動手段によって前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の前記補正後の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成手段と、 The image seen when viewing the virtual object is moving the portion corresponding to the moving part from the viewpoint by said movable means, the position and orientation of the corrected of the observer's viewpoint, the position and orientation of the physical object generating means for generating on the basis,
前記生成手段によって生成した画像を、前記入力手段が入力した現実空間の画像上に重畳させて出力する出力手段と を備えることを特徴とする。 The image generated by the generating means, and an outputting means for outputting superimposed on the image of the real space in which the input means is input.
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。 The image processing method in order to achieve the object of the present invention, for example, the present invention comprises the following arrangement.
即ち、 仮想空間の画像を生成して出力する画像処理装置が行う画像処理方法であって、 That is, an image processing method an image processing apparatus for generating and outputting an image of the virtual space is carried out,
前記画像処理装置の第１の取得手段が、観察者の視点の位置姿勢を取得する第１の取得工程と、 First acquisition means of the image processing apparatus includes a first acquisition step of acquiring the position and orientation of the viewpoint of the observer,
前記画像処理装置の入力手段が、前記視点から見える現実空間の画像を入力する入力工程と、 An input step inputting means of the image processing apparatus, for inputting an image of the real space seen from the viewpoint,
前記画像処理装置の第２の取得手段が、可動部分を有する現実物体の位置姿勢を取得する第２の取得工程と、 Second acquisition means of the image processing apparatus, a second acquisition step of acquiring the position and orientation of the physical object having a movable part,
前記画像処理装置の可動量取得手段が、前記可動部分の可動量を取得する可動量取得工程と、 Movable amount acquiring means of the image processing apparatus, the movable amount acquisition step of acquiring the moving amount of the moving part,
前記画像処理装置の可動手段が、前記現実物体を表す仮想物体の前記可動部分に該当する部分を前記可動量に基づいて可動させる可動工程と、 Movable means of said image processing apparatus, a movable step of moving the portion corresponding to the movable portion of the virtual object representing said real object based on the moving amount,
前記画像処理装置の検出手段が、前記可動部分と、前記現実物体における前記可動部分以外の非可動部分と、のそれぞれに１以上のマーカが取り付けられている場合に、前記入力工程で入力した現実空間の画像上における各マーカの位置を検出する検出工程と、 Real detecting means of the image processing apparatus, and the moving part, that the in the case where the non-movable portions other than the movable portion in the physical object, the one or more markers in each is attached, and input in the input step a detection step of detecting the position of each marker in the image space,
前記画像処理装置の計算手段が、前記可動部分と、前記現実物体における前記可動部分以外の非可動部分と、のそれぞれに１以上のマーカが取り付けられている場合に、前記可動量取得工程で取得した可動量に基づいて、前記可動部分に取り付けられているマーカの位置を求める計算工程と、 Calculating means of the image processing apparatus, and the moving part, and a non-movable part other than the movable portion in the physical object, if you are more than one marker is attached to each, acquired by the movable amount acquisition step based on the moving amount, a calculation step of calculating the position of a marker attached to the moving part,
前記画像処理装置の補正手段が、前記検出工程で検出した各マーカの位置と、前記計算工程で計算した位置と、を用いて、前記第１の取得工程で取得した前記観察者の視点の位置姿勢を補正する補正工程と、 Correction means of the image processing apparatus, the position of each marker detected in the detecting step, using a position calculated by said calculation step, the position of the said observer's viewpoint obtained in the first obtaining step and a correction step of correcting the posture,
前記画像処理装置の生成手段が、前記可動工程によって前記可動部分に該当する部分を可動させた前記仮想物体を前記視点から見た場合に見える画像を、前記観察者の視点の前記補正後の位置姿勢、前記現実物体の位置姿勢に基づいて生成する生成工程と、 Generating means of said image processing apparatus, an image that appears when the virtual object to the appropriate part was movable in the moving part as viewed from the viewpoint by the movable step, the position of the corrected of the observer's viewpoint orientation, a generation step of generating, based on the position and orientation of the physical object,
前記画像処理装置の出力手段が、前記生成工程によって生成した画像を、前記入力工程で入力した現実空間の画像上に重畳させて出力する出力工程と Output means of the image processing apparatus, and an output step of an image generated by the generating step, and outputs the superimposed on the image of the real space inputted in said input step
を備えることを特徴とする。 Characterized in that it comprises a.
本発明の構成により、簡易試作物が可動部を有する場合にも、可動部の動きに合わせて３Ｄ−ＣＧデータを動かし、簡易試作物と重ね合わせて表示することができる。 The configuration of the present invention, even when the simple prototype have a movable portion moves the 3D-CG data in accordance with the movement of the movable part can be displayed superimposed with the simple prototype.
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。 With reference to the accompanying drawings will be described in detail in accordance with a preferred embodiment of the present invention.
図１は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 1, in a process for providing a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), superimposing the virtual object representing this physical object in the physical object having a movable part (simple prototype) in case of, when the movable portion is movable, it is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it.
同図において２００はトランスミッタで、磁場を発生させる。 200 is a transmitter, to generate a magnetic field in FIG. １００は観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置（以下、ＨＭＤ：Head Mounted Displayと呼称する）で、カメラ１０２Ｒ、１０２Ｌ、表示装置１０１Ｒ、１０１Ｌ、磁気レシーバ２０１により構成されている。 100 worn on the head of the observer, the real and virtual spaces and combining head-mounted display device for providing in front of the eyes of the observer image (hereinafter, HMD: Head Mounted Display with referred) at the camera 102R, 102L, display devices 101R, 101L, and is constituted by a magnetic receiver 201.
カメラ１０２Ｒ、１０２ＬはそれぞれＨＭＤ１００を頭部に装着した観察者の右目、左目の位置から見える現実空間を連続して撮像するものであり、撮像した各フレームの画像は後段のコンピュータ４００に出力される。 Camera 102R, 102L is the observer respectively HMD100 worn on the head right, sequentially reality space seen from the position of the left eye is intended for capturing an image of each captured frame is output to the subsequent computer 400 .
表示装置１０１Ｒ、１０１Ｌはそれぞれ、観察者がＨＭＤ１００を頭部に装着したときに右目、左目の眼前に位置するようにＨＭＤ１００に装着されたものであり、後段のコンピュータ４００から出力された画像信号に基づいた画像を表示する。 Display device 101R, respectively 101L, the right eye when the observer wears the HMD 100 on the head, so as to be positioned in front of the left eye has been mounted on the HMD 100, the image signal output from the subsequent computer 400 image on the basis of displayed. 従って観察者の右目、左目の眼前にはコンピュータ４００が生成した画像が提供されることになる。 Thus the observer's right eye, the image of the computer 400 is generated is provided in front of the left eye.
磁気レシーバ２０１は、上記トランスミッタ２００が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置２０５に出力するものである。 Magnetic receiver 201, and outputs to detect changes in the magnetic field in which the transmitter 200 emits a signal resulting from the detection to the subsequent position and orientation measuring apparatus 205. 検知した結果の信号は、トランスミッタ２００の位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、磁気レシーバ２０１の位置姿勢に応じて検知される磁場の変化を示す信号である。 Signals resulting from detection, and the position of the transmitter 200 as the origin, in the coordinate system of the three-axis orthogonal to each other at the location of the origin x, y, and z-axis (hereinafter, referred to as the sensor coordinate system), the magnetic receiver 201 is a signal indicating a change of the magnetic field detected depending on the position and orientation of.
位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢を求め、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。 Position and orientation measuring apparatus 205, based on this signal, obtains the position and orientation of the magnetic receiver 201 on the sensor coordinate system, data representing the obtained position and orientation is output to the subsequent stage of the computer 400.
図２は、ＨＭＤ１００の具体的な構成を示す図である。 Figure 2 is a diagram showing a specific configuration of the HMD 100.
１０１は映像表示装置で、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。 101 is intended to be constituted by the video display apparatus, 0.5 several inches around the small-sized liquid crystal display device or the like. １０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。 103 is a free-form surface prism serves as a lens for enlarging the image of the image display device 101. このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。 With this configuration, image displayed on the image display device 101, for the viewer is presented as an image of the corresponding 90 inches, for example 2m destination.
１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。 102 is an image input device, CCD camera and is formed by an imaging device such as a CMOS camera. １０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。 104 denotes an image sensing system prism serves lens for converging the light of the real space to the image input apparatus 102. 撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。 Imaging system prism 104 on the outside of the free surface prism 103, by arranging to match the optical axis, eliminating the video input by the video input device 102, the parallax image displayed on the image display device 101, the real space it is possible to reproduce the image without discomfort.
図１に戻って、３００は現実物体（以下、簡易試作物と呼称する）である。 Returning to FIG. 1, 300 is a physical object (hereinafter, referred to as simple prototype). この簡易試作物３００は、操作者が手で動かすことで軸３０２周りに同図矢印で示す如く自在に可動する可動部分３０１を有している。 The simple prototype 300, the operator has a movable part 301 which freely movable as indicated by arrow in FIG around the shaft 302 by moving the hand. 軸３０２は、可動部分３０１の可動する軸となるものである。 Axis 302 is to be the axis that moves the movable portion 301. また、この簡易試作物３００には、可動部分３０１の可動量を測定する為のロータリーエンコーダ２１０が取り付けられており、測定した可動量を示す信号は後段のコンピュータ４００に出力される。 Furthermore, this simple prototype 300, and a rotary encoder 210 for measuring the moving amount of the movable portion 301 is attached, the signal indicating the measured moving amount is output to the subsequent computer 400.
３５０は、簡易試作物３００の観察時に置き場として利用される置き台である。 350 is a stand that is used as a storage during the observation of the simple prototype 300.
４００はコンピュータで、ＨＭＤ１００の表示装置１０１Ｒ、１０１Ｌに出力すべき画像信号を生成したり、位置姿勢計測装置２０５からのデータ、ロータリーエンコーダ２１０からの信号に基づくデータを受け、これを管理したり等の処理を行う。 400 is a computer, the display device 101R a HMD 100, and generate an image signal to be output to 101L, data from the position and orientation measuring apparatus 205, receives the data based on the signal from the rotary encoder 210, etc. to manage this carry out the process. このコンピュータは一般的には例えばＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成される。 This computer is generally constituted by, for example, a PC (personal computer), WS (workstation), or the like. 図１２は、コンピュータ４００の基本構成を示す図である。 Figure 12 is a diagram showing the basic arrangement of a computer 400.
１２０１はＣＰＵで、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているプログラムやデータを用いてコンピュータ４００全体の制御を行うと共に、Ｉ／Ｆ１２０７に接続される外部装置とのデータ通信の制御を行う。 1201 by a CPU, a performs computer 400 overall control by using programs and data stored in the RAM1202 and ROM 1203, and controls the data communication with the external device connected to the I / F 1207. また、コンピュータ４００が行うべき処理として後述する各処理を行う。 Also performs respective processes to be described later as processing to a computer 400 does.
１２０２はＲＡＭで、外部記憶装置１２０５からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ１２０１が各種の処理を実行する際に必要なワークエリアも備える。 1202 in RAM, provided with a area for temporarily storing programs and data loaded from an external storage device 1205 also includes a work area required when CPU1201 executes various processes.
１２０３はＲＯＭで、ブートプログラムやコンピュータ４００の設定データなどを格納する。 1203 in ROM, storing and setting data of the boot program or computer 400.
１２０４は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、各種の指示をＣＰＵ１２０１に対して入力することができる。 1204 denotes an operation unit, a keyboard and a mouse, which is configured of a joystick, can input various instructions to the CPU 1201.
１２０５は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）やＣＰＵ１２０１に後述する各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部、もしくは全部は、ＣＰＵ１２０１の制御により、ＲＡＭ１２０２にロードされる。 1205 denotes an external storage device, which functions as a large-capacity information storage device such as a hard disk drive apparatus, wherein programs and data for executing each process described later to an OS (operating system) or the CPU1201 is stored in and, some of these, or the whole, under the control of the CPU1201, are loaded into RAM 1202. また、後述の説明で、既知のデータ（情報）として説明するもの（もしくは以下説明する処理で必要となるべきデータ）もまたこの外部記憶装置１２０５に保存されており、必要に応じてＣＰＵ１２０１の制御により、ＲＡＭ１２０２にロードされる。 Further, in the following description, (data to be required in processing to be described or below) those described as known data (information) has also been stored in the external storage device 1205, if necessary CPU1201 controls the by, it is loaded into the RAM1202.
１２０６は表示部で、ＣＲＴや液晶画面等により構成されており、画像や文字による各種の情報を表示することができる。 1206 denotes a display unit which comprises a CRT, liquid crystal display, or the like, can display various information by an image and text.
１２０７はＩ／Ｆで、ここに上記位置姿勢計測装置２０５、ＨＭＤ１００、ロータリーエンコーダ２１０等が接続されており、このＩ／Ｆ１２０７を介して、コンピュータ４００は位置姿勢計測装置２０５、ＨＭＤ１００、ロータリーエンコーダ２１０等とのデータ通信を行うことができる。 1207 In I / F, here the position and orientation measuring device 205, HMD 100, rotary encoder 210, etc. is connected, via the I / F 1207, the computer 400 the position and orientation measuring device 205, HMD 100, rotary encoder 210 it can perform data communication and so on.
１２０８は上述の各部を繋ぐバスである。 1208 denotes a bus which interconnects the aforementioned units.
以上の構成を備えるコンピュータ４００は、カメラ１０２Ｒ、１０２Ｌそれぞれから得られる現実空間の画像を取り込むと共に、磁気レシーバ２０１から得られる位置姿勢、予め定められた簡易試作物３００の位置姿勢に基づいてカメラ１０２Ｒ、１０２Ｌから見える仮想物体の画像を生成する。 More computers 400 having the configuration of the camera 102R, fetches the image in real space obtained from the respective 102L, the position and orientation obtained from the magnetic receiver 201, camera 102R based on the position and orientation of the simple prototype 300 with a predetermined , to generate an image of the virtual object seen from 102L. そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を表示装置１０１Ｒ、１０１Ｌに出力する。 Then, the generated image, is superimposed on the image of the captured real space above and outputs the image obtained by superimposing the display device 101R, the 101L. これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間画像が表示されることになる。 Thus, the right eye of the observer wearing the HMD100 on the head, the front of the left eye, so that the mixed reality space image corresponding to the position and orientation of each eye is displayed.
図３は、このコンピュータ４００の機能構成を示す図である。 Figure 3 is a diagram showing the functional configuration of the computer 400. 本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明する。 In the present embodiment, respective units shown in the drawing will be described as being configured by software. なお、ソフトウェアの実行処理はＣＰＵ１２０１によりなされるものである。 The execution process of the software is intended to be made by the CPU 1201. しかし、図３に示した各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。 However, it may be a part of the units shown in FIG. 3, or all be constituted with hardware.
４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれカメラ１０２Ｒ、１０２Ｌより入力した画像をディジタル信号として取り込む。 401R, 401L are image capturing unit captures the camera 102R, respectively, the images input from the 102L as a digital signal.
４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。 404 is a position and orientation information input unit captures the data output from the position and orientation measuring apparatus 205. このデータは即ち、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータである。 The data words, the data representing the position and orientation in the sensor coordinate system of the magnetic receiver 201.
４０６は、３ＤＣＧ描画データで、上記簡易試作物３００を表し、この簡易試作物３００に重畳させる仮想物体の画像を生成するためのデータである。 406 is a 3DCG drawing data represents the simple prototype 300, which is data for generating an image of a virtual object to be superimposed on the simple prototype 300. ３ＤＣＧ描画データには、この仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。 The 3DCG drawing data, data indicating the geometric shape and color of the virtual object, and the like texture data. また、この３ＤＣＧ描画データには、簡易試作物３００のセンサ座標系における位置姿勢を示すデータ（可動部分３０１の初期位置姿勢データを含む）も含まれている。 Further, this 3DCG drawing data (including the initial position and orientation data of the moving part 301) data representing the position and orientation on the sensor coordinate system of the simple prototype 300 is also included.
４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４から入力される磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ、簡易試作物３００のセンサ座標系における位置姿勢を示すデータを用いて、磁気レシーバ２０１の位置姿勢に対する簡易試作物３００の相対位置姿勢を求める。 405 is a position and orientation calculation unit, the data representing the position and orientation in the sensor coordinate system of the magnetic receiver 201 inputted from the position and orientation information input unit 404, using the data representing the position and orientation on the sensor coordinate system of the simple prototype 300 , determine the relative position and orientation of the simple prototype 300 relative to the position and orientation of the magnetic receiver 201.
４２０は、上記ロータリーエンコーダ２１０からの信号を受け、これをディジタルデータに変換して後段の回転角度算出部４２１に送出する回転量情報入力部である。 420 receives a signal from the rotary encoder 210, a rotation amount information input unit which converts it into digital data and sends it to the subsequent stage of the rotation angle calculation unit 421.
４２１は回転角度算出部で、回転量情報入力部４２０から受けた信号に基づいて、可動部分３０１の回転角度（可動量）を求める。 421 is a rotation angle calculation unit, based on the signal received from the rotation amount information input unit 420 obtains the rotation angle of the movable portion 301 (movable amount).
４０７はＣＧレンダリング部で、先ず、簡易試作物３００を表す仮想物体を、予め決められた位置姿勢（３ＤＣＧ描画データから取得される）でもって配置する。 407 is a CG rendering unit, first, a virtual object that represents the simple prototype 300 is arranged with a predetermined position and orientation (obtained from 3DCG drawing data). 仮想物体において可動部分３０１に相当する部分については現在の可動部分３０１の回転角度（回転角度算出部４２１によって算出された回転角度）に、上記軸３０２周りに回転させて配置する。 The rotational angle of the portion corresponding to the movable part 301 in the virtual object is currently moving part 301 (rotation angle calculated by the rotation angle calculator 421), arranged to rotate about the axis 302. なお、可動部分３０１に相当する部分（部分仮想物体）を所定の軸周りに回転させる技術についてはＣＧの分野では周知の技術であるので、これに関する説明は省略する。 Since a technique for rotating a portion (partial virtual object) corresponding to the movable portion 301 around a predetermined axis in the CG field of well known techniques, the explanation thereof will be omitted.
次にＣＧレンダリング部４０７は、カメラ１０２Ｒ、１０２Ｌの位置姿勢（磁気レシーバ２０１とカメラ１０２Ｒ、１０２Ｌとの位置姿勢関係を予めバイアスとして求めておけば、磁気レシーバ２０１により計測した位置姿勢にこのバイアスを加えることで、カメラ１０２Ｒ、１０２Ｌの位置姿勢は求めることができる）に応じて見える仮想物体の画像を生成する。 Then CG rendering unit 407, the camera 102R, 102L of the position and orientation (the magnetic receiver 201 and the camera 102R, if obtained as previously biased position and orientation relationship between the 102L, the bias to the position and orientation measured by the magnetic receiver 201 by adding, to generate an image of the virtual object appears in accordance with the camera 102R, the position and orientation of the 102L can be obtained). なお、ここでの仮想物体とは、簡易試作物３００に重畳させる仮想物体である。 Note that the virtual object wherein a virtual object to be superimposed on the simple prototype 300.
従って、この仮想物体の画像は、予め設定された位置姿勢でもって仮想空間内に配置され、これを位置姿勢算出部４０５が算出したカメラ１０２Ｒ、１０２Ｌの位置姿勢に応じて見える画像となる。 Thus, the image of the virtual object is located with in the in the virtual space at a preset position and orientation, which position and orientation calculation unit 405 calculates a camera 102R, a image viewed in accordance with the position and orientation of 102L. なお、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。 Since the process of generating an image of a virtual object viewed from a viewpoint having a predetermined position and orientation is a known technique, a detailed description thereof will be omitted. また、以下では、カメラ１０２Ｒ、１０２Ｌを総称して「視点」と呼称する場合がある。 In the following, the camera 102R, are collectively referred to as 102L there is a case to be referred to as a "point of view".
４０２Ｒ、４０２Ｌはそれぞれ映像合成部であり、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２Ｒの位置姿勢に応じて見える仮想物体の画像、カメラ１０２Ｌの位置姿勢に応じて見える仮想物体の画像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。 402R, 402L are each video synthesizing unit, the image capturing unit 401R, on the image of the physical space input from the 401L, the image of the virtual object appears according to the position and orientation of the camera 102R for CG rendering unit 407 has generated, the camera 102L superimposes an image of the virtual object appears according to the position and orientation of each output image generation unit 403R, the 403L. これにより、カメラ１０２Ｒの位置姿勢に応じて見える複合現実空間の画像、カメラ１０２Ｌの位置姿勢に応じて見える複合現実空間の画像を生成することができる。 Thus, it is possible to generate a mixed reality space image visible depending on mixed reality space image, the camera 102L pose visible depending on the position and orientation of the camera 102R.
映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログ信号に変換し、それぞれ表示装置１０１Ｒ、１０１Ｌに映像信号として出力する。 Image generating unit 403R, 403L, respectively, converts the video compositing unit 402R, an image of the output mixed reality space from 402L into analog signals, respectively display device 101R, and outputs a video signal to 101L. これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目に対応した複合現実空間の画像が表示される。 Thus, the right eye of the observer wearing the HMD100 on the head, the front of the left eye, mixed reality space image corresponding to each eye are displayed.
以上説明した、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図４を参照して説明する。 Above described, the observer's right eye for the left eye, the processing for presenting a mixed reality space image visible according to their position and orientation will be described with reference to FIG. 4 showing a procedure of the processing.
先ず、３ＤＣＡＤデータから、簡易試作物３００、３ＤＣＧ描画データを生成するための処理手順について、同図の左側を参照して説明する。 First, the 3DCAD data, a processing procedure for generating a simple prototype 300,3DCG drawing data will be described with reference to the left side in FIG.
通常、３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合には、３Ｄ−ＣＡＤのデータは、それぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。 Generally, when using the three-dimensional CAD system for designing operations such as shape and design (1010), the data of 3D-CAD are typically being stored as each of the three-dimensional CAD system-specific solid data it is. 簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。 Simple prototype 300, than the solid data, created using a rapid prototyping device, such as an optical molding (1110).
一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。 On the other hand, 3D solid data is expressed by a set of geometric parameters of each design part, can not be the intact renders as CG. そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。 Therefore, to convert a 3D solid data into a data format suitable for the drawing of 3DCG (eg VRML, etc.) (1210). 本複合現実感システムでは、このように変換された３Ｄ−ＣＧ描画用データ４０６を使って仮想空間を生成する。 In the present mixed reality system creates a virtual space by using 3D-CG rendering data 406 which has been converted in this way. 生成された３Ｄ−ＣＧ描画データ４０６は、コンピュータ４００の外部記憶装置１２０５に保存しておき、必要に応じてＲＡＭ１０２にロードする。 3D-CG rendering data 406 generated is to keep the external storage device 1205 of the computer 400, it is loaded into the RAM102 if necessary.
次に、複合現実感システムが行う、この３Ｄ−ＣＧ描画データ４０６を用いて仮想空間の画像（仮想物体の画像）を生成し、現実空間の画像に重畳させて観察者に提示する処理について、同図右側を参照して説明する。 Next, the mixed reality system, the process by using this 3D-CG rendering data 406 to generate an image of the virtual space (images of the virtual object), is presented to the observer is superimposed on the image of the real space, It will be described with reference to FIG right.
磁気レシーバ２０１は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０２０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢（上述の通り、バイアスを加算すれば、カメラ１０２Ｒ、１０２Ｌの位置姿勢）を示すデータをコンピュータ４００に出力する（２０３０）。 Magnetic receiver 201 measures the change in the magnetic field as a magnetic transmitter 200 described above is generated (2020), since the output to the position and orientation measuring apparatus 205 and the measurement result as a signal, the measurement apparatus 205, the received signal based on the position and orientation (as described above, if adding the bias, the camera 102R, 102L position and orientation) of the magnetic receiver 201 on the sensor coordinate system outputs data indicating to the computer 400 (2030).
一方で、回転量情報入力部４２０には、ロータリーエンコーダ２１０により測定された、現在の可動部分３０１の回転角度を示す信号が入力されるので（２０３１）、回転量情報入力部４２０はこれをＡ／Ｄ変換してディジタルデータとして後段の回転角度算出部４２１に送出し、回転角度算出部４２１は、このデータに基づいて、現在の可動部分３０１の回転角度を求める処理を行う（２０３２）。 On the other hand, the rotation amount information input unit 420, measured by the rotary encoder 210, the signal indicating the current rotation angle of the movable portion 301 is input (2031), which is the rotation amount information input unit 420 A / D converted and sent to the subsequent rotation angle calculation unit 421 as the digital data, the rotation angle calculation unit 421, based on this data, it performs processing for calculating the rotation angle of the current of the moving part 301 (2032).
ここで、ロータリーエンコーダ２１０による初期計測値（可動部分３０１の回転角度が０°の時にロータリーエンコーダ２１０がカウントしたカウント値）をｄ０、ロータリーエンコーダ２１０による現在の測定値をｄ１，可動部分３０１が３６０°回転した時のロータリーエンコーダ２１０による測定値をｒとすると、可動部分３０１の現在の角度θは以下の式に従って求められる。 The initial measurement value measured by the rotary encoder 210 (count value rotary encoder 210 has counted at the time of the rotation angle of the movable portion 301 is 0 °) d0, the current value measured by the rotary encoder 210 d1, movable part 301 is 360 when ° the measured value by the rotary encoder 210 when rotated to r, the current angle θ of the movable portion 301 is determined according to the following equation.
θ＝３６０×（ｄ１−ｄ０）／（ｒ−ｄ０） θ = 360 × (d1-d0) / (r-d0)
また、ロータリーエンコーダ２１０にギア比ｇのギアが取り付けられている場合には、可動部分３０１の現在の角度θは以下の式に従って求められる。 Also, in the event that the gear ratio g of the gear is mounted on the rotary encoder 210, the current angle θ of the movable portion 301 is determined according to the following equation.
θ＝３６０×ｇ×（ｄ１−ｄ０）／（ｒ−ｄ０） θ = 360 × g × (d1-d0) / (r-d0)
いずれにせよ、このような計算は回転角度算出部４２１によって成されるものである。 In any case, such calculations are intended to be made by the rotation angle calculator 421. 図１３は、本実施形態で用いている簡易試作物３００における可動部分３０１の可動様態を示す図である。 Figure 13 is a diagram showing a movable manner in the movable part 301 in the simple prototype 300 is used in this embodiment. 簡易試作物３００は、本体１３０１と可動部分３０１とにより構成されており、この可動部分３０１は観察者が手に持って軸Ａ周りに同図矢印１３０２で示す如く自在に角度を変更することができる。 Simple prototype 300 is constituted by a main body 1301 and the movable portion 301, the movable portion 301 to change the angle freely as indicated by the observer FIG arrow 1302 around the axis A in hand it can. この角度はロータリーエンコーダ２１０により測定される。 This angle is measured by the rotary encoder 210.
同図において３０１ａは角度θが０°の状態（ロータリーエンコーダ２１０による測定値がｄ０の状態）における可動部分３０１を示し、３０１ｂは現在の角度θの状態（ロータリーエンコーダ２１０による測定値がｄ１の状態）における可動部分３０１を示すものである。 301a in the figure state of angle theta is 0 ° (measured by the rotary encoder 210 is state of d0) shows the movable part 301 in, 301b is measured by the current state of the angle theta (rotary encoder 210 is d1 state It shows the movable part 301 in).
図４に戻って、そしてＣＧレンダリング部４０７により、カメラ１０２Ｒ、１０２Ｌのそれぞれから見える、「簡易試作物３００に重畳表示すべき仮想物体」の画像を生成する（２０４０）。 Returning to FIG. 4, and the CG rendering unit 407, the camera 102R, viewed from the respective 102L, generates an image of the "virtual object to be superimposed on the simple prototype 300" (2040). この画像生成処理では先ず、ＣＧレンダリング部４０７は、予め決められたセンサ座標系における位置姿勢に「簡易試作物３００に重畳表示すべき仮想物体」を配置する。 This image generating process, first, CG rendering unit 407, placing the "virtual object to be superimposed on the simple prototype 300" to the position and orientation of the predetermined sensor coordinate system. その際には、仮想物体で可動部分３０１に相当する部分のモデルは、軸３０２（図１３では軸Ａ）周りに上記角度θに回転させて配置する。 In that case, the model of a portion corresponding to the movable part 301 in the virtual object is disposed in the axial 302 (in FIG. 13 the axis A) around is rotated to the angle theta. これにより、実際の可動部分３０１の可動量と同じだけ仮想物体における可動部分３０１を可動させることができ、それぞれの回転角度を一致させることができる。 Thus, it is possible to movable movable part 301 in the virtual object as much as the actual moving amount of the movable portion 301, it can be matched to the respective rotation angles.
そしてＣＧレンダリング部４０７は、位置姿勢算出部４０５が求めた「センサ座標系におけるカメラ１０２Ｒ、１０２Ｌの位置姿勢を示すデータ」を用いて、カメラ１０２Ｒ、１０２Ｌの位置姿勢から見える「簡易試作物３００に重畳表示すべき仮想物体」の画像を生成する。 The CG rendering unit 407, the position and orientation calculating section 405 was determined using a "camera 102R in the sensor coordinate system, the data representing the position and orientation of the 102L", the camera 102R, a "simple prototype 300 visible from the position and orientation of 102L generating an image of a virtual object "to be superimposed on.
なお、生成した画像のデータはＲＡＭ１２０２中の所定のエリアに一時的に記憶される。 Note that the data of the generated image is temporarily stored in a predetermined area in the RAM 1202. また、仮想物体の画像を生成するためには外部記憶装置１２０５に保存されている３ＤＣＧ描画データをＲＡＭ１２０２に読み出して用いるものとする。 Further, it is assumed to produce an image of the virtual object is used by reading the 3DCG drawing data stored in the external storage device 1205 in the RAM 1202.
一方、上記２０２０，２０３０，２０４０、２０３１，２０３２における処理と並行して、カメラ１０２Ｒ、１０２Ｌより撮像された現実空間の画像は映像キャプチャ部４０１Ｒ、４１０Ｌによりコンピュータ４００に入力され（３０１０）、ＲＡＭ１２０２上に描画される（３０２０）。 On the other hand, in parallel with the process in 2020,2030,2040,2031,2032, camera 102R, the image of the real space captured from 102L are input video capture unit 401R, the 410L to the computer 400 (3010), above RAM1202 is drawn to the (3020).
そして、映像合成部４０２Ｒは、映像キャプチャ部４０１Ｒにより入力された右目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた右目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｒに出力する（４０１０）。 Then, the image synthesis unit 402R is on the image of the physical space for the right eye that is input by the image capture unit 401R, it superimposes the rendered image for the right eye (image of a virtual object) by CG rendering unit 407, after superimposition and outputs the image (mixed reality space image) to the subsequent video generation unit 403R (4010).
一方、映像合成部４０２Ｌは、映像キャプチャ部４０１Ｌにより入力された左目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた左目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｌに出力する（４０１０）。 On the other hand, the video compositing unit 402L is on the image of the physical space for the left eye that is input by the image capture unit 401L, by overlapping rendered image for the left eye (image of a virtual object) by CG rendering unit 407, after superimposition and it outputs the image (mixed reality space image) to the subsequent image generation unit 403L (4010).
即ち、現実空間の画像上への仮想物体の画像の重畳処理では、カメラ１０２Ｒからの現実空間の画像上に、カメラ１０２Ｒの位置姿勢から見える仮想物体の画像を重畳すると共に、カメラ１０２Ｌからの現実空間の画像上に、カメラ１０２Ｌの位置姿勢から見える仮想物体の画像を重畳する処理を行う。 That is, in process of superimposing the image of the virtual object onto the image in real space, but the physical space image from the camera 102R, with superimposing the image of the virtual object seen from the position and orientation of the camera 102R, a real from the camera 102L on the image of the space, it performs a process of superimposing the image of the virtual object seen from the position and orientation of the camera 102L. その結果、観察者の右目から見える複合現実空間の画像、左目から見える複合現実空間の画像を生成することができる。 As a result, it is possible to generate a mixed reality space image looks mixed reality space image viewed from the observer's right eye, the left eye.
映像生成部４０３Ｒ、４０３Ｌはそれぞれ、受けた複合現実空間の画像をアナログ信号としてのビデオ信号に変換し、Ｉ／Ｆ１２０７を介して表示装置１０１Ｒ、１０１Ｌに出力する（４０２０）。 Image generating unit 403R, 403L, respectively, converts the image of the received MR space into a video signal as an analog signal, the display device 101R via the I / F 1207, and outputs the 101L (4020).
そして上記処理２０２０〜処理４０２０までの各処理を、表示装置（１０１Ｒ、１０１Ｌ）における映像更新間隔、あるいは処理２０４の実行時間以下で繰り返し行うことで、リアルタイムに情報提示を行う。 Then the processes up to the process 2020～ process 4020, a display device (101R, 101L) by repeating the following run time of the video update interval or the processing 204, in, performing information presentation in real time.
なお、本実施形態では、センサとして磁気センサを用いたが、超音波センサなど、他のタイプのセンサを用いても良いことはいうまでもない。 In the present embodiment uses a magnetic sensor as a sensor, an ultrasonic sensor, it may of course be used other types of sensors.
また、本実施形態では可動部分３０１の回転角度の測定にロータリーエンコーダを用いたが、その他の測定機器を用いて測定しても良く、その測定機器については特に限定するものではない。 Although using a rotary encoder to measure the rotation angle of the movable portion 301 in the present embodiment, it may be measured using the other measurement instruments, not particularly limited for the measurement instrument.
また、本実施形態では、可動部分の可動は固定された軸周りに回転するのみであったが、「可動」としては回転のみでなく、平行移動等、その他の可動形態であっても良い。 Further, in the present embodiment, the movable moving parts was only rotates about a fixed axis, not only rotated as a "movable", parallel movement, etc., may be another movable form. その場合には、可動した量を計測可能な機器（例えばリニアエンコーダや、磁気的または光学的な位置・姿勢計測装置などの装置）をその現実物体に取り付けることが必要となる。 In this case, the movable amounts measurable equipment (for example, a linear encoder, device such as a magnetic or optical position and orientation measuring apparatus) it is necessary to the attachment to the physical object.
以上のように、本実施形態によって、３Ｄ−ＣＡＤで生成された３次元データより作成された簡易試作物が可動部を有する場合に、同じ３次元データより作成された３Ｄ−ＣＧデータを可動部の動きに合わせて動かすことによって、簡易試作物と３ＤＣＧデータを重ね合わせて表示することができる。 As described above, according to this embodiment, when the simple prototype created from three-dimensional data generated by the 3D-CAD has a movable portion, the movable portion of the 3D-CG data created from the same three-dimensional data of by moving according to the movement, it can be displayed by superimposing simple prototype and 3DCG data.
また、本実施形態では簡易試作物３００の位置姿勢は固定されているものとして説明したが、簡易試作物３００に磁気センサを取り付けて、センサ座標系における簡易試作物３００の位置姿勢の計測を行うことができれば、これに重畳させる仮想物体の位置姿勢もそれに応じて動かせば、常に簡易試作物３００に仮想物体を重畳させることができる。 The position and orientation of the simple prototype 300 in this embodiment has been described as being fixed, by attaching a magnetic sensor in the simple prototype 300, to measure the position and orientation of the simple prototype 300 on the sensor coordinate system if it is possible, if you move accordingly also the position and orientation of the virtual object to be superimposed thereto can always to superimpose the virtual objects to the simple prototype 300. これについての詳細な説明は後段の第３の実施形態にて行う。 Detailed description thereof will be performed in the third embodiment of the succeeding stage.
また、本実施形態では、ＨＭＤとしてビデオシースルータイプを用いているが、光学シースルータイプを用いて良く、その場合には、コンピュータ４００は、仮想空間の画像を現実空間の画像上に重畳させる処理、すなわち処理４０１０は行う必要はなく、処理４０２０では、映像生成部４０３Ｒ、４０３Ｌによって、処理４０１０で生成した現実空間の画像（それぞれ右目用現実空間の画像、左目用現実空間の画像）をアナログ信号としてのビデオ信号に変換し、Ｉ／Ｆ１２０７を介して表示装置１０１Ｒ、１０１Ｌに出力することになる。 The processing in the present embodiment uses a video see-through type as HMD, well using an optical see-through type, in which case the computer 400, to be superimposed on the image of the physical space image of the virtual space, that process 4010 does not need to perform, the process 4020, the image generating unit 403R, the 403L, image (image of each right-eye real space image of the left-eye real space) of the resulting real space in the processing 4010 to an analog signal of converted into a video signal, the display device 101R via the I / F 1207, it will be output to the 101L.
本実施形態では、簡易試作物３００（簡易モックアップ）、及び可動部分３０１にマーカを添付することにより、これを見る観察者の視点の位置姿勢を補正することを可能とした複合現実感システムを示す。 In this embodiment, the simple prototype 300 (simple mock-up), and by attaching the marker to the movable part 301, a mixed reality system that makes it possible to correct the position and orientation of the viewpoint of the observer see this show.
第１の実施形態においては、磁気を使って観察者の視点の位置姿勢を計測する場合を例に説明したが、磁気を使った場合には環境により計測精度が不安定になる場合がある。 In the first embodiment, a case has been described for measuring the position and orientation of the viewpoint of the observer using the magnetism example, when using the magnetism sometimes becomes unstable measurement accuracy environment. たとえば磁気トランスミッタの背景に金属物体が存在する場合には磁場が乱れ、磁気センサの出力する値が不安定になる。 For example disturbed magnetic field when the background metal object to the magnetic transmitters exist, the value of the output of the magnetic sensor becomes unstable. また、磁気トランスミッタと磁気センサの距離が遠くなるほど、計測精度が悪化するなどの問題がある。 Also, as the distance between the magnetic transmitter and the magnetic sensor becomes longer, there are problems such as measurement accuracy is deteriorated. さらに、別の計測手段の例として、光学的に計測する手段が存在するが、この場合には光を発光させる装置と、光を受光する装置間に遮蔽物が存在すると計測不可能になるなどの問題がある。 Further, as another example of the measuring means, the means exist to measure optically, and device for emitting light in this case, becomes an obstacle between devices for receiving light are present not measure such there is a problem.
よって本実施形態では、簡易試作物３００、可動部分３０１に添付されたマーカの映像を取り込み、この映像を用いることで、観察者の視点の位置姿勢を補正するというものである。 Therefore, in the present embodiment, the simple prototype 300 captures an image of the marker attached to the movable part 301, by using the video, is that to correct the position and orientation of the observer's viewpoint.
図５は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 Figure 5 is the process for providing a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), superimposing the virtual object representing this physical object in the physical object having a movable part (simple prototype) in case of, when the movable portion is movable, it is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it.
同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 1 in the drawing, a description thereof will be omitted. また、同図において図１と異なる点は、簡易試作物３００、可動部分３０１のそれぞれにマーカ３１０，３１１が添付されているという点である。 Also, 1 in that in the figure, the simple prototype 300 is that the marker 310 and 311 to each of the movable part 301 is attached. マーカとしては、位置姿勢補正のアルゴリズムに応じて、形状マーカあるいは、色マーカなど種々のものが考えられる。 The marker according to the algorithm of the position and orientation correction, shape marker or various materials such as color marker is contemplated.
なお同図では簡易試作物３００、可動部分３０１に添付するマーカの個数は１個ずつであるが、この数に限定されるものではなく、それぞれ複数個数添付するようにしても良い。 Note the figure by the simple prototype 300, although the number of attached marker to the movable portion 301 is one by one, is not limited to this number may be respectively attached plurality number.
図６は、本実施形態に係るコンピュータ４００の機能構成を示す図である。 Figure 6 is a diagram showing a functional configuration of a computer 400 according to this embodiment. 同図において図３と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 3 in the figure, a description thereof will be omitted. 同図において図３と異なる点は、マーカ検出部４１０が加わった点にある。 Figure 3 differs from that in figure is that a marker detecting unit 410 is applied.
また、図７は、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 Further, FIG. 7, the observer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. 同図において図４と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 4 in the figure, a description thereof will be omitted.
以下、簡易試作物３００、可動部分３０１に添付されたマーカを用いて、観察者の視点の位置姿勢を補正する処理について図６，７を用いて説明する。 Hereinafter, the simple prototype 300, using a marker that is attached to the movable portion 301, the processing for correcting the position and orientation of the viewpoint of the observer will be described with reference to FIGS. なお、以下説明する点以外については基本的には第１の実施形態と同様である。 Note that basically the same as the first embodiment except for the points described below.
３Ｄソリッドデータより光造形などのラピッド・プロトタイピング装置で作成した簡易試作物３００に対して、マーカを添付する（１１２０）。 For the simple prototype 300 created by the rapid prototyping devices, such as optical modeling from 3D solid data, attach a marker (1120). そして、マーカを添付した位置を算出するのであるが、その算出結果は、このときのロータリーエンコーダ２１０による計測値に基づいて上記式でもって決まる回転角度と共に、外部記憶装置２０５に記録する（１１３０）。 Then, although to calculate the position with attached marker, the calculation result is, the rotation angle determined with the above formula based on the measured value by the rotary encoder 210 at this time is recorded in the external storage device 205 (1130) .
ここで、マーカの位置は階層座標系で表現する。 Here, the position of the marker is expressed in a hierarchical coordinate system. すなわち、簡易試作物３００に添付したマーカの位置情報は簡易試作物座標系（簡易試作物３００上の１点を原点とし、この原点の位置で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系）で記述し、可動部分３０１に添付したマーカの位置情報は、簡易試作物座標系の子座標系である可動部座標系（可動部分３０１上の１点を原点とし、この原点の位置で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系）で記述する。 That is, the position information of the marker attached to the simple prototype 300 is simple prototype coordinate system (an origin point on the simple prototype 300, x 3 mutually perpendicular axes at the position of the origin, respectively, y, z-axis described in the coordinate system) to the position information of the marker attached to the movable portion 301, a point on the movable part coordinate system (movable part 301 is a simple prototype coordinate system child coordinate system as the origin, the origin It describes a three-axis orthogonal to each other at a position in each coordinate system x, y, and z axis).
本実施形態では、第１の実施形態に加えて、カメラ１０２Ｒ、１０２Ｌより撮像された現実空間の画像が映像キャプチャ部４０１Ｒ、４１０Ｌによりコンピュータ４００に入力されるので、マーカ検出部４１０はこの画像から、マーカを抽出する処理を行う（３０１１）。 In the present embodiment, in addition to the first embodiment, the camera 102R, the image is a video capture section 401R of the real space captured from 102L, since the input to the computer 400 by the 410L, the marker detecting unit 410 from the image the process of extracting the marker performed (3011). この抽出処理により、画像におけるマーカの位置を検出することができる。 This extraction process, it is possible to detect the position of the marker in the image.
一方で、操作者が可動部分３０１を手に持ってその角度を回転させると、そのときの角度は上述のようにして求めることができるので、先ず、外部記憶装置２０５に記憶させてある「可動部分３０１に添付されたマーカの位置」と簡易試作物３００の位置姿勢とを用いてセンサ座標系におけるマーカの位置姿勢を求め、これを回転角度だけ回転させたことで得られる現在のマーカの位置（センサ座標系における位置）を求める。 On the other hand, when the operator rotates the angle in his hand a movable part 301, since the angle at that time can be obtained as described above, first, the "movable which had been stored in the external storage device 205 obtains the position and orientation of the marker in the sensor coordinate system using the position of the markers attached to the portion 301 'and the position and orientation of the simple prototype 300, the current marker position obtained by this is rotated by the rotation angle Request (position in the sensor coordinate system).
よって以上の処理により、可動部分３０１に添付されたマーカのセンサ座標系における位置と、画像上におけるマーカの位置とが得られるので、これらの位置関係を用いて、磁気センサ２０１による計測結果を補正することができる（２０３３）。 By Therefore the above processing, a position in the sensor coordinate system of the markers attached to the movable part 301, since the position of the marker on the image is obtained, using these positional relationships, corrects the measurement result of the magnetic sensor 201 it is possible to (2033). なお、このような補正方法については周知のものであるので、これに関する詳細な説明は省略する。 Since for such correction method is well known, a detailed description thereof will be omitted. また、補正方法についてはこれに限定するものではない。 Further, not limited to this method for correcting.
よって、以上の処理によって視点の位置姿勢を補正すると、以降は第１の実施形態の実施形態と同様にして処理を行う。 Therefore, when correcting the position and orientation of the viewpoint by the above process, subsequent performs processing in the same manner as in the embodiment of the first embodiment.
［第３の実施形態］ Third Embodiment
第１の実施形態では、簡易試作物３００の位置は固定されていたが、本実施形態では観察者がこの簡易試作物３００を手に持つことでその位置や姿勢が変わり、且つ可動部分３０１の角度も任意に変更することが可能な場合について説明する。 In the first embodiment, the position of the simple prototype 300 had been fixed, the observer in the present embodiment changes its position and orientation by having in hand the simple prototype 300 and movable part 301 angles will be described which can be arbitrarily changed. このような場合、簡易試作物３００に磁気センサ２０１と同様の磁気センサを取り付ける。 In such cases, mounting the same magnetic sensor and magnetic sensor 201 to the simple prototype 300.
図８は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 Figure 8 is the process for providing a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), superimposing the virtual object representing this physical object in the physical object having a movable part (simple prototype) in case of, when the movable portion is movable, it is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it.
同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 1 in the drawing, a description thereof will be omitted. また、同図において図１と異なる点は、簡易試作物３００、可動部分３０１、ロータリーエンコーダ２１０の代わりに、簡易試作物（同図ではカメラ）３００'、可動部分３０１'、ロータリーエンコーダ２１０'、磁気センサ２０２を用いるという点である。 Also, 1 in that in the figure, the simple prototype 300, movable part 301, instead of the rotary encoder 210, simple prototype (camera in the figure) 300 ', the movable portion 301', a rotary encoder 210 ', is that use of the magnetic sensor 202.
３００'は、カメラの簡易試作物であり、可動部分３０１'を有する。 300 'is a simple prototype of the camera, the movable portion 301' having a. また、第１の実施形態と同様に、この可動部分３０１'の回転角度を測定する為に、ロータリーエンコーダ２１０'が取り付けられている。 As in the first embodiment, 'in order to measure the rotation angle of the rotary encoder 210' The movable part 301 are attached. また、この簡易試作物３００のセンサ座標系における位置姿勢を計測するための磁気センサ２０２が取り付けられている。 Also magnetic sensor 202 is mounted for measuring the position and orientation on the sensor coordinate system of the simple prototype 300.
図９は、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 9, the viewer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. 同図において図４と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 4 in the figure, a description thereof will be omitted. また、図９に示した処理が図４と異なる点は、処理２０１０で、簡易試作物３００'の位置姿勢を計測するという点にある。 Further, the processing in FIG. 4 differs from that shown in FIG. 9, in the processing 2010, in that it measures the position and orientation of the simple prototype 300 '.
即ち、第１の実施形態では、予め定められた簡易試作物３００の位置姿勢データを、外部記憶装置２０５から読み出すことで得ていたが、本実施形態では、センサ２０２から取得する。 That is, in the first embodiment, the position and orientation data of the simple prototype 300 with a predetermined, had obtained by reading out from the external storage device 205, in this embodiment, is obtained from the sensor 202. よって、本実施形態と第１の実施形態とは、簡易試作物３００の位置姿勢の取得方法が異なるのみで、それ以外については同じである。 Therefore, the present embodiment and the first embodiment, only method of acquiring the position and orientation of the simple prototype 300 are different, the same for the rest.
［第４の実施形態］ Fourth Embodiment
本実施形態では、第２，３の実施形態を組み合わせる。 In the present embodiment, combining the second and third embodiments. 即ち、簡易試作物３００の位置姿勢が任意に変更してもそれを取得すべく、簡易試作物３００に磁気センサ２０２を備えると共に、簡易試作物３００、可動部分３０１にマーカを添付する。 That is, it attached so as to get it even if the position and orientation of the simple prototype 300 is changed arbitrarily, provided with a magnetic sensor 202 to the simple prototype 300, the simple prototype 300, a marker on the movable portion 301. これにより、第２の実施形態におけるシステムで、視点の位置姿勢の計測精度を向上させることができる。 Thus, in the system of the second embodiment, it is possible to improve the measurement accuracy of the position and orientation of the viewpoint.
図１０は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 10, in a process for providing a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), superimposing the virtual object representing this physical object in the physical object having a movable part (simple prototype) in case of, when the movable portion is movable, it is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it. 同図において図１、５，８と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 1, 5, and 8 in the figure, a description thereof will be omitted. 図１０に示すように、システムの構成は第２の実施形態に係るシステムの構成と、第３の実施形態に係るシステムの構成とを用いたものとなっている。 As shown in FIG. 10, the configuration of the system has a one used configuration of system according to the second embodiment, the configuration of the system according to the third embodiment.
図１１は、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 11, the observer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. 同図において図４と同じ部分については同じ番号を付けており、その説明は省略する。 And denote the same parts as in FIG. 4 in the figure, a description thereof will be omitted.
なお、本実施形態の処理に係る説明は、第２，３の実施形態における説明で、マーカ３１０，３１１を３１０'、３１１'、簡易試作物３００と簡易試作物３００'、可動部分３０１を可動部分３０１'と読み替えればよい。 Incidentally, the explanation on the processing of the present embodiment, the description in the second and third embodiments, the marker 310, 311 310 ', 311', the simple prototype 300 and simple prototype 300 ', moving the movable part 301 it is replaced with part 301 '.
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention, a recording medium which records a program code of software for realizing the functions of the above (or storage medium) is supplied to a system or an apparatus, Ya computer of the system or apparatus (or CPU also by MPU) to retrieve and execute the program code stored in the recording medium, it is needless to say that is achieved. この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。 In this case, the program code itself read from the recording medium realizes the functions of the embodiments and the recording medium which records the program code constitutes the present invention.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the read program by computer, as well as functions of the above embodiments are realized on the basis of the instructions of the program code, such as an operating system (OS) running on the computer It performs a part or entire process but also to a case where the functions of the above-described embodiments are realized by those processes.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written in a memory of a function expansion unit connected to the function expansion card inserted into the computer or on the basis of the instructions of the program code, the function expansion a card or function expansion unit CPU performs part or all of the actual processing so that the program codes and the functions of the above embodiments are realized by those processes.
現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 In process to provide a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), in the case of superimposing the virtual object representing the physical object in the physical object having a movable part (simple prototype) When the movable portion is movable, is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it. ＨＭＤ１００の具体的な構成を示す図である。 It is a diagram showing a specific configuration of the HMD 100. コンピュータ４００の機能構成を示す図である。 It is a diagram showing a functional configuration of a computer 400. 観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。 Observer's right eye for the left eye is a diagram showing a procedure of processing for presenting a mixed reality space image visible according to their position and orientation. 現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 In process to provide a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), in the case of superimposing the virtual object representing the physical object in the physical object having a movable part (simple prototype) When the movable portion is movable, is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it. 本発明の第２の実施形態に係るコンピュータ４００の機能構成を示す図である。 It is a diagram showing a functional configuration of a computer 400 according to the second embodiment of the present invention. 観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 Observer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. 現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 In process to provide a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), in the case of superimposing the virtual object representing the physical object in the physical object having a movable part (simple prototype) When the movable portion is movable, is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it. 観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 Observer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. 現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する処理過程において、可動部分を有する現実物体（簡易試作物）にこの現実物体を表す仮想物体を重畳させる場合に、この可動部分が可動すると、それに伴って仮想物体におけるこの可動部分に相当する部分を可動させるためのシステムの外観を示す図である。 In process to provide a mixed reality space obtained by superimposing a virtual space to physical space to the observer (user), in the case of superimposing the virtual object representing the physical object in the physical object having a movable part (simple prototype) When the movable portion is movable, is a diagram showing an appearance of a system for moving a portion corresponding to the movable portion of the virtual object with it. 観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理手順を示す図である。 Observer's right eye for the left eye is a diagram illustrating a processing procedure for presenting an image of the mixed reality space seen in accordance with the respective position and orientation. コンピュータ４００の基本構成を示す図である。 Is a diagram showing the basic arrangement of a computer 400. 本発明の第１の実施形態で用いている簡易試作物３００における可動部分３０１の可動様態を示す図である。 Is a diagram showing a movable manner in the movable part 301 of the first simple prototype 300 is used in embodiments of the present invention.
仮想空間の画像を生成して出力する画像処理装置であって、 An image processing apparatus for generating and outputting an image of the virtual space,
前記生成手段によって生成した画像を、前記入力手段が入力した現実空間の画像上に重畳させて出力する出力手段と を備えることを特徴とする画像処理装置。 The image processing apparatus according to an outputting means for the image generated by the generating means, and outputs the superimposed on the image of the real space in which the input means is input.
前記可動量取得手段は、前記現実物体に取り付けられている計測装置により計測された前記可動部分の可動量を取得することを特徴とする請求項１に記載の画像処理装置。 The movable amount acquiring unit, an image processing apparatus according to claim 1, characterized in that to obtain the moving amount of the moving part, which is measured by the measuring device attached to the physical object.
前記可動量は、ロータリーエンコーダで計測した、回転角度であることを特徴とする請求項２に記載の画像処理装置。 The movable weight, the image processing apparatus according to claim 2, characterized in that measured in the rotary encoder, a rotation angle.
前記可動量は、リニアエンコーダで計測した、平行移動量であることを特徴とする請求項２に記載の画像処理装置。 The movable weight is measured by the linear encoder, the image processing apparatus according to claim 2, characterized in that the amount of translation.
前記第２の取得手段は、予め定められた前記現実物体の位置姿勢を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 It said second acquisition means, image processing apparatus according to any one of claims 1 to 4, characterized in that to obtain the position and orientation of the physical object determined in advance.
前記第２の取得手段は、前記現実物体に取り付けられたセンサによって計測された前記現実物体の位置姿勢を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 It said second acquisition means, image processing apparatus according to any one of claims 1 to 4, characterized in that to obtain the position and orientation of the physical object that is measured by the sensor attached to the physical object .
仮想空間の画像を生成して出力する画像処理装置が行う画像処理方法であって、 An image processing method for an image processing apparatus for generating and outputting an image of the virtual space is carried out,
を備えることを特徴とする画像処理方法。 Image processing method, characterized in that it comprises a.
コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。 Computer program for causing to function as each means of the image processing apparatus according to computer to any one of claims 1 to 6.
請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。 Storing a computer program according to claim 8, a computer readable storage medium.
JP2005123980A 2005-04-21 2005-04-21 Image processing apparatus, image processing method Expired - Fee Related JP4667111B2 (en)
JP2005123980A JP4667111B2 (en) 2005-04-21 2005-04-21 Image processing apparatus, image processing method
PCT/JP2006/308680 WO2006115261A1 (en) 2005-04-21 2006-04-19 Image processing method and image processing apparatus
US11909236 US8350897B2 (en) 2005-04-21 2006-04-19 Image processing method and image processing apparatus
CN 200680013293 CN101164084B (en) 2005-04-21 2006-04-19 The image processing method and image processing apparatus
EP20060732336 EP1886281B1 (en) 2005-04-21 2006-04-19 Image processing method and image processing apparatus
JP2006302034A true JP2006302034A (en) 2006-11-02
JP4667111B2 true JP4667111B2 (en) 2011-04-06
ID=37214875
JP2005123980A Expired - Fee Related JP4667111B2 (en) 2005-04-21 2005-04-21 Image processing apparatus, image processing method
US (1) US8350897B2 (en)
EP (1) EP1886281B1 (en)
JP (1) JP4667111B2 (en)
CN (1) CN101164084B (en)
WO (1) WO2006115261A1 (en)
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP5269745B2 (en) * 2009-10-30 2013-08-21 任天堂株式会社 Object control program, the object control device, object control system and object control method
JP5728159B2 (en) * 2010-02-02 2015-06-03 ソニー株式会社 Image processing apparatus, image processing method, and program
US9733699B2 (en) 2010-04-13 2017-08-15 Dean Stark Virtual anamorphic product display with viewer height detection
WO2011127577A1 (en) 2010-04-13 2011-10-20 Dean Stark Interactive video shelving system
WO2011127578A1 (en) * 2010-04-13 2011-10-20 Dean Stark Virtual product display
CN103562982A (en) 2011-02-11 2014-02-05 4D零售科技公司 System and method for virtual shopping display
US9367869B2 (en) 2012-02-13 2016-06-14 Dean Stark System and method for virtual display
CN102859470B (en) * 2011-03-15 2015-12-02 松下电器（美国）知识产权公司 Object control means, and object control method of an integrated circuit
JP6397269B2 (en) 2013-09-06 2018-09-26 キヤノン株式会社 Image processing apparatus, image processing method
KR20150031384A (en) * 2013-09-13 2015-03-24 현대자동차주식회사 System of customized interface and operating method thereof
KR20150034449A (en) * 2013-09-26 2015-04-03 엘지전자 주식회사 A head mounted display and the method of controlling the same
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
US20170115489A1 (en) * 2015-10-26 2017-04-27 Xinda Hu Head mounted display device with multiple segment display and optics
WO2003063086A1 (en) * 2002-01-23 2003-07-31 Michihiko Shouji Image processing system, image processing apparatus, and display apparatus
JP2005083826A (en) * 2003-09-05 2005-03-31 Canon Inc Information processing method, information processor and identification method
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP2005063004A (en) * 2003-08-08 2005-03-10 Canon Inc Mixed reality sense system
JP3991020B2 (en) 2003-09-30 2007-10-17 キヤノン株式会社 Image display method and image display system
JP4401728B2 (en) * 2003-09-30 2010-01-20 キヤノン株式会社 Mixed reality space image generating method and a mixed reality system
US7626596B2 (en) * 2003-11-19 2009-12-01 Canon Kabushiki Kaisha Image reproducing method and apparatus for displaying annotations on a real image in virtual space
US7646394B1 (en) * 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
JP4726194B2 (en) * 2005-04-01 2011-07-20 キヤノン株式会社 Calibration method and apparatus
JP4739002B2 (en) * 2005-06-30 2011-08-03 キヤノン株式会社 Image processing method, image processing apparatus
JP2006302034A (en) 2006-11-02 application
CN101164084A (en) 2008-04-16 application
EP1886281A1 (en) 2008-02-13 application
EP1886281B1 (en) 2012-11-21 grant
US20090051758A1 (en) 2009-02-26 application
US8350897B2 (en) 2013-01-08 grant
WO2006115261A1 (en) 2006-11-02 application
EP1886281A4 (en) 2010-03-10 application
CN101164084B (en) 2010-08-04 grant
Azuma 1997 A survey of augmented reality
US20030227470A1 (en) 2003-12-11 System and method for measuring the registration accuracy of an augmented reality system
US20080292131A1 (en) 2008-11-27 Image capture environment calibration method and information processing apparatus
US20060078085A1 (en) 2006-04-13 Stereoscopic x-ray imaging apparatus for obtaining three dimensional coordinates
US20100208057A1 (en) 2010-08-19 Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US6753828B2 (en) 2004-06-22 System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US6822643B2 (en) 2004-11-23 Image-display control apparatus
US20020105484A1 (en) 2002-08-08 System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US20120214590A1 (en) 2012-08-23 System and method for acquiring virtual and augmented reality scenes by a user
US20070002037A1 (en) 2007-01-04 Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US20050253870A1 (en) 2005-11-17 Marker placement information estimating method and information processing device
US20120229508A1 (en) 2012-09-13 Theme-based augmentation of photorepresentative view
US20050024388A1 (en) 2005-02-03 Image displaying method and apparatus
US20120162214A1 (en) 2012-06-28 Three-Dimensional Tracking of a User Control Device in a Volume
JP2000276613A (en) 2000-10-06 Device and method for processing information
US20060050087A1 (en) 2006-03-09 Image compositing method and apparatus
US8055061B2 (en) 2011-11-08 Method and apparatus for generating three-dimensional model information
US20090245681A1 (en) 2009-10-01 Information processing method and information processing apparatus
US20120120113A1 (en) 2012-05-17 Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20060221098A1 (en) 2006-10-05 Calibration method and apparatus
US20060050070A1 (en) 2006-03-09 Information processing apparatus and method for presenting image combined with virtual image
US20030080937A1 (en) 2003-05-01 Displaying a virtual three-dimensional (3D) scene
2008-04-22 A621 Written request for application examination
2010-09-22 A131 Notification of reasons for refusal
2010-11-20 A521 Written amendment
2010-12-22 TRDD Decision of grant or rejection written
2011-01-07 A01 Written decision to grant a patent or to grant a registration (utility model)
2018-01-21 LAPS Cancellation because of no payment of annual fees