Source: https://patents.google.com/patent/JP5746550B2/en
Timestamp: 2018-11-20 13:56:15
Document Index: 679729111

Matched Legal Cases: ['art 45', 'art 45', 'art 45', 'art 45', 'art 45', 'art 46']

JP5746550B2 - Image processing apparatus, image processing method - Google Patents
JP5746550B2
JP5746550B2 JP2011097562A JP2011097562A JP5746550B2 JP 5746550 B2 JP5746550 B2 JP 5746550B2 JP 2011097562 A JP2011097562 A JP 2011097562A JP 2011097562 A JP2011097562 A JP 2011097562A JP 5746550 B2 JP5746550 B2 JP 5746550B2
JP2011097562A
JP2012230501A5 (en )
JP2012230501A (en )
本発明は、画像認識技術に関するものである。 The present invention relates to an image recognition technique.
認識技術のひとつとして、撮像部によって得られる対象物体の画像から抽出される特徴量をコンピュータに学習させ、入力画像のなかに映る被写体の種別を認識する研究も活発になされてきた。 One of recognition techniques to learn the feature amounts extracted from the image of the target object obtained by the image pickup unit to the computer, has also been actively made to recognize study the type of an object appearing Some of the input image. また、被写体のモデル情報などを用いて、種別だけではなく、位置や姿勢を同時に推定するような研究もなされてきた。 Further, by using a model information of an object, not just type, it has also been studied so as to estimate the position and orientation at the same time. その技術の応用先としては、高度な組立等の作業をロボットに行わせるための、部品の位置・姿勢認識などがあげられる。 As an application target of the technology, for causing operations such as advanced assembly robots, such as the position-orientation recognition of parts and the like.
非特許文献１では、学習画像からコードブック化した特徴と検出された特徴を対応付け、確率的投票で物体の中心位置を推定する手法が提案されている（ｉｍｐｌｉｃｉｔ−ｓｈａｐｅ−ｍｏｄｅｌ）。 In Non-Patent Document 1, it associates the detected characteristic codebook of the features from the training images, a method for estimating a center position of an object in a probabilistic voting has been proposed (implicit-shape-model). これにより種別だけでなく、物体の位置も推定することができる。 Not only does this type can also be estimated position of the object.
また、特許文献１では、入力画像から特徴点を抽出してその特徴量を算出し、学習画像における特徴量と類似する特徴点同士を、対応点として設定する。 In Patent Document 1, to calculate the feature amount extracting feature points from the input image, the feature points with each other similar to the feature amount in the learning image is set as a corresponding point. そして、入力画像における対応点ごとに学習画像の特徴点の特徴量（位置情報を含む）に基づいて基準点に投票することで対象物を認識すると共に、位置も推定する。 Then, recognizes the object by voting for a reference point on the basis of the feature quantity of the feature point of each corresponding point learning image in the input image (including the location information), is also estimated position.
しかし、画像を用いた物体認識技術では、画像から特徴を抽出してその特徴と学習画像から得られた特徴とを対応付け、対象物の存在可能性を全て投票するために、処理時間が多くかかる。 However, in the object recognition technique using an image, it extracts features from an image association with features derived from its features and learning image, the possible presence to all voting object, much processing time consuming. また、全ての特徴がその対象物を認識するために有用であるとは限らない。 Moreover, not necessarily useful to recognize all the features the object.
特許文献２では、パターン認識（文字認識）において学習に利用する部分領域を順次変更し、その都度学習パターンの認識を行って得られた結果を評価することによって、学習に利用する複数の部分領域を選定している。 In Patent Document 2, by evaluating the results of sequentially changing the partial area used for learning in pattern recognition (character recognition), obtained by performing the recognition of each time learning patterns, a plurality of partial areas to be used for learning It has been selected.
特開２００８−２５７６４９号公報 JP 2008-257649 JP 特開２００９−３７６４０号公報 JP 2009-37640 JP
認識対象物によっては、あらかじめ対象物の種別および位置・姿勢を識別するのに有用な部分がわかっている場合がある。 Some recognition object, which may have been found useful part to identify the type and position and orientation of the pre-object. たとえば、ロボットによる自動組立の際の部品種別および位置・姿勢を認識する場合、回転対称体の一部に切り欠きが存在し、その部分を認識することで姿勢を一意に決定することができる場合がある。 For example, when recognizing the component type and location and orientation during automatic assembly by a robot, there are notches in a part of the rotationally symmetrical body, if the posture by recognizing that portion can be uniquely determined there is. ただし、一般的に一部の切り欠きを効率的に学習し、認識することは難しい。 However, the general part of the notch efficiently learning, it is difficult to recognize.
係る点、特許文献１では、学習に利用する特徴点を規定するような手法については述べられていない。 According regard, Patent Document 1 does not describe techniques such as to define the feature points to be used for learning. また、特許文献２の方法を適用した場合、部分領域を選択するのに、部分領域を追加するごとに学習パターンを認識して評価をするために、非常に時間がかかる。 Also, when applying the method of Patent Document 2, to select a partial region, in order to evaluate and recognize the learning pattern for each additional partial region, it is very time consuming.
本発明は以上の問題に鑑みてなされたものであり、認識対象物を識別するために有用な部分を効率的に学習する為の技術を提供することを目的とする。 The present invention has been made in consideration of the aforementioned problems, and an object thereof is to provide a technique for learning a useful portion efficiently to identify the recognition object.
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。 To achieve the object of the present invention, for example, the image processing apparatus of the present invention comprises the following arrangement. 即ち、認識対象物を含む画像を取得する取得手段と、 In other words, an acquisition unit for acquiring an image including a recognition object,
前記画像における前記認識対象物の認識に有用な箇所を設定箇所として指定する指定手段と、 Designating means for designating a set point useful places to recognize your Keru the recognition target object in the image,
前記設定箇所における特徴点の数が、前記画像において前記設定箇所以外の非設定箇所における特徴点の数よりも多くなるように、前記設定箇所及び前記非設定箇所に特徴点を設定する設定手段と、 The number of feature points in the set point is the to be larger than the number of feature points in a non-set portion other than the setting position in the image, setting means for setting a feature point in said setting position and said non-setting position ,
前記設定箇所に設定された特徴点における画像特徴量と 、 前記非設定箇所に設定された特徴点における画像特徴量と、を用いて前記認識対象物を学習する学習手段と を備えることを特徴とする。 And comprising: the image feature amount in the set feature points to the set point, the image feature amount in the set feature point to the non-set position, and a learning means for learning the recognition object using to.
本発明の構成によれば、認識対象物を識別するために有用な部分を効率的に学習することができる。 According to the configuration of the present invention, it is possible to learn a useful portion efficiently to identify the recognition object.
認識システムの機能構成例を示すブロック図。 Block diagram illustrating a functional configuration example of a recognition system. 対象物認識装置Ａ２００が行う処理のフローチャート。 Flowchart of a process target object recognition device A200 performs. 認識システムの外観例を示す図。 It shows an appearance example of a recognition system. 表示部Ａ２２０における画像の表示例を示す図。 It shows a display example of an image in the display unit A220. ステップＳ１１０における処理の詳細を示すフローチャート。 Flowchart showing details of processing in step S110. 複数枚の画像の撮像を説明する図。 Diagram illustrating the imaging of a plurality of images. 認識対象物４０の画像を示す図。 It shows an image of a recognition target object 40. 特徴点の設定例を示す図。 Diagram showing an example of setting a feature point. 学習部Ａ２３０が行う認識対象物の学習処理のフローチャート。 Flowchart of learning processing of the recognition object learning unit A230 is performed. 特徴点から基準点へのベクトルの求め方を説明する図。 Diagram for explaining a method of obtaining the vector to the reference point from the feature point. ステップＳ１３０における処理の詳細を示すフローチャート。 Flowchart showing details of processing in step S130. 投票空間を示す図。 It shows the voting space. ステップＳ１２０で行う処理の詳細を示すフローチャート。 Flowchart showing details of processing performed in step S120. ステップＳ１３０における処理の詳細を示すフローチャート。 Flowchart showing details of processing in step S130. 非有用部分の指定を説明する図。 Diagram for explaining the designation of the non-useful part. 有用部分４５から一様分布で特徴点を取得する例を示す図。 It shows an example of obtaining feature points uniform distribution from the useful portion 45.
先ず、本実施形態に係る認識システムの機能構成例について、図１のブロック図を用いて説明する。 First, the functional configuration example of a recognition system according to this embodiment will be described with reference to the block diagram of FIG. 図１に示す如く、認識システムは、認識対象となる物体（認識対象物）の画像を撮像する撮像部Ａ１００と、撮像部Ａ１００により撮像された画像を用いてこの認識対象物を認識する対象物認識装置Ａ２００（画像処理装置）と、を有する。 As shown in FIG. 1, the recognition system includes an imaging unit A100 for capturing an image of an object to be recognized (recognition object), which recognizes an object of this recognition object using the image captured by the imaging unit A100 a recognition device A200 (image processing apparatus), the. なお、撮像部Ａ１００と対象物認識装置Ａ２００とは図１に示すように別個の装置であっても良いし、一体型の装置であっても良い。 Incidentally, the the imaging unit A100 and the object recognition apparatus A200 may be a separate device as shown in FIG. 1, may be integrated device.
本実施形態に係る認識システムの外観例を図３に示す。 An appearance example of a recognition system according to this embodiment shown in FIG. 図３においてカメラ１０は撮像部Ａ１００に対応しており、認識対象物４０をそれぞれ異なる視点位置から撮像して複数枚の画像を取得する為のものである。 The camera 10 in FIG. 3 is for obtaining a plurality of images by imaging corresponds to the imaging unit A100, a recognition target object 40 from a different perspective positions. この認識対象物４０（認識対象物上）には、認識対象物４０を識別するために有用な部分（有用部分）４５が備わっている。 The recognition target object 40 (recognition target Butsujo), it is equipped with the useful part (useful portion) 45 to identify the recognition object 40. カメラ１０により撮像されたそれぞれの画像はコンピュータ本体３０に入力される。 Each image captured by the camera 10 is inputted to the computer main body 30.
コンピュータ本体３０は、図１の対象物データ保持部Ａ２１１、入力部Ａ２１０、学習部Ａ２３０、識別器保持部Ａ２３１、認識部Ａ２４０、を有する装置である。 Computer body 30, the object data holding unit A211 of FIG. 1, the input unit A210, the learning unit A230, identifier holding unit A231, the recognition unit A240, an apparatus having a. コンピュータ本体３０は、カメラ１０により撮像された複数枚の画像を用いて認識対象物４０を学習し、この学習後に認識対象物４０の画像が新たに撮像された場合は、この画像から認識対象物４０を認識する。 Computer 30 uses a plurality of images captured by the camera 10 to learn the recognized object 40, if the image of the recognition target object 40 after the learning is newly imaged, the recognition object from the image It recognizes the 40.
なお、対象物データ保持部Ａ２１１及び識別器保持部Ａ２３１はハードディスクやＲＡＭなどのメモリによって構成される。 Note that the object data holding unit A211 and the identifier holding unit A231 is configured by a memory such as a hard disk or RAM. 入力部Ａ２１０、学習部Ａ２３０、認識部Ａ２４０については、ハードウェアで構成しても良いし、一部若しくは全部をソフトウェア（コンピュータプログラム）で構成しても良い。 Input unit A210, the learning unit A230, the recognition unit A240 may be configured by hardware, may constitute a part or the whole software (computer program). その場合、このソフトウェアは、コンピュータ本体３０が有するＣＰＵ等のプロセッサにより実行される。 In that case, the software is executed by a processor such as a CPU computer 30 has.
モニタ２０は表示部Ａ２２０に対応しており、ＣＲＴや液晶画面等により構成されており、コンピュータ本体３０による処理結果を画像や文字などでもって表示する。 Monitor 20 corresponds to the display section A220, is constituted by a CRT or a liquid crystal screen or the like, to display the processing result of the computer main body 30 of images, characters, and the like. なお、対象物データ保持部Ａ２１１、識別器保持部Ａ２３１のそれぞれは、コンピュータ本体３０の外部メモリとしても良い。 Note that the object data holding unit A211, each identifier holding unit A231, may be an external memory of the computer main body 30.
次に、対象物認識装置Ａ２００が行う処理について、同処理の図２のフローチャートを用いて説明する。 Next, treatment object recognition apparatus A200 will be explained referring to the flowchart of FIG. 2 in the same process. なお、図２のフローチャートに従った処理を実行する前に、認識対象物をそれぞれ異なる視点位置から撮像して得られる複数枚の画像を対象物データ保持部Ａ２１１に格納しておく。 Before executing the processing according to the flowchart of FIG. 2, storing a plurality of images obtained by imaging the object data holding unit A211 recognition object from different viewpoint positions respectively. 例えば図６に示す如く、認識対象物４０の位置を中心とする球体の表面５０上に複数個の点５１を設定し、それぞれの点５１の位置から認識対象物４０を撮像し、この撮像により得られる複数枚の画像を対象物データ保持部Ａ２１１に格納しておく。 For example, as shown in FIG. 6, sets a plurality of points 51 on the position the surface 50 of the sphere centered on the recognition target object 40, imaging the recognition target object 40 from the position of each point 51, this imaging a plurality of images obtained and stored in the object data holding unit A211 and.
ステップＳ１１０で入力部Ａ２１０は対象物データ保持部Ａ２１１から１枚の画像（入力画像）を読み出し、読み出した入力画像を表示部Ａ２２０に表示させ、表示している入力画像において認識対象物を識別するのに有用な箇所の指定をユーザから受け付ける。 Input unit A210 in step S110 reads the one from the object data holding unit A211 image (input image), to display the read-out input image to the display section A220, that identifies the object to be recognized in the input image displayed accept from the user a designation of useful places to. ステップＳ１１０における処理の詳細を図５のフローチャートを用いて説明する。 Processing details of step S110 will be described with reference to the flowchart of FIG.
ステップＳ１１１では入力部Ａ２１０は、対象物データ保持部Ａ２１１から読み出した入力画像を表示部Ａ２２０に表示させる。 Step S111 The input unit A210 displays an input image read from the object data holding unit A211 to the display unit A220. 表示部Ａ２２０における画像の表示例を図４に示す。 A display example of an image in the display unit A220 shown in FIG. 表示部Ａ２２０としてのモニタ２０の表示画面には、ある視点位置から撮像した認識対象物４０の画像（入力画像）が表示されており、更にこの入力画像には認識対象物４０が有している有用部分４５も映っている。 On the display screen of the monitor 20 as a display section A220 are certain viewpoint position are displayed images of the recognition target object 40 captured (input image) from further recognition object 40 has on the input image It is reflected also useful part 45.
ユーザは、この表示画面に表示されている認識対象物４０を識別するために有用な箇所（設定箇所）、即ち有用部分４５を指定する為に、対象物認識装置Ａ２００が有する不図示のキーボードやマウスなどを操作し、カーソル６１を有用部分４５に移動させる。 The user, useful locations to identify the display screen recognition object 40 displayed on the (setting position), i.e. to specify the useful portion 45, Ya keyboard (not shown) having the object recognition apparatus A200 such as the operation mouse to move the cursor 61 to the useful portion 45. 指定するのは有用部分４５を囲む枠領域であっても良いし、有用部分４５の一部の座標であっても良く、後述する処理で画像上における有用部分４５が特定できるのであれば、如何なる指定方法を採用しても良い。 It may be a frame region surrounding the useful part 45 to specify, it may be part of the coordinates of the useful portion 45, as long as it can identify the useful portion 45 on the image processing to be described later, any specification method may be adopted. もちろん、この有用部分４５の指定はユーザによる指定に限定するものではなく、規定の基準に基づいて対象物認識装置Ａ２００が指定しても良い。 Of course, this designation of the useful portion 45 is not limited to specified by the user, the object recognition apparatus A200 may be specified based on the criteria specified. また、有用部分４５は複数個指定しても良いし、有用部分４５以外の箇所（非設定箇所）を指定することで、指定箇所以外を有用部分４５として採用しても良い。 Moreover, the useful portion 45 may be specified more by specifying the portion other than the useful portion 45 (non-set position), may be employed other than the specified position as the useful portion 45.
ステップＳ１１２では入力部Ａ２１０は有用部分４５を特定する情報（特定情報）を受け付けると、この受け付けた特定情報を学習部Ａ２３０に対して送出する。 Step input unit A210 at S112 accepts the information (specific information) for identifying the useful portion 45, and sends the specific information accepted against learning unit A230.
ステップＳ１２０では学習部Ａ２３０は、対象物データ保持部Ａ２１１に保存されている画像を順次読み出し、読み出したそれぞれの画像と、入力部Ａ２１０から入力された特定情報と、を用いて認識対象物を学習する。 In step S120 the learning unit A230, the learning sequentially reads an image stored in the object data holding unit A211, and each image read, a specific information input from the input unit A210, a recognition object using to. 学習部Ａ２３０が行う認識対象物の学習処理について、同処理のフローチャートを示す図９を用いて説明する。 Learning process of the recognition object learning unit A230 will be described below with reference to FIG. 9 which shows the flowchart of that processing.
この学習方法には既知の様々な学習方法を適用できるが、本実施形態では、投票による認識処理のための学習を行う。 Although this learning method can be applied various known learning methods, in the present embodiment performs learning for recognition processing by voting. ステップＳ９０１で学習部Ａ２３０は、対象物データ保持部Ａ２１１から１枚の画像（読み出し画像）を読み出すと、読み出し画像を撮像した撮像部Ａ１００の位置姿勢やカメラパラメータ等から、特定情報が示す領域に該当する読み出し画像上の領域を特定する。 Learning unit in step S901 A230, when read one image from the object data holding unit A211 (read image), from the position and orientation and the camera parameters and the like of the imaging unit A100 of the captured read image, the area indicated by the specific information identifying a region on the corresponding read image. 即ち、読み出し画像上における有用部分４５を求める。 That is, obtaining the useful part 45 on the read image. なお、対象物データ保持部Ａ２１１に保存されているそれぞれの画像に対して予め有用部分を指定し、画像毎の特定情報を対象物データ保持部Ａ２１１に保存させておいても良い。 Incidentally, designated in advance useful part for each of the images saved in the object data holding unit A211, it may be allowed to store specific information for each image in the object data holding unit A211. 何れにせよ、読み出し画像上における有用部分４５が特定できれば、如何なる構成を採用しても良い。 In any event, if a particular utility portion 45 on the read image may be employed any configuration. 次に学習部Ａ２３０は、読み出し画像上に複数の特徴点を設定するのであるが、その際、有用部分４５には、非有用部分よりも多くの数の特徴点を設定する。 Then learning unit A230 is is to set a plurality of feature points on the readout image, in which the useful portion 45 sets the feature points of more than the non-useful part number. しかし、例えば、図７（ａ）、（ｂ）のそれぞれに示す画像には有用部分４５が映っているものの、図７（ｃ）に示す画像には有用部分４５は映っていない。 However, for example, FIG. 7 (a), the although the image shown in each of (b) is reflected utility portion 45, the useful portion 45 in the image shown in FIG. 7 (c) is not reflected.
そこで図７（ａ）、（ｂ）に示すような画像の場合、それぞれ図８（ａ）、（ｂ）に示す如く、有用部分４５には、非有用部分よりも多くの数の特徴点８０を設定する。 So the case of FIG. 7 (a), the image as shown (b), the respective view 8 (a), as (b), in the useful part 45, the non-useful part greater number of feature points than 80 to set. 例えば、１枚の画像上にＮ（Ｎ≧２）個の特徴点を設定する場合、αＮ（０．５＜α＜１）個の特徴点を有用部分４５に設定するようにしても良い。 For example, to set the N (N ≧ 2) pieces of feature points on one image, αN (0.5 <α <1) pieces of feature points may be set to the useful portion 45. この場合、このαは画像上の有用部分４５の面積に応じて設定しても良いし、ユーザがキーボードやマウスなどを用いて設定しても良い。 In this case, the α is may be set in accordance with the area of ​​the useful portion 45 on the image, the user may set with a keyboard and a mouse. 一方、図７（ｃ）に示すような画像の場合、画像上に有用部分４５が存在しないのであるから、図８（ｃ）に示す如く、画像全体に対して均等に特徴点８０を設定する。 On the other hand, when the image shown in FIG. 7 (c), since the useful portion 45 on the image is not present, as shown in FIG. 8 (c), evenly set the feature point 80 for the entire image .
また、特徴点検出をせずに画像から特徴点を密に取得する場合、αにより特徴点を取得するサンプリング間隔が変更される。 Also, if densely obtaining feature points from images without the feature point detection, the sampling interval for acquiring the feature point by α is changed. また、指定された領域から一様分布で特徴点を取得してもよいし、特定情報が示す位置を中心とするガウス分布などを規定して取得してもよい。 Also, may acquire the feature points in uniform distribution from a given region may be obtained by defining such as a Gaussian distribution centered on the position indicated by the specific information. 図１６に有用部分４５から一様分布で特徴点を取得する例を示す。 An example of obtaining feature points uniform distribution from the useful portion 45 in FIG. 16. グリッド８１のように指定された領域からは細かく、グリッド８２のように指定された領域以外からは粗くサンプリングしている。 Finely from the specified region as the grid 81, and coarsely sampled only from a specified area as a grid 82.
次に学習部Ａ２３０は、設定したそれぞれの特徴点およびその特徴点まわりを記述する特徴量（画像特徴量）を抽出する。 Then learning unit A230 extracts describing feature amount (image characteristic amount) of each of the feature points and around the feature point set. たとえば、ＳＵＲＦ（以下の文献Ｘ）のような、抽出された特徴点まわりの輝度勾配の情報を記述するものでよい。 For example, it may used for describing information of the luminance gradient of a, extracted around the feature points as SURF (following literature X). その他のいわゆるＫｅｙｐｏｉｎｔｓ（以下の文献Ｙ、Ｚ）などの特徴点でもよい。 Other so-called Keypoints (following literature Y, Z) be a characteristic point such. または、画像パッチやedgeletなどでもよい。 Or, it may be, such as image patches and edgelet.
文献Ｘ ： H.Bay, “Speeded-Up Robust Features (SURF)”, Computing Vision and Image Understanding, Vol.110 (3) June 2008, pp.346-359. Literature X: H.Bay, "Speeded-Up Robust Features (SURF)", Computing Vision and Image Understanding, Vol.110 (3) June 2008, pp.346-359.
文献Ｙ ： E.Tola, “A Fast Local Descriptor for Dense Matching”, CVPR 2008. Literature Y: E.Tola, "A Fast Local Descriptor for Dense Matching", CVPR 2008.
文献Ｚ ： K.Mikolajczyk, “A Performance Evaluation of Local Descriptors”, PAMI, 27(10) 2004, pp.1615-1630. Literature Z: K.Mikolajczyk, "A Performance Evaluation of Local Descriptors", PAMI, 27 (10) 2004, pp.1615-1630.
以下では、画像中に設定した特徴点の総数をＮとすると、ｉ（１≦ｉ≦Ｎ）番目の特徴点を特徴点ｆｉと表記し、特徴点ｆｉの画像中の座標位置を（ｘｉ、ｙｉ）と表記する。 Hereinafter, when the total number of feature points set in an image and N, i (1 ≦ i ≦ N) th feature points denoted as characteristic point fi, a coordinate position in the image feature point fi (xi, yi) and is referred to. また、特徴点ｆｉについて抽出された特徴量のベクトル（特徴量ベクトル）を特徴量ベクトルＦｉと表記する。 Also, the vector of the feature quantity extracted for the feature point fi a (feature vector) is denoted as feature vector Fi.
なお、それぞれの画像について、上記の特徴点の座標位置や特徴量については予め収集しておき、対象物データ保持部Ａ２１１に格納しておいても良い。 Note that each image beforehand collected for the coordinate position and the feature quantity of the feature point, it may be stored in the object data holding unit A211. 即ちステップＳ９０１における処理は予め行っていても良い。 That is the process in step S901 may also be carried out in advance. この場合、学習部Ａ２３０は、対象物データ保持部Ａ２１１に格納されているこれらの特徴量を用いて認識対象物を学習する。 In this case, the learning unit A230 learns the recognition target object by using the feature amount of the stored in the object data holding unit A211.
次に、学習部Ａ２３０による学習処理について説明する。 It will now be described learning processing by the learning unit A230. 本実施形態では、特許文献１に記載されている学習方法を採用する。 In the present embodiment, employing the learning method described in Patent Document 1. 即ち、それぞれの特徴点から画像内の認識対象物の領域中に設定された基準点に対するベクトルを求め、特徴量対応付けに従って基準点への投票を行うことで認識対象物のクラスおよび位置を検出する場合の学習方法および認識方法である。 That is, obtains a vector with respect to a reference point set in a region of the recognition subject in the image from each feature point, detecting the class and location of the recognition object by performing a voting to the reference point in accordance with a feature quantity corresponding with it is a learning method and recognition method when. その際の投票空間は特に限定しない。 Voting space at that time is not particularly limited. たとえば、画像座標のｘ軸、ｙ軸およびＩＤ軸（認識対象物を表すクラスインデックス）空間、画像座標のｘ軸、ｙ軸およびスケールｓ軸空間、世界座標軸のＸＹＺ空間などが考えられる。 E.g., x-axis of the image coordinates, y-axis and ID shaft (recognition object class index represents a) space, x-axis of the image coordinates, y-axis and scale s axis space, such as XYZ space of the world coordinate axis can be considered. また、基準点に投票するのではなく、背景技術で示したｉｍｐｌｉｃｉｔ−ｓｈａｐｅ−ｍｏｄｅｌ（非特許文献１）のように、各局所特徴から認識対象物中心への確率投票を行う方法でも良い。 Further, instead of voting for a reference point, such as the implicit-shape-model shown in the background art (Non-Patent Document 1), it may be a method of performing probability vote for recognition object center from each local feature.
また、多クラス問題の際は、全クラスに対してそれぞれ投票を行ったあと最も投票されたクラスおよび位置を認識結果とするか、あらかじめ設定された閾値以上の検出点すべてを認識結果としてもよい。 Also, when the multi-class problem, the most voted class and position after performing the voting respectively for all classes or the recognition result may be a recognition result of all preset threshold or more detection points . ここでは、画像から特徴点を抽出して基準点に投票をし、認識対象物の種別および位置を推定する。 Here, the vote to the reference point by extracting a feature point from the image, estimates the type and position of the recognition target object.
ステップＳ９０２では学習部Ａ２３０は、対象物データ保持部Ａ２１１に保存されているそれぞれの画像について次のような処理を行う。 Step learning unit A230 In S902, for each of the images stored in the object data holding unit A211 performs the following processing. 先ず、着目画像中の特徴点ｆｉから着目画像中に予め設定された基準点Ｏｊ（ｊ＝１，２，３，…）へのベクトルＭｉｊを、全てのｉ、ｊについて求める。 First, a vector Mij from the feature point fi in sought image to predetermined reference point Oj in sought image (j = 1,2,3, ...), all i, determined for j.
例えば、図１０に示す如く、認識対象物４１の有用部分（図１０では星形の領域）に対して基準点４４が予め設定されており、この認識対象物４１について設定されている特徴点のうちの１つが特徴点４２であるとする。 For example, as shown in FIG. 10, the useful part of the recognition target object 41 and the reference point 44 is set in advance for (Figure 10 in the area of ​​the star), feature points that are set for the recognition target object 41 one out is assumed to be a feature point 42. この場合、この特徴点４２について求めるベクトルは、特徴点４２から基準点４４へのベクトル４３となる。 In this case, the vector determined for this feature point 42 is a vector 43 from the feature point 42 to reference point 44. 然るに、画像上における特徴点４２の座標位置が（ｘｎ，ｙｎ）であり、この画像上における基準点の座標位置が（ｘｏ，ｙｏ）であるとすると、特徴点４２について求めるベクトルＭはＭ＝（ｘｏ−ｘｎ，ｙｏ−ｙｎ）となる。 However, the coordinate position of the feature point 42 on the image is (xn, yn), the coordinates of the reference point on the image is assumed to be (xo, yo), the vector M to determine the feature point 42 is M = the (xo-xn, yo-yn).
ステップＳ９０３では学習部Ａ２３０は、対象物データ保持部Ａ２１１に保存されている全ての画像について得た特徴点ｆｉを、特徴量ベクトルＦｉを用いてクラスタリングする。 Step S903 The learning unit A230 is obtained feature points fi for all images stored in the object data holding unit A211, clustering using the feature quantity vector Fi. このクラスタリングには、ｋ−ｍｅａｎｓ、自己組織化マップアルゴリズム、等の任意のクラスタリング手法を用いることができる。 This clustering can be used k-means clustering, self-organizing map algorithm, any clustering method and the like. 例えば、ｋ−ｍｅａｎｓを用いる場合、クラスタ数Ｋを規定して特徴量ベクトル間のユークリッド距離を用いて特徴点ｆｉをクラスタリングすることができる。 For example, when using a k-means clustering, it is possible to cluster the feature point fi using the Euclidean distance between the feature vectors to define the number of clusters K. これにより、対象物データ保持部Ａ２１１に保存されている全ての画像について得た特徴点ｆｉは、クラスタ１〜クラスタＫ（Ｋ≧２）の何れかにクラスタリングされる。 Thus, all of the image feature point fi obtained for that are stored in the object data holding unit A211 is clustered into one cluster 1 to cluster K (K ≧ 2).
ステップＳ９０４では学習部Ａ２３０は、それぞれのクラスタｋ（１≦ｋ≦Ｋ）について、以下の情報を、クラスタｋに対するクラスタリング情報として識別器保持部Ａ２３１に記録する。 Step S904 The learning unit A230, for each cluster k (1 ≦ k ≦ K), the following information is recorded in the identifier holding unit A231 as clustering information for the cluster k.
・ クラスタｋの識別子（例えばｋ） Cluster k of the identifier (for example k)
・ クラスタｋにクラスタリングされたそれぞれの特徴点ｆｉの特徴量ベクトルＦｉのうち規定の基準に従って選択された代表特徴量ベクトルＦｋ' Representative feature quantity is selected according to the criteria defined within the cluster k to clustering the feature vectors Fi of the respective feature points fi vector Fk '
・ クラスタｋにクラスタリングされたそれぞれの特徴点ｆｉの座標位置（ｘｉ、ｙｉ） Cluster k coordinate position of each feature point fi that is clustered in (xi, yi)
・ クラスタｋにクラスタリングされたそれぞれの特徴点ｆｉから基準点ＯｊへのベクトルＭｉｊ Of cluster k, respectively, which are clustered into from the feature point fi to the reference point Oj vector Mij
・ 認識対象物のクラスを示すインデックスＩＤｉ Index IDi indicating the class of the object to be recognized
ステップＳ１３０で認識部Ａ２４０は、撮像部Ａ１００が新たに認識対象物の撮像画像を撮像すると、識別器保持部Ａ２３１に格納されているクラスタリング情報（学習結果）を用いて、この撮像画像中に映っている認識対象物を認識する処理を行う。 Recognition unit A240 in step S130, when the imaging unit A100 is captures an image of the newly recognized object, using the clustering information stored in the identifier holding unit A231 (learning result), reflected in the captured image the recognition object is performing a process to recognize. ステップＳ１３０における処理の詳細について、同処理のフローチャートを示す図１１を用いて説明する。 Details of the processing in step S130, will be described with reference to FIG. 11 which shows the flowchart of that processing.
ステップＳ１１０１では認識部Ａ２４０は、撮像部Ａ１００から得た撮像画像から、学習部Ａ２３０と同様にして、各特徴点（ここではＭ個とする）について特徴量ベクトルを抽出する。 Step S1101 recognition unit A240 in from the captured image obtained from the imaging unit A100, similarly to the learning unit A230, it extracts a feature vector for each feature point (here, M pieces). ステップＳ１１０２で認識部Ａ２４０は、抽出したそれぞれの特徴量ベクトルと、識別器保持部Ａ２３１に保持されているそれぞれの代表特徴量ベクトルとの距離を求める。 Step S1102 recognition unit A240 obtains respectively a feature amount vector of the extracted, the distance between the respective representative feature quantity vectors held in the identifier holding unit A231. そして認識部Ａ２４０は、最も小さい距離（最も高い類似度）を求めた代表特徴量ベクトルのクラスタを対応クラスタとして特定する。 The recognition unit A240 identifies clusters of the smallest distance (highest similarity) representative feature vector was determined as the corresponding cluster.
ステップＳ１１０３では認識部Ａ２４０は、対応クラスタのクラスタリング情報を参照し、図１２に示す如く、画像座標のｘ、ｙ軸、クラスを表すＩＤ軸、の３軸によって張られる投票空間７０において後述する投票処理を行う。 Step S1103 recognition unit A240 at refers to clustering information of the corresponding cluster, as shown in FIG. 12, the vote will be described later in voting space 70 spanned the image coordinates x, y-axis, ID axes representing the class, the three axes of the processing is carried out. あらかじめ各セルの大きさは設定されているものとする。 Advance the size of each cell is assumed to be set.
ここで、上記の投票処理について説明する。 Here, a description will be given of the above voting process. 撮像画像から抽出された各特徴点ｍ（ｍ＝１，２，３，…，Ｍ）について求めた特徴量ベクトルｇｍと、それぞれのクラスタｋの代表特徴量ベクトルＦ'ｋとの最小距離（ユークリッド距離）は以下の式（１）を用いて求めることができる。 Each feature points extracted from the captured image m (m = 1,2,3, ..., M) the minimum distance (Euclidean feature quantity vector gm determined for a representative feature vector F'k of each cluster k distance) can be determined using the following equation (1).
この式により、最も距離の小さいクラスタｋ”を対応クラスタとして特定することができる。次に、クラスタｋ”のクラスタリング情報中の「特徴点ｆｉに対するベクトルＭｉｊ及びインデックスＩＤｉ」を用いて投票処理を行う。 This expression "can be specified as the corresponding cluster. Then, the cluster k" whose distance a small cluster k to vote process using the "vector Mij and index IDi for the feature point fi" in the clustering information .
より具体的には、投票空間の投票点を（ｘ、ｙ、ＩＤ）、撮像画像中のそれぞれの特徴点の座標位置を（ｘｍ、ｙｍ）とした場合、以下の式（２）に従って求められる投票点（ｘ、ｙ、ＩＤ）に対応するセルに投票される。 More specifically, when the voting points of voting space (x, y, ID), the coordinate position of each feature point in the captured image (xm, ym), determined according to the following equation (2) voting point (x, y, ID) are voted cells corresponding to. この場合、全投票数は最大Ｎ×Ｍとなる。 In this case, the total number of votes becomes the maximum N × M.
ステップＳ１１０４では、認識部Ａ２４０は投票結果を集計し、投票数の最も多い投票点を認識結果とする。 In step S1104, the recognition unit A240 may aggregate the voting results, the recognition result having the largest vote point of votes.
以上の説明により、本実施形態によれば、あらかじめ認識対象物に対して識別に有用な部分を指定するので、認識対象物の認識を高精度に行うことができる。 As described above, according to this embodiment, since specifying the useful portion to identify in advance for the recognized object, it is possible to perform the recognition of the recognition target object with high accuracy. もちろん、上記の通り、本実施形態には様々な変形例が考え得るが、何れの変形例を採用しても同様の効果を奏することができる。 Of course, as described above, but may have various modification to this embodiment, it is possible to be adopted any modification achieves the same effect.
本実施形態は、上記のステップＳ１２０及びステップＳ１３０における処理のみが第１の実施形態と異なる。 This embodiment, only the processing in step S120 and step S130 described above is different from the first embodiment. 然るに、以下では、第１の実施形態と同じ点については説明を省略し、第１の実施形態と異なる点のみについて説明する。 However, in the following, for the same points as those of the first embodiment will be omitted, only be described differs from the first embodiment.
第１の実施形態ではステップＳ１２０では、有用部分４５には、非有用部分よりも多くの数の特徴点を設定するようにしていた。 In the first embodiment in the form step S120, the useful part 45, it has been to set the feature points more than the non-useful part number. 本実施形態のステップＳ１２０では、有用部分４５に設定された特徴点には、非共有部分に設定された特徴点よりも値のより大きい重み値を設定することで有用部分の特徴を重点的に用いることができる。 In step S120 of this embodiment, the set feature points useful portion 45, the characteristics of that in the useful portion than feature points set in the non-common part for setting a larger weighting value value focus it can be used. そしてこの重み値は識別器保持部Ａ２３１に記録される。 And the weight value is recorded in the identifier holding unit A231.
本実施形態においてステップＳ１２０で行う処理について、同処理のフローチャートを示す図１３を用いて説明する。 The processing performed in this embodiment in step S120, will be described with reference to FIG. 13 which shows the flowchart of that processing. 図１３において、図９に示したステップと同じ処理を行うステップには同じ参照番号を付しており、このステップに係る説明は省略する。 13, are denoted by the same reference numerals to steps of performing the same processing as steps shown in FIG. 9, explanation on this step will be omitted.
ステップＳ１３０１では学習部Ａ２３０は、対象物データ保持部Ａ２１１に保存されているそれぞれの画像について次のような処理を行う。 In step S1301 learning unit A230, for each of the images stored in the object data holding unit A211 performs the following processing. 先ず、着目画像中の特徴点ｆｉに対する重み値Ｗｉを、以下の式（３）に従って計算する。 First, a weight value Wi for the feature point fi in interest image is calculated according to the following equation (3).
この式（３）においてｐは、有用部分４５の位置を示すベクトルであり、ｆｉは、特徴点ｆｉの画像上の座標位置を示すベクトルである。 p In this equation (3) is a vector indicating the position of the useful portion 45, fi is a vector indicating a coordinate position on the image feature points fi. ｌは閾値（所定の距離）である。 l is a threshold (predetermined distance). また、β＞γである。 In addition, a β> γ. この式（３）に従った計算を行うことで、各特徴点ｆｉに対する重み値Ｗｉ（＝β若しくはγ）を求めることができる。 This equation by performing a calculation in accordance with (3), it is possible to determine the weight value Wi (= beta or gamma) for each feature point fi. β、γはそれぞれ予め設定された値であっても良いし、ユーザにより指定された値であっても良いし、学習により決定した値であっても良い。 beta, gamma to may be a preset value, respectively, may be a specified value by the user, or a value determined by learning. 学習によって決定する場合、第１の実施形態におけるαと同様、検定データを用いて決定することができる。 If determined by learning, as with α in the first embodiment, it can be determined using the test data.
なお、ステップＳ１１０において有用部分４５の位置ではなく有用部分４５の領域が指定されていた場合、重み値Ｗｉは上記の式（３）ではなく、以下の式（４）に従って計算する。 Incidentally, if the region of the useful portion 45 is designated not by the position of the useful portion 45 in step S110, the weighting value Wi is above equation (3) instead, is calculated according to the following equation (4).
式（４）においてＲは有用部分４５の領域を示す。 In the formula (4) R represents a region of the useful portion 45. また、特徴点ｆｉの画像上の座標位置を変数とする関数に従って重み値Ｗｉを決定してもよい。 It is also possible to determine a weight value Wi in accordance with a function of the coordinate position of the image feature points fi and variables. 例えば、この関数にガウス関数を用いた場合、重み値Ｗｉは以下の式（５）に従って計算しても良い。 For example, when using a Gaussian function to the function, the weighting value Wi may be calculated according to the following formula (5).
ガウス関数は、以下の式（６）に示す如く、標準偏差σをパラメータとして以下のように表すことができる。 Gaussian functions can be expressed as follows as shown in the following equation (6), the standard deviation σ as a parameter.
なお、標準偏差σは、以下の式（７）が満たされるように予め決定しておく。 Incidentally, the standard deviation sigma, previously determined as the following equation (7) is satisfied.
また、特徴点抽出を行わず、画像中から密に検出する場合も同様に式（３）〜（５）に従って計算することができる。 Further, without performing the feature point extraction, similarly formula may be densely detected from the image (3) can be calculated according to (5). また、第１の実施形態と同様に各画像において有用部分４５が見えているかどうかの判定をしてもよい。 Further, it may be determined whether the useful portion 45 is visible in each image as in the first embodiment.
ステップＳ１３０２で学習部Ａ２３０は、それぞれのクラスタｋについて、クラスタｋに対するクラスタリング情報として第１の実施形態で列挙した情報に加え、クラスタｋにクラスタリングされた特徴点ｆｉの重み値Ｗｉを識別器保持部Ａ２３１に記録する。 Learning unit in step S1302 A230, for each of the cluster k, in addition to the information listed in the first embodiment as the clustering information for the cluster k, a weight value Wi identifier holding unit clustering feature point fi on the cluster k It is recorded in the A231.
次にステップＳ１３０では認識部Ａ２４０は、撮像部Ａ１００により新たに撮像された認識対象物の撮像画像を取得すると、識別器保持部Ａ２３１に格納されているクラスタリング情報を用いて、この撮像画像中に映っている認識対象物を認識する処理を行う。 Next, in step S130 recognition unit A240 acquires the captured image of the recognition target object that is newly captured by the imaging unit A100, using the clustering information stored in the identifier holding unit A231, in the captured image reflected performs a process that recognizes the object to be recognized are. ステップＳ１３０における処理の詳細について、同処理のフローチャートを示す図１４を用いて説明する。 Details of the processing in step S130, will be described with reference to FIG. 14 which shows the flowchart of that processing. 図１４において、図１１に示したステップと同じ処理を行うステップには同じ参照番号を付しており、このステップに係る説明は省略する。 14, are denoted by the same reference numerals to steps of performing the same processing as steps shown in FIG. 11, explanation on the steps is omitted.
ステップＳ１４０１では認識部Ａ２４０は、識別器保持部Ａ２３１に格納されているそれぞれのクラスタリング情報を参照し、参照したクラスタリング情報中の重み値Ｗｉを用いて、投票時における重みを決定する。 Step S1401 the recognition unit A240 refers to each of the clustering information stored in the identifier holding unit A231, using the weight value Wi in referenced clustering information, determines the weighting at the time of voting.
本実施形態は、上記のステップＳ１１０及びステップＳ１２０における処理のみが第１の実施形態と異なる。 This embodiment, only the processing in step S110 and step S120 described above is different from the first embodiment. 然るに、以下では、第１の実施形態と同じ点については説明を省略し、第１の実施形態と異なる点のみについて説明する。 However, in the following, for the same points as those of the first embodiment will be omitted, only be described differs from the first embodiment.
本実施形態ではステップＳ１１０では、有用部分以外の部分（非有用部分）の指定を受け付ける。 In step S110 in this embodiment, it receives designation of a portion other than the useful part (the non-useful part). 例えば、図１５に示す如く、認識対象物４０を識別するために有用ではない部分４６が認識対象物４０に備わっている場合、この部分４６の位置若しくは領域を指定する。 For example, as shown in FIG. 15, when the portion 46 is not useful for identifying the recognized object 40 it is provided in the recognition target object 40, to specify the position or region of the part 46. 例えば認識対象物４０が部品である場合を想定する。 For example the recognition object 40 is assumed to be a part. 部品には個々に固有のシリアル番号等の刻印がなされている場合があり、この刻印されている情報は全ての部品に共通の情報ではない。 The components may individually have been made inscription such unique serial number, information that is the engraved not common information to all the components. そのため、この刻印がなされている部分は様々な部品を認識する為の学習に有用部分とは成り得ない。 Therefore, the portion where the marking has been made can not become a useful part in learning to recognize the various components. 然るにこのような場合、有用部分とは成り得ない箇所を積極的に指定する。 However such cases, actively specify locations not be a useful part.
本実施形態ではステップＳ１２０では、第１の実施形態で説明したステップＳ１２０の処理において、ステップＳ１１０で指定された非有用部分以外の領域に対して設定された特徴点を用いて学習を行う。 In step S120 in this embodiment, in the processing of step S120 described in the first embodiment, learning is performed using the feature point set for a region other than the non-useful part specified in step S110.
即ち本実施形態では、非設定箇所のうち着目箇所の指定を受け付け、着目箇所以外の箇所に設定されている特徴点における画像特徴量を用いて認識対象物を学習する。 That is, in this embodiment, receives designation of the target location of the non-setting position, to learn recognition object using the image feature amount of the feature point set in a place other than point of interest. また、上記では識別に不要な部分を指定する実施例について述べたが、同時に識別に有用な部分を指定することも可能である。 Further, in the above has been described embodiment for specifying an unnecessary portion on the identification, it is also possible to specify a moiety useful for identification at the same time.
本実施形態は、上記のステップＳ１１０及びステップＳ１２０における処理のみが第２の実施形態と異なる。 This embodiment, only the processing in step S110 and step S120 described above is different from the second embodiment. 然るに、以下では、第２の実施形態と同じ点については説明を省略し、第２の実施形態と異なる点のみについて説明する。 However, in the following, the same points as the second embodiment will be omitted, only be described differs from the second embodiment.
本実施形態においてもステップＳ１１０では第３の実施形態と同様に、有用部分以外の部分（非有用部分）の指定を受け付ける。 Similar to the step S110 in the third embodiment in the present embodiment, it receives designation of a portion other than the useful part (the non-useful part). 本実施形態のステップＳ１２０では、基本的には第２の実施形態と同様であるが、重み値Ｗｉの計算方法が異なる。 In step S120 of this embodiment is basically the same as the second embodiment, the calculation method of the weight values ​​Wi are different. 即ち、以下の式（８）に示す如く、非有用部分の位置をｐとすると、非有用部分の位置ｐとの距離が閾値ｌよりも小さい位置にある特徴点ｆｉに対する重み値Ｗｉは０とする。 That is, as shown in the following equation (8), when the position of the non-useful part to p, weight value Wi for the feature points fi the distance between the position p of the non-useful part is in the lower position than the threshold l is 0 to.
また、特徴点ｆｉの画像上の座標位置を変数とする関数に従って重み値Ｗｉを決定してもよい。 It is also possible to determine a weight value Wi in accordance with a function of the coordinate position of the image feature points fi and variables. 例えば、この関数にガウス関数を用いた場合、重み値Ｗｉは以下の式（９）に従って計算しても良い。 For example, when using a Gaussian function to the function, the weighting value Wi may be calculated according to the following formula (9).
ガウス関数は、以下の式（１０）に示す如く、標準偏差σをパラメータとして以下のように表すことができる。 Gaussian functions can be expressed as follows as shown in the following equation (10), the standard deviation σ as a parameter.
なお、標準偏差σについては第２の実施形態で説明したとおりである。 Note that the standard deviation σ are as described in the second embodiment. また、第３の実施形態と同様に、上記では、識別に不要な部分を指定する実施例について述べたが、同時に識別に有用な部分を指定することも可能である。 As in the third embodiment, in the above has been described embodiment for specifying an unnecessary portion on the identification, it is also possible to specify a moiety useful for identification at the same time.
なお、以上説明した各実施形態の部分的な技術を適宜組み合わせて用いることも可能であり、その組み合わせについては、当業者であれば、適宜なし得るものである。 Incidentally, it is also possible to use appropriately combined partial techniques of the embodiments described above, for the combination, those skilled in the art, it is capable without appropriately. また、上記の各実施形態では、認識対象物は現実物体として説明したが、仮想物体としても良く、その場合、撮像部Ａ１００は、この仮想物体を配置する仮想空間においてこの仮想物体を撮像する機能部として実装される。 Also, features in the above embodiments, the recognition object is described as a physical object may be a virtual object, in which case, the imaging unit A100 is that imaging the virtual object in the virtual space to place the virtual object It is implemented as a part.
認識対象物を含む画像を取得する取得手段と、 Acquisition means for acquiring an image including a recognition object,
前記設定箇所に設定された特徴点における画像特徴量と 、 前記非設定箇所に設定された特徴点における画像特徴量と、を用いて前記認識対象物を学習する学習手段と を備えることを特徴とする画像処理装置。 And comprising: the image feature amount in the set feature points to the set point, the image feature amount in the set feature point to the non-set position, and a learning means for learning the recognition object using the image processing apparatus.
前記学習手段による学習結果を用いて、新たに撮像した画像中に映っている認識対象物を認識する手段と を備えることを特徴とする請求項１に記載の画像処理装置。 Using said learning result by the learning means, the image processing apparatus according to claim 1, characterized in that new and means for recognizing a recognition object is reflected in the image captured.
更に、前記画像を表示する表示手段を備え、 Further comprising a display means for displaying the image,
前記指定手段は、前記表示手段によって表示された前記画像に対してユーザが指定した箇所を前記設定箇所として指定する It said specifying means specifies the location specified by the user with respect to the images displayed by said display means as the setting position
前記指定手段は、前記表示手段によって表示された前記画像に対してユーザが指定した箇所以外の箇所を前記設定箇所として指定する It said specifying means specifies the locations other than the locations specified by the user with respect to the image displayed by said display means as the setting position
前記設定手段は、前記設定箇所に設定する特徴点の数を、該設定箇所の面積に応じて設定する The setting means, the number of feature points to be set in the setting position, set according to the area of the setting position
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 4, characterized in that.
前記画像処理装置の取得手段が、認識対象物を含む画像を取得する取得工程と、 An acquisition step acquiring means of the image processing apparatus, to acquire an image including a recognition object,
前記画像処理装置の指定手段が、前記画像における前記認識対象物の認識に有用な箇所を設定箇所として指定する指定工程と、 A designation step specifying means of the image processing apparatus, specifying a set point useful places to recognize your Keru the recognition target object in the image,
前記画像処理装置の設定手段が、前記設定箇所における特徴点の数が、前記画像において前記設定箇所以外の非設定箇所における特徴点の数よりも多くなるように、前記設定箇所及び前記非設定箇所に特徴点を設定する設定工程と、 Setting means of the image processing apparatus, the number of feature points in the set point is the to be larger than the number of feature points in a non-set portion other than the setting position in the image, the setting position and the non-set position a setting step of setting a feature point,
前記画像処理装置の学習手段が、前記設定箇所に設定された特徴点における画像特徴量と 、 前記非設定箇所に設定された特徴点における画像特徴量と、を用いて前記認識対象物を学習する学習工程と を備えることを特徴とする画像処理方法。 Learning means of the image processing apparatus learns the recognition object using the image feature amount in the set feature points of the set point, and an image feature quantity at a feature point the set in the non-set position an image processing method characterized by comprising a learning step.
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。 A computer program for a computer to function as each means of the image processing apparatus according to any one of claims 1 to 5.
JP2011097562A 2011-04-25 2011-04-25 Image processing apparatus, image processing method Active JP5746550B2 (en)
JP2011097562A JP5746550B2 (en) 2011-04-25 2011-04-25 Image processing apparatus, image processing method
US13454442 US9245199B2 (en) 2011-04-25 2012-04-24 Image processing apparatus and image processing method
JP2012230501A true JP2012230501A (en) 2012-11-22
JP2012230501A5 true JP2012230501A5 (en) 2014-06-05
JP5746550B2 true JP5746550B2 (en) 2015-07-08
ID=47021369
JP2011097562A Active JP5746550B2 (en) 2011-04-25 2011-04-25 Image processing apparatus, image processing method
US (1) US9245199B2 (en)
JP (1) JP5746550B2 (en)
WO2015099016A1 (en) * 2013-12-26 2015-07-02 日本電気株式会社 Image processing device, subject identification method and program
JP3346679B2 (en) * 1994-06-14 2002-11-18 日本電信電話株式会社 Image inspection / recognition method, reference data creation method and the devices used in this
JP4623387B2 (en) * 2008-09-04 2011-02-02 ソニー株式会社 Learning device and method, recognition apparatus and method, and program
JP2009037640A (en) 2008-10-06 2009-02-19 Toshiba Corp Pattern recognition apparatus and creating method of feature extraction parameter
US8385656B2 (en) * 2008-10-23 2013-02-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP2010282276A (en) * 2009-06-02 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> Apparatus and method for video recognition, and program
JPWO2011086889A1 (en) * 2010-01-12 2013-05-16 日本電気株式会社 Feature point selection system, feature point selection method and the feature point selection program
JP2012230501A (en) 2012-11-22 application
US20120269392A1 (en) 2012-10-25 application
US9245199B2 (en) 2016-01-26 grant
Eitz et al. 2012 Sketch-based shape retrieval.
Cheng et al. 2008 Robust affine invariant feature extraction for image matching
Wang et al. 2009 Brain state decoding for rapid image retrieval
Tao et al. 2016 Manifold ranking-based matrix factorization for saliency detection
Yuan et al. 2014 Remote Sensing Image Segmentation by Combining Spectral and Texture Features.
Paulin et al. 2014 Transformation pursuit for image classification
2014-04-19 A621 Written request for application examination