Source: https://patents.google.com/patent/JP2002007432A/en
Timestamp: 2019-12-10 05:19:34
Document Index: 544459025

Matched Legal Cases: ['art 101', 'art 104', 'art 202', 'art 106', 'art 106', 'art 106']

JP2002007432A - Information retrieval system - Google Patents
JP2002007432A
JP2002007432A JP2000189982A JP2000189982A JP2002007432A JP 2002007432 A JP2002007432 A JP 2002007432A JP 2000189982 A JP2000189982 A JP 2000189982A JP 2000189982 A JP2000189982 A JP 2000189982A JP 2002007432 A JP2002007432 A JP 2002007432A
JP2000189982A
典生 中村
2000-06-23 Application filed by Ntt Docomo Inc, 株式会社エヌ・ティ・ティ・ドコモ filed Critical Ntt Docomo Inc
2000-06-23 Priority to JP2000189982A priority Critical patent/JP2002007432A/en
2002-01-11 Publication of JP2002007432A publication Critical patent/JP2002007432A/en
PROBLEM TO BE SOLVED: To provide an information retrieval system capable of acquiring information on an object to be retrieved even without performing proper keyword specification, etc.
SOLUTION: A mobile terminal 100 is provided with an image pickup part 101 to acquire images of plural frames including the object to be retrieved and a feature descriptor generating part 104 to generate a feature descriptor from the image of the object included in each of the frames and transmits the feature descriptor to a retrieval server 200. A matching processing part 202 retrieves a record to coincide with the feature descriptor to be received from the mobile terminal 100 from data bases such as a contents server A and a contents server B in the retrieval server 200.
【発明が属する技術分野】この発明は情報検索システムに関する。 THE INVENTION TECHNICAL FIELD The present invention relates to an information retrieval system.
【従来の技術】通信技術および情報処理技術の進歩により、ネットワークを利用した各種の情報検索システムが幅広く利用されるに至っている。 Advances in BACKGROUND ART Communication technology and information processing technology have led to various information retrieval system using network are widely used. この種の情報検索システムでは、検索対象に関連したキーワード等をユーザが指定し、検索サーバがこのキーワードに合致するレコードをデータベースの中から検索し、ユーザに提供するという方法が一般的にとられている。 In this type of information retrieval system, specify a user keyword or the like relating to the search target, the search server searches the record matching the keyword from the database, a method of providing a user taken generally ing.
【発明が解決しようとする課題】ところで、検索対象物がユーザの目の前にあるが、ユーザはその検索対象物の名前等を知らず、適切なキーワードを指定することができないような状況がある得る。 The object of the invention is to be Solved by the way, the search object is in front of the user's eye, the user does not know the name or the like of the search object, there is a situation that can not be the appropriate keyword obtain. かかる場合、ユーザは、 In such a case, the user is,
情報検索システムに対して適切なキーワードを送ることができず、検索対象物に関する情報を取得することができないという問題があった。 You can not send the appropriate keyword for the information retrieval system, making it impossible to obtain information about the search object.
【０００４】この発明は以上説明した事情に鑑みてなされたものであり、ユーザが適切なキーワード指定等を行うことができない状況においても、検索対象物に関する情報を取得することができる情報検索システムを提供することを目的としている。 [0004] The present invention has been made in view of the circumstances described above, even in a situation where the user can not perform appropriate keyword designation, the information retrieval system can acquire information about the search object It is an object of the present invention to provide.
【課題を解決するための手段】この発明は、各種の検索対象物に関するレコードと各々が選択されるための条件である特徴記述子とを対応付けて記憶したデータベースと、検索対象物を含む画像を取得する画像取得手段と、 SUMMARY OF THE INVENTION This invention includes a database storing in association with each characteristic descriptor record and each related to various search object is a condition for being selected, an image including the search object an image obtaining means for obtaining,
前記画像取得手段によって取得された画像に含まれる検索対象物の画像から特徴記述子を生成する特徴記述子生成部と、前記特徴記述子生成部によって生成される特徴記述子に合致する検索対象物に関するレコードを前記データベースから検索するマッチング処理部とを具備することを特徴とする情報検索システムを提供するものである。 A characteristic descriptor generating unit for generating feature descriptor from an image of a search object included in the image acquired by the image acquisition means, the search objects that match the characteristic descriptors produced by the feature descriptor generating unit it is provided with a matching processing section that searches for a record from the database of which provides information retrieval system characterized.
【発明の実施の形態】以下、図面を参照し、この発明の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the drawings, detailed description of the present invention.
【０００７】Ａ． [0007] A. 第１の実施形態 First Embodiment
【０００８】（１）実施形態の構成 図１はこの発明の第１の実施形態である情報検索システムの構成を示すブロック図である。 [0008] (1) Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a first information retrieval systems is the embodiment of the present invention. この情報検索システムは、ユーザの目の前にある物体に関するレコードの検索を行い、その検索結果をユーザに提供するシステムである。 The information retrieval system to search for records relating to an object in front of the user's eyes, is a system that provides the search results to the user. 図１に示すように、この情報検索システムは、モバイル端末１００と、検索サーバ２００と、ネットワーク３００と、検索サーバ２００内のコンテンツサーバＡ As shown in FIG. 1, the information retrieval system includes a mobile terminal 100, a search server 200, a network 300, the content server A in the search server 200
や検索サーバ２００の外部のコンテンツサーバＢなどからなるデータベースとを主要な構成要素とするものである。 And or a search made from an external contents server B of the server 200 database is to a major component.
【０００９】モバイル端末１００は、ネットワーク３０ [0009] The mobile terminal 100, the network 30
０を介して他の装置との間で音声や映像の送受信を行う機能を有するマルチメディア対応のモバイル端末である。 Through 0 is a multimedia mobile terminal having a function of transmitting and receiving audio and video to and from other devices. このモバイル端末１００において、撮像部１０１および画像符号化部１０２は、ネットワーク３００を介して他者に画像を送信する際に利用される。 In this mobile terminal 100, the imaging unit 101 and the image coding unit 102 is used when transmitting the image to others through a network 300. すなわち、モバイル端末１００から他者へ画像送信を行う際、撮影部１０１は、他者に送信すべき外界の映像を撮影して画像情報を出力し、画像符号化部１０２は、この画像情報の圧縮符号化を行い、ネットワーク３００を介して伝送するのに適した低いデータレートの符号化データを生成するものである。 That is, when an image is transmitted to others from the mobile terminal 100, imaging unit 101 outputs the image information by photographing the external image to be transmitted to another person, the image encoding unit 102, the image information It performs compression coding, and generates the encoded data of a low data rate suitable for transmission over the network 300.
【００１０】そして、本実施形態におけるモバイル端末１００は、このような画像通信を行う機能の他、検索サーバ２００を利用してユーザの目の前にある物体に関する情報検索を行う機能を備えている。 [0010] Then, the mobile terminal 100 in this embodiment, other functions to perform such image communication, and a function of performing information retrieval relating to an object that utilizes the search server 200 in front of the user's eyes . この情報検索は、 This information retrieval,
本実施形態において概ね次のような手順により行われる。 Generally carried out by the following procedure in the present embodiment. すなわち、モバイル端末１００は、ユーザの目の前にある検索対象である物体の画像情報を取得し、その画像情報から物体の特徴を示す情報（以下、特徴記述子という）を生成して検索サーバ２００に送り、検索サーバ２００はコンテンツサーバＡやコンテンツサーバＢなどのデータベースの中からこの特徴記述子に合致したレコードを検索し、モバイル端末１００に送り返すのである。 That is, the mobile terminal 100 acquires the object image information to be retrieved at the front of the user's eye, the information indicating the features of the object from the image information (hereinafter, referred to as characteristic descriptor) search generates a server feed 200, search server 200 searches the records matched to this feature descriptor from the database, such as the content server a, content server B, and than back to the mobile terminal 100.
【００１１】この情報検索において、モバイル端末１０ [0011] In this information retrieval, mobile terminal 10
０における撮像部１０１は、検索対象である物体の画像データを取得するための手段として利用される。 The imaging unit 101 at 0 is used as a means for obtaining the image data of the object to be retrieved. この撮像部１０１は、一定時間間隔で外界の撮影を行い、その度に１フレーム分の画像データを出力する。 The imaging unit 101 performs the outside world taken at predetermined time intervals, and outputs the image data of one frame each time. また、画像符号化部１０２は、ＭＰＥＧ−４（Moving Picture Exp The image encoding unit 102, MPEG-4 (Moving Picture Exp
ert Group Phase 4）に規定された符号化アルゴリズムに従って、撮像部１０１から得られる画像データの符号化を行う装置であるが、本実施形態では、画像データの符号化過程において発生するデータから検索対象である物体に対応した特徴記述子が生成される。 According to a prescribed coding algorithm to ert Group Phase 4), is a device for coding the image data obtained from the imaging unit 101, in the present embodiment, the search target from the data generated in the encoding process of the image data characteristic descriptor corresponding to the object is is produced. このようにマルチメディア対応のモバイル端末に元々備わっている構成要素を情報検索に有効利用する点に本実施形態の１つの特徴がある。 Thus there is one feature of this embodiment the components are originally provided in the multimedia enabled mobile terminals in terms of effective use of the information searched.
【００１２】図２は画像符号化部１０２の構成を示すブロック図である。 [0012] FIG. 2 is a block diagram showing the configuration of an image encoding unit 102. 図２において、符号化制御部４０１ 2, the encoding control section 401
は、各種の制御情報を発生し、この画像符号化部１０２ Generates various control information, the image encoding unit 102
全体の動作を制御する装置である。 A device for controlling the entire operation. この符号化制御部４ The encoding control unit 4
０１によって生成される制御情報には、例えば符号化モード情報と量子化ステップＱｐがある。 The control information generated by 01, for example, a coding mode information and quantization step Qp. ここで、符号化モード情報は、フレーム内符号化を行うかフレーム間予測符号化を行うかの切り換え制御のために生成される情報である。 Here, the coding mode information is information that is generated for one of the switching control performed whether interframe predictive coding intra-frame coding. また、量子化ステップＱｐは、この画像符号化部１０２から出力する符号化データの符号量を制御するために生成される情報である。 The quantization step Qp is the information generated in order to control the code amount of the coded data outputted from the picture coding unit 102.
【００１３】ＭＢ（マクロブロック）生成部４０２には、撮像部１０１から出力される一連のフレームの画像データが順次供給される。 [0013] MB (macroblock) generating unit 402, image data of a series of frames to be output from the imaging unit 101 are sequentially supplied. このＭＢ生成部４０２は、撮像部１０１から供給される１フレーム分の画像データを１６×１６画素のＭＢに分割して出力する。 The MB generator 402, and outputs the divided MB of 16 × 16 pixels of image data for one frame supplied from the imaging unit 101. 減算器４０ Subtractor 40
３は、これらの各ＭＢと、後述する動き補償部４１３から供給される各ＭＢに対応した参照画像との減算を行い、差分画像を出力する。 3 performs each of these MB, the subtraction of the reference image corresponding to each MB supplied from the motion compensation unit 413 to be described later, and outputs the difference image. スイッチ４０４は、接点ａおよび接点ｂを有しており、接点ａにはＭＢ生成部４０２ Switch 404 has contacts a and the contact b, MB generation unit 402 to the contact a
からのＭＢが供給され、接点ｂには減算器４０３からの差分画像が供給される。 MB from is supplied to the contact b differential image from the subtracter 403 is supplied. そして、このスイッチ４０４ Then, the switch 404
は、フレーム内符号化を行うときには符号化制御部４０ , When intra-frame coding is encoding control unit 40
１から出力される符号化モード情報によって接点ａ側に切り換えられ、フレーム間予測符号化を行うときには接点ｂ側に切り換えられる。 Is switched to the contact a side by the coding mode information output from the 1, it is switched to the contact b when the inter-frame predictive coding.
【００１４】ＤＣＴ部４０５は、スイッチ４０４を介して供給されるＭＢまたは差分画像を４分割した各ブロックに対し、直交変換の一種であるＤＣＴ（Discrete Cos [0014] DCT unit 405, for each block divided into four MB or the difference image supplied via the switch 404, which is a kind of orthogonal transform DCT (Discrete Cos
ineTransform；離散コサイン変換）を施し、ＤＣＴ係数行列を出力する。 IneTransform; subjected to discrete cosine transform), and outputs the DCT coefficient matrix. 量子化器４０６は、ＤＣＴ部４０５から得られるＤＣＴ係数行列の各行列要素（すなわち、Ｄ Each matrix element of the quantizer 406, DCT coefficient matrix obtained from the DCT unit 405 (i.e., D
ＣＴ係数）を符号化制御部４０１から与えられる量子化ステップＱｐに従って量子化し、量子化されたＤＣＴ係数行列を出力する。 The CT coefficient) quantized in accordance with the quantization step Qp given from the encoding controller 401, and outputs the quantized DCT coefficient matrix.
【００１５】逆量子化器４０７は、量子化器４０６から得られる量子化されたＤＣＴ係数行列の逆量子化を行い、元のＤＣＴ係数行列を復元する。 The inverse quantizer 407 performs inverse quantization of the quantized DCT coefficient matrix obtained from the quantizer 406 to restore the original DCT coefficient matrix. ＩＤＣＴ部４０８ IDCT unit 408
は、逆量子化器４０７から出力されたＤＣＴ係数行列に対して逆ＤＣＴを施し、元のＭＢ（フレーム内符号化時）または差分画像（フレーム間予測符号化時）を復元する。 It determines the inverse DCT performed on the DCT coefficient matrix output from the inverse quantizer 407 to restore the original MB (the intra-frame coding at) or a difference image (when the inter-frame predictive coding).
【００１６】加算器４０９には、この元のＭＢまたは差分画像と、スイッチ４１０の出力データが供給される。 [0016] The adder 409, and the original MB or differential image, the output data of the switch 410 is supplied.
ここで、スイッチ４１０は、接点ａおよび接点ｂを有しており、接点ａには固定値「０」が供給され、接点ｂには動き補償部４１３から参照画像が供給される。 Here, the switch 410 has a contact a and the contact b, the fixed value "0" is supplied to the contact a, the reference image from the motion compensation unit 413 is supplied to the contact point b. そして、このスイッチ４１０は、フレーム内符号化を行うときには、符号化制御部４０１から出力される符号化モード情報によって接点ａ側に切り換えられ、フレーム間予測符号化を行うときには接点ｂ側に切り換えられる。 Then, the switch 410, when intra-frame coding is switched to the contact a side by the coding mode information outputted from the coding control unit 401 is switched to contact b when the inter-frame predictive coding . 従って、加算器４０９は、フレーム内符号化時にはＤＣＴ Therefore, the adder 409, DCT is when the coded frame
前の元のＭＢを出力し、フレーム間予測符号化時には差分画像に対し、これに対応した参照画像を加えたもの、 Those outputs previous original MB, the relative difference image when Inter frame, plus a reference image corresponding thereto,
すなわち、元のＭＢの復号画像を出力することとなる。 In other words, the output a decoded image of the original MB.
フレームメモリ４１１は、このようにして加算器４０９ Frame memory 411, an adder 409 in this manner
から得られる復号画像を記憶するメモリである。 A memory for storing a decoded image obtained from.
【００１７】動き予測部４１２は、ＭＢ生成部４０２から減算器４０３に供給される各ＭＢ毎に、当該ＭＢに似た参照画像をフレームメモリＦＭ内に記憶された時間的に前のフレームの復号画像の中から探索し、当該ＭＢと参照画像との間の動きベクトルを出力する。 The motion prediction unit 412, for each MB supplied from the MB generator 402 to the subtracter 403, the decoding of the MB in the reference image of the previous frame memory temporally stored in FM a similar frame It searched from the image, and outputs a motion vector between the MB and the reference image. 動き補償部４１３は、ＭＢ生成部４０２から減算器４０３に供給される各ＭＢ毎に、動き予測部４１２によって求められた動きベクトルによって動き補償された参照画像を減算器４０３および前述したスイッチ４１０の接点ｂへ供給する。 The motion compensation unit 413, for each MB supplied from the MB generator 402 to the subtractor 403, a reference picture, motion compensated by the motion vector obtained by the motion prediction unit 412 of the subtracter 403 and the above-mentioned switches 410 supplied to the contact b.
【００１８】可変長符号化器４１４は、量子化器４０６ The variable length coder 414, the quantizer 406
から得られる量子化されたＤＣＴ係数行列と動き予測部４１２から得られる動きベクトルとを可変長符号化し、 And a motion vector obtained from the DCT coefficient matrix and the motion prediction unit 412 which has been quantized is obtained from variable length coding,
符号化モード情報等の各種制御情報と多重化し、符号化データとして出力する。 And various control information multiplexed with such coding mode information, and outputs it as coded data. バッファ４１５は、このようにして出力される符号化データを一時的に蓄積するメモリである。 Buffer 415 is a memory for temporarily storing the encoded data output in this manner. このバッファ４１５に蓄積された符号化データは、ネットワークを介してモバイル端末１００の相手装置に送信される。 Encoded data accumulated in the buffer 415 is transmitted to the other unit of the mobile terminal 100 via the network.
【００１９】通常の画像通信の場合、符号化制御部４０ In the case of the normal image communication, the encoding control unit 40
１は、適当なタイミングでフレーム内符号化を指示する符号化モード情報を出力し、他の期間はフレーム間予測符号化を指示する符号化モード情報を出力する。 1 outputs a coding mode information indicating the intra-frame coding at a proper timing, other periods and outputs a coding mode information indicating the inter-frame predictive coding. また、 Also,
符号化制御部４０１は、バッファ４１５内の未送信の符号化データの符号量を監視しており、未送信符号量の増大によってバッファ４１５のオーバフローが生じないよう量子化ステップＱｐを調整し、バッファ４１５に出力される符号化データの符号量の制御を行う。 Encoding control unit 401 monitors the code amount of the coded data unsent in the buffer 415, and adjusts the quantization step Qp so that overflow of the buffer 415 is not caused by an increase in the non-transmission code amount, the buffer and it controls the code amount of encoded data output 415.
【００２０】一方、モバイル端末１００が検索サーバ２ [0020] On the other hand, the mobile terminal 100 is the search server 2
００を利用した情報検索のための動作を開始すると、この情報検索のための動作が行われている期間、検索動作モード指示が符号化制御部４０１に与えられる。 When starting the operation for information search using a 00 period during which operation is performed for the information retrieval, search operation mode instruction is given to the encoding control unit 401. この場合、符号化制御部４０１は、検索動作モード指示が与えられた直後、フレーム内符号化を指示する符号化モード情報を出力して１フレーム分のフレーム内符号化を行い、それ以降の情報検索を行うための動作が終了するまでのフレームでは、符号化制御部４０１が備える符号化モード規範に基づいて、ＭＢ単位で符号化モードの切り換えを行う。 In this case, the encoding control unit 401, the search immediately after the operation mode instruction is applied, performs intra-frame coding for one frame and outputs the coding mode information indicating the intra-frame coding, the subsequent information search frame operation to the end for performing, based on the coding mode norms coding control unit 401 comprises, for switching the encoding mode in MB. また、符号化制御部４０１は、検索動作モード指示が与えられている期間、量子化ステップＱｐを最小値である「１」に固定する。 The encoding control unit 401 for a period of time in search operation mode instruction has been given, is fixed to "1" which is the minimum value of quantization step Qp. 従って、この間は最も高い精度で符号化が行われることになる。 Therefore, the during which encoding is performed at the highest accuracy. 以上が画像符号化部１０２の構成の詳細である。 The above is the details of the configuration of an image encoding unit 102.
【００２１】モバイル端末１００は、以上説明した撮像部１０１および画像符号化部１０２の他、検索サーバ２ The mobile terminal 100, other image capturing section 101 and the image coding unit 102 described above, the search server 2
００を利用した情報検索を行うための手段として、初期物体領域指定部１０３と、特徴記述子生成部１０４と、 As a means for performing information retrieval using 00, an initial object region specifying unit 103, a feature descriptor generating unit 104,
検索要求送信部１０５と、検索データ多重・送信部１０ A search request transmission section 105, search data multiplexing and transmitting section 10
６と、検索結果表示部１０７とを有している。 6, and a search result display unit 107.
【００２２】初期物体領域指定部１０３は、撮影部１０ [0022] The initial object area specifying unit 103, the imaging unit 10
１によって撮影された外界の映像において検索対象である物体が占有している領域（初期物体領域）をユーザに特定させるための装置である。 Object to be retrieved in the image of the outside world captured by 1 is a device for a particular user area (initial object region) occupying.
【００２３】この初期物体領域指定部１０３による初期物体領域の特定方法としては各種の方法が考えられるが、例えば次のような簡便な方法がある。 [0023] As a specific method of the initial object region according to the initial object region specifying unit 103 are various methods can be considered, for example, a simple method such as the following. すなわち、初期物体領域指定部１０３は、撮影部１０１によって撮影された外界の映像をディスプレイ（図示略）に映し出す。 That is, the initial object region specifying unit 103, displaying an external image captured by the imaging unit 101 on the display (not shown). また、初期物体領域指定部１０３は、ディスプレイに例えば四角形の枠を表示する。 The initial object area specifying unit 103 displays a frame, for example a square on the display. ユーザは、モバイル端末１００に設けられた所定のキー（例えばカーソルキー）を操作し、この四角形の枠の表示を移動させたり、 The user operates a predetermined key provided on the mobile terminal 100 (e.g., a cursor key), or move the display of the frame of the quadrilateral,
この枠の縦寸法や横寸法を調整し、枠の中に検索対象である物体の映像を収めることができる。 The longitudinal dimensions and lateral dimensions of the frame to adjust and can keep the image of the object to be retrieved into the frame. そして、四角形の枠の中に検索対象が収まったときに所定のキーを操作して、初期物体領域の特定をしたことをモバイル端末１ Then, by operating a predetermined key when subsided searched in the rectangular frame, the mobile terminal 1 that it has a particular initial object region
００の初期物体領域指定部１０３に通知する。 And it notifies the initial object region specifying unit 103 00. そして、 And,
初期物体領域指定部１０３は、この通知を受けたときの四角形の枠の画面内での占有位置を検索対象である物体の初期物体領域として獲得するのである。 Initial object area specifying unit 103 is to acquire the initial object region of the object which is the occupied position searched by a rectangle in the screen frame when receiving the notification.
【００２４】この他、初期物体領域の特定方法として、 [0024] As another specific method of the initial object region,
例えばカメラのズーミング機能を用いることによって、 By using the camera zooming function for example,
画枠一杯に物体を捉えるように調整し、そのときの画枠を初期物体領域とする方法がある。 Adjusted to capture the object image frame full, there is a method of the image frame at that time as an initial object region.
【００２５】特徴記述子生成部１０４には、検索動作モード指示が出力されている期間、画像符号化部１０２から符号化データが供給される。 [0025] Features descriptor generating unit 104 for a period of time in search operation mode instruction is output, the encoded data is supplied from the image encoding unit 102. さらに詳述すると、特徴記述子生成部１０４には、最初、フレーム内符号化により得られたＤＣＴ係数が供給され、それ以降、検索動作モード指示が出力されている間、ＤＣＴ係数、動きベクトルおよび符号化モード情報が供給される。 In more detail, the feature descriptor generating unit 104, first, DCT coefficients obtained by the intra-frame coding is supplied, and thereafter, the search while the operation mode instruction is output, DCT coefficients, motion vectors and coding mode information is supplied. また、フレーム内符号化データの供給に先立って、特徴記述子生成部１０４には、初期物体領域指定部１０３によって獲得された初期物体領域が通知される。 Further, prior to the supply of intraframe coded data, the feature descriptor generating unit 104, an initial object region acquired by the initial object area specifying unit 103 is notified. 特徴記述子生成部１ Characteristic descriptor generating unit 1
０４は、フレーム内符号化により得られた各ＤＣＴ係数のうち初期物体領域内の各ＭＢに対応しものを用いて特徴記述子を生成する。 04 generates a feature descriptor using what corresponding to each MB in the initial object region among the DCT coefficients obtained by the intra-frame coding. また、フレーム間予測符号化が行われたときは、フレーム間予測符号化によって得られる各ＭＢに対応した動きベクトルに基づいて、フレーム内における検索対象である物体の占有領域を推定し、この推定される占有領域内の各ＭＢに対応したＤＣＴ係数から特徴記述子を生成する。 Further, when the inter-frame predictive coding is performed on the basis of the motion vector corresponding to each MB obtained by inter-frame predictive coding, estimates the occupied area of ​​the object to be retrieved in the frame, the estimated It generates a feature descriptor from the DCT coefficients corresponding to each MB in the occupied area to be. 特徴記述子には、例えば代表色記述子、構成色空間配置記述子、テクスチャ記述子などがある。 The feature descriptors, for example the representative color descriptor, and the like constituting color space arrangement descriptor, a texture descriptor. なお、これらの意味するところについては、 It should be noted that, for the meaning of these,
説明の重複を避けるため、本実施形態の動作説明の項において詳細を明らかにする。 To avoid duplication of description, reveal details in the section of the description of the operation of the present embodiment.
【００２６】特徴記述子生成部１０４は、特徴記述子の他、検索制御データを出力する。 The characteristic descriptor generating unit 104, in addition to the characteristic descriptor, and outputs the search control data. これは検索サーバ２０ This is the search server 20
０側において、検索対象物に応じた効率的な検索を行うために特徴記述子生成部１０４内において自動生成される制御データである。 In 0 side, a control data which is automatically generated in the feature descriptor generating unit 104 in order to perform efficient search according to the search object. この検索制御データについても、 For this search control data as well,
本実施形態の動作説明の項において詳細を明らかにする。 Reveal details in the section of the description of the operation of the present embodiment.
【００２７】検索要求送信部１０５は、ユーザからの指示に従って、検索要求データを出力する装置である。 The search request transmission section 105, in accordance with an instruction from the user is a device that outputs a search request data.
【００２８】検索データ多重・送信部１０６は、検索要求送信部１０５から出力された検索要求データと、特徴記述子生成部１０４から出力された特徴記述子および検索制御データとを多重化し、ネットワーク３００を介して検索サーバ２００に送信する装置である。 The search data multiplexing and transmitting part 106 multiplexes the retrieval request data output, the output feature descriptor from the feature descriptor generating unit 104 and a search control data from the search request transmission section 105, the network 300 a device for transmitting to the search server 200 via the.
【００２９】検索結果表示部１０７は、この検索データ多重・送信部１０６からの検索要求データ等の送信に応答して、検索サーバ２００から検索結果データが送り返されてきた場合に、この検索結果データを図示しないディスプレイに表示する装置である。 The search result display unit 107, in response to the transmission of the search request data and the like from the search data multiplexing and transmitting part 106, when the search result data from the search server 200 sent back, the search result data it is a device that displays on a display (not shown). 以上がモバイル端末１００の構成の詳細である。 The above is the details of the configuration of the mobile terminal 100.
【００３０】次に検索サーバ２００について説明する。 [0030] will now be described the search server 200.
検索サーバ２００は、検索データ受信・分離部２０１ Search server 200, search data receiving and separating unit 201
と、マッチング処理部２０２と、検索結果送信部２０３ If a matching processing unit 202, a search result transmission section 203
と、コンテンツサーバＡとを有している。 When, and a content server A. 検索データ受信・分離部２０１は、ネットワーク３００を介してモバイル端末１００からの送信データを受信し、この送信データを特徴記述子と検索制御データと検索要求データに分離し、マッチング処理部２０２に供給する。 Search data reception and separation unit 201 receives the transmission data from the mobile terminal 100 via the network 300, separates the transmission data and the characteristic descriptor and the search control data in the search request data, supplied to the matching processing unit 202 to. マッチング処理部２０２は、検索要求データが与えられることにより、コンテンツサーバＡまたはネットワーク３００上のコンテンツサーバＢにアクセスし、特徴記述子を検索キーとして情報検索を行う。 Matching processing unit 202, by being given the search request data, accesses the content server B on the content server A or the network 300, performs the information search feature descriptors as a search key.
【００３１】ここで、コンテンツサーバＡやコンテンツサーバＢが保有するデータベースは、図３に例示するような階層構造をなしている。 [0031] Here, the database held by the content server A, content server B has a hierarchical structure as illustrated in FIG. このデータベースが例えば生物に関するレコードのデータベースであるとすると、 When this database eg, a database of records on Biological,
最上位のルートカテゴリは、例えば生物である。 Root category of top-level, for example, an organism. そして、ルートカテゴリの下位のカテゴリレイヤ１には、例えば動物に対応したカテゴリと植物に対応したカテゴリが属しており、これらの各カテゴリは、動物一般または植物一般に関する情報を含むレコードによって構成されている。 Then, the lower category Layer 1 of the root category, such as animal belongs a category corresponding to the category and plants corresponding to each of these categories are formed of a record containing information about the animal generally or plants in general there. そして、カテゴリレイヤ１の下位のカテゴリレイヤ２は、動物または植物をさらに細分化したカテゴリからなり、これらの各カテゴリにはさらに下位にカテゴリレイヤのカテゴリが属している。 Then, the lower category Layer 2 categories Layer 1 consists categories subdivided animal or plant, and further belongs categories category layer lower in each of these categories. そして、各カテゴリレイヤに属する各レコード毎に、各々が検索されるための特徴記述子の内容が定められている。 Then, for each record belonging to each category layer, the content of the characteristic descriptor for each is searched are determined. ここで、上位のカテゴリレイヤに属する各レコードは、数の少ない特徴記述子または抽象的な特徴記述子により検索可能であるが、下位のカテゴリレイヤになる程、各々に属する各レコードの中から該当するものを検索するために、より多数の特徴記述子またはより具体的かつ厳密な特徴記述子が必要となる。 Here, each record belonging to a higher category layer is a retrievable by a small number of feature descriptors or abstract feature descriptors, enough to become lower category layer, appropriate from among the records belonging to each to find the one that will require a greater number of feature descriptors or more specific and rigorous feature descriptors.
【００３２】モバイル端末１００側から供給される検索要求データには、情報検索を行う際にその探索範囲となるカテゴリを指定する情報が含まれている。 [0032] in the search request data supplied from the mobile terminal 100 side includes information that specifies the category to be the search range when performing the information retrieval. マッチング処理部２００はこの指定された探索範囲内において特徴記述子に合致した情報を検索を行う。 Matching processing unit 200 performs a search for information that matches the characteristic descriptor within the specified search range. 例えばカテゴリレイヤ１に属する動物を探索範囲として指定する検索要求データがモバイル端末１００から送られてきた場合、マッチング処理部は図３においてカテゴリ・動物に属する下位の各カテゴリを探索範囲として特徴記述子に合致したレコードの検索を行うのである。 Characteristic descriptor For example, when the search request data specifying the animals belonging to the category layer 1 as the search range is sent from the mobile terminal 100, as the search range of each category of lower belonging to category animals in the matching processing section 3 it is to carry out the search of the record matched to.
【００３３】検索結果送信部２０３は、マッチング処理部２０２によって検索されたレコードを検索結果データとしてモバイル端末１００に送信する。 The search result transmission section 203 transmits to the mobile terminal 100 records retrieved by the matching processing unit 202 as search result data. 以上が本実施形態に係る情報検索システムの構成の詳細である。 The above is the details of the configuration of an information retrieval system according to the present embodiment.
【００３４】（２）実施形態の動作 全体動作 図４は本実施形態に係る情報検索システムの全体的な動作を示すフローチャートである。 [0034] (2) Operation Overall Operation Figure 4 embodiment is a flowchart showing the overall operation of the information retrieval system of this embodiment. 以下、このフローチャートを参照し、本実施形態の全体的な動作について説明する。 Hereinafter, with reference to the flow chart illustrating the overall operation of the present embodiment. ユーザは、自分の目の前に存在する物体に関する情報検索を行おうとする場合、その物体について分かっていることをモバイル端末１００に入力する。 If the user is attempting to information retrieval relating to an object existing in front of his eyes, and inputs that are known for the object to the mobile terminal 100. 例えば目の前の物体が植物であることが分かっている場合、ユーザは検索カテゴリとして植物を指定する情報をモバイル端末１００に入力するのである（ステップＳ１）。 For example if an object in front of it has been found that a plant, the user is to enter information to specify the plant to the mobile terminal 100 as a search category (step S1).
【００３５】次にユーザは、検索条件を指定するモバイル端末１００に対して入力する（ステップＳ２）。 The user then inputs to the mobile terminal 100 to specify the search condition (step S2). このステップＳ２において入力される検索条件には、例えば次のものがある。 The search conditions input in step S2, for example, the following ones.
【００３６】ａ． [0036] a. 記述時間 この記述時間は、撮像部１０１から得られる画像データに基づいて特徴記述子の生成を行う時間である。 Time Description Time This description is the time for generating the feature descriptors based on image data obtained from the imaging unit 101. 具体的には、この記述時間は、特徴記述子の生成を行う画像のフレーム数によって指定される。 Specifically, the description time is specified by the number of frame images for generating the feature descriptors.
【００３７】ｂ． [0037] b. 詳細度 この詳細度は、どの程度厳密な検索を行うかの度合いである。 Details of this level of detail is the degree of whether to how strict search. この詳細度を直接指定することはできないので、 Since it is not possible to specify the level of detail directly,
それに代えて、撮像部１０１から画像データの出力を行うときのフレームレートや検索キーとして用いる特徴記述子の数が指定されることとなる。 Alternatively, so that the number of feature descriptors are designated for use as the frame rate or search keys when performing the output of the image data from the imaging unit 101.
【００３８】ｃ． [0038] c. 応答時間 検索要求データを検索サーバ２００に送ってから検索結果データが戻ってくるまでの応答時間である。 Results from sending a response time search request data to the search server 200, which is the response time until the data is returned. なお、この応答時間は、特徴記述子の数が多くなるほど長くなるので、特徴記述子の数を応答時間の代わりに指定するようにしてもよい。 Incidentally, the response time, because the more the longer the greater the number of feature descriptors may be specified instead of the response time the number of feature descriptors.
【００３９】ｄ． [0039] d. 検索結果データ数 これは特徴記述子に合致した検索結果データを何個受け取るかを指定する情報である。 Results The number of data which is information specifying whether receives many pieces of retrieval result data that matches the feature descriptors.
【００４０】ｅ． [0040] e. 同期検索／非同期検索の別 本実施形態において、モバイル端末１００のユーザは同期検索と非同期検索の２種類のサービスを受けることができる。 In another embodiment of the synchronous search / asynchronous retrieval, the user of the mobile terminal 100 can receive two types of service of the synchronous search and asynchronous retrieval. ここで、同期検索とは、モバイル端末１００が特徴記述子の生成および検索サーバ１００への送信を繰り返し、検索サーバ１００はモバイル端末１００からの特徴記述子の受信、情報検索および検索結果データの送信を繰り返す検索サービスである。 Here, the synchronization search, the mobile terminal 100 repeats the transmission to the generation and search server 100 of the characteristic descriptor, searching server 100 receives the feature descriptor from the mobile terminal 100, information search and retrieval result data transmission it is a search service to repeat. 一方、非同期検索とは、ユーザから指定された記述時間内に生成された特徴記述子をまとめてモバイル端末１００から検索サーバ２ On the other hand, the asynchronous search, the search server 2 from the mobile terminal 100 are collectively characteristic descriptor generated within descriptions time specified by the user
００に送り、検索サーバ２００ではこの特徴記述子を用いた情報検索を行って検索結果データをモバイル端末１ 00 to the feed, the search server 200 in performing information retrieval using the feature descriptor retrieval result data the mobile terminal 1
００に送る検索サービスである。 Is a search service to be sent to the 00. ユーザは、これらの同期検索または非同期検索のうちいずれの検索サービスを受けるかを指定する。 The user specifies the receive either one of the search service of these synchronous search or asynchronous retrieval.
【００４１】ｆ． [0041] f. 主観有意特徴指定 これはユーザ自身が主観的にその検索対象物の特徴であると考える事項である。 Subjective significant features specified this is a matter which the user himself considered to be characteristic of subjectively the search object. 例えばユーザが検索対象物の特徴はその模様にあると考えた場合、模様が主観的有意特徴指定となる。 For example if the user thought characterized the search object in its pattern, the pattern is subjective significant features specified.
【００４２】以上の検索条件の入力が完了すると、モバイル端末１００はシステムセットアップを実行する（ステップＳ３）。 [0042] Upon input of the above search conditions has been completed, the mobile terminal 100 executes the system setup (step S3). このシステムセットアップにおいて、モバイル端末１００は、検索サーバ２００との間で能力ネゴシエーションを行う。 In this system set-up, the mobile terminal 100 performs capability negotiation with the search server 200. すなわち、モバイル端末１００ In other words, the mobile terminal 100
は、検索サーバ２００に対して性能交換情報を送る。 Sends the performance exchange information to the search server 200. この性能交換情報は、モバイル端末１００から検索サーバ２００に提供することができる特徴記述子の種類を含んでいる。 This performance exchange information includes the type of characteristic descriptor that can be provided from mobile terminal 100 to the search server 200. 検索サーバ２００は、この性能交換情報に基づき、モバイル端末１００が情報検索に必要な特徴記述子を提供することができるか否かを判定し、その判定結果をモバイル端末１００に送る。 Search server 200, based on this capability exchange information, the mobile terminal 100 determines whether it is possible to provide a feature descriptors required for information retrieval, and sends the determination result to the mobile terminal 100. この判定結果には、モバイル端末１００が提供可能な特徴記述子によりどの程度の精度の情報検索を行うことができるかを示す情報が含まれている。 This determination result includes information indicating whether it is possible to perform information retrieval degree of accuracy by the feature descriptors that can provide the mobile terminal 100. 一方、検索サーバ２００も、モバイル端末１００に対し、性能交換情報を送信する。 On the other hand, the search server 200 also, with respect to the mobile terminal 100 transmits the capability exchange information. この性能交換情報は、検索サーバ２００が検索可能なカテゴリの範囲等の情報を含んでいる。 This performance exchange information, the search server 200 contains information such as the range of searchable categories. モバイル端末１００は、情報検索に必要な特徴記述子を検索サーバ２００に提供することができ、かつ、検索サーバ２００がモバイル端末１０ Mobile terminal 100 may provide the characteristic descriptors required for information retrieval to the search server 200 and the mobile terminal 10 searches the server 200
０から要求する情報検索を行うことができることを確認すると、システムセットアップにおける残りの処理に進む。 Confirms that the information can be searched for requesting from 0, the process proceeds to the remaining process in the system setup. 一方、情報検索に必要な特徴記述子をモバイル端末１００が検索サーバ２００に提供することができない場合または検索サーバ２００がモバイル端末１００から要求する情報検索を行うことができない場合、モバイル端末１００はその旨のメッセージをディスプレイに表示し、処理を打ち切る。 On the other hand, if the case or the search server 200 can not be provided to the mobile terminal 100 is the search server 200 feature descriptors required for information retrieval is not possible to perform information retrieval requests from the mobile terminal 100, the mobile terminal 100 is the to display the effect of the message on the display, abort the process. 能力ネゴシエーションが終了すると、モバイル端末１００は、ステップＳ１において入力された検索カテゴリを指定する情報を検索データ多重・ When the capability negotiation ends, the mobile terminal 100, information search data multiplexing and specify a search category has been input in step S1
送信部１０６からネットワーク３００を介して検索サーバ２００に送信する。 From the transmitting unit 106 via the network 300 to send to the search server 200. これにより検索サーバ２００側では、検索対象の範囲が特定される。 In this way the search server 200 side, the range of search target is specified. 次にモバイル端末１ Next, the mobile terminal 1
００は、ステップＳ２において入力された各種の検索条件を検索データ多重・送信部１０６からネットワーク３ 00, the network 3 various search conditions inputted in step S2, search data multiplexing and transmitting part 106
００を介して検索サーバ２００に送信する。 Through the 00 to send to the search server 200. この検索条件は、検索サーバ２００におけるマッチング処理部２０ The search criteria, the matching processing unit in the search server 200 20
２に設定される。 2 is set to.
【００４３】以上説明したシステムセットアップが終了すると、モバイル端末１００では、撮像および特徴記述子の生成が行われる（ステップＳ４）。 [0043] With the described system setup is completed or, in the mobile terminal 100, the generation of imaging and feature descriptors is performed (step S4). さらに詳述すると、このステップＳ４において、ユーザはモバイル端末１００の撮像部１０１により検索対象物の撮影を行い、 In more detail, in step S4, the user performs the shooting of the search object by the imaging unit 101 of the mobile terminal 100,
ディスプレイに映し出された映像中の検索対象物の初期物体領域を特定し、検索開始をモバイル端末１００に指示する。 Identify initial object region of the search object in a video image projected on the display, and instructs the search start to the mobile terminal 100. この指示は、モバイル端末１００に配備された所定のボタンを押す等の操作により行われる。 This indication is carried out by operation such as pressing a predetermined button deployed to the mobile terminal 100.
【００４４】モバイル端末１００内部では、この検索開始の指示により、検索動作モード指示が発生される。 [0044] Within the mobile terminal 100, by an instruction of the search start, search operation mode instruction is generated. ここで、ステップＳ２において同期検索が選択されている場合には、その後、検索の終了がユーザから指示されるまで、検索動作モード指示が継続的に発生される。 Here, if the synchronization search is selected in step S2, then search end until instructed by the user, the search operation mode instruction is continuously generated. 一方、ステップＳ２において非同期検索が選択されている場合には、ステップＳ２において指定されたフレーム数分の画像から特徴記述子の抽出が行われるまで検索動作モード指示が継続的に発生される。 On the other hand, the asynchronous search in step S2 is if it is selected, the search operation mode instruction from a specified number of frames of images in step S2 until the extraction of the characteristic descriptor is performed is generated continuously.
【００４５】画像符号化部１０２では、検索動作モード指示が発生している間、量子化ステップＱｐ＝「１」の条件で符号化が行われる。 [0045] In the image coding unit 102, while the search operation mode instruction is generated, encoding is performed in the quantization step Qp = condition of "1". また、画像符号化部１０２では、検索動作モード指示が発生した直後の最初のフレームの画像データについては、フレーム内符号化が行われ、それ以降のフレームの画像データについては動き補償を伴ったフレーム間予測符号化が行われる。 Frame In the image coding unit 102, the image data of the first frame immediately after the search operation mode instruction is generated, intraframe coding is performed, with motion compensation for the image data of the subsequent frame during predictive coding is performed. そして、 And,
この符号化過程において生成されるＤＣＴ係数、動きベクトルおよび符号化モード情報が特徴記述子生成部１０ DCT coefficients generated in the encoding process, the motion vector and coding mode information characteristic descriptor generating unit 10
４に供給され、特徴記述子生成部１０４では、ＤＣＴ係数、動きベクトルおよび符号化モード情報を用いて、検索対象物の特徴記述子が生成される。 Is supplied to the 4, the feature descriptor generating unit 104, DCT coefficients, using the motion vector and coding mode information, the characteristic descriptor retrieval object is generated. この特徴記述子の生成は、検索動作モード指示が発生している間、継続的に行われる。 The generation of the feature descriptor during the search operation mode instruction is generated, it performed continuously.
【００４６】次にモバイル端末１００は、このようにして生成される特徴記述子と検索制御データを検索データ多重・送信部１０６により検索サーバ２００に送る（ステップＳ５）。 [0046] Then the mobile terminal 100 sends this way the search control data, wherein the descriptor is generated by searching the data multiplexing and transmitting section 106 to the search server 200 (step S5). ここで、同期検索の実行時には、ユーザは、随時、検索カテゴリ等を指定する検索要求データを入力することができる。 Here, at the time of the synchronization search execution, the user can at any time may enter a search request data specifying a search category, or the like. その場合、検索要求データは、 In that case, the search request data,
このステップＳ５において特徴記述子や検索制御データとともに検索サーバ２００に送られる。 It is sent to the search server 200 with characteristic descriptor and the search control data in step S5. この検索制御データには、特徴記述子の種類、検索の際の各特徴記述子の優先度等、検索サーバ２００側での検索制御に必要な情報を含んでいる。 The search control data includes types of characteristic descriptors, the priority of each characteristic descriptor during search, the information necessary to search the control of the search server 200 side. 検索制御データは、特徴記述子生成部１０４において自動生成されるが、ユーザからの意思が反映されるものもある。 Search control data is automatically generated in the feature descriptor generating unit 104, and some will of the user is reflected. 例えば、ユーザによって主観的有意特徴指定がなされた場合には、その指定が検索制御データ中の各特徴記述子の優先度に関する情報に反映される。 For example, if the subjective significance feature specification is made by the user, the designation is reflected in the information about the priority of each characteristic descriptor in the search control data.
【００４７】検索サーバ２００は、このようにしてモバイル端末１００から送信される特徴記述子、検索制御データおよび検索要求データを検索データ受信・分離部２ The search server 200, characteristic descriptor, searching the control data and search a search request data data reception and separation section 2 transmitted from the mobile terminal 100 in this manner
０１により受信する（ステップＳ６）。 Received by 01 (step S6). これらの特徴記述子、検索制御データおよび検索要求データは、検索サーバ２００内のマッチング処理部２０２に供給される。 These characteristic descriptor, searching the control data and the retrieval request data is supplied to the matching processing unit 202 in the search server 200.
【００４８】そして、マッチング処理部２０２は、コンテンツサーバＡまたはＢ内のデータベースにアクセスし、モバイル端末１００から指定された検索カテゴリの範囲内において、モバイル端末１００から送られてきた特徴記述子とデータベース内の各レコードに対応した特徴記述子とのマッチング処理を行う（ステップＳ７）。 [0048] Then, the matching processing unit 202 accesses the database in the content server A or B, in the range of specified search category from the mobile terminal 100, characteristic descriptor sent from the mobile terminal 100 and the database the matching process between the characteristic descriptor corresponding to each record of the inner performed (step S7).
さらに詳述すると、データベース内の各レコードについて各々が検索されるための特徴記述子の内容が定義されている。 In more detail, the contents of the characteristic descriptor for each is searched is defined for each record in the database. マッチング処理部２０２では、この各レコードに対応した特徴記述子とモバイル端末１００から送られてきた特徴記述子とが比較対照され、両者の一致度を表す評価値が求められる。 The matching processing unit 202, a characteristic descriptor sent from the characteristic descriptor and the mobile terminal 100 corresponding to the respective records are comparison, evaluation value representing both the degree of coincidence is obtained. そして、評価値の高いものから順にレコードの選択が行われ、モバイル端末１００から送られてきた検索結果データ数に相当する個数のレコードが集まった時点で、これらのレコードが検索結果データとしてモバイル端末１００に送信される（ステップＳ The selection of records from the highest evaluation value is sequentially performed, when the number of records gathered corresponding to the number of search results data transmitted from the mobile terminal 100, these records mobile terminal as a search result data sent to 100 (step S
８）。 8). 具体的にはこのマッチング処理部２０２によるマッチング処理は、モバイル端末１００の特徴記述子生成部１０４によって生成された検索制御データに従って進められる。 Specifically matching process by the matching processing unit 202 is advanced in accordance with the search control data generated by the feature descriptor generating unit 104 of the mobile terminal 100. なお、このマッチング処理の具体的な内容については後述する。 The specific content of this matching process will be described later. モバイル端末１００は、検索サーバ２００から検索結果データを受信すると、ディスプレイに表示する（ステップＳ９）。 Mobile terminal 100 receives the search result data from the search server 200, and displays on the display (step S9).
【００４９】ユーザは、この表示された検索結果データが自ら望んでいたものであるか否かを判断し（ステップＳ１０）、この判断結果が「ＹＥＳ」である場合には検索を終了する。 The user, the displayed search result data to determine whether or not the wanted itself (step S10), and the result of determination to end the search if "YES". 一方、表示された検索結果データに不満がある場合、ユーザは再度の検索をモバイル端末１００ On the other hand, if there is dissatisfaction with the displayed search result data, the mobile terminal 100 searches for the user again
に要求し（ステップＳ１１）、検索カテゴリの入力（ステップＳ１）に戻って検索をやり直す。 Requests to (step S11), and repeat the search back to the input of the search categories (step S1). 以上が本実施形態の動作の概要である。 The above is the outline of the operation of the present embodiment.
【００５０】撮像および特徴記述子生成の処理例 図５〜図８は、各々、本実施形態における撮像および特徴記述子生成処理、すなわち、図４におけるステップＳ The process of the imaging and characteristic descriptor generating diagram 5 to 8, respectively, imaging and characteristic descriptor generation process in the present embodiment, i.e., step S in FIG. 4
４の処理の詳細を例示するフローチャートである。 Is a flowchart illustrating the details of processing 4. 以下、これらの各処理例について説明する。 The following describes each of these processing example.
【００５１】＜例１＞図５に示す処理例において、まず、モバイル端末１００では、図４のステップＳ４等において入力された検索条件が画像符号化部１０２および特徴記述子生成部１０４に与えられる（ステップＳ１０ [0051] In the processing example shown in <Example 1> FIG. 5, first, in mobile terminal 100, the search condition input in step S4, etc. in Fig. 4 are given to the picture coding unit 102 and the feature descriptor generating unit 104 (step S10
１）。 1). この検索条件には、例えば特徴記述子の抽出を何フレーム分行うかといった終了条件に関する情報が含まれている。 The search condition contains information about the end condition, e.g. or not to extract feature descriptors many frames.
【００５２】次に初期物体領域指定部１０３から特徴記述子生成部１０４に初期物体領域を指定する情報が供給される（ステップＳ１０２）。 [0052] The information then specify the initial object region from an initial object region specifying unit 103 to the feature descriptor generating unit 104 is supplied (step S102). これにより画像符号化部１０２は、特徴記述子を得るための画像データの符号化を開始する。 Thus, the image encoding unit 102 starts encoding of the image data for obtaining the feature descriptors.
【００５３】まず、画像符号化部１０２は、撮像部１０ [0053] First, the image encoding unit 102 includes an imaging unit 10
１から画像データを受け取ると、その画像データが検索動作モード指示発生直後の最初のフレームのものであるか否かを判断する（ステップＳ１０３）。 Upon receiving the image data from the 1, the image data to determine whether or not the first frame immediately after the search operation mode instruction occurs (step S103). そして、最初のフレームの画像データである場合には、画像符号化部１０２は、その画像データのフレーム内符号化を行う（ステップＳ１０４）。 When an image data of the first frame, the picture coding unit 102 performs intra-frame coding of the image data (step S104).
【００５４】そして、特徴記述子生成部１０４は、このフレーム内符号化過程において画像符号化部１０２の量子化器４０６から得られるＤＣＴ係数のうちＤＣ成分に対応したものを取り込む（ステップＳ１０５）。 [0054] Then, feature descriptor generating unit 104 takes in the one corresponding to the DC component of the DCT coefficients obtained in the frame in the coding process from the quantizer 406 of the image encoding unit 102 (step S105).
【００５５】次に特徴記述子生成部１０４は、ステップＳ１０５において取得したＤＣ成分に基づいて検索対象である物体の輪郭を決定する（ステップＳ１０６）。 [0055] Next characteristic descriptor generating unit 104 determines the contour of the object to be retrieved based on the DC component obtained in step S105 (step S106). ここで、図９を参照し、この輪郭決定処理について説明する。 Here, with reference to FIG. 9, a description will be given contour determination process.
【００５６】まず、フレーム内符号化過程では、１フレームを分割した８×８画素のブロック毎にＤＣＴ係数行列が求められる。 [0056] First, in the intra-frame coding process, DCT coefficient matrix is ​​calculated for each block of 8 × 8 pixels obtained by dividing one frame. ここで、各ブロック毎に求められたＤ Here, it obtained for each block D
ＣＴ係数行列において第１行第１列の行列要素が当該ブロック内の画像のＤＣ成分である。 Matrix elements of the first row and first column is the DC component of the image in the block in a CT coefficient matrix. 特徴記述子生成部１ Characteristic descriptor generating unit 1
０４は、図９（ａ）に示すように、この各ブロック毎に得られるＤＣＴ係数行列の中からＤＣ成分を抽出し、これらの各ＤＣ成分を集めてＤＣ画像を構成する。 04, as shown in FIG. 9 (a), extracts the DC component from the DCT coefficient matrix obtained for each the respective blocks, constituting the DC image attracts each of these DC components.
【００５７】次に特徴記述子生成部１０４は、このＤＣ [0057] Next characteristic descriptor generating unit 104, the DC
画像中に存在するエッジを検出する。 Detecting edges existing in the image. 具体的には、ＤＣ Specifically, DC
画像を横方向２個、縦方向２個のＤＣ成分のブロックに分割し、各ブロック毎に各々を構成する４個のＤＣ成分ｐｋ（ｋ＝０〜３）に対し（図９（ｂ）参照）、エッジ検出用のフィルタ係数ｆｔｋ（ｋ＝０〜３）を乗算し、 Two images laterally divided into blocks in the vertical direction the two DC components, reference (FIG. 9 (b) to the four DC components pk constituting each (k = 0 to 3) for each block ), multiplied by the filter coefficients for edge detection FTK (k = 0 to 3),
各乗算結果を加算して評価値ｓｔｇｔを求める。 And adding the multiplication result to seek an evaluation value stgt. そして、この評価値ｓｔｇｔが所定の閾値を越えていた場合にそのブロックにはエッジが存在すると判断する。 Then, in the block when the evaluation value stgt had exceeded a predetermined threshold value it is determined that an edge is present. ここで、フィルタ係数ｆｔｋ（ｋ＝０〜３）は、例えば水平方向エッジ、垂直方向エッジ、右上がり斜め方向エッジ、左上がり斜め方向エッジという具合に、検出すべきエッジの向きに応じたものを複数組を用意することができる。 Here, the filter coefficient ftk (k = 0~3) is for example horizontal edge, vertical edge, right-up diagonal edge, so on the left upward slanting direction edge, those corresponding to the direction of the edge to be detected it is possible to provide a plurality of sets. これらの各種のフィルタ係数ｆｔｋ（ｋ＝０〜 These various filter coefficient ftk (k = 0~
３）の組毎に評価値ｓｔｇｔを求めることにより、各ブロックに各種のエッジが存在するか否かを判断することができる。 By obtaining a set evaluation value for each stgt 3), it can be determined whether the various edges are present in each block.
【００５８】特徴記述子生成部１０４は、このような演算および判断をＤＣ画像の全ブロックについて行い、どのようなエッジがどこにあるかが分かるエッジのマップを作成する。 [0058] characteristic descriptor generating unit 104, such calculation and determination is performed for all blocks of the DC image, creating what map edges or is seen edge where to find. そして、特徴記述子生成部１０４は、このエッジのマップの中から、初期物体領域の内側にあり、 The feature descriptor generating unit 104, from the map of the edge, located on the inside of the initial object region,
かつ、初期物体領域の境界に最も近いエッジを全て選択し、これらのエッジを物体の輪郭線と決定するのである。 And select all edges closest to the boundary of the initial object region is to determine these edges and contours of the object.
【００５９】次に特徴記述子生成部１０４は、物体構成色領域生成処理を実行する（ステップＳ１０７）。 [0059] Next characteristic descriptor generating unit 104 performs an object arrangement color area generation processing (step S107). ここで、図１０（ａ）を参照し、この物体構成色領域生成処理について説明する。 Here, with reference to FIG. 10 (a), described the object structure color area generation process. 図１０（ａ）は撮像部１０１によって撮影された映像の例を示している。 Figure 10 (a) shows an example of a video captured by the imaging unit 101. この映像中の花が検索対象物である。 Flower in this video is a search object. ＢＢは、ユーザによって検索対象物である花を囲むように指定された初期物体領域である。 BB is the initial object region designated as the user by enclosing the to be retrieved Floral. 物体構成色領域生成処理において、特徴記述子生成部１０４は、初期物体領域ＢＢ内に属する各ＭＢについて、各々のＤＣ成分に基づくクラスタリングを行い、検索対象物の画像を各々同一色のみからなる物体構成領域に分ける。 In the object structure color area generating process, characterized descriptor generating unit 104 for each MB belonging to the initial object region BB, performs clustering based on each of the DC component, of the same color only each image retrieval object object divided into the construction area. 図１０（ａ）に示す例では、黄色からなる物体構成領域Ｒ１と、白色からなる物体構成領域Ｒ２とにクラスタリングされている。 In the example shown in FIG. 10 (a), the object arrangement region R1 consisting of yellow, are clustered in the object arrangement region R2 made of white.
【００６０】次に特徴記述子生成部１０４は、このクラスタリングの結果に基づき、次のような内容の代表色記述子を作成する（ステップＳ１０８）。 [0060] Next characteristic descriptor generating unit 104, based on the result of the clustering, to create a representative color descriptor of the content as follows (step S108). 代表色記述子： Representative color descriptor:
検索対象である物体は、物体構成領域Ｒ１およびＲ２を有しており、物体構成領域Ｒ１の代表色は黄色であり、 A search target object has an object arrangement region R1 and R2, the representative color of the object arrangement region R1 is yellow,
物体構成領域Ｒ２の代表色は白色である。 Representative color of the object arrangement region R2 is white.
【００６１】次に特徴記述子生成部１０４は、構成色空間配置記述子の生成処理を行う（ステップＳ１０９）。 [0061] Next characteristic descriptor generating unit 104 performs processing for generating component color spatial arrangement descriptor (step S109).
この処理では、物体構成色領域生成処理において求められた各物体構成領域の空間的な配置関係を示す情報を生成する。 In this process, it generates information indicating the spatial arrangement of each object arrangement region determined in the object component color region generation process. 例えば図１０（ａ）に示すようなケースの場合、このステップＳ１０９では、物体構成領域Ｒ１は、 For example, in the case of the case as shown in FIG. 10 (a), In step S109, the object arrangement region R1,
図１０（ｂ）にそのイメージを示すように、その周囲８ As shown the image in FIG. 10 (b), around 8
方向において物体構成領域Ｒ２と向かい合っている、といった意味の構成色空間配置記述子を物体構成領域Ｒ１ Object constituting the structure color space deployment descriptor means such, faces the object arrangement region R2 in the direction region R1
について生成するのである。 Than is generated for.
【００６２】次に特徴記述子生成部１０４は、テクスチャ記述子の生成処理を実行する（ステップＳ１１０）。 [0062] Next characteristic descriptor generating unit 104 performs a process of generating a texture descriptor (step S110).
この処理では、ステップＳ１０６において求めたエッジのマップを利用してテクスチャ記述子を生成する。 In this process, it generates a texture descriptor by using a map of edge obtained in step S106. すなわち、この処理では、初期物体領域の垂直方向の各位置において、水平方向にどのような向きのエッジが何個あるかを集計してヒストグラムを作成する。 That is, in this process, at each position in the vertical direction of the initial object region, a histogram by summing what edge orientation in a horizontal direction there are many pieces. また、初期物体領域の水平方向の各位置において、垂直方向にどのような向きのエッジが何個あるかを集計してヒストグラムを作成する。 Further, at each position in the horizontal direction of the initial object region, and creates a histogram any orientation of edges in the vertical direction is counted how many there. そして、これらのヒストグラムをテクスチャ記述子とするのである。 Then, it is to these histograms and texture descriptors.
【００６３】次に特徴記述子の生成処理を終了する条件が満たされたか否かが判断され、この判断結果が「Ｎ [0063] whether the next condition to complete the process of generating the characteristic descriptor is satisfied is determined, the determination result is "N
Ｏ」である場合には再びステップＳ１０１から処理が実行される。 Process from step S101 again when a O "is executed. 以上が検索動作モード指示発生後の最初のフレームに対応した処理の詳細である。 The above is the details of the processing corresponding to the first frame after the search operation mode instruction occurs.
【００６４】次に、２番目以降のフレームに対応した処理について説明する。 Next, the processing corresponding to the second and subsequent frames will be described. ２番目以降のフレームの画像データが撮像部１０１から出力されたとき、画像符号化部１ When the image data of the second and subsequent frames is output from the imaging unit 101, the picture coding unit 1
０２は、この画像データのフレーム間予測符号化を行う（ステップＳ１２１）。 02, inter-frame predictive coding of the image data (step S121). 特徴記述子生成部１０４は、このフレーム間予測符号化過程において得られるＤＣＴ係数のうちＤＣ成分に対応したものと、動き予測部４１２ Characteristic descriptor generating unit 104 as corresponding to the DC component of the DCT coefficients obtained in this inter-frame predictive encoding process, the motion prediction unit 412
から得られる各ＭＢに対応した動きベクトルおよび符号化モード情報を画像符号化部１０２から取り込む。 Capturing motion vector and coding mode information corresponding to each MB obtained from the image coding unit 102. そして、既に得られている検索対象物の物体領域（初期状態では初期物体領域）と、各ＭＢに対応した動きベクトルとに基づいて、現在において検索対象物が占める物体領域を推定する物体追跡を行う（ステップＳ１２２）。 Then, the (initial object region in the initial state) the object region of the search object has already been obtained, based on the motion vector corresponding to each MB, the object tracking to estimate the object region occupied by the search object in the current (step S122).
【００６５】次に、このようにして求めた物体領域内の各ＭＢのＤＣ成分を復元する（ステップＳ１２３）。 Next, to restore the DC component of each MB of the thus obtained object region (step S123). ここで、フレーム内符号化過程においては各ＭＢのＤＣ成分を画像符号化部１０２から取得することができるが、 Here, although in the coding process within a frame can obtain the DC component of the MB from the image encoding unit 102,
フレーム間予測符号化過程において画像符号化部１０２ Image coding unit in the prediction coding process between frames 102
から取得されるのは、各ＭＢのＤＣ成分ではなく、各Ｍ Being obtained from, not the DC component of each MB, the M
Ｂと各々に対応した参照画像との差分のＤＣ成分である。 In B and each is a DC component of the difference between the reference image corresponding. そこで、このステップＳ１２３では、画像符号化部１０２の加算器４０９から生成される復号画像の画像データや自身の差分画像に対応するＤＣ成分などから物体領域内の各ＭＢのＤＣ成分を推定する。 Therefore, in the step S123, to estimate the DC component of each MB in the object region or the like DC component corresponding to the image data and its difference image decoded image generated by the adder 409 of the image coding unit 102.
【００６６】このステップＳ１２３が終了すると、以後は既に説明したステップＳ１０７〜Ｓ１１１を実行し、 [0066] When this step S123 is finished, perform the steps S107~S111 that already described hereinafter,
２番目のフレームに対応した代表色記述子、構成空間配置記述子およびテクスチャ記述子を作成する。 The second representative color descriptor corresponding to the frame, to create a configuration space arrangement descriptor and a texture descriptor. 以後、ステップＳ１１１において終了条件が満たされた旨の判断がなされるまで、後続の各フレームについて、代表色記述子等の各特徴記述子の生成が繰り返される。 Thereafter, until the discrimination result that the end condition is satisfied in step S111 is made, for each subsequent frame, the generation of each characteristic descriptor, such as the representative color descriptor is repeated.
【００６７】同期検索時には、このようにして各フレームに対応した特徴記述子が得られる毎に、特徴記述子が検索制御データおよび検索要求データと多重化され、検索サーバ２００に送られる。 [0067] The synchronization search time, each time the characteristic descriptor corresponding to each frame in this way is obtained, the characteristic descriptor is retrieved control data and search request data and multiplexed and transmitted to the search server 200. そして、検索サーバ２００ Then, the search server 200
では、各フレームに対応した特徴記述子等が受信される毎に、特徴記述子に合致するレコードの検索が行われ、 So every time the characteristic descriptor and the like corresponding to each frame is received, it is looked record matching the characteristic descriptors,
検索結果データとしてモバイル端末１００に送信される。 It sent to the mobile terminal 100 as the search result data.
【００６８】ユーザは、このようにして順次送られてくる検索結果データを確認しながら、検索カテゴリの変更等を行うことにより、検索範囲の絞り込みを行い、所望の検索結果データを受け取ることができる。 [0068] The user, while confirming the search result data sequentially sent in this manner, by carrying out the change of the search category, etc., perform a search range of refinement, it is possible to receive the desired search result data .
【００６９】また、非同期検索時には、予め記述時間として設定されたフレーム数だけ各フレームに対応した特徴記述子が生成され、これらの複数フレーム分の特徴記述子群が検索サーバ２００に送られる。 [0069] Further, at the time of asynchronous retrieval is generated feature descriptor corresponding to each frame by the number of frames that is set in advance as described time, characterized descriptor group of the plurality of frames is sent to the search server 200. そして、検索サーバ２００では、これらの特徴記述子群に合致するレコードの検索が行われ、検索結果データがモバイル端末１ Then, the search server 200, search for a record that meets these characteristics descriptors group is carried out, the search result data mobile terminal 1
００に送信される。 00 is sent to.
【００７０】この非同期検索によれば、例えば検索対象物を多方面から撮影し、複数の異なった視座から見た検索対象物の多面的な特徴を表す特徴記述子群を生成し、 [0070] According to this asynchronous search, for example, a search object taken from many fields, and generates a feature descriptor group indicating the faceted features of the search target object viewed from several different perspectives,
この特徴記述子群に合致するレコードの検索を行うことができる。 You can search the records matching this feature descriptor group.
【００７１】＜例２＞次に図６に示す処理例について説明する。 [0071] <Example 2> Next, the processing example shown in FIG. 6 will be described. なお、図６において、前述した図５の各ステップと共通するものには同一の符号を付け、その説明を省略する。 In FIG. 6, the same reference numerals to those in common with the steps of FIG. 5 described above, a description thereof will be omitted. この図６に示す処理例では、ステップＳ１３１ In the processing example shown in FIG. 6, step S131
およびＳ１３２と、ステップＳ１４１〜Ｓ１４３が追加されている。 A and S132, step S141~S143 are added.
【００７２】図５に示す処理例では、情報検索のための生成する複数の特徴記述子（以下、特徴記述子セットという）の種類が固定されていた。 [0072] In the processes shown in FIG. 5, a plurality of feature descriptors (hereinafter, characterized descriptor set) that generates for information retrieval type was fixed.
【００７３】これに対し、この図６に示す処理例は、特徴記述子セットの構成が２種類（以下、第１の特徴記述子セットおよび第２の特徴記述子セットという）用意されており、これらのいずれかをユーザが選択することができるようになっている。 [0073] In contrast, processes shown in FIG. 6, the configuration of the characteristic descriptor sets are two kinds (hereinafter, referred to as a first characteristic descriptor set and the second characteristic descriptor set) are prepared, any of these users are enabled to be selected. すなわち、ステップＳ１３１ In other words, step S131
では、ユーザに対して、第１および第２の特徴記述子セットのうちいずれを生成するかの問い合わせが行われ、 So the user, or the query to generate one of the first and second characteristic descriptor set are performed,
ユーザによりその選択が行われる。 The selection is made by the user. そして、ステップＳ Then, step S
１３２では、ユーザによって選択された特徴記述子セットがいずれであるかの判断が行われる。 In 132, determination of whether characteristic descriptor set selected by the user is one is performed.
【００７４】第１の特徴記述子セットが選択されている場合には、ステップＳ１０７〜Ｓ１１１が実行され、代表色記述子、構成色空間配置記述子およびテクスチャ記述子からなる第１の特徴記述子セットが生成される。 [0074] When the first characteristic descriptor set is selected, step S107~S111 are performed, a first characteristic descriptor consisting of representative color descriptor, component color space arrangement descriptor and a texture descriptor set is generated.
【００７５】一方、第２の特徴記述子セットがユーザによって選択された場合、特徴記述子生成部１０４は、物体領域内の各ＭＢのＤＣ成分からなるＤＣ画像に対してＤＣＴを施し（ステップＳ１４１）、この結果得られるＤＣＴ係数のうち低周波成分に相当するものと第２の特徴記述子セットとして抽出する（ステップＳ１４２）。 [0075] On the other hand, if the second characteristic descriptor set is selected by the user, characterized descriptor generating unit 104 performs a DCT on DC image a DC component of each MB in the object region (step S141 ) is extracted as the equivalent to the low-frequency component of the resultant DCT coefficients second characteristic descriptor set (step S142).
そして、終了条件を満たしたか否かを判断し（ステップＳ１４３）、この終了条件を満たしていない場合にはステップＳ１０３に戻る。 Then, it is determined whether or not the end condition is satisfied (step S143), if not meet this end condition is returned to step S103.
【００７６】この処理例によれば、ユーザは検索対象物に合った特徴記述子セットを選択し、情報検索を行うことができる。 [0076] According to this processing example, the user selects a characteristic descriptor set that matches the search object, it is possible to perform information retrieval. この特徴記述子セットの選択結果を示す選択情報は、検索制御データとして特徴記述子生成部１０ Selection information indicating the selection result of the characteristic descriptor set, characterized descriptor generating unit 10 as a search control data
４から出力され、特徴記述子セットと多重化されて検索サーバ２００に送信される（前掲図４のステップＳ Is output from the 4, is transmitted to the search server 200 is multiplexed with characteristic descriptor set (step S supra Figure 4
５）。 5). そして、この選択情報は検索制御データとして検索サーバ２００内のマッチング処理部２０２に送られ、 Then, the selection information is sent to the matching processing unit 202 of the search server 200 as the search control data,
マッチング処理部２０２ではこの選択情報に基づいて特徴記述子セットが判断され、その特徴記述子セットを用いたマッチング処理が行われる。 The matching processing unit 202 characteristic descriptor set based on this selection information is determined, matching processing using the characteristic descriptor set are performed.
【００７７】特徴記述子セットの選択は自動的に行うことも可能である。 [0077] Selection of the characteristic descriptor sets can also be done automatically. 例えばステップＳ１０６において物体領域内のエッジ分布を獲得することができるが、このエッジ分布において、物体領域内に細かいエッジが多数存在する場合には、第２の特徴記述子セットを選択する。 For example, it is possible to acquire the edge distribution in the object region in step S106, in the edge distribution, when the fine edge in the object region there are a large number, selects a second characteristic descriptor set.
何故ならば、物体領域内に細かいエッジが多数存在する場合には、物体を、主に代表色からなる物体構成領域の集合（第１の特徴記述子セット）として捉えるよりも、 This is because, when the fine edge in the object region there are a large number, the object than regarded primarily as a set of objects constituting the region composed of the representative colors (first characteristic descriptor set),
全体的な模様の特徴を反映した第２の特徴記述子セットを用いる方が物体の特徴をより良く記述することができると考えられるからである。 Better to use a second characteristic descriptor set that reflects the characteristics of the overall pattern is considered to be able to better describe the features of the object.
【００７８】＜例３＞次に図７に示す処理例について説明する。 [0078] <Example 3> Next, the processing example shown in FIG. 7 will be described. なお、図７において、前述した図５の各ステップと共通するものには同一の符号を付け、その説明を省略する。 In FIG. 7, same reference numbers are assigned to those common to the steps of FIG. 5 described above, a description thereof will be omitted.
【００７９】この図６に示す処理例では、ステップＳ１ [0079] In the processes shown in FIG. 6, step S1
０７がステップＳ１０６Ａに置き換えられるとともに、 07 with is replaced with step S106A,
ステップＳ１１１ＡがステップＳ１１１の前に追加されている。 Step S111A is added before step S111.
【００８０】ここで、ステップＳ１０６Ａでは、ステップＳ１０６またはＳ１２３において得られた物体領域内の各ＭＢのＤＣ成分に基づいて、検索対象物の形状が求められ、この形状を表す物体形状記述子が作成される。 [0080] Here, in step S106A, based on the DC component of each MB of the resulting object region in step S106 or S123, it obtained the shape of the search object, creating an object shape descriptors representing the shape It is.
【００８１】一方、ステップＳ１１１Ａでは、ステップＳ１０６Ａ〜Ｓ１１０において得られた各種の特徴記述子の記述精度が判定され、この記述精度に応じた優先度が各特徴記述子について割り当てられる。 [0081] On the other hand, in step S111A, various descriptions accuracy of feature descriptors obtained in step S106A~S110 is determined, the priority in accordance with the description precision is assigned for each characteristic descriptor. この記述精度は、各特徴記述子を生成過程において取得することができる。 The description precision can be obtained in the generation process of each characteristic descriptor. 例えば、代表色記述子を求めるためのクラスタリングは、隣接するＭＢの色の間の距離が許容範囲内であれば両ＭＢは同じ物体構成領域に属するという判断を繰り返すことにより実行される。 For example, clustering for determining the representative color descriptor, both MB If the distance is within the allowable range between the color adjacent MB is performed by repeating the determination that belong to the same object arrangement region. ここで、同一の物体構成領域に属するＭＢであっても両者の色は必ずしも同一ではない。 Here, not necessarily the same color of both even MB belonging to the same object configurations region. そして、同一物体構成領域に含まれている各Ｍ Each are included in the same object arrangement region M
Ｂ間の色の隔たりが大きい程、その物体構成領域の代表色は不正確なものであると言うことができる。 The greater the color separation between B, the representative color of the object arrangement region can be said to be inaccurate. 従って、 Therefore,
代表色記述子に関しては、その生成過程において、同一物体構成領域に含まれる各ＭＢ間の色の隔たりを求め、 For the representative color descriptor, in the generation process thereof, determine the color of the separation between each MB contained in the same object arrangement region,
その結果から記述精度を得ることができる。 It is possible to obtain a description accuracy from the result.
【００８２】以上が代表色記述子についての記述精度の評価の仕方であるが、同様に、他の種類の特徴記述子についても適当な評価方法に従って各々の記述精度を評価することができる。 [0082] The above is a way of evaluation of the description precision of the representative color descriptor, likewise, it is possible to evaluate the respective descriptions accuracy according to the appropriate evaluation methods for other types of feature descriptors. ステップＳ１１１Ａでは、このようにして各特徴記述子の記述精度を求め、記述精度に応じた優先度を各特徴記述子に割り当てるのである。 In step S111A, thus determined the description precision of each characteristic descriptor, it is to assign priorities in accordance with the description precision each characteristic descriptor.
【００８３】ここで、ユーザによって主観有意特徴指定がなされている場合には、記述精度に基づく優先度付けの後、さらにユーザが主観的に特徴であると指定している特徴記述子の優先度を高める補正を加えてもよい。 [0083] Here, when the subjective significance feature specification is made by the user, after prioritization based on the description accuracy, further the user priority feature descriptors that specify that the subjectively characterized or by adding the correction to increase.
【００８４】この各特徴記述子の優先度は、検索制御データとして検索サーバ２００に送られる。 [0084] priority of each characteristic descriptor is sent as search control data to the search server 200. 検索サーバ２ Search server 2
００のマッチング処理部２０２は、各特徴記述子に対し各々の優先度に応じた重み付けを行い、情報検索を行う。 00 of the matching processing unit 202 performs weighted according to the respective priority for each characteristic descriptor performs information retrieval. なお、情報検索の態様については後述する。 It will be described later aspect of information retrieval.
【００８５】＜例４＞次に図８に示す処理例について説明する。 [0085] <Example 4> Next, the processing example shown in FIG. 8 will be described. なお、図８において、前述した図５の各ステップと共通するものには同一の符号を付け、その説明を省略する。 In FIG. 8, same reference numbers are assigned to those common to the steps of FIG. 5 described above, a description thereof will be omitted.
【００８６】前述した図５の処理例では、物体の輪郭の決定（ステップＳ１０６）をしてから物体構成色領域の生成（ステップＳ１０７）を行った。 [0086] In the processing example of FIG. 5 described above, generation of the object structure color area after the determination of the object contour (step S106) (the step S107) was carried out.
【００８７】これに対し、図８に示す処理例では、ＤＣ [0087] In contrast, in the processes shown in FIG. 8, DC
成分抽出後、はじめに第１の物体構成色領域の生成を行う（ステップＳ１０７Ｂ）。 After component extraction, and it generates the first object configured color area at the beginning (step S107B). これにより、ある程度の色ベースの領域分割が得られる。 This gives some color-based region segmentation. この場合において、２つ以上の異なる代表色が隣接する部分があった場合、当該部分が物体境界である可能が高い。 In this case, if two or more different representative color had adjacent portions, it allows this portion is an object boundaries is high. 次に、図８に示す処理例では、物体領域である矩形領域内のエッジの分布を抽出し、上記第１の物体構成領域の生成処理により得られた構成色ベースの領域分割結果と組み合わせて、物体境界とみなされるＭＢを決定する（ステップＳ１０６ Then, the processes shown in FIG. 8, extracts the distribution of the edge of the rectangular area is the object area, in combination with the segmentation result of the obtained component color basis by generating process of the first object arrangement region to determine the MB that are considered object boundary (step S106
Ｂ）。 B). 例えば極めてはっきりとしたエッジが認められ、 For example, it observed a very distinct edges,
かつ、２つ以上の異なる代表色が存在し、かつ、物体領域である矩形の端辺に近い位置のＭＢを物体境界とする。 And there are two or more different representative colors, and the MB position close to the rectangular sides thereof is an object region and object boundary.
【００８８】物体境界が決定された後、物体領域内に存在するＭＢのみを対象にして、第２の物体構成色領域の生成を行う。 [0088] After the object boundary is determined, intended for only MB present in the object region, and generates the second object configuration color area. これは第１の物体構成色領域の生成処理をより確からしいものにするためのリファイン処理であり、この結果から代表色記述子を生成する。 This is a refinement processing for those more probable the generation process of the first object arrangement color area, generating a representative color descriptor from the results. 以後の処理は、前掲図５と同様である。 The subsequent processing is the same as in the previous Figure 5.
【００８９】マッチング処理の例 図１１および図１２は各々検索サーバ２００のマッチング処理部２０２が行うマッチング処理の例を示すフローチャートである。 [0089] Examples of the matching process 11 and FIG. 12 is a flowchart showing an example of the matching process, each matching unit 202 of the search server 200 performs. 以下、これらのマッチング処理例について説明する。 The following describes these matching processing example.
【００９０】＜例１＞図１１に示す処理例において、マッチング処理部２０２は、まず、検索処理初期設定を行う（ステップＳ２０１）。 [0090] In the processes shown in <Example 1> FIG. 11, the matching processing unit 202 first performs the search process initialization (step S201). この検索処理初期設定は、前掲図４の全体フローにおけるシステムセットアップ（ステップＳ３）に対応している。 The search process initialization corresponds to the system setup (step S3) in the overall flow of the supra Figure 4. この検索処理初期設定において、マッチング処理部２０２は、モバイル端末１０ In this search process initialization, the matching processing section 202, mobile terminal 10
０から受信された検索制御データに従って、検索キーとして使用する特徴記述子セットの選択、検索対象であるコンテンツサーバの選択、モバイル端末１００によって指定された応答時間に基づく検索ステップ数の設定、検索カテゴリの指定に基づく検索範囲の設定等を行う。 According to the search control data received from 0, retrieval and selection of characteristic descriptor sets to be used as a key, retrieval and selection of the content server is a target, find the number of steps of the setting based on the specified response time by the mobile terminal 100, search categories do a search range based on the specified settings, and the like.
【００９１】次に、マッチング処理部２０２は、検索キーとして使用する特徴記述子をモバイル端末１００から受信し、蓄積する（ステップＳ２０２）。 [0091] Then, the matching processing unit 202 to receive feature descriptors used as a search key from the mobile terminal 100 and stores (step S202).
【００９２】次に、マッチング処理部２０２は、特徴記述子マッチング処理を行う（ステップＳ２０３）。 [0092] Then, the matching processing section 202 performs characteristic descriptor matching process (step S203). すなわち、マッチング処理部２０２は、データベースにおける検索範囲内のレコードの１つを選択し、そのレコードが選択されるための条件として定められた特徴記述子と、モバイル端末１００から送られてきた特徴記述子とを所定の評価関数に代入して両特徴記述子の一致度を評価し、評価値を求める。 That is, the matching processing unit 202, feature description select one of the records within the search range in the database, and the feature descriptor defined as a condition for the record is selected, transmitted from the mobile terminal 100 by substituting the child to a predetermined evaluation function to evaluate the degree of coincidence of both characteristic descriptor, we obtain an evaluation value. ここで、特徴記述子が複数種類有り、モバイル端末１００から各々の優先度を指定する情報が受信されている場合には、優先度の低い特徴記述子が一致している場合よりも優先度の高い特徴記述子が一致している場合の方がより高い評価値が得られるように評価関数の修正が行われ、この修正された評価関数を用いて一致度の評価が行われる（ステップＳ２０３）。 Here, there are a plurality kinds feature descriptors, from the mobile terminal 100 when the information for specifying each priority is received, the priority than the lower characteristic descriptor priority match It performed the correction of the evaluation function as it is higher evaluation value is obtained when the high feature descriptors match, the evaluation of the degree of coincidence is performed by using the modified evaluation function (step S203) .
【００９３】次に、マッチング処理部２０２は、マッチング結果更新処理を行う。 [0093] Then, the matching processing unit 202 performs matching result update processing. このマッチング結果更新処理において、ステップＳ２０２の特徴記述子マッチング処理を経たレコードの個数が検索結果データ数に達するまでの期間は、それらのレコードが特徴記述子マッチング処理により得られた評価値とともに検索結果バッファ内に蓄積される。 In this matching result update processing, the period until the number of records through the characteristic descriptor matching process in step S202 has reached the number of search results data, the search result together with evaluation values ​​those records were obtained by the feature descriptor matching It is accumulated in the buffer. そして、この検索結果バッファに蓄積されたレコードの個数が検索結果データ数に達すると、それ以後のマッチング結果更新処理では、特徴記述子マッチング処理により得られた新たなレコードの評価値と、 When the number of the search result records stored in the buffer reaches the number of search results data, it in subsequent matching result update process, the evaluation value of the new record obtained by the feature descriptor matching process,
検索結果バッファに蓄積されている各レコードの評価値とが比較される。 Results and evaluation values ​​of each record stored in the buffer are compared. そして、新たなレコードの評価値がその時点において検索結果バッファに蓄積されている各レコードの評価値のどれよりも低い場合には、新たなレコードおよびその評価値は無視される。 Then, if the evaluation value of the new record is lower than any of the evaluation values ​​of each record stored in the search result buffer at that time, the new record and the evaluation value is ignored. 一方、その時点において検索結果バッファに蓄積されている各レコードの評価値の中に新たなレコードの評価値よりも低いものがある場合には、そのレコードおよび評価値が検索結果バッファから追い出され、その代わりに新たなレコードとその評価値が検索結果バッファに蓄積される。 On the other hand, if there is less than the evaluation value of the new record in the evaluation value of each record stored in the search result buffer at that time, the record and evaluation values ​​are expelled from the search result buffer, as the evaluation value as a new record instead it is stored in the search result buffer.
【００９４】このマッチング結果更新処理を終えると、 [0094] Upon completion of this matching result update processing,
マッチング処理部２０２は、特徴記述子マッチング処理を行うべき他のフレームの特徴記述子がモバイル端末１ Matching processing unit 202, characteristic descriptor other frame feature descriptor mobile terminal 1 to be subjected to matching processing
００から受信されているか否かを判断する（ステップＳ 00 determines whether it is received from the (step S
２０５）。 205).
【００９５】ステップＳ２０５の判断結果が「ＹＥＳ」 [0095] judgment result of the step S205 is "YES"
である場合には、そのフレームに対応した特徴記述子を用いてステップＳ２０３およびＳ２０４を実行する。 If it is executes steps S203 and S204 using the feature descriptor corresponding to that frame.
【００９６】一方、ステップＳ２０５の判断結果が「Ｎ [0096] On the other hand, the judgment result of the step S205 is "N
Ｏ」である場合には、検索範囲内に未だ特徴記述子マッチング処理を終えていないレコードがあるか否かを判断する（ステップＳ２０６）。 If it is O ", it is determined whether there is a record that is not finished yet characteristic descriptor matching process within the search range (step S206). この判断結果が「ＹＥＳ」 This judgment result is "YES"
である場合には、そのレコードをデータベースから読み出して（ステップＳ２０７）、ステップＳ２０３〜ステップＳ２０５を実行する。 If it reads the record from the database (step S207), and executes step S203~ step S205.
【００９７】一方、ステップＳ２０６の判断結果が「Ｎ [0097] On the other hand, the judgment result of step S206 is "N
Ｏ」である場合には、他に検索をすべきデータベースがあるか否かを判断する（ステップＳ２０８）。 If it is O ", it is determined whether there is a database to be a search for other (step S208). そして、 And,
そのようなデータベースがある場合にはそのデータベースを対象としてステップＳ２０３〜ステップＳ２０７を実行する。 When there is such a database to perform the steps S203~ step S207 the database as a target.
【００９８】一方、ステップＳ２０８の判断結果が「Ｎ [0098] On the other hand, the judgment result of the step S208 is "N
Ｏ」である場合には、検索結果バッファ内に蓄積された検索結果データ数相当の個数のレコードを検索結果送信部２０３からモバイル端末１００に送信する（ステップＳ２０９）。 If it is O "transmits a record of the search result retrieval result data number corresponding number stored in the buffer from the search result transmitting unit 203 to the mobile terminal 100 (step S209). 以上がマッチング処理例の詳細である。 The above is the details of the matching process example.
【００９９】＜例２＞図１２に示すマッチング処理例は、モバイル端末１１側において第１の特徴記述子セットまたは第２の特徴記述子セットのいずれかを選択可能な場合に対応した処理例である。 [0099] matching processes shown in <Example 2> FIG. 12 is a processing example corresponding to the case either as a selectable first characteristic descriptor set or the second characteristic descriptor set in the mobile terminal 11 side is there.
【０１００】この処理例において、ステップＳ２０３Ａ [0100] In this processing example, step S203A
〜Ｓ２０９Ａは第１の特徴記述子セットを用いたマッチング処理、ステップＳ２０３Ｂ〜Ｓ２０９Ｂは第２の特徴記述子セットを用いたマッチング処理であり、いずれもその処理内容は図１０におけるステップＳ２０３〜Ｓ ~S209A the matching processing using the first characteristic descriptor set, step S203B~S209B is matching processing using the second characteristic descriptor set, the processing contents Any step S203~S in FIG. 10
２０９と同様である。 209 is the same as that.
【０１０１】そして、この処理例では、ステップＳ２０ [0101] and, in this process example, step S20
１およびＳ２０２の後に追加されたステップＳ２１０において、モバイル端末１００から受信された検索制御データに基づいて、モバイル端末１００側において第１または第２の特徴記述子セットのいずれが選択されたかが判断され、第１の特徴記述子セットが選択されている場合にはステップＳ２０３Ａ〜Ｓ２０９Ａが、第２の特徴記述子セットが選択されている場合にはステップＳ２０ In step S210, which is added after 1 and S202, based on the search control data received from the mobile terminal 100, one is selected in the first or second characteristic descriptor set in the mobile terminal 100 side is determined, the first feature step S203A~S209A if descriptor set is selected, if the second characteristic descriptor set is selected step S20
３Ｂ〜Ｓ２０９Ｂが実行される。 3B~S209B is executed.
【０１０２】以上、この発明の第１の実施形態について説明したが、当業者はこれに様々な変形を加えて実施することも可能である。 [0102] Having described a first embodiment of the present invention, those skilled in the art can also be practiced with various modifications thereto. 例えば次のような変形例が考えられる。 For example modified as follows are conceivable. すなわち、上記実施形態においてモバイル端末１ That is, the mobile terminal 1 in the above embodiment
００では最初のフレームのみフレーム内符号化を行ったが、検索動作モード指示が発生している期間中、常にフレーム内符号化を行うようにしてもよい。 00 were subjected to intraframe encoding only the first frame in, during the search operation mode instruction is generated, always it may perform intra-frame coding. 具体的には、 In particular,
図５に示すモバイル端末１００の動作フローにおいて、 In the operation flow of the mobile terminal 100 shown in FIG. 5,
ステップＳ１０３およびＳ１２１〜Ｓ１２３を削除した動作フローにする。 To step S103 and S121~S123 operation flow to remove. この場合、物体追跡をしないので、 In this case, since no object tracking,
ユーザは常に物体領域内に検索対象物を収めるようにカメラのズーム調整等を行う必要があるが、ＤＣ成分の抽出精度を高めることができるので、特徴記述子の記述精度を高め、精度の高い情報検索を行うことが可能となる。 While the user is required to always perform such as a zoom adjustment of the camera to accommodate the search objects in the object region, it is possible to enhance the extraction precision of the DC component increases the description precision of feature descriptors, accurate it is possible to perform an information search.
【０１０３】Ｂ． [0103] B. 第２の実施形態 図１３はこの発明の第２の実施形態である情報検索システムの構成を示すブロック図である。 Figure second embodiment 13 is a block diagram showing a second embodiment of the information retrieval system configuration of the present invention. この情報検索システムでは、外部から画像の符号化データを受信して復調する受信部１１０がモバイル端末１００に設けられている。 In the information retrieval system, the receiving unit 110 which receives and demodulates the encoded data of the image from the outside is provided to the mobile terminal 100. 図１４はこの受信部１１０における復号器の構成を示すブロック図である。 Figure 14 is a block diagram showing the configuration of the decoder in the receiver 110. この復号器は、可変長復号器５ The decoder, a variable length decoder 5
０１と、逆量子化器５０２と、逆ＤＣＴ部５０３と、加算器５０４と、スイッチ５０５と、動き補償部５０６ 01, an inverse quantizer 502, an inverse DCT unit 503, an adder 504, a switch 505, a motion compensation unit 506
と、フレームメモリ５０７とを有している。 When, and a frame memory 507.
【０１０４】ネットワークを介して受信されたフレーム内符号化データまたはフレーム間予測符号化データは、 [0104] intraframe coded data or interframe predictive encoded data received via the network,
可変長復号器５０１において多重化が解除されるとともに可変長符号化前の符号化データに戻される。 Is returned to the variable length coding prior to encoding data with multiplexing is canceled in the variable length decoder 501.
【０１０５】まず、フレーム内符号化データが受信され、可変長復号器５０１に与えられていたとする。 Firstly, intra-frame coded data is received, and was given to a variable length decoder 501. このとき可変長復号器５０１から出力されるフレーム内符号化データは、フレームを構成する各ブロックのＤＣＴ係数の量子化データと量子化ステップＱｐとフレーム内符号化モードを指定する符号化モード情報が可変長復号部５０１を含んでいる。 Intraframe coded data outputted from the variable length decoder 501 at this time, the coding mode information specifying the quantized data and quantization step Qp and intra-frame coding mode of the DCT coefficients of each block of the frame it includes a variable length decoding unit 501. これらのうちＤＣＴ係数の量子化データは、逆量子化器５０２によって逆量子化される。 Quantization of DCT coefficients of these data are inverse quantized by the inverse quantizer 502.
そして、逆ＤＣＴ部５０３により各ブロックのＤＣＴ係数について逆ＤＣＴが行われ、各ブロックの画像データが復元される。 Then, the inverse DCT is performed on DCT coefficients of each block by inverse DCT unit 503, the image data of each block is restored. このときスイッチ５０５は、フレーム内符号化モードに対応した符号化モード情報に従って、固定値「０」を選択し加算器５０４に供給する。 At this time, the switch 505 in accordance with the coding mode information corresponding to the intraframe coding mode, and supplies to select a fixed value "0" adder 504. 従って、 Therefore,
逆ＤＣＴ部５０３から出力されるれる画像データは、そのまま加算器５０４を介し、モニタ信号としてディスプレイに送られる。 Image data output from the inverse DCT unit 503, as it is via an adder 504, and sent as a monitor signal to the display. また、この復号画像の画像データは、 The image data of the decoded image,
フレームメモリ５０７に格納される。 It is stored in the frame memory 507.
【０１０６】次にフレーム間予測符号化データが受信され、可変長復号器５０１に与えられていたとする。 [0106] Next interframe prediction coded data is received, and was given to a variable length decoder 501. このとき可変長復号器５０１から出力されるフレーム間予測符号化データは、フレームを構成する各ブロックの画像と参照画像との間の差分から得られたＤＣＴ係数の量子化データと、量子化ステップＱｐと、フレーム間予測符号化モードを指定する符号化モード情報と、各マクロブロックに対応した動きベクトルを含んでいる。 In this case inter-frame predictive encoded data output from the variable length decoder 501, the quantized data and the quantization step of the obtained DCT coefficients from the difference between the image and the reference image of each block of the frame and qp, and includes a coding mode information for designating the predictive coding mode among frame, a motion vector corresponding to each macroblock. これらのうちＤＣＴ係数の量子化データは、逆量子化器５０２によって逆量子化される。 Quantization of DCT coefficients of these data are inverse quantized by the inverse quantizer 502. そして、逆ＤＣＴ部５０３により各ブロックのＤＣＴ係数について逆ＤＣＴが行われ、 Then, the inverse DCT is performed on DCT coefficients of each block by inverse DCT unit 503,
各ブロックの画像と参照画像との差分が復元される。 The difference between the reference image and the image of each block is restored.
【０１０７】一方、各マクロブロックに対応した動きベクトルは動き補償部５０６に供給される。 [0107] On the other hand, the motion vector corresponding to each macroblock are supplied to the motion compensation unit 506. 動き補償部５ The motion compensation unit 5
０６は、各マクロブロックを構成する各ブロックに対応した差分情報が逆ＤＣＴ部５０３から加算器５０４に供給されるとき、当該マクロブロックに対応した動きベクトルを参照して当該マクロブロックに対応した参照画像の位置を求め、この参照画像の画像データをフレームメモリ５０７から読み出してスイッチ５０５に送る。 06, when the difference information corresponding to each block constituting each macroblock is supplied to the adder 504 from the inverse DCT unit 503, and with reference to the motion vector corresponding to the macroblock corresponding to the macroblock reference determine the position of an image and sends it to the switch 505 reads the image data of the reference image from the frame memory 507.
【０１０８】このときスイッチ５０５は、フレーム間予測符号化モードに対応した符号化モード情報に従って、 [0108] At this time, the switch 505 in accordance with the coding mode information corresponding to the inter-frame prediction coding mode,
この参照画像の画像データを選択し加算器５０４に供給する。 Select the image data of the reference picture supplied to the adder 504. 従って、この参照画像の画像データは、加算器５ Thus, the image data of the reference image, the adder 5
０４により、逆ＤＣＴ部５０３から出力される差分画像の画像データと加算される。 By 04, it is added to the image data of the difference image output from the inverse DCT unit 503. この結果、復号画像の画像データが加算器５０４から出力され、モニタ信号としてディスプレイに送られる。 As a result, the image data of the decoded image is output from the adder 504 is sent as a monitor signal to the display. また、この復号画像の画像データは、フレームメモリ５０７に格納される。 The image data of the decoded image is stored in the frame memory 507. 以上がこの復号器の動作である。 The above is the operation of the decoder.
【０１０９】この復号器において得られるＤＣＴ係数および動きベクトルは、以上説明した復号処理に用いられる他、特徴記述子生成部１０４に供給される。 [0109] DCT coefficients and motion vectors obtained in this decoder, another used for the decoding process described above, is supplied to the feature descriptor generating unit 104.
【０１１０】ユーザは、ディスプレイに表示された映像の中に検索対象物が含まれている場合、その初期物体領域を初期物体領域指定部１０３により指定し、また、各種の検索制御データを指定して特徴記述子の生成を指示することができる。 [0110] The user, if it contains the search object in a video image displayed on the display, the initial object region designated by the initial object area specifying unit 103, also specify a variety of search control data You can instruct the generation of the characteristic descriptor Te. 特徴記述子生成部１０４は、このユーザからの指示に従い、受信部１１０の復号器からのＤ Characterized descriptor generating unit 104 in accordance with an instruction from the user, D from the decoder of the receiver 110
ＣＴ係数および動きベクトルを用いて特徴記述子を生成し、検索サーバ２００に対して情報検索を要求する。 It generates a feature descriptor by using the CT coefficients and motion vectors, to request the information search the search server 200.
【０１１１】特徴記述子生成部１０４の処理内容および検索サーバ２００の処理内容は既に第１の実施形態において説明したものと変わるところがないので説明を省略する。 [0111] Since not different to those described in process content already a first embodiment of the process contents and the search server 200 of the feature descriptor generating unit 104 omitted. 本実施形態によれば、撮像部１０１によって外界から取得した画像のみならず、ネットワークを介して受信した画像の中に含まれる検索対象物について情報検索を行うことができる。 According to this embodiment, not only the image acquired from the outside world by the image pickup unit 101, the search object included in the image received via the network can perform an information search.
【０１１２】Ｃ． [0112] C. 第３の実施形態 図１５はこの発明の第３の実施形態である情報検索システムの構成を示すブロック図である。 Third Embodiment FIG. 15 is a block diagram showing a configuration of a third information retrieval system is an embodiment of the present invention. 上記第１の実施形態と比較すると、本実施形態におけるモバイル端末１０ Compared to the first embodiment, the mobile terminal 10 in this embodiment
０は、特徴記述子生成部１０４および検索データ多重・ 0, characterized descriptor generating unit 104 and the search data multiplexing and
送信部１０６を有しておらず、これらに代えて、スイッチ１３０および多重送信部１４０を有している。 Does not have a transmitter 106, instead of them, a switch 130 and multiplexing section 140. また、 Also,
本実施形態における検索サーバ２００は、検索データ受信・分離部２０１に代えて、受信・分離部２２０を有しており、さらに特徴記述子生成部２１０を有している。 Search server 200 in the present embodiment, instead of the search data reception and separation unit 201 has a reception-separation unit 220, and further has a feature descriptor generating unit 210.
【０１１３】図１６は本実施形態の動作を示すフローチャートである。 [0113] FIG. 16 is a flowchart showing the operation of this embodiment. なお、このフローチャートにおいて、ステップＳ１０１、Ｓ１０２、Ｓ１０４ＡおよびＳ１１１ Note that in this flowchart, steps S101, S102, S104A and S111
は、モバイル端末１００側において行われる処理であり、ステップＳ１０５〜Ｓ１１０およびＳ１５０は検索サーバ２００側において行われる処理である。 Is a process to be executed in the mobile terminal 100 side, steps S105~S110 and S150 are processing executed in the search server 200 side.
【０１１４】まず、モバイル端末１００では、図４のステップＳ４等において入力された検索条件が画像符号化部１０２に与えられる（ステップＳ１０１）。 [0114] First, the mobile terminal 100, the search condition input in step S4, etc. in Fig. 4 are given to the picture coding unit 102 (step S101). この検索条件には、例えば特徴記述子の抽出を何フレーム分行うかといった終了条件に関する情報が含まれている。 The search condition contains information about the end condition, e.g. or not to extract feature descriptors many frames.
【０１１５】次にユーザは、カメラの画枠一杯に検索対象物の画像を収め、初期物体領域指定部１０３により初期物体領域を指定する。 [0115] Then the user matches an image of a search object in the image frame full of cameras, to specify the initial object region by the initial object area specifying unit 103. この初期物体領域を示す情報はスイッチ１３０を介して多重・送信部１４０に供給される（ステップＳ１０２）。 Information indicating the initial object region is supplied to the multiplexing and transmitting section 140 via the switch 130 (step S102).
【０１１６】その後、動作モード指示が発生されると、 [0116] After that, when the operation mode instruction is generated,
この動作モード指示が発生されている間、画像符号化部１０２は、量子化ステップＱｐ＝「１」の条件で、撮像部１０１から出力される画像データのフレーム内符号化を繰り返す。 While this operation mode instruction is generated, the image encoding unit 102, a quantization step Qp = condition of "1" and repeats the intraframe coding of image data output from the imaging unit 101. このフレーム内符号化により得られた符号化データは、初期物体位置を示す情報と多重化され、ネットワーク３００の伝送可能速度内の伝送速度で検索サーバ２００へ送信される。 Encoded data obtained by the intraframe coding is information multiplexed showing the initial object position, it is transmitted at a transmission rate of the transmittable rate of the network 300 to the search server 200. また、ユ−ザは、検索カテゴリの指定などを含む検索要求データをモバイル端末１０ In addition, Yu - The, the mobile terminal 10 a search request data, including the specification of a search category
０に随時入力することができ、かかる場合にはこの検索要求データも符号化データと多重化されて検索サーバ２ 0 can be entered at any time, in such a case the search request data be encoded data multiplexed with the search server 2
【０１１７】検索サーバ２００では、このようしてモバイル端末１００側から送られてくるデータの受信および分離が受信・分離部２２０によって行われ、符号化データや初期物体位置の情報は特徴記述子生成部２１０に送られ、検索要求データはマッチング処理部２２０に送られる。 [0117] Search The server 200 thus receives and separates the data sent from the mobile terminal 100 side is performed by receiving and separating unit 220, information of the encoded data and the initial object position feature descriptors generated sent to section 210, the search request data is sent to the matching processing unit 220.
【０１１８】そして、特徴記述子生成部２１０では、符号化データと初期物体位置の情報を用いて、ステップＳ [0118] Then, the feature descriptor generating unit 210, by using the information of the encoded data and the initial object position, step S
１０５〜Ｓ１１０が実行され、情報検索に必要な特徴記述子が生成される。 105~S110 is executed, the characteristic descriptor required for information retrieval is generated. また、その際に各特徴記述子の優先度付けをする情報等を含む検索制御情報が生成される。 Also, the search control information including information such as the prioritization of each characteristic descriptor at that time is generated.
なお、これらの処理は、上記実施形態においてモバイル端末１００内の特徴記述子生成部によって行われたものと同様であるので、その説明を省略する。 Incidentally, these operations are the same as that performed by the feature descriptor generating unit of the mobile terminal 100 in the above embodiment, the description thereof is omitted.
【０１１９】特徴記述子生成部２１０によって生成された特徴記述子および検索制御情報は、マッチング処理部２０２に送られる。 [0119] characteristic descriptor generated by the feature descriptor generating unit 210 and the search control information is sent to the matching processing unit 202. そして、マッチング処理部２０２では、マッチング処理が行われる（ステップＳ１５０）。 Then, the matching processing unit 202, the matching processing is performed (step S150).
このマッチング処理も既に第１の実施形態において詳細に説明した通りである。 The matching process is also as already described in detail in the first embodiment. そして、このマッチング処理の結果は、検索結果送信部２０３によってモバイル端末１ Then, the mobile terminal 1 by the results, the search result transmitting unit 203 of the matching processing
００に送信され、同端末のディスプレイに表示される。 00 is sent to, is displayed on the display of the same terminal.
【０１２０】モバイル端末１００では、終了条件が満たされたか否かが判断され（ステップＳ１１１）、この判断結果が「ＹＥＳ」となるまで以上説明した処理が繰り返される。 [0120] In the mobile terminal 100, whether the end condition is satisfied is determined (step S 111), the result of determination processing described above until "YES" is repeated.
【０１２１】本実施形態においては、フレーム内符号化により得られた符号化データがモバイル端末１００から検索サーバ２００に送信されるので、検索サーバ２００ [0121] In this embodiment, since the encoded data obtained by the frame coding is transmitted from the mobile terminal 100 to the search server 200, search server 200
側では動きベクトルを用いた物体追跡を行うことができない。 It is impossible to perform object tracking using the motion vector on the side. このため、ユーザは、常に画枠一杯（または初期物体領域として指定した枠内）に検索対象物を捉えて撮影を行わなければならない。 Therefore, the user must always perform imaging captures the search object in the image frame full (or in specified a frame as an initial object region).
【０１２２】しかしながら、本実施形態によれば、モバイル端末１００側に特徴記述子生成部や特徴記述子を送信するためのインタフェースを設ける必要がない。 [0122] However, according to this embodiment, it is not necessary to provide an interface for transmitting the feature descriptor generating unit and feature descriptors to the mobile terminal 100 side. 従って、既存のモバイル端末に対し、検索情報入力装置としての基本的なメニュー処理と画像符号化部に対する動作モード指示を発生する処理とをソフトウェアとして追加するだけでよく、本実施形態に係るモバイル端末１００ Accordingly, the mobile terminal for an existing mobile terminal, according to the basic menu processing and well in the process for generating an operation mode indication for the image encoding unit simply adding as software, the present embodiment as the search information input unit 100
を構成することができる。 It can be constructed.
【０１２３】また、本実施形態では、検索サーバ２００ [0123] In addition, in the present embodiment, the search server 200
に対して情報検索を要求する際に、フレーム内符号化データをモバイル端末１００から送信しなければならないが、このフレーム内符号化データは画像の表示に用いられるものではないので、ネットワークの伝送可能速度内の速度で伝送すればよい。 When requesting information retrieval respect, it is necessary to transmit the intra-frame encoded data from the mobile terminal 100, the intraframe coded data because it is not intended to be used for image display, network transmission possible it may be transmitted at a rate in the speed. 従って、本実施形態は、ネットワークの伝送容量を増やすことなく実施することができる。 Thus, this embodiment can be implemented without increasing the transmission capacity of the network.
【０１２４】また、その際に量子化ステップＱｐを「１」とし、精度の高いフレーム内符号化を行えば、検索サーバ２００側において画像のＤＣ成分を推定する際の精度を高めることができ、特徴記述子の記述精度を高めることができる。 [0124] Also, a "1" the quantization step Qp At this time, by performing the accurate intra-frame coding, it is possible to improve the accuracy in estimating the DC component of the image in the search server 200, it is possible to enhance the description precision of feature descriptors.
【０１２５】なお、本実施形態には次のような変形例が考えられる。 [0125] Incidentally, modified as follows are conceivable in this embodiment. すなわち、モバイル端末１００側では、検索要求時の最初のフレームのみフレーム内符号化を行い、後続のフレームは、必要に応じてフレーム間予測符号化を行う。 That is, in the mobile terminal 100 side performs intraframe encoding only the first frame when the search request, the subsequent frames, inter-frame predictive coding, if necessary. この場合、検索サーバ２００側では、フレーム間予測符号化データに含まれる動きベクトルを用いて、物体領域を追跡する処理を追加する必要がある。 In this case, the search server 200, using the motion vector included in the prediction-encoded data between frames, it is necessary to add a process of tracking an object region. しかしながら、モバイル端末１００側では物体領域を指定し続ける必要がないのでユーザの負担を軽減することができる。 However, it is possible to reduce the user's burden since it is not necessary to continue to specify an object area in the mobile terminal 100 side.
【０１２６】Ｄ． [0126] D. 第４の実施形態 図１７はこの発明の第４の実施形態である情報検索システムの構成を示すブロック図である。 Fourth Embodiment FIG. 17 is a block diagram showing the configuration of a fourth information retrieval system is an embodiment of the present invention. この情報検索システムは、上記第２の実施形態に改良を加えたものであり、モバイル端末１００には、センサ部１２０が追加されている。 This information retrieval system, which has an improvement over the second embodiment, the mobile terminal 100, the sensor unit 120 is added. 本実施形態では、このセンサ部１２０によって得られるセンシングデータが特徴記述子とともに検索サーバ２００に送られ、検索サーバ２００ではセンシングデータと特徴記述子の両方を検索キーとした情報検索が行われる。 In this embodiment, sensing data obtained by the sensor unit 120 is sent to the search server 200 with feature descriptors, the information retrieval both set to the search key of the search server 200 in the sensing data and the characteristic descriptor is performed.
【０１２７】センサ部１２０は、例えばＧＰＳ（Global [0127] Sensor unit 120 is, for example GPS (Global
Positioning System）等の位置センサである。 Positioning System) is a position sensor or the like. 勿論、 Of course,
他の情報をセンシングするセンサを採用しても構わない。 It may be adopted a sensor for sensing other information. センサ部１２０として位置センサを採用した場合には、ユーザの所在地をも検索キーに含めた情報検索が可能になる。 In the case of employing the position sensor as the sensor section 120, allowing information retrieval, including the search key also the location of the user.
【０１２８】Ｅ． [0128] E. その他の実施形態 （１）システム構成について 検索サーバを利用して情報検索を行う端末はモバイル端末でない固定端末であってもよい。 Other embodiments (1) System Configuration terminal for information search using the search server may be a fixed terminal not mobile terminals. また、以上説明した各実施形態では、端末と検索サーバとからなる情報検索システムを挙げたが、例えばパーソナルコンピュータに対して、撮像部、画像符号化部、特徴記述子生成部およびマッチング処理部を持たせ、スタンドアロンタイプの情報検索システムを構成してもよい。 In each embodiment described above has exemplified the information retrieval system including a terminal and a search server for example, a personal computer, an imaging unit, an image coding unit, a feature descriptor generating unit and the matching processing unit It has not, may constitute a stand-alone type of information retrieval system.
【０１２９】（２）検索制御について 上記各実施形態では、検索を効率的に進めるための検索制御データを特徴記述子生成部が生成し、マッチング処理部がこの検索制御データに従ってマッチング処理を行ったが、これとは逆方向の情報の流れにより検索を効率的に進めるための処理を行ってもよい。 [0129] (2) In the above embodiments for search control, the search for efficient retrieval control data for proceeding to generate a feature descriptor generating unit, the matching processing unit has performed a matching process in accordance with the search control data but this and may perform processing for advancing the search by the flow of reverse information efficiently. 例えば、検索対象のカテゴリが判明した時点で、そのカテゴリにおける情報検索に適した特徴記述子または特徴記述子セットをマッチング処理部から特徴記述子生成部に通知し、特徴記述子生成部がその特徴記述子または特徴記述子セットを生成してマッチング処理部に送るという処理の流れが考えられる。 For example, when the search target category is found, notify the feature descriptor generating unit from the matching processing section feature descriptors or characteristic descriptor set suitable for information retrieval in that category, the characteristic descriptor generating unit that features generate a descriptor or feature descriptor set is considered the flow of the processing of sending the matching processing unit.
【発明の効果】以上説明したように、この発明によれば、取得された画像から検索対象物の特徴記述子が生成され、この特徴記述子を検索キーとして情報検索が行われるので、ユーザは検索対象物の名前等を知らなくてもその検索対象物に関する情報を取得することができる。 As described in the foregoing, according to the present invention, the characteristic descriptor retrieval object from the obtained image is generated, information retrieval is performed using this feature descriptors as a search key, the user even if you do not know the search name of an object, such as it is possible to obtain information about the search object.
【図１】 この発明の第１の実施形態である情報検索システムの構成を示すブロック図である。 1 is a block diagram showing a configuration of a first information retrieval systems is the embodiment of the present invention.
【図２】 同実施形態における画像符号化部１０２の構成を示すブロック図である。 2 is a block diagram showing the configuration of an image encoding unit 102 in the same embodiment.
【図３】 同実施形態におけるデータベースの構成を示す図である。 3 is a diagram showing the configuration of the database according to the embodiment.
【図４】 同実施形態の全体的な動作を示すフローチャートである。 4 is a flow chart showing the overall operation of the embodiment.
【図５】 同実施形態における撮像および特徴記述子生成処理の第１の例を示すフローチャートである。 5 is a flowchart showing a first example of imaging and characteristic descriptor generation process in the embodiment.
【図６】 同実施形態における撮像および特徴記述子生成処理の第２の例を示すフローチャートである。 6 is a flowchart showing a second example of imaging and characteristic descriptor generation process in the embodiment.
【図７】 同実施形態における撮像および特徴記述子生成処理の第３の例を示すフローチャートである。 7 is a flowchart illustrating a third example of the imaging and characteristic descriptor generation process in the embodiment.
【図８】 同実施形態における撮像および特徴記述子生成処理の第４の例を示すフローチャートである。 8 is a flowchart showing a fourth example of the imaging and characteristic descriptor generation process in the embodiment.
【図９】 同実施形態において行われる輪郭決定処理を説明する図である。 9 is a diagram for explaining the outline determination process performed in the same embodiment.
【図１０】 同実施形態における物体構成色領域処理および空間配置記述子生成処理を説明する図である。 10 is a diagram illustrating an object structure color region processing and spatial arrangement descriptor generating process in the embodiment.
【図１１】 同実施形態におけるマッチング処理の第１ [11] The first matching processing in the same embodiment
の処理例を示すフローチャートである。 It is a flowchart illustrating a processing example.
【図１２】 同実施形態におけるマッチング処理の第２ [12] The second matching processing in the same embodiment
【図１３】 この発明の第２の実施形態である情報検索システムの構成を示すブロック図である。 13 is a block diagram showing a configuration of a second information retrieval system is an embodiment of the present invention.
【図１４】 同実施形態における受信部の復号器の構成を示すブロック図である。 14 is a block diagram showing the configuration of a decoder of the receiving unit in the same embodiment.
【図１５】 この発明の第３の実施形態である情報検索システムの構成を示すブロック図である。 15 is a block diagram showing a configuration of a third information retrieval system is an embodiment of the present invention.
【図１６】 同実施形態の動作を示すフローチャートである。 16 is a flow chart showing operation of the embodiment.
【図１７】 この発明の第４の実施形態である情報検索システムの構成を示すブロック図である。 17 is a block diagram showing the configuration of a fourth information retrieval system is an embodiment of the present invention.
１００……モバイル端末、２００……検索サーバ、１０ 100 ...... mobile terminal, 200 ...... search server, 10
１……撮像部、１０２……画像符号化部、１０４……特徴記述子生成部、１０３……初期物体領域指定部、１０ 1 ...... the imaging unit, 102 ...... image encoding unit, 104 ...... characteristic descriptor generating unit, 103 ...... initial object region specifying section, 10
５……検索要求送信部、１０７……検索結果表示部、１ 5 ...... search request transmission unit, 107 ...... search result display unit, 1
０６……検索データ多重・送信部、２０１……検索データ受信・分離部、２０２……マッチング処理部、２０３ 06 ...... search data multiplexing and transmitting unit, 201 ...... search data reception and separation unit, 202 ...... matching processing section, 203
……検索結果送信部、Ａ，Ｂ……コンテンツサーバ。 ...... search result transmitting unit, A, B ...... content server.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｇ 7/20 7/20 Ｃ (72)発明者 中村 典生 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 Ｆターム(参考） 5B075 NK06 NK39 PP26 PP28 PQ02 5L096 CA04 EA24 FA06 FA15 FA26 FA35 GA55 HA04 JA11 LA05 MA07 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G06T 7/00 300 G06T 7/00 300G 7/20 7/20 C (72) inventor Nakamura, Norio Tokyo, Chiyoda Subdivision Nagatacho chome 11th No. 1 Co., Ltd. NTT DoCoMo in the F-term (reference) 5B075 NK06 NK39 PP26 PP28 PQ02 5L096 CA04 EA24 FA06 FA15 FA26 FA35 GA55 HA04 JA11 LA05 MA07
【請求項１】 各種の検索対象物に関するレコードと各々が選択されるための条件である特徴記述子とを対応付けて記憶したデータベースと、 検索対象物を含む画像を取得する画像取得手段と、 前記画像取得手段によって取得された画像に含まれる検索対象物の画像から特徴記述子を生成する特徴記述子生成部と、 前記特徴記述子生成部によって生成される特徴記述子に合致する検索対象物に関するレコードを前記データベースから検索するマッチング処理部とを具備することを特徴とする情報検索システム。 And 1. A database, each a search object for records various were stored in association with the feature descriptor is a condition for being selected, an image obtaining unit for obtaining an image including the search object, a characteristic descriptor generating unit for generating feature descriptor from an image of a search object included in the image acquired by the image acquisition means, the search objects that match the characteristic descriptors produced by the feature descriptor generating unit information retrieval system, characterized in that the record relates to and a matching processing section that searches from the database.
【請求項２】 前記画像取得手段と前記特徴記述子生成部とを有し、前記特徴記述子生成部によって生成された特徴記述子をネットワークを介して送信する端末と、 前記マッチング処理部を具備し、前記ネットワークを介して、前記端末から前記特徴記述子を受け取り、前記マッチング処理部により、前記特徴記述子に合致したレコードを前記データベースから検索し、前記端末に送信する検索サーバとを具備することを特徴とする請求項１に記載の情報検索システム。 2. A and a said image acquiring means the characteristic descriptor generating unit, comprising: a terminal for transmitting the feature descriptor generated by the feature descriptor generating unit via a network, the matching processing unit and, via the network, receives the feature descriptor from the terminal, by the matching processing unit, the record matched to the characteristic descriptor retrieved from said database comprises a search server which transmits to the terminal information retrieval system according to claim 1, characterized in that.
【請求項３】 前記画像取得手段を有し、前記画像取得手段によって取得された画像をネットワークを介して送信する端末と、 前記特徴記述子生成部と前記マッチング処理部を具備し、前記ネットワークを介して、前記端末から画像を受け取り、前記特徴記述子生成部により前記画像から特徴記述子を生成し、前記マッチング処理部により、前記特徴記述子に合致したレコードを前記データベースから検索し、前記端末に送信する検索サーバとを具備することを特徴とする請求項１に記載の情報検索システム。 Wherein having said image acquiring means, a terminal that transmits an image acquired by the image acquisition means via a network, comprising the matching processing unit and the feature descriptor generating unit, the network through, receive an image from the terminal, and generates a feature descriptor from the image by the feature descriptor generating unit, by the matching processing unit searches for a record that matches the characteristic descriptor from the database, the terminal information retrieval system according to claim 1, characterized in that it comprises a search server to be sent to.
【請求項４】 前記画像取得手段は、動画を構成する複数フレームの画像を取得し、 前記特徴記述子生成部は、前記複数フレームの画像の各々に含まれる前記検索対象物の画像から特徴記述子を生成することを特徴とする請求項１〜３のいずれか１の請求項に記載の情報検索システム。 Wherein said image acquisition means acquires an image of a plurality of frames constituting a moving image, the feature descriptor generating unit, feature description from the image of the search object included in each image of said plurality of frames information retrieval system according to claim any one of claims 1 to 3, characterized in that to produce a child.
【請求項５】 前記画像取得手段は、外界の映像を撮影する撮像部であることを特徴とする請求項１〜４のいずれか１の請求項に記載の情報検索システム。 Wherein said image acquisition means, information retrieval system according to any one of claims 1 to 4, characterized in that an imaging unit for photographing the external image.
【請求項６】 前記画像取得手段は、ネットワークを介して画像を受信する受信手段であることを特徴とする請求項１〜４のいずれか１の請求項に記載の情報検索システム。 Wherein said image acquisition means, information retrieval system according to any one of claims 1 to 4, characterized in that via the network is a receiving means for receiving image.
【請求項７】 前記端末は、モバイル端末であることを特徴とする請求項２または３に記載の情報検索システム。 Wherein said terminal information search system according to claim 2 or 3, characterized in that a mobile terminal.
【請求項８】 前記特徴記述子生成部は、検索条件を指定する検索制御データを出力し、 前記マッチング処理部は、該検索制御データに従って、 Wherein said feature descriptor generating unit outputs the search control data for designating the search condition, the matching processing section, in accordance with the search control data,
情報検索を行うことを特徴とする請求項１〜７のいずれか１の請求項に記載の情報検索システム。 Information retrieval system according to any one of claims 1 to 7, characterized in that the information retrieval.
【請求項９】 前記端末は、同期検索または非同期検索を指定する検索要求データを送信する手段を具備し、 前記検索サーバは、 前記同期検索を指定する検索要求データが受信された場合に、各フレームに対応した特徴記述子が得られる毎に、当該特徴記述子を検索キーとして情報検索を行って検索結果データを前記端末に送信し、 前記非同期検索を指定する検索要求データが受信された場合に、所定個数のフレームに対応した特徴記述子が受信されたときに、当該特徴記述子を検索キーとして情報検索を行って検索結果データを前記端末に送信することを特徴とする請求項２または３に記載の情報検索システム。 Wherein said terminal comprises means for transmitting a search request data specifying a synchronization search or asynchronous search, the search server, when the search request data specifying said synchronization search is received, the each time the characteristic descriptor corresponding to the frame is obtained, and transmits the information searching performed search result data as a search key the feature descriptor to the terminal, when said search request data designating the asynchronous search has been received in, when the feature descriptor corresponding to a predetermined number of frames have been received, according to claim 2, characterized in that transmitting information searching performed search results as the search key the feature descriptor data to the terminal or information retrieval system according to 3.
【請求項１０】 前記端末は、検索範囲を指定する検索要求データを送信する手段を具備し、 前記検索サーバは、該検索要求データによって指定された検索範囲内において情報検索を行うことを特徴とする請求項２または３に記載の情報検索システム。 Wherein said terminal comprises means for transmitting a search request data specifying the search range, the search server includes a means performs information retrieval within a search range specified by the search request data information retrieval system according to claim 2 or 3.
【請求項１１】 前記特徴記述子生成部は、複数種類の特徴記述子からなる特徴記述子セットを検索対象物の画像から生成し、 前記マッチング処理部は、該特徴記述子セットに合致する検索対象物に関するレコードを前記データベースから検索することを特徴とする請求項１〜１０のいずれか１ Wherein said feature descriptor generating unit generates a characteristic descriptor set of a plurality of types of feature descriptor from an image of the search object, the matching processing unit is consistent to the characteristic descriptor sets search either a record about the object of claims 1 to 10, characterized in that the search from the database 1
の請求項に記載の情報検索システム。 Information retrieval system according to claims.
【請求項１２】 前記特徴記述子生成部は、複数種類の特徴記述子セットのうちいずれかを選択し、この選択した特徴記述子セットを検索対象物の画像から生成するとともに、選択した特徴記述子セットを示す特徴記述子セット選択情報を前記マッチング処理部に通知することを特徴とする請求項１１に記載の情報検索システム。 12. The feature descriptor generating unit selects one of a plurality kinds of characteristic descriptor set, and generates the selected feature descriptor set from an image of the search object, feature description was selected information retrieval system according to claim 11, wherein the notifying the characteristic descriptor set selection information indicating the child set in the matching processing unit.
【請求項１３】 前記特徴記述子生成部は、複数種類の特徴記述子を生成するとともに、各特徴記述子の優先度を決定し、 前記マッチング処理部は、各特徴記述子を各々の優先度に応じて検索キーとして用い、情報検索を行うことを特徴とする請求項１〜１２のいずれか１の請求項に記載の情報検索システム。 Wherein said feature descriptor generating unit is configured to generate a plurality of types of characteristic descriptors to determine the priority of each characteristic descriptor, the matching processing section, each priority each characteristic descriptor information retrieval system according to any one of claims 1 to 12, used as a search key, and performs information retrieval according to.
【請求項１４】 前記特徴記述子生成部は、各特徴記述子の記述精度に応じて各特徴記述子の優先度を決定することを特徴とする請求項１３に記載の情報検索システム。 14. The feature descriptor generating unit, the information retrieval system according to claim 13, characterized in that to determine the priority of each characteristic descriptor in accordance with the description precision of each characteristic descriptor.
【請求項１５】 前記特徴記述子生成部は、ユーザからの指定に基づいて各特徴記述子の優先度を決定することを特徴とする請求項１３または１４に記載の情報検索システム。 15. The feature descriptor generating unit, the information retrieval system according to claim 13 or 14, characterized in that to determine the priority of each characteristic descriptor based on the designation from the user.
【請求項１６】 センサを具備し、前記マッチング処理部は、前記特徴記述子とともに、該センサから得られるセンシングデータを検索キーとして情報検索を行うことを特徴とする請求項１〜１５のいずれか１の請求項に記載の情報検索システム。 16. comprising a sensor, the matching processing section, together with the characteristic descriptor, any of claims 1 to 15, characterized in that performing the information retrieval sensing data obtained from the sensor as a search key 1 information retrieval system according to claims.
【請求項１７】 前記センサは、所在位置を示すセンシングデータを出力する位置センサであることを特徴とする請求項１６に記載の情報検索システム。 17. The sensor information retrieval system according to claim 16, characterized in that a position sensor which outputs a sensing data indicating a location.
【請求項１８】 前記特徴記述子生成部は、前記マッチング処理部とネゴシエーションを行うことにより検索対象物の画像から生成する特徴記述子を決定することを特徴とする請求項１〜１７のいずれか１の請求項に記載の情報検索システム。 18. The feature descriptor generating unit, any one of claims 1 to 17, characterized in that determining a characteristic descriptor for generating an image of a search object by performing the matching processing unit and negotiate 1 information retrieval system according to claims.
【請求項１９】 取得した画像を符号化する画像符号化部を具備し、 前記特徴記述子生成部は、前記画像符号化部における画像の符号化過程において生成されるデータから特徴記述子を生成することを特徴とする請求項１〜１８のいずれか１の請求項に記載の情報検索システム。 19. comprising an image encoding unit for encoding the captured image, the feature descriptor generating unit, generates a feature descriptor from the data generated in the encoding process of an image in the image encoding unit information retrieval system according to any one of claims 1 to 18, characterized in that.
【請求項２０】 前記画像取得手段によって取得された画像中において検索対象物が占める物体領域を指定する手段を具備し、 前記画像符号化部は、特徴記述子の生成が行われるとき、最初のフレームについてフレーム内符号化を実行し、その後のフレームについては動き補償を伴ったフレーム間予測符号化を繰り返し、 前記特徴記述子生成部は、フレーム内符号化過程において得られるデータから検索対象物に対応した特徴記述子を生成し、フレーム間予測符号化が行われるときにはフレーム間予測符号化過程において得られる動きベクトルから検索対象物の物体領域を推定し、特徴記述子の生成を行うことを特徴とする請求項１〜１９のいずれか１の請求項に記載の情報検索システム。 20. comprises means for specifying a search object occupies object region in has been in the image acquired by the image acquiring means, wherein the image encoding unit, when generating the feature descriptors is performed, the first run the intra-frame coding for the frame, the subsequent frame repetition inter-frame predictive coding with motion compensation, the feature descriptor generating unit, the search object from the data obtained in the coding process within a frame characterized in that to generate the corresponding characteristic descriptors, estimates the object region of the frame between the search object from the motion vector obtained in the prediction encoding process when the inter-frame predictive coding is performed, and generates the characteristic descriptor information retrieval system according to any one of claims 1 to 19 to.
【請求項２１】 前記画像取得手段によって取得された画像中において検索対象物が占める物体領域を指定する手段を具備し、 前記画像符号化部は、特徴記述子の生成が行われるとき、フレーム内符号化を実行し、 前記特徴記述子生成部は、フレーム内符号化過程において得られるデータから検索対象物に対応した特徴記述子を生成することを特徴とする請求項１〜１９のいずれか１の請求項に記載の情報検索システム。 21. comprises means for specifying a search object occupies object region in has been in the image acquired by the image acquiring means, wherein the image encoding unit, when generating the feature descriptors is performed, the frame perform coding, the feature descriptor generating unit, one of the claims 1 to 19, characterized in that to produce a characteristic descriptor corresponding the obtained data to the search object in the coding process in the frame 1 information retrieval system according to claims.
JP2000189982A 2000-06-23 2000-06-23 Information retrieval system Pending JP2002007432A (en)
EP01114755A EP1168195A2 (en) 2000-06-23 2001-06-22 Information search system
US09/888,998 US20020019819A1 (en) 2000-06-23 2001-06-22 Information search system
KR1020010035751A KR20020001567A (en) 2000-06-23 2001-06-22 Information retrieval system
CN01124851A CN1331451A (en) 2000-06-23 2001-06-23 Information search system
JP2002007432A true JP2002007432A (en) 2002-01-11
JP2000189982A Pending JP2002007432A (en) 2000-06-23 2000-06-23 Information retrieval system
JP4782123B2 (en) * 2005-04-01 2011-09-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド A method for tracking moving objects in a video acquired for a scene by a camera
JP2012008683A (en) * 2010-06-23 2012-01-12 Nippon Telegr & Teleph Corp <Ntt> Metadata attachment device, video search device, method and program
JP2013506342A (en) * 2009-09-29 2013-02-21 インテル・コーポレーション Associate disparate content sources
JP2013545186A (en) * 2010-10-28 2013-12-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Performing visual search in a network
WO2015114848A1 (en) * 2014-01-31 2015-08-06 オリンパスイメージング株式会社 Image pickup apparatus
JP4213112B2 (en) * 2004-11-09 2009-01-21 シャープ株式会社 Image search apparatus, image forming apparatus, image search apparatus control method, image search program, and computer-readable recording medium
JP4343120B2 (en) * 2005-01-21 2009-10-14 ソニー株式会社 Image search apparatus and method, program, and program recording medium
DE112008000017T5 (en) * 2008-05-09 2009-11-05 Hankuk University of Foreign Studies Research and Industry-University Cooperation Foundation, Yongin Imaging images with designators
EP2370918B1 (en) * 2008-12-02 2019-05-22 Haskolinn I Reykjavik Multimedia identifier
GB2485573A (en) * 2010-11-19 2012-05-23 Alan Geoffrey Rainer Identifying a Selected Region of Interest in Video Images, and providing Additional Information Relating to the Region of Interest
JPWO2013136399A1 (en) * 2012-03-12 2015-07-30 パナソニックＩｐマネジメント株式会社 Information providing system, information providing apparatus, photographing apparatus, and computer program
2000-06-23 JP JP2000189982A patent/JP2002007432A/en active Pending
2001-06-22 EP EP01114755A patent/EP1168195A2/en not_active Withdrawn
2001-06-22 KR KR1020010035751A patent/KR20020001567A/en not_active Application Discontinuation
2001-06-22 US US09/888,998 patent/US20020019819A1/en not_active Abandoned
2001-06-23 CN CN01124851A patent/CN1331451A/en not_active Application Discontinuation
JP4692784B2 (en) * 2002-12-06 2011-06-01 日本電気株式会社 Feature quantity selection program, feature quantity selection method and apparatus in image description system
JP2016021748A (en) * 2014-01-31 2016-02-04 オリンパス株式会社 Imaging device, imaging method and imaging program
US10116862B2 (en) 2014-01-31 2018-10-30 Olympus Corporation Imaging apparatus
US10367995B2 (en) 2014-01-31 2019-07-30 Olympus Corporation Imaging apparatus having control circuit that corresponds a region of first image data with second image data
EP1168195A2 (en) 2002-01-02
US20020019819A1 (en) 2002-02-14
CN1331451A (en) 2002-01-16
KR20020001567A (en) 2002-01-09
KR20090063120A (en) 2009-06-17 A method and an apparatus for creating a combined image
JP4591657B2 (en) 2010-12-01 Moving picture encoding apparatus, control method therefor, and program
JP2011091705A (en) 2011-05-06 Image processing apparatus, and image processing method
CN105446477B (en) 2018-11-23 The method of contactless controlling electronic devices
US7538814B2 (en) 2009-05-26 Image capturing apparatus capable of searching for an unknown explanation of a main object of an image, and method for accomplishing the same
KR20080095179A (en) 2008-10-28 Image processing apparatus, imaging apparatus, image processing method, and computer program
US20110317012A1 (en) 2011-12-29 Method and system for background estimation in localization and tracking of objects in a smart video camera