Source: https://patents.google.com/patent/JP2003062777A/en
Timestamp: 2019-08-22 16:31:38
Document Index: 333441851

Matched Legal Cases: ['art 13', 'art 11', 'art 11', 'art 241', 'art 25', 'art 2']

JP2003062777A - Autonomous acting robot - Google Patents
Autonomous acting robot
JP2003062777A JP2001251642A JP2001251642A JP2003062777A JP 2003062777 A JP2003062777 A JP 2003062777A JP 2001251642 A JP2001251642 A JP 2001251642A JP 2001251642 A JP2001251642 A JP 2001251642A JP 2003062777 A JP2003062777 A JP 2003062777A
JP2001251642A
JP4689107B2 (en
Naoaki Sumita
義秋 坂上
2001-08-22 Application filed by Honda Motor Co Ltd, 本田技研工業株式会社 filed Critical Honda Motor Co Ltd
2001-08-22 Priority to JP2001251642A priority Critical patent/JP4689107B2/en
2003-03-05 Publication of JP2003062777A publication Critical patent/JP2003062777A/en
2011-05-25 Publication of JP4689107B2 publication Critical patent/JP4689107B2/en
PROBLEM TO BE SOLVED: To provide an autonomous acting robot that can turn the line of sight to the direction of a calling person, recognize the face of a facing person and also take several actions corresponding to commands.
SOLUTION: At first a sound emitted from a person or other sound sources is detected by a sound detecting element 12. Then a sound source positioning processor 221 is operated based on the detected sound and the direction of the sound source where the sound is emitted is defined. Furthermore, by operating a head driving part 13, a robot head 1 equipping an imaging part 11 that shoots an image of periphery is controlled and then the shooting direction is directed to the direction of the defined sound source. And by operating the imaging part 11, the image of the periphery of the sound source direction is taken. Then a target image having a particular form is cut from the taken image by operating a target image cutting part 241. And by a command of an action command part 25, the imaging direction of robot head 1 is controlled and directed to the cut target image direction.
【発明の詳細な説明】 【０００１】 【発明の属する技術分野】この発明は、画像処理と音声処理とを併用して移動や姿勢制御を行う自律行動ロボットに関する。 Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an autonomous action of the robot to perform a movement and posture control in combination with image processing and speech processing. 【０００２】 【従来の技術】近年、人間のパートナーとして共存することを目的とした自律行動ロボットが開発されてきている。 [0002] In recent years, the autonomous action of the robot, which aims to co-exist as a human partners have been developed. この種の自律行動ロボットには、人間の音声に反応してあらかじめ決められた行動をするものがある。 This type of autonomous action of the robot, there are things that the action that has been determined in advance in response to the human voice. また、カメラ等の各種センサを用いて、認識対象である目標を含んだシーンをイメージ情報として取得し、そのイメージ情報と目標に対する断片的な知識とを利用して目標を認識するものもある。 Further, by using various sensors such as a camera, it acquires containing a recognition target target scene as the image information, some of which utilize a fragmentary knowledge of the image information and the target recognizes the target. 例えば、人間の音声を認識し、音声の種類によっていくつかの動作によってできるだけ人間らしい振る舞いをさせ、親近感を感じさせるような人間型ロボットも自律行動ロボットの一つの実施形態である。 For example, recognizing human speech, is as much as possible human-like behavior in several operations depending on the type of audio, humanoid robots like feel affinity is one embodiment of an autonomous action of the robot. 【０００３】 【発明が解決しようとする課題】しかしながら、本物の人間により近い動作をする人間型ロボットを開発するためには、例えば、ロボットの視野外にいる対面者の呼びかけに反応して振り向いたり、対面者の顔を見分けたりするような機能を備える必要がある。 [0003] [0005] However, in order to develop a humanoid robot that operates closer to real human, for example, or turned around in response to the call of the face who is outside the field of view of the robot , it needs to have a function as or distinguish the face of the face-to-face persons. さらに、対面者がジェスチャー等によりある物を提示したような場合には、指示された物等に視線を移して、その物を認識することができるような機能がこれからの人間型ロボットには必要である。 Further, when facing person as presented what the gesture or the like, transferred the line of sight to the indicated object, etc., the coming of the humanoid robot features like can recognize the ones required it is. 【０００４】この発明は、このような事情を考慮してなされたものであり、視線を呼びかけた人の方向に向けたり、対面者の顔を認識したり、いくつかの命令に応じた行動をとることができるような自律行動ロボットを提供することを目的とする。 [0004] The present invention has been made in view of such circumstances, or in the direction of the person who called for a line-of-sight, or to recognize the face of the face-to-face person, the action in response to some of the instruction an object of the present invention is to provide an autonomous action of the robot such that it can take. 【０００５】 【課題を解決するための手段】上記課題を解決するために、請求項１に記載の発明は、音源から発せられた音を検出する音検出手段と、検出された音に基づいて音源の方向を特定する音源定位手段と、周辺の画像を撮影する撮像手段と、撮影された画像から特定の形状を有する目標画像を抽出する目標画像抽出手段と、特定された音源方向および抽出された目標画像に基づいて該目標画像に向かう方向に前記撮像手段の撮影方向を制御する制御手段とを有することを特徴とする。 [0005] In order to solve the above object, according to an aspect of an invention of claim 1 includes a sound detection means for detecting the sound emitted from the sound source, based on the detected sound a sound source localization means for determining the direction of the sound source, and imaging means for capturing an image around a target image extracting means for extracting a target image having a specific shape from the captured image, the sound source direction and the extracted identified was based on the target image, characterized in that a control means for controlling the photographing direction of the imaging means in a direction towards the said target image. 【０００６】この発明によれば、まず、人物その他の音源から発せられた音が、音検出手段により検出される。 [0006] According to the invention, first, the person sound emitted from the other source is detected by the sound detection means.
次に、検出された音に基づいて、音源定位手段が作動することにより、その音を発した音源の方向が特定される。 Then, on the basis of the detected sound, the sound source localization means by operating the direction of the sound source that has issued the sound is specified. さらに、制御手段の作動により、周辺の画像を撮影する撮像手段であるカメラが制御されて、その撮影方向が特定された音源の方向に向けられる。 Further, by the operation of the control unit is an imaging unit for capturing an image around it camera is controlled, the shooting direction is oriented in the direction of the sound source identified. そして、撮像手段の作動により、音源の方向の周辺の画像が撮影される。 Then, by the operation of the imaging means, the image of the peripheral direction of the sound source are captured. 次いで、目標画像抽出手段の作動により、撮影された画像から特定の形状を有する目標画像が抽出される。 Then, by the operation of the target image extracting unit, the target image having a specific shape from the photographed image is extracted.
そして、制御手段の作動により、撮影手段の撮影方向が制御されて抽出された目標画像の方向に向けられる。 Then, by the operation of the control means, the photographing direction of the imaging means is directed in the direction of the target image extracted is controlled. したがって、自律行動ロボットに搭載されたカメラの視野外にいる人物等が音を発した場合でも、その音に反応して当該人物等の方向にカメラの撮影方向を自動的に向けさせることが可能となる。 Therefore, the autonomous behavior person or the like who is outside the field of view of the camera mounted on the robot even if the beeper sounds, can be caused to automatically direct the shooting direction of the camera in the direction of the person or the like in response to the sound to become. 【０００７】請求項２記載の発明は、請求項１記載の発明において、前記特定の形状が人間の顔の形状であり、 [0007] According to a second aspect of the present invention, in the first aspect, wherein the specific shape is a shape of a human face,
特定の人間の顔を識別する識別手段をさらに備えることを特徴とする。 Characterized by further comprising an identification means for identifying a face of a specific person. 【０００８】この発明によれば、目標画像抽出手段の作動により、撮影された画像から人間の顔の形状を有する目標画像が抽出される。 According to this invention, by the operation of the target image extracting unit, the target image having the shape of a human face is extracted from the captured image. そして、抽出された目標画像に基づいて、識別手段の作動により、特定の人間の顔が識別される。 Then, based on the extracted target image, by the operation of the identification means, the face of a particular person is identified. したがって、音声を発した人物の顔を抽出して識別することにより、特定の人物の個人認証を行うことが可能となる。 Thus, by identifying and extracting the face of a person having issued voice, it is possible to perform personal authentication of the specific person. 【０００９】請求項３記載の発明は、請求項１または２ [0009] According to a third aspect, claim 1 or 2
記載の発明において、検出された音が特定の音声命令であることを認識する音声認識手段と、認識された音声命令に基づいて姿勢または位置を変更する姿勢位置変更手段とをさらに備えることを特徴とする。 Characterized in the invention described, the speech recognition means for recognizing that the detected sound is a specific voice command, further comprising an attitude position changing means for changing the attitude or position based on the recognized voice command to. 【００１０】この発明によれば、音検出手段の作動により検出された音が特定の音声命令であることが、音声認識手段の作動により認識される。 According to the present invention, a sound which is detected by the operation of the sound detection means to be a specific voice command is recognized by the operation of the speech recognition means. そして、認識された音声命令に基づいて、姿勢位置変更手段の作動により、自律行動ロボット自身の姿勢または位置が変更される。 Then, based on the recognized voice command, by operating the attitude position changing means, the attitude or position of the autonomous action of the robot itself is changed. したがって、人間が発した音声命令の種類によって、あらかじめ決められた姿勢変化あるいは移動動作を行うことが可能となる。 Thus, the type of voice command human uttered, it is possible to perform posture change or movement to a predetermined. 【００１１】請求項４記載の発明は、音源から発せられた音を検出する音検出手段と、検出された音に基づいて音源の方向を特定する音源定位手段と、周辺の画像を撮影する撮像手段と、撮影された画像から特定の形状を有する目標画像を抽出する目標画像抽出手段と、特定された音源方向および抽出された目標画像に基づいて該目標画像に向かう方向に姿勢または位置を変更する姿勢位置変更手段とを備えることを特徴とする。 [0011] imaging invention described in claim 4, to be photographed and the sound detecting means for detecting the sound emitted from the sound source, the sound source localization means for determining the direction of the sound source based on the detected sound, images around changing means, and a target image extracting means for extracting a target image having a specific shape from the photographed image, attitude or position in a direction towards the said target image based on the sound source direction and the extracted target image specified characterized in that it comprises a posture position changing means for. 【００１２】この発明によれば、まず、人物その他の音源から発せられた音が、音検出手段の作動により検出される。 According to this invention, first, the person sound emitted from the other source is detected by the operation of the sound detection means. 次に、検出された音に基づいて、音源定位手段が作動することにより、その音を発した音源の方向が特定される。 Then, on the basis of the detected sound, the sound source localization means by operating the direction of the sound source that has issued the sound is specified. 一方、撮像手段の作動により、自律移動ロボット周辺の画像が撮影される。 On the other hand, by the operation of the imaging means, the image near the autonomous mobile robot is captured. 次いで、目標画像抽出手段の作動により、撮影された画像から特定の形状を有する目標画像が抽出される。 Then, by the operation of the target image extracting unit, the target image having a specific shape from the photographed image is extracted. そして、姿勢位置変更手段の作動により、特定された音源方向および抽出された目標画像に基づいて目標画像に向かう方向に姿勢または位置が変更される。 Then, by operating the attitude position changing means, the posture or position is changed toward the target image based on the sound source direction and the extracted target image specified. したがって、人物の位置を発生された音声により認識するだけではなく、人間のような振る舞いをして、その人物に対して親近感を抱かせることが可能となる。 Thus, not only recognized by a speech generating position of the person, and behaves like a human, it is possible to inspire affinity for that person. 【００１３】請求項５記載の発明は、請求項１から４までのいずれかの項に記載の発明において、撮影された画像に動的輪郭モデルを適用することによって前記目標画像の輪郭を抽出する輪郭抽出手段をさらに備えることを特徴とする。 [0013] According to a fifth aspect, in the invention described in any one of claims 1 to 4, extracts the contour of the target image by applying a active contour model captured image and further comprising a contour extraction means. 【００１４】この発明によれば、画像入力手段の作動により入力された画像にスネーク（Ｓｎａｋｅｓ）と呼ばれる動的輪郭モデルを適用する輪郭抽出手段の作動により、撮影された画像の中から目標画像の輪郭が抽出される。 According to the invention, by the operation of the contour extraction means for applying a dynamic contour model called a snake (Snakes) to the inputted image by the operation of the image input means, the target image from the captured image thereby extracting the outline. したがって、動的輪郭モデルを用いた移動体抽出アルゴリズムによって、人物の輪郭を高精度で抽出することが可能となる。 Accordingly, the mobile object extraction algorithm using a dynamic contour model, it is possible to extract the contour of a person with high accuracy. 【００１５】請求項６記載の発明は、請求項１から５までのいずれかの項に記載の発明において、前記撮像手段が、互いに対応付けられた２台の撮像装置から構成され、撮影された２枚の画像で構成されるステレオ画像を立体視することによって奥行き情報を検出する奥行き情報検出手段をさらに備えることを特徴とする。 [0015] According to a sixth aspect of the invention according to any of claims 1 to 5, wherein the imaging means is composed of two imaging devices associated with each other, it was taken by stereoscopic stereo image composed of two images, characterized by further comprising a depth information detection means for detecting the depth information. 【００１６】この発明によれば、人物等の画像を撮影する撮像手段が２台のカメラである撮像装置から構成され、その２台のカメラによってステレオ画像が撮影される。 According to this invention, is constructed from the imaging device imaging means is a two cameras for capturing an image such as a person, a stereo image is taken by the two cameras. そして、奥行き情報検出手段の作動により、撮影されたステレオ画像を立体視することによって、カメラからの距離を示す奥行き情報が検出される。 Then, by the operation of the depth information detection means, by stereoscopic stereo image captured, the depth information indicating the distance from the camera is detected. したがって、 Therefore,
音を発した人物等の方向だけではなく、カメラとの３次元位置関係に関する情報を検出することが可能となる。 Not only the direction such as a person having issued sound, it is possible to detect the information about the three-dimensional positional relationship between the camera. 【００１７】 【発明の実施の形態】以下、図面を参照して、この発明の一実施形態について説明する。 DETAILED DESCRIPTION OF THE INVENTION Hereinafter, with reference to the drawings, a description will be given of an embodiment of the present invention. 図１は、この発明の一実施形態による自律行動ロボットの構成を示すブロック図である。 Figure 1 is a block diagram showing the configuration of the autonomous action of the robot according to an embodiment of the present invention. 本実施形態における自律行動ロボットは、対面者である人物に対して親近感を抱かせるような人間型ロボットを想定しており、目や耳等を有する頭部に相当するロボット頭部１と、胴体に相当するロボット胴体部２と、手足に相当するロボット手足部３とから構成される。 Autonomous action of the robot in this embodiment assumes the humanoid robot that inspire affinity against a face's person, the robot head 1 corresponding to the head with eyes and ears, etc., a robot body section 2 corresponding to the body, and a robot limb unit 3 which corresponds to the limb. 尚、犬や猫のタイプのような４本足のペットロボットの場合、ロボットの手や足は４つの部分に分かれてそれぞれの部分が関連して動作するが、本実施形態では便宜上これをまとめて一つのロボット手足部３として記述する。 In the case of four legs, such as the type of dog and cat pet robot, a robot hand or foot operatively associated each part is divided into four parts, but this convenience collectively in this embodiment described as one robot limb portions 3 Te. 【００１８】ロボット頭部１は、周囲のカラー画像を撮影するための撮像部１１と、音源から発せられた音を検知するための音検出部１２と、撮像部１１および音検出部１２が固定されているロボット頭部１自身を左右上下方向に任意の角度で向けることができる頭部駆動部１３ The robot head 1 includes an imaging unit 11 for capturing a color image of the surrounding, the sound detector 12 for detecting the sound emitted from the sound source, the imaging unit 11 and the sound detector 12 is fixed head driving unit 13 which can be directed at any angle to the robot head 1 itself is in the horizontal and vertical directions
とから構成される。 Composed of a. 【００１９】撮像部１１は人間型ロボットの目の役割を果たすため、ロボット頭部前面に同じ高さに水平に設置された、互いに対応付けられた２台のＣＣＤカメラで構成されており、カラーのステレオ画像を撮影することが可能である。 [0019] For serving eye imaging unit 11 humanoid robot, placed horizontally at the same height on the robot head front, is composed of two CCD cameras associated with each other, color stereo image of it is possible to shoot. これらのカメラは図１において右カメラ１ These cameras right camera 1 in FIG. 1
１１と左カメラ１１２で示されている。 Indicated by 11 and the left camera 112. 尚、本実施形態では入力画像は８ビット（２５６階調）の濃淡値で表現されているものとする。 The input image in the present embodiment is assumed to be represented by a gray value of 8 bits (256 gradations). また、音検出部１２は、人間型ロボットの耳の役割を果たすため、ロボット頭部１の左右それぞれの側面に設置された２本のマイクで構成されている。 Also, the sound detector 12, to serve ear humanoid robot, and a two microphones placed on each side right and left of the robot head 1. 図１において、その２本のマイクは、右マイク１２１と左マイク１２２で示されている。 In Figure 1, the two microphones are shown in the right microphone 121 and left microphone 122. これらのマイクで受信したアナログの入力音響信号は、デジタルの時系列信号に変換される。 Input audio signals of the analog received by these microphones are converted into digital time-series signals. 【００２０】ロボット胴体部２は、撮像部１１で撮影されたカラーのステレオ画像を記憶するための画像記憶部２３と、記憶された画像を処理してロボット頭部１またはロボット手足部３にあらかじめ決められた動作をさせるための情報を獲得する画像処理部２４とを備える。 The robot body 2 includes an image storage unit 23 for storing a stereo image of the color taken by the imaging unit 11, in advance to the robot head 1 or robotic limb unit 3 processes the stored image and an image processing unit 24 to acquire the information for the determined operation. また、ロボット胴体部２は、音検出部１２で検出された音に関する情報を記憶する入力音記憶部２１と、入力された音を処理してロボット頭部１にあらかじめ決められた動作をさせるための情報を獲得する音声処理部２２とを備える。 Further, the robot body section 2 includes an input sound storing section 21 that stores information about the detected sound by the sound detection unit 12 processes the input sound order to the predetermined operation to the robot head 1 and an audio processing unit 22 to acquire the information. さらにロボット胴体部２は、音声処理部２２と画像処理部２４における処理の結果に基づいて、ロボット頭部１またはロボット手足部３の動作を制御して、ロボット頭部１の向きを変化させ、ロボットの姿勢や位置を変化させるための動作指示を行う動作指示部２５を備えている。 Robot body portion 2 further based on the result of the processing in the audio processing unit 22 and the image processing unit 24, controls the operation of the robot head 1 or robotic limb unit 3 changes the orientation of the robot head 1, and it includes an operation instruction section 25 to perform an operation instruction for changing the attitude and position of the robot. 【００２１】音声処理部２２は、記憶された音に関する情報に基づいて両マイクの音到達時間差と音圧差により水平方向の音源の相対的な方向を特定する音源定位処理部２２１と、当該音が人間が発した音声か否かを判別するための音声判別部２２２と、特定の音声命令が記憶された音声情報記憶部２２３と、音声情報記憶部２２３に接続され入力された音声が特定の命令であるか否かを認識する音声認識部２２４とから構成される。 The audio processing unit 22 includes a sound source localization processing unit 221 for identifying the relative direction of the horizontal direction of the sound source by sound arrival time difference and the sound pressure difference of the two microphones based on the information on stored tone, the tone a sound determination unit 222 for determining whether speech or not a person is issued, a specific voice information storage unit 223 a voice instruction is stored, is connected to a voice information storage unit 223 is voice input specific instruction composed of recognizing the speech recognition unit 224. whether a. 【００２２】一方、画像処理部２４は撮影された画像から特定の目標を抽出するための目標画像抽出部２４１ On the other hand, the target image extracting unit 241 for the image processing unit 24 for extracting a specific target from a captured image
と、特定の個人を識別するための個人情報が記憶された個人識別情報記憶部２４２と、目標画像抽出部２４１と個人識別情報記憶部２４２とに接続され、抽出された人物の顔画像が特定の個人であるか否かを識別する個人識別部２４３と、画像記憶部２３に記憶されたステレオ画像から立体視によって奥行き情報を算出する奥行き情報検出部２４４とから構成される。 When a personal identification information storage unit 242 which the personal information is stored for identifying a specific individual, is connected to the target image extracting unit 241 and the personal identification information storage unit 242, the face image of the extracted person identification a personal identification unit 243 identifies whether the individual, and a storage stereo images in the image storage unit 23 from the depth information detection unit 244 Metropolitan for calculating depth information by the stereoscopic. 【００２３】また、目標画像抽出部２４１は、人物の顔画像等を含む肌色領域を抽出するための肌色領域抽出部２４１ａと、人物等の輪郭を抽出するための輪郭抽出部２４１ｂと、肌色領域抽出部２４１ａまたは輪郭抽出部２４１ｂで抽出された情報に基づいて特定の目標画像を決定する目標画像決定部２４１ｃとから構成される。 Further, the target image extracting unit 241, a contour extraction unit 241b for extracting a skin color area extracting unit 241a for extracting a skin color area including a face image or the like of a person, the outline of such a person, the skin color region composed of the target image determining unit 241c to determine the specific target image based on the extracted portion 241a or the information extracted by the contour extraction unit 241b. まず、肌色領域抽出部２４１ａは、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域からなる肌色領域画像を作成する。 First, the skin color region extraction unit 241a includes a color image acquired by the RGB coordinate and color coordinate conversion into HLS coordinate, skin color area image composed of skin color region by extracting only the area corresponding to the skin color with the hue components, etc. to create a. また、輪郭抽出部２４１ｂは、肌色領域抽出手段２４１ａで抽出された肌色領域の輪郭部分をエッジとして抽出してエッジ画像を作成する手段である。 Furthermore, the contour extraction unit 241b is the outline of the skin color region extracted skin color area extracting unit 241a extracts as an edge is a means for producing an edge image. 尚、肌色領域抽出部２４ Incidentally, the skin color region extraction section 24
１ａと輪郭抽出部２４１ｂにおける処理は、特願２００ Process in 1a and the contour extraction section 241b is No. 200
１−０１３８１８に記載されている肌色領域抽出及び輪郭抽出の方法を用いることもできる。 1-013818 may be used a method of skin color region extraction and contour extraction as described in. 【００２４】また、輪郭抽出部２４１ｂは上記抽出方法に加えて、スネーク（Ｓｎａｋｅｓ）と呼ばれる動的輪郭モデルを適用する輪郭抽出手段の作動により、撮影された画像の中から目標画像の輪郭を抽出することもできる。 Further, the contour extraction unit 241b in addition to the above extraction method, extraction by the operation of the contour extraction means for applying a dynamic contour model called a snake (Snakes), the contour of the target image from the captured image it is also possible to. さらに、ロボット手足部３には、ロボット胴体部２ Further, the robot limb unit 3, the robot body part 2
の動作指示部２５に接続され、当該ロボットの手足をあらかじめ決められた動作を行うように制御するための手足駆動部３１が備わっている。 Is connected to the operation instruction portion 25 of the limbs driver 31 for controlling to perform predetermined operation of the limbs of the robot is equipped. このように、上述した頭部駆動部１３と動作指示部２５と手足駆動部３１は、人間型ロボットの動作等の制御手段となり対面者に対して親しみを抱かせるような動きをする。 Thus, the operation instruction section 25 and the limb driving portion 31 and the head drive section 13 described above, the motion that inspire friendly against face's becomes the control means of operations of the humanoid robot. 【００２５】次に、図面を参照して、上述した実施形態の動作について説明する。 Next, with reference to the drawings, a description will be given of the operation of the above embodiment. 図２は、同実施形態における自律行動ロボットの各部の動作を説明するためのフローチャートである。 Figure 2 is a flow chart for explaining the operation of each unit of the autonomous action of the robot in the embodiment. 以下の説明において、画像処理、音源定位処理、音声認識処理、動作指示処理は各々並列に処理が実行され、それらの処理結果に基づいて視線制御値の算出を行い頭部の駆動が行なわれるものする。 In the following description, the image processing, sound source localization processing, voice recognition processing, the operation instruction processing each processed in parallel is executed, which driving head is performed performs a calculation of the gaze control value based on their processing results to. まず、 First of all,
音源方向、音種別、音量を入力する（ステップＳ１）。 Sound source direction, sound type, enter the volume (step S1).
続いて、音声認識結果を入力する（ステップＳ２）。 Then, enter the voice recognition result (step S2). さらに、頭部位置候補、及び顔位置候補を入力する（ステップＳ３）。 Further, the head position candidates, and inputs the face position candidate (step S3). 【００２６】そして、音の入力があったか否かが判断される（ステップＳ４）。 [0026] Then, whether or not an input sound is judged (step S4). その結果、音検出部１２で音が検出されなかった場合（ＮＯ）、撮影された画像に対して画像処理部２４の作動により、目標画像の抽出処理が行われる（ステップＳ１１）。 As a result, if the sound has not been detected by the sound detection section 12 (NO), the operation of the image processing unit 24 with respect to the photographed image, extraction of the target image is performed (step S11). また、何らかの音が検出された場合（ＹＥＳ）、その音に関する情報が入力音記憶部２１に記憶される。 Also, if any sound is detected (YES), information about the sound is stored in the input sound storing section 21. ここで、音に関する情報とは、 Here, the information about the sound,
検出された音の受信信号や、左右マイク１２１、１２２ Receiving signals of the detected sounds and the left and right microphones 121, 122
に到達したときの時間、時間差等が含まれる。 Time when it reaches the include time differentially. そして、 And,
これらの音声情報を音声処理部２２で処理することにより動作指示部２５に与える各種情報が求められる。 Various information provided to the operation instructing section 25 by processing these speech information by the speech processing unit 22 is determined. 【００２７】音声処理部２２における音源定位処理部２ [0027] The sound source localization processing unit 2 in the audio processing unit 22
２１では、当該ロボットに対する左右マイク１２１、１ In 21, the left and right microphone with respect to the robot 121,1
２２で検出された音の音源の方向が特定される（ステップＳ５）。 The direction of the sound source of the detected sound is identified in 22 (step S5). ここで、音源の方向を特定する手順について図面を用いて詳述する。 Here it will be described in detail with reference to the drawings procedure to locate the direction of the sound source. 図３は、同実施形態による自律行動ロボットの音源定位処理部２２１の細部の構造を説明するためのブロック図である。 Figure 3 is a block diagram for explaining the structure of the details of the sound source localization processing unit 221 of the autonomous action of the robot according to the embodiment. 図３において、音到達時間差計算部２２１ａには、入力音記憶部２１に記憶された入力音に関する情報に基づいて、左右マイク１２ In Figure 3, the sound arrival time difference calculating unit 221a, based on the information about the input sound stored in the input sound storing section 21, the left and right microphone 12
１、１２２で検出された音の到達時間が入力され、その時間差が計算される。 Arrival time of the detected sound 1,122 is entered, the time difference is calculated. すなわち、両入力時系列の相互相関関数から時系列間の位相差を推定し、音到達時間差τ That is, to estimate the phase difference between the time series from the cross-correlation function of the two input time series, the sound arrival time difference τ
の候補を出力する。 And it outputs a candidate. 【００２８】また、音圧測定部２２１ｂ、ｃでは、それぞれ右マイク１２１、左マイク１２２で検出された音に関する受信信号から、入力時系列の一定時間窓における二乗平均の平方根を計算することによってｄＢ値によって音圧Ｖ sが計算される。 Further, the sound pressure measuring portions 221b, c, dB by each right microphone 121, from the received signals relating to the detected sound with the left microphone 122, calculates the square root of the mean square of the predetermined time window of input time series sound pressure V s is calculated by the value. そして、音圧差計算部２２１ Then, sound pressure difference calculation unit 221
ｄにおいて音圧計算部２２１ｂおよび２２１ｃで求められた音圧の差がｄＢ値で計算される。 Difference the obtained sound pressure sound pressure calculation unit 221b and 221c in d is calculated in dB values. その結果、音源方向計算部２２１ｅにおいて、右マイク１２１と左マイク１２２で検出された音から音源の方向Θ sを出力することができる。 As a result, in the sound source direction calculation unit 221e, it is possible to output the direction theta s of the sound source from the detected sound with the right microphone 121 and left microphone 122. 【００２９】ここで、音圧の計算方法について説明する。 [0029] Here, a description will be given of the calculation method of sound pressure. 図４は、入力初期位置の音圧の時間変化から推定されたエンベローブ（波形形状）による音圧の計算例について示した図である。 Figure 4 is a diagram showing the example of calculating the input initial position envelope estimated from the time change of the sound pressure of (waveform) by the sound pressure. 例えば、図４（ａ）に示すように、人間の音声「おい」が入力され、左図のように振幅と時間との関係が得られた場合、エンベローブ推定によって右図のように音圧と時間との関係に置き換えることができる。 For example, as shown in FIG. 4 (a), the human voice "Hey" is input, when the relationship between the amplitude and time as shown in the left view is obtained, and the sound pressure as shown on the right by the envelope estimate it can be replaced in the relationship of time and. そこで、エンベローブのなだらかさを評価して、なだらかな場合を人間の音声と判定してＶ sの符号を正の値とし、急峻な立ち上がりをする場合を音声以外の音としてＶ sの符号を負に設定する。 Therefore, to evaluate the smoothness of the envelope, the sign of V s is a positive value to determine the case gentle and human speech, negative sign of V s the case of a steep rise as a sound other than the speech It is set to. また、図４ In addition, FIG. 4
（ｂ）に示すように、手拍子音の場合は、人間の音声と比較して、振幅は音声よりも大きいが、計測された時間が短いという特徴がある。 (B), if the clapping sound, as compared to the human voice, the amplitude is greater than the speech, it is characterized in that the measured time is short. 【００３０】一方、図５は、図３に示された音源定位処理部２２１において出力である音源方向を求めるための手順について説明するための図である。 On the other hand, FIG. 5 is a diagram for explaining a procedure for obtaining the sound source direction is output in sound source localization processing unit 221 shown in FIG. ここでは、２つの音響入力端子（右マイク１２１、左マイク１２２）に到達する音響信号における時間差と音圧差により、水平方向の相対的な音源の方向を推定する。 Here, two acoustic input terminal (right microphone 121, the left microphone 122) by the time difference and the sound pressure difference in the acoustic signal arriving at estimates the direction of the horizontal direction relative sound. 図５（ａ）は、 FIG. 5 (a),
音源定位処理部２２１における動作手順について詳細に説明するための図である。 It is a diagram for explaining in detail the operation procedure in the sound source localization processing unit 221. 図３に示す音到達時間差計算部２２１ａにおいて、音到達時間差τの候補が計算される。 In the sound arrival time difference calculation unit 221a illustrated in FIG. 3, a candidate of the sound arrival time difference τ is calculated. また、音圧差計算部２２１ｄにおいて、音圧差Ｖ s Also, in the sound pressure difference calculation section 221d, sound pressure difference V s
が計算される。 There is calculated. 次に、図５（ｂ）に示すような音圧差からの音到達時間差τの選択領域マップを用いて、求めた音圧差から音到達時間差τの選択領域Ａを設定する。 Next, using the selection region map sound arrival time difference τ from sound pressure as shown in FIG. 5 (b), sets a selection area A of the sound arrival time difference τ from the sound pressure difference determined. そして、音到達時間差τの候補から選択領域Ａに属するτ Then, belonging from the candidates of the sound arrival time difference tau in the selection area A tau
を選択する。 To select. このようにして求めた音到達時間差τから、以下に示す音源の方向を算出する計算式、あるいは図４（ｃ）に示されるτとΘ sとを対応付けるマップによって音源の方向Θ sを求める。 Thus to the sound arrival time difference τ determined to obtain a formula, or a sound source direction theta s by map associating the τ and theta s that illustrated in FIG. 4 (c) to calculate the direction of the sound source shown below. 【００３１】図６は、本実施形態における音源の方向Θ [0031] Figure 6, the sound source direction Θ of the embodiment
sを説明するための図である。 s is a diagram for explaining the. 図６に示すように、音源の方向は、左右マイク１２１、１２２を結んだ線分と、 As shown in FIG. 6, the direction of the sound source, a line segment connecting the left and right microphones 121 and 122,
その線分の中点と音源とを結んだ線分とのなす角Θ sで示す。 It is shown by the angle Θ s of the line segment connecting the middle point and the sound source of the line segment. すなわち、音源の方向は式（１）に示される角度Θ sで求めることができる。 That is, the direction of the sound source can be determined by the angle theta s represented by formula (1). Θ s ＝ｓｉｎ ー1 （Ｖ・τ／ｄ） （１） ここで、Ｖは音速、τはそれぞれのマイクで検出された音の到達時間差、ｄはそれぞれのマイク間の距離である。 Theta s = sin over 1 (V · τ / d) (1) where, V is the sound velocity, tau is the difference between the arrival times of the sounds detected by the respective microphones, d is the distance between the respective microphones. 【００３２】これと同時に、検出された音が人間の音声であるか、それ以外の音であるかの判別が音声判別部２ [0032] At the same time, or the detected sound is a human voice, or discrimination sound determination unit 2 is other than the sound of
２２において行われる（ステップＳ５）。 Performed in 22 (step S5). 図７は、音声判別部２２２の細部構成を説明するためのブロック図である。 Figure 7 is a block diagram illustrating a detailed structure of the speech determination unit 222. ここでは、音響入力端子（右マイク１２１、左マイク１２２）に到達する音響信号の入力初期位置におけるエンベローブ（波形形状）を評価することにより、その音響信号が音声であるか、それ以外の音であるかを判別する。 Here, sound input terminal (right microphone 121, the left microphone 122) by evaluating the envelope (waveform) at the input an initial position of the acoustic signal arriving at its or acoustic signal is speech, otherwise the sound of a determination is made as to whether or. 図７において、音圧計算部２２２ａと２２２ｂ 7, the sound pressure calculating portion 222a and 222b
は、それぞれ右マイク１２１と左マイク１２２で検出した音の音圧を計算する部分である。 Is a section for calculating the sound pressure of each sound detected by the right microphone 121 and left microphone 122. また、平均音圧計算部２２２は、計算した音圧の平均音圧を計算する部分である。 The average sound pressure calculating section 222 is a part for calculating the average sound pressure of the calculated sound pressure. さらに、エンベローブ推定部２２２ｄは、図４に示す振幅からエンベローブを推定する部分である。 Moreover, envelope estimator 222d is a section for estimating the envelope from the amplitude shown in FIG. そして、判別部２２２ｅは、人間の音声であるか、それ以外の音であるかを判別する部分である。 Then, determination unit 222e is either human speech is a portion to determine whether the other sounds. 【００３３】図８は、図７に示される音声判別部２２２ [0033] Figure 8, the sound determination unit 222 shown in FIG. 7
の動作を説明するためのフローチャートである。 It is a flowchart for explaining the operation. 入力された音は上述したように、音圧が計算されて平均音圧計算部２２２ｃの作動により、平均音圧Ｖ sが計算され、 Input sound, as described above, the sound pressure is computed by the operation of the average sound pressure calculation unit 222c, the average sound pressure V s is calculated,
エンベローブ推定部２２２ｄで図４に示すようなエンベローブが推定される（ステップＳ８１）。 Envelope is estimated as shown in FIG. 4 by the envelope estimator 222d (step S81). そして、計算された平均音圧Ｖ sがあらかじめ設定された一定値α以上であるか否かが判断される（ステップＳ８２）。 Then, whether the calculated average sound pressure V s is preset predetermined value α or more it is judged (step S82). その結果、平均音圧Ｖ sが一定値α以上であれば（ＹＥ As a result, if the average sound pressure V s is a predetermined value or more alpha (YE
Ｓ）、続いて平均音圧Ｖ sと音響信号先頭の音圧ｐＶ sとを比較してβ以上減衰しているか否かが判断される（ステップＳ８３）。 S), followed by whether attenuated or β is compared with the average sound pressure V s and the acoustic signal the beginning of the sound pressure pV s is determined (step S83). 一方、ステップＳ８２で平均音圧Ｖ s On the other hand, the average sound pressure V s at the step S82
が一定値α以上でない場合（ＮＯ）、人間の音声以外の音であると判断される（ステップＳ８４）。 If is not more than a predetermined value alpha (NO), it is determined that the sounds other than human voice (step S84). 【００３４】そして、ステップＳ８３において、β以上減衰していると判断された場合（ＹＥＳ）、人間の音声以外の音であると判断される（ステップＳ８４）。 [0034] Then, in step S83, the case where it is determined that the attenuated or beta (YES), it is determined that the sounds other than human voice (step S84). また、β以上減衰していないと判断された場合（ＮＯ）、 When it is determined not to be attenuated or beta (NO),
ステップＳ８５に進んで一定時間Ｔ以上継続した音か否かが判断される。 Willing whether continued sound more than a certain time T in step S85 is determined. そして、一定時間Ｔ以上の音であると判断された場合（ＹＥＳ）、人間の音声であると判断される（ステップＳ８６）。 When it is determined that the sound of more than a predetermined time T (YES), it is determined to be the human voice (step S86). また、一定時間Ｔ以上継続していない場合（ＮＯ）、ステップＳ８１に戻る。 Also, if not continued more than a predetermined time T (NO), the flow returns to step S81. 上述したステップＳ８２以降の一連の処理は、判別部２２２ｅ A series of processing in step S82 and subsequent steps are determination unit 222e
の作動により行われる。 It is performed by the operation. 尚、音圧計算部は音源定位処理部２２１と音声判別部２２２の両方に必要であるため、 Since the sound pressure calculation unit is required for both the sound source localization processing unit 221 and the audio discriminator 222,
音源定位処理部２２１と音声判別部２２２の両部で音圧計算部を共有する構造にしてもよい。 In both parts of the sound source localization processing unit 221 and the audio discriminator 222 may be structured to share the sound pressure calculation unit. 【００３５】次に、このようにして求められた音源の位置が人間型ロボットの視野角内にあるか否かが判定される（ステップＳ６）。 Next, whether the position of the sound source obtained in this way is within a viewing angle of a humanoid robot is determined (step S6). その結果、すでにロボットの視野角内にあれば、ステップＳ８に進む。 As a result, already if within the viewing angle of the robot, the process proceeds to step S8. また、視野角内にないと判断された場合は、ロボット頭部１の方向が求められた音源の方向Θ sに基づいて動作指示部２５からの指示による頭部駆動部１３の作動により方向転換される（ステップＳ７）。 Also, if it is determined that it does not fall within the field of view angle, turning the operation of the head driver 13 according to an instruction from the operation instructing section 25 based on the direction theta s of a sound source direction of the robot head 1 is obtained It is (step S7). そして、再びステップＳ１へ戻る。 Then, the process returns again to step S1. 【００３６】さらに、ステップＳ５で判定された入力音が人間の音声であるか否かが判定される（ステップＳ Furthermore, the determined input sound in step S5 whether a human voice is determined (step S
８）。 8). その結果、人間の音声であると判断された場合（ＹＥＳ）、さらにその音声が指示語であるか否かが判断される（ステップＳ１０）。 As a result, if it is determined that the human voice (YES), whether still or the speech is an instruction word is determined (step S10). また、ステップＳ８で人間の音声でないと判断された場合（ＮＯ）、一定時間経過後に方向転換したロボット頭部１を元の方向に戻す（ステップＳ９）。 When it is determined not to be human speech in step S8 (NO), returning in the direction of the original robot head 1 which is diverted after a predetermined time has elapsed (step S9). 【００３７】ステップＳ１０では、入力された音声があらかじめ決められた指示語であるか否かが判定される。 [0037] In step S10, voice input whether an instruction word that is determined in advance is determined.
この判定は、音声情報記憶部２２３に記憶されている音声に関する情報と入力音声との比較が音声認識部２２４ This determination is compared speech recognition unit 224 of the information and the input speech to a speech stored in the speech information storing unit 223
において行われる。 It is performed in. この結果、入力音声が特定の指示語であると判定された場合は、指示された手先位置の領域が推定される（ステップＳ１４）。 As a result, if the input speech is determined to be a particular directive at a region indicated hand position is estimated (step S14). 次いで、この方向に基づいて視線制御値が算出される（ステップＳ１５）。 Then, eye control value is calculated based on the direction (step S15).
そして、ロボット頭部１が方向転換される（ステップＳ Then, the robot head 1 is diverted (step S
１６）。 16). 【００３８】一方、画像処理では人間の顔領域の抽出が行われる（ステップＳ１１）。 On the other hand, extraction of a human face area is performed by the image processing (step S11). 顔領域の抽出に際して、 Upon extraction of the face area,
肌色領域および輪郭の抽出方法については、上述したように、肌色領域抽出部２４１ａは、ＲＧＢ座標で取得したカラー画像をＨＬＳ座標に色座標変換して、色相成分等を用いて肌色に相当する領域だけを抽出することによって肌色領域とそれ以外の領域とからなる肌色領域画像を生成する。 The skin color area and contour extraction method, as described above, the skin color region extraction unit 241a includes a color image acquired by the RGB coordinate and color coordinate conversion into HLS coordinate, corresponding to the skin color with the hue components like region generating a skin color area image composed of a skin color area and other areas by extracting only. また、輪郭抽出部２４１ｂは、肌色領域抽出部２４１ａにおいて得られた肌色領域画像からエッジ抽出をすることによって肌色領域の輪郭を抽出する。 Furthermore, the contour extraction unit 241b extracts a contour of the skin color area by the edge extraction from the skin color region image obtained in the skin color region extraction unit 241a.
尚、顔領域の抽出において、画像内輪郭の最上点を始点として、あらかじめ距離に応じた大きさの矩形領域を走査して、輪郭内画素が最も多く含まれる位置を求めて、 Incidentally, in the extraction of the face area, as a starting point the highest point of the image contour scans a rectangular area having a magnitude corresponding to the advance distance, seeking position the contour within a pixel is the most abundant,
その位置を頭部候補位置Ｍ（ｘ，ｙ）とする。 To the position head candidate position M (x, y) and. ここで、 here,
（ｘ，ｙ）は原点を画像の左上として、右方向をｘ、左方向をｙとした画像上の座標値を表している。 (X, y) as the top left of the image origin, it represents the right direction x, the coordinate values ​​on the image to the left and as y. 図９は、 Figure 9,
移動体の輪郭と頭部候補位置および手先位置を説明するための図である。 It is a diagram for explaining the outline and head candidate position and hand position of the moving body. 尚、図９（ｃ）に示す手先位置に関する処理については後述する。 It will be described later process regarding hand position shown in FIG. 9 (c). 図１０は、撮影されたカラー画像と抽出される顔画像候補Ｆ（ｘ，ｙ）との関係を説明するための図である。 Figure 10 is a diagram for explaining a relationship between a face image candidate F to be extracted and captured color image (x, y). 【００３９】そして、上述した手順によって得られた視線制御値である音源の方向Θ sと、音声認識結果Ｃ vと、 [0039] Then, the sound source and the direction theta s of a line of sight control value obtained by the procedure described above, the speech recognition result C v,
頭部候補位置Ｍ（ｘ，ｙ）と、顔候補位置Ｆ（ｘ，ｙ） Head candidate position M (x, y) and the face candidate position F (x, y)
とが算出される（ステップＳ１２）。 Bets are calculated (step S12). これらのデータが動作指示部２５に入力することによって、頭部駆動部１ By these data is input to the operation instruction section 25, the head driving unit 1
３あるいは手足駆動部３１の動作が制御され、ロボット頭部１あるいはロボット手足部３が動く（ステップＳ１ 3 or the operation of the limb driving portion 31 is controlled, to move the robot head 1 or robot limb unit 3 (step S1
３）。 3). 例えば、頭部候補位置Ｍ（ｘ，ｙ）または顔候補位置Ｆ（ｘ，ｙ）の相対角と音源の方位Θｓとの差が最小となる頭部候補位置Ｍ（ｘ，ｙ）または顔候補位置Ｆ For example, the head candidate position M (x, y) or the face candidate position F (x, y) of the relative angle and head candidate position difference becomes the minimum and the azimuth Θs of the sound source M (x, y) or the face candidate position F
（ｘ，ｙ）を選択して、それよりパン、チルト角が算出される。 (X, y) by selecting it pan, tilt angle is calculated from. 但し、音の入力がない場合は、頭部候補位置Ｍ However, if there is no input of the sound, the head candidate position M
（ｘ，ｙ）および顔候補位置Ｆ（ｘ，ｙ）間の距離が、 (X, y) and the face candidate position F (x, y) the distance between the,
あるしきい値内であるものについて式（２）で求める。 For those that are within a certain threshold determined by the equation (2). Ｇ（ｘ，ｙ）＝１／ｎ＊｛Ｍ（ｘ，ｙ）＋Ｆ（ｘ，ｙ）｝ （２） 但し、ｎは互いの距離がしきい値内の位置の総数である。 G (x, y) = 1 / n * {M (x, y) + F (x, y)} (2) where, n is the total number of positions within a distance of each other threshold. 【００４０】そして、この中から移動体までの距離が最も近いＧ（ｘ，ｙ）を選んで、これに基づいてパン、チルトの視線制御値を算出することによって、ロボット頭部１が制御される。 [0040] Then, choose G distance to the moving object nearest from the (x, y), by calculating the pan and tilt of the eye control value based on this, the robot head 1 is controlled that. 尚、移動体までの距離の選択方法は、移動体が複数の場合は、適切な順によってロボット頭部１のパン、チルト制御させ、くまなくロボットの視線を制御させることも可能である。 The selection method of the distance to the moving body, when the moving body is a plurality of, bread robot head 1 by a suitable order, to the tilt control, it is also possible to control the line of sight of all over. Robot. また、音の入力がなく、顔候補位置Ｆ（ｘ，ｙ）のみが求められた場合には、画像中央からの距離が近い順にパン、チルト角を算出して、ロボット頭部１を制御させる。 Further, there is no sound input, when the face candidate position F (x, y) is only obtained is in the order distance is closer from the center of the image is calculated pan and tilt angles, thereby controlling the robot head 1 . さらに、音の入力がなく、頭部候補位置Ｍ（ｘ，ｙ）のみが求められた場合には、距離が最も近いものから順にパン、チルト角を算出して、ロボット頭部１を制御させる。 Furthermore, there is no sound input, when the head candidate position M (x, y) is only determined the distance is calculated pan and tilt angles in order from the closest one, is controlled robot head 1 . 【００４１】一方、ステップＳ１０で入力音声が、例えば「これ」、「この」、「ここ」等の指示語であった場合、手先位置Ｈ（ｘ，ｙ）が推定される（ステップＳ１ On the other hand, input speech in step S10, for example, "this", "this", indicating an instruction word such as "here", the hand position H (x, y) is estimated (step S1
４）。 4). すなわち、図９に示すように、頭部候補位置Ｍ That is, as shown in FIG. 9, the head candidate position M
（ｘ，ｙ）と輪郭内画素の位置の平均から求められる移動体重心Ｇからより遠い輪郭上の位置であって、かつ、 (X, y) and an average position of the farther edge from the moving body weight center G obtained from the position of the contour within a pixel, and,
重心Ｇより上の部分にあたる点Ｈ（ｘ，ｙ）が手先位置として目標画像推定部２４１ｃにおいて推定される。 Point corresponds to the portion above the center of gravity G H (x, y) is estimated in the target image estimating unit 241c as hand position. ここで、Ｈ（Ｘ，Ｙ）を中心とする矩形領域内から肌色領域を抽出し、手先位置を求めてもよい。 Here, the skin color region is extracted from the rectangular region around H (X, Y), it may be determined hand position. 次いで、その位置に基づいて、頭部駆動部１３に対してパン、チルト角等の動作指示情報が動作指示部２５において算出される（ステップＳ１５）。 Then, on the basis of the position, pan, the operation instruction information of the tilt angle, etc. it is calculated in the operation instruction section 25 with respect to the head driving unit 13 (step S15). そして、動作命令が頭部駆動部１ Then, head operation command drive unit 1
３に伝えられて、例えばロボット頭部１が方向転換される（ステップＳ１６）。 3 to be conveyed, for example, the robot head 1 is diverted (step S16). 【００４２】また、本実施形態においては、輪郭抽出手段として上述した差分による方法のほかに、ステレオ画像から得られる時系列画像からスネークと呼ばれる移動体抽出アルゴリズムを用いて移動体の輪郭を抽出してもよい。 Further, in the present embodiment, in addition to the method according to the difference described above as the contour extracting means, using a mobile extraction algorithm called from the series images and snake when obtained from stereo images to extract contours of the moving object it may be. この方法においては、ある探索領域内において動きのあるエッジが最も多く分布する距離を移動体までの距離と仮定して、その距離近辺にあるエッジを画像エネルギーとする。 In this method, the distance of most distribution edge with motion within a certain search area assuming that the distance to the moving object, the edges on the distance around the image energy. そして、この画像エネルギーを外部エネルギーとしてスネークアルゴリズムを用いて輪郭を抽出する。 Then, to extract the contour with snake algorithm the image energy as external energy. 【００４３】なお、図１における音声処理部２２および画像処理部２４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより顔領域の検出等を行ってもよい。 Incidentally, by recording a program for realizing the functions of the audio processing unit 22 and the image processing unit 24 in FIG. 1 in a computer-readable recording medium, reading the program recorded on this recording medium into a computer system so, it may be performed detection of the face area by performing. なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Here, the "computer system" includes an OS and hardware such as peripheral devices. また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 In addition, the "computer system" is, in the case you are using the WWW system, a homepage providing environment (or display environment) is also included. 【００４４】また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、 [0044] The "computer-readable recording medium", a flexible disk, a magneto-optical disk,
ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 ROM, portable media such as a CD-ROM, a storage device such as a hard disk built in the computer system. さらに「コンピュータ読み取り可能な記録媒体」 Moreover, "computer-readable recording medium"
とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 And, like the Internet or a network or a telephone volatile memory inside a computer system serving as a server or a client when the program via the communication line of the circuit or the like is transmitted (RAM), and holds the program for a certain period of time also intended to include those who are. 【００４５】また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。 Further, the program, from a computer system storing the program in a storage device or the like via a transmission medium or may be transmitted to another computer system by a transmission wave in the transmission medium. ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 Here, "transmission medium" for transmitting the program refers to a medium having a function of transmitting information, such as the Internet or a network (communication network), a telephone line communication circuit (communication line) such as. また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。 Further, the program may be one for implementing part of the above functions. さらに、 further,
前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Which can be implemented in combination with a program already recorded in the above-mentioned functions in the computer system may be a so-called differential file (differential program). 【００４６】 【発明の効果】以上説明したように、請求項１記載の発明によれば、自律行動ロボットに搭載されたカメラの視野外にいる人物等が音を発した場合でも、その音に反応して当該人物等の方向にカメラの撮影方向を自動的に向けさせることができる。 [0046] As has been described in the foregoing, according to the first aspect of the invention, even when a person or the like who is outside the field of view of the camera mounted on the autonomous action of the robot utters a sound, to the sound the reaction to the shooting direction of the camera in the direction of such the person can make automatically directed. また、請求項２記載の発明によれば、音声を発した人物の顔を抽出して識別することにより、特定の人物の個人認証を行うことができる。 Further, according to the second aspect of the present invention, by identifying and extracting the face of a person having issued voice, it is possible to perform personal authentication of the specific person. さらに、請求項３記載の発明によれば、人間が発した音声命令の種類によって、あらかじめ決められた姿勢変化あるいは移動動作を行うことができる。 Furthermore, according to the third aspect of the present invention, the type of voice command man utters, it is possible to perform a predetermined posture change or move operation. 【００４７】さらにまた、請求項４記載の発明によれば、人物の位置を発生された音声により認識するだけではなく、人間のような振る舞いをして、その人物に対して親近感を抱かせることができる。 [0047] Furthermore, according to the fourth aspect of the present invention, not only recognized by a speech generating position of the person, and behaves like a human, inspire affinity for that person be able to. さらにまた、請求項５記載の発明によれば、動的輪郭モデルを用いた移動体抽出アルゴリズムによって、人物の輪郭を高精度で抽出することができる。 Furthermore, according to the fifth aspect of the present invention, by a mobile extraction algorithm using a dynamic contour model, it is possible to extract the contour of a person with high accuracy. さらにまた、請求項６記載の発明によれば、音を発した人物等の方向だけではなく、カメラとの３次元位置関係に関する情報を検出することができる。 Furthermore, according to the sixth aspect of the present invention, not only the direction of the person such that a sound produced, it is possible to detect the information about the three-dimensional positional relationship between the camera. したがって、視線を呼びかけた人の方向に向けたり、対面者の顔を認識したり、いくつかの命令に応じた行動をとることができる。 Therefore, it is possible to take or towards the direction of the person who called the line of sight, or to recognize the face of the face-to-face person, the action in response to some of the instruction. 【００４８】 [0048]
【図面の簡単な説明】 【図１】 この発明の一実施形態による自律行動ロボットの構成を示すブロック図である。 BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing the configuration of the autonomous action of the robot according to an embodiment of the present invention. 【図２】 同実施形態における自律行動ロボットの各部の動作を説明するためのフローチャートである。 2 is a flowchart for explaining the operation of each unit of the autonomous action of the robot in the embodiment. 【図３】 同実施形態による自律行動ロボットの音源定位処理部２２１の細部の構造を説明するためのブロック図である。 3 is a block diagram for explaining the structure of the details of the sound source localization processing unit 221 of the autonomous action of the robot according to the embodiment. 【図４】 入力初期位置の音圧の時間変化から推定されたエンベローブ（波形形状）による音圧の計算例について示した図である。 4 is a diagram showing the example of calculating the input initial position envelope estimated from the time change of the sound pressure of (waveform) by the sound pressure. 【図５】 図３に示された音源定位処理部２２１において出力である音源方向を求めるための手順について説明するための図である。 5 is a diagram for the procedure is described for obtaining the sound source direction is output in sound source localization processing unit 221 shown in FIG. 【図６】 本実施形態における音源の方向Θ sを説明するための図である。 6 is a diagram for explaining a direction theta s of the sound source in this embodiment. 【図７】 音声判別部２２２の細部構成を説明するためのブロック図である。 7 is a block diagram illustrating a detailed structure of the speech determination unit 222. 【図８】 図７に示される音声判別部２２２の動作を説明するためのフローチャートである。 8 is a flowchart for explaining the operation of the speech determination unit 222 shown in FIG. 【図９】 移動体の輪郭と頭部候補位置および手先位置を説明するための図である。 9 is a diagram for explaining the outline and head candidate position and hand position of the moving body. 【図１０】 撮影されたカラー画像と抽出される顔画像候補Ｍ（ｘ，ｙ）との関係を説明するための図である。 10 is a diagram for explaining a relationship between the captured face image candidate M to be extracted and a color image (x, y). 【符号の説明】 １ ロボット頭部、 ２ ロボット胴体部、 ３ ロボット手足部、１１ 撮像部、 １２ 音検出部、 １３ [EXPLANATION OF SYMBOLS] 1 robot head 2 body center portion, 3 a robot limb unit, 11 image pickup unit, 12 a sound detector, 13
頭部駆動部、２２ 音声処理部、 ２４ 画像処理部、 ２５ 動作指示部、３１ 手足駆動部、 １１１ Head drive unit, 22 sound processing section, 24 image processing unit, 25 instructing section, 31 limb driver, 111
右カメラ、 １１２ 左カメラ、１２１ 右マイク、 Right camera, 112 left camera, 121 the right microphone,
１２２ 左マイク、２２１ 音源定位処理部、 ２２ 122 left microphone, 221 a sound source localization processing unit, 22
２ 音声判別部、２２３ 音声情報記憶部、 ２２４ 2 voice discrimination unit, 223 voice information storage unit, 224
音声認識部、２４１ 目標画像抽出部、 ２４２ 個人識別情報記憶部、２４３ 個人識別部、 ２４４ 奥行き情報検出部 Speech recognition unit, 241 target image extracting unit, 242 individual identification information storage unit, 243 a personal identification unit, 244 depth information detecting unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 ２５０ Ｇ０６Ｔ 7/60 ２５０Ｃ Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５５１Ｈ 15/28 ５１１ (72)発明者 住田 直亮 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内(72)発明者 吉田 雄一 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内Ｆターム(参考） 2C150 CA02 CA04 DA05 DA24 DA26 DA27 DA28 DF03 DF04 DF06 ED42 ED47 ED52 EF07 EF13 EF16 EF17 EF23 EF28 EF29 EF33 EF36 3C007 AS36 BS27 CS08 KS04 KS11 KS39 KT03 KT04 KT11 KX02 MT14 WA03 WA04 WA13 WA14 WB17 WB19 5B057 BA11 BA13 CA01 CA08 CA12 CA13 CA16 DA08 DB02 DB06 DB09 DC09 DC16 DC33 5D015 KK00 5L096 AA02 AA06 BA05 CA04 CA05 FA06 FA15 GA38 GA40 HA02 ────────────────────────────────────────────────── ─── front page continued (51) Int.Cl. 7 identifications FI theme coat Bu (reference) G06T 7/60 250 G06T 7/60 250C G10L 15/00 G10L 3/00 551H 15/28 511 (72) invention who Sumita ChokuAkira Wako, Saitama central 1-chome No. 4 No. 1 stock company Honda intra-technology Research Institute (72) inventor Yuichi Yoshida Saitama Prefecture Wako Chuo 1-chome No. 4 No. 1 stock company Honda R & D in the F-term (reference ) 2C150 CA02 CA04 DA05 DA24 DA26 DA27 DA28 DF03 DF04 DF06 ED42 ED47 ED52 EF07 EF13 EF16 EF17 EF23 EF28 EF29 EF33 EF36 3C007 AS36 BS27 CS08 KS04 KS11 KS39 KT03 KT04 KT11 KX02 MT14 WA03 WA04 WA13 WA14 WB17 WB19 5B057 BA11 BA13 CA01 CA08 CA12 CA13 CA16 DA08 DB02 DB06 DB09 DC09 DC16 DC33 5D015 KK00 5L096 AA02 AA06 BA05 CA04 CA05 FA06 FA15 GA38 GA40 HA02
【特許請求の範囲】 【請求項１】 音源から発せられた音を検出する音検出手段と、 検出された音に基づいて音源の方向を特定する音源定位手段と、 周辺の画像を撮影する撮像手段と、 撮影された画像から特定の形状を有する目標画像を抽出する目標画像抽出手段と、 特定された音源方向および抽出された目標画像に基づいて該目標画像に向かう方向に前記撮像手段の撮影方向を制御する制御手段とを有することを特徴とする自律行動ロボット。 Imaging for imaging and Claims 1. A sound detection means for detecting the sound emitted from the sound source, the sound source localization means for determining the direction of the sound source based on the detected sound, images around means and a target image extracting means for extracting a target image having a specific shape from the photographed image, photographing of the imaging means in a direction towards the said target image based on the sound source direction and the extracted target image specified autonomous action of the robot, characterized in that a control means for controlling the direction. 【請求項２】 前記特定の形状が人間の顔の形状であり、 特定の人間の顔を識別する識別手段をさらに備えることを特徴とする請求項１記載の自律行動ロボット。 Wherein the shape of the face of the specific shape human autonomous action of the robot according to claim 1, further comprising an identification means for identifying a face of a specific person. 【請求項３】 検出された音が特定の音声命令であることを認識する音声認識手段と、 認識された音声命令に基づいて姿勢または位置を変更する姿勢位置変更手段とをさらに備えることを特徴とする請求項１または２記載の自律行動ロボット。 3. Characteristics and speech recognition means for recognizing that the detected sound is a specific voice command, further comprising an attitude position changing means for changing the attitude or position based on the recognized voice command claim 1 or 2 autonomous action of the robot according to. 【請求項４】 音源から発せられた音を検出する音検出手段と、 検出された音に基づいて音源の方向を特定する音源定位手段と、 周辺の画像を撮影する撮像手段と、 撮影された画像から特定の形状を有する目標画像を抽出する目標画像抽出手段と、 特定された音源方向および抽出された目標画像に基づいて該目標画像に向かう方向に姿勢または位置を変更する姿勢位置変更手段とを備えることを特徴とする自律行動ロボット。 A sound detecting means for detecting a wherein sound emitted from the sound source, the sound source localization means for determining the direction of the sound source based on the detected sound, an imaging unit for photographing the periphery of the image was taken a target image extracting means for extracting a target image having a specific shape from an image, and the attitude position changing means for changing the attitude or position in a direction towards the said target image based on the sound source direction and the extracted target image specified autonomous action of the robot which is characterized in that it comprises. 【請求項５】 撮影された画像に動的輪郭モデルを適用することによって前記目標画像の輪郭を抽出する輪郭抽出手段をさらに備えることを特徴とする請求項１から４ From 5. A method according to claim 1, further comprising a contour extraction means for extracting a contour of the target image by applying a active contour model photographed image 4
までのいずれかの項に記載の自律行動ロボット。 Autonomous action of the robot according to any one of the paragraphs up. 【請求項６】 前記撮像手段が、互いに対応付けられた２台の撮像装置から構成され、 撮影された２枚の画像で構成されるステレオ画像を立体視することによって奥行き情報を検出する奥行き情報検出手段をさらに備えることを特徴とする請求項１から５ Wherein said imaging means is composed of two imaging devices associated with each other, the depth information for detecting the depth information by stereoscopic stereo image composed of two images taken from claim 1, further comprising detection means 5
までのいずれかの項に記載の自律行動ロボット。 Autonomous action of the robot according to any one of the paragraphs up.
JP2001251642A 2001-08-22 2001-08-22 Autonomous action of the robot Active JP4689107B2 (en)
US10/225,287 US6853880B2 (en) 2001-08-22 2002-08-22 Autonomous action robot
JP2003062777A true JP2003062777A (en) 2003-03-05
JP4689107B2 JP4689107B2 (en) 2011-05-25
JP2001251642A Active JP4689107B2 (en) 2001-08-22 2001-08-22 Autonomous action of the robot
JPWO2005057549A1 (en) * 2003-12-12 2008-04-17 日本電気株式会社 The information processing system, an information processing method and information processing program
US8209179B2 (en) 2003-07-03 2012-06-26 Sony Corporation Speech communication system and method, and robot apparatus
WO2013085278A1 (en) * 2011-12-06 2013-06-13 경북대학교 산학협력단 Monitoring device using selective attention model and method for monitoring same
US9639084B2 (en) 2014-08-27 2017-05-02 Honda Motor., Ltd. Autonomous action robot, and control method for autonomous action robot
US8538750B2 (en) 2003-07-03 2013-09-17 Sony Corporation Speech communication system and method, and robot apparatus
US8321221B2 (en) 2003-07-03 2012-11-27 Sony Corporation Speech communication system and method, and robot apparatus
US20030055532A1 (en) 2003-03-20