(57)【要約】【課題】ロボットのカメラが移動している場合でも、静止している場合と変わらない状態で被写体の画像認識を行う。【解決手段】ロボットは、画像を撮影するカメラ６と、カメラ６の位置及び移動速度を検出する検出手段であるエンコーダ４及び制御回路５と、カメラ６で撮影された画像を一定周期毎に取り込み、カメラ６の位置及び移動速度に基づいて、カメラ６から取り込んだ画像を補正し、補正した画像に基づいて画像認識を行う画像処理回路７とを有する。【選択図】  図１
2006119746.tif 000002
【特許請求の範囲】
【請求項１】
カメラと画像処理回路とを備えたロボットを用いて画像認識を行う画像認識方法において、
前記カメラの位置および移動速度を検出する検出手順と、
前記カメラで撮影された画像を一定周期毎に前記画像処理回路に取り込むサンプリング手順と、
前記カメラの位置および移動速度に基づいて、前記カメラから取り込んだ画像を前記画像処理回路で補正する補正手順と、
前記補正された画像に基づいて画像認識を行う画像認識手順とを有することを特徴とする画像認識方法。
【請求項２】
請求項１記載の画像認識方法において、
前記補正手順は、前記カメラが所定の位置にあるときに取り込んだ画像または所定の時点で取り込んだ画像と前記カメラから取り込んだ補正対象の画像とが同じになるように、前記補正対象の画像を補正することを特徴とする画像認識方法。
【請求項３】
請求項１記載の画像認識方法において、
前記カメラもしくはロボット全体を駆動手段で移動させることを特徴とする画像認識方法。
【請求項４】
請求項３記載の画像認識方法において、
前記検出手順は、前記駆動手段の動きを検出するエンコーダの出力に基づいて前記カメラの位置および移動速度を求めることを特徴とする画像認識方法。
【請求項５】
画像を撮影するカメラと、
このカメラの位置および移動速度を検出する検出手段と、
前記カメラで撮影された画像を一定周期毎に取り込み、前記カメラの位置および移動速度に基づいて、前記カメラから取り込んだ画像を補正し、補正した画像に基づいて画像認識を行う画像処理回路とを有することを特徴とするロボット。
【請求項６】
請求項５記載のロボットにおいて、
前記画像処理回路は、前記カメラが所定の位置にあるときに取り込んだ画像または所定の時点で取り込んだ画像と前記カメラから取り込んだ補正対象の画像とが同じになるように、前記補正対象の画像を補正することを特徴とするロボット。
【請求項７】
請求項５記載のロボットにおいて、
前記カメラもしくはロボット全体を移動させる駆動手段を備えることを特徴とするロボット。
【請求項８】
請求項７記載のロボットにおいて、
前記検出手段は、前記駆動手段の動きを検出するエンコーダと、このエンコーダの出力に基づいて前記カメラの位置および移動速度を求める制御回路とからなることを特徴とするロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラと画像処理回路とを備えたロボットを用いて画像認識を行う画像認識方法およびロボットに関するものである。
【背景技術】
【０００２】
従来のロボットによる画像認識は、ロボットに小型のＣＣＤカメラなどを配設し、あるサンプリング周期ごとに得られる画像情報を処理し、事前に登録された画像情報と比較照合することにより実現している（例えば、特許文献１、特許文献２、特許文献３参照）。
【０００３】
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
【特許文献１】ＷＯ９８／２６５９８
【特許文献２】特開平１１−１３６６６８号公報
【特許文献３】特開平１１−２７５５５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、静止したカメラを使って移動体を撮影しているため、例えば人形ロボットのようにカメラ自体が移動する場合には、被写体の画像認識を正しく行うことができないという問題点があった。
また、引用文献２の技術では、ＴＶカメラで撮影した現在のフレームデータと直前のフレームデータとの差分を求めることで動きのある被写体のデータを除去したフレームデータを作成している。しかし、この引用文献２の技術では、カメラの移動中に被写体を撮影すると、カメラの移動に起因する画像のずれを被写体の動きに起因するものと見なして除去してしまうため、人形ロボットのようにカメラ自体が移動する場合には、被写体の画像認識を正しく行うことができないという問題点があった。同様に、引用文献３の技術においても、人形ロボットのようにカメラ自体が移動する場合には、被写体の画像認識を正しく行うことができないという問題点があった。
【０００５】
通常、画像認識を正しく行うには、認識対象となる被写体に対しカメラが被写体の正面で静止している必要がある。その理由は、予め登録された被写体の顔の輪郭、目、鼻、口などの画像データと、あるサンプリング周期毎にカメラから送られてくる被写体の顔の輪郭、目、鼻、口などの情報とを比較するうえで、カメラが被写体に対して動いている場合、被写体の顔の輪郭、目、鼻、口などの位置がサンプルされたデータごとに異なるため、比較照合することができないからである。また、ある瞬間のデータを用いる場合では、認識のためのサンプルデータが少ないため誤認識の確率が多くなってくる。このため、引用文献２の技術では、カメラを移動させた後に停止させてカメラで撮影している。しかし、画像認識中にカメラを被写体に対して静止させることは、ロボットの自然な振る舞いを制限することになる。また、カメラを一旦停止させる場合には、カメラが停止するまでに時間を要するため、被写体を確認してから、被写体と登録データとを比較照合するまでに時間がかかるという問題点があった。
【０００６】
本発明は、上記課題を解決するためになされたもので、ロボットのカメラが移動している場合でも、静止している場合と変わらない状態で被写体の画像認識を行うことができる画像認識方法およびロボットを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラと画像処理回路とを備えたロボットを用いて画像認識を行う画像認識方法において、前記カメラの位置および移動速度を検出する検出手順と、前記カメラで撮影された画像を一定周期毎に前記画像処理回路に取り込むサンプリング手順と、前記カメラの位置および移動速度に基づいて、前記カメラから取り込んだ画像を前記画像処理回路で補正する補正手順と、前記補正された画像に基づいて画像認識を行う画像認識手順とを有するものである。
また、本発明の画像認識方法の１構成例において、前記補正手順は、前記カメラが所定の位置にあるときに取り込んだ画像または所定の時点で取り込んだ画像と前記カメラから取り込んだ補正対象の画像とが同じになるように、前記補正対象の画像を補正するようにしたものである。
また、本発明の画像認識方法の１構成例は、前記カメラもしくはロボット全体を駆動手段で移動させるようにしたものである。
また、本発明の画像認識方法の１構成例において、前記検出手順は、前記駆動手段の動きを検出するエンコーダの出力に基づいて前記カメラの位置および移動速度を求めるようにしたものである。
【０００８】
また、本発明のロボットは、画像を撮影するカメラと、このカメラの位置および移動速度を検出する検出手段と、前記カメラで撮影された画像を一定周期毎に取り込み、前記カメラの位置および移動速度に基づいて、前記カメラから取り込んだ画像を補正し、補正した画像に基づいて画像認識を行う画像処理回路とを有するものである。
また、本発明のロボットの１構成例において、前記画像処理回路は、前記カメラが所定の位置にあるときに取り込んだ画像または所定の時点で取り込んだ画像と前記カメラから取り込んだ補正対象の画像とが同じになるように、前記補正対象の画像を補正するものである。
また、本発明のロボットの１構成例は、前記カメラもしくはロボット全体を移動させる駆動手段を備えるものである。
また、本発明のロボットの１構成例において、前記検出手段は、前記駆動手段の動きを検出するエンコーダと、このエンコーダの出力に基づいて前記カメラの位置および移動速度を求める制御回路とからなるものである。
【発明の効果】
【０００９】
本発明によれば、カメラの位置および移動速度を検出し、このカメラの位置および移動速度に基づいて、カメラから取り込んだ画像を補正することにより、ロボットのカメラが移動している場合でも、静止している場合と変わらない状態で被写体の画像認識を行うことができる。その結果、本発明では、被写体の認識に、ロボットの動作が制約されることが無くなる。その理由は、通常、被写体の認識のために、カメラを静止させる必要があるが、本発明では、カメラが静止していなくても被写体を認識できるため、ロボット自体の自然な振る舞いが可能となるからである。また、本発明では、短時間で被写体の認識を行うことができる。その理由は、通常、被写体の認識のために、カメラを静止させる必要があるが、本発明では、カメラが被写体に対し静止する必要がなく、カメラやロボットの動作を静止させるまでの時間を削減できるからである。
【００１０】
また、本発明では、ロボットの動作が加速、等速に関わらず、画像認識が可能である。その理由は、駆動手段の動きを検出するエンコーダの出力に基づいてカメラの位置および移動速度を求めるからである。
【発明を実施するための最良の形態】
【００１１】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の第１の実施の形態となるロボットの概略構成図、図２は図１のロボットの断面図である。本実施の形態のロボットは、頭部１と、ギア２と、サーボモータ３と、エンコーダ４と、制御回路５と、カメラ６と、画像処理回路７と、記憶装置８と、胴体部９とを有する。サーボモータ３は、カメラ６を回動させる駆動手段を構成し、エンコーダ４と制御回路５は、カメラ６の位置および移動速度を検出する検出手段を構成している。
【００１２】
ロボット１の頭部１の下面にはギア２が取り付けられ、ギア２はロボットの胴体部９によって回動自在に軸支されている。ロボットの頭部１は、ギア２を介してサーボモータ３により駆動され、ギア２の軸を中心として水平面内で回動する。また、サーボモータ３にはその回転を検出するエンコーダ４が取り付けられており、エンコーダ４から出力されたパルス情報は制御回路５へと伝えられる。ロボットの頭部１に取り付けられたカメラ６は正面の画像を撮像し、カメラ６から出力された画像信号は画像処理回路７に入力される。制御回路５と画像処理回路７と記憶装置８は、互いの情報を交換できるように結線されている。画像処理回路７は、カメラ６から取り込んだ画像と記憶装置８に事前に登録されている認識用の画像とを比較照合する。
【００１３】
次に、本実施の形態のロボットの動作について図を参照して説明する。図３はロボットの動作を示す平面図である。図３に示すように、ロボットの頭部１は、角速度Ｗで矢印の方向に回動している。カメラ６はθの画角を有している。ロボットが被写体１０を認識する基準位置をＡとし、このときロボットの頭部１に取り付けられたカメラ６が撮像した画像を図４に示す。画像処理回路７は、予め定められたサンプリング周期毎にカメラ６からの画像信号を取り込む。このサンプリング周期をΔｔ秒とすれば、基準位置Ａで画像信号を取り込んだ時点からΔｔ秒後のカメラ６の位置は図５のようになる。このΔｔ秒後の位置をＢとし、このとき取り込んだ画像と基準位置Ａで取り込んだ画像とを重ね合わせた画像を図６に示す。図６において、１００Ａが基準位置Ａで取り込んだ画像、１００Ｂが位置Ｂで取り込んだ画像である。図６から分かるように、カメラ６が被写体１０に対して移動しているため、画像１００Ａと１００Ｂの間にｘのずれが生じ、このままでは、正確な画像認識に用いることはできない。
【００１４】
そこで、本実施の形態の制御回路５は、エンコーダ４から出力されたパルス情報に基づいて頭部１（カメラ６）の位置情報及び速度情報を算出する。画像処理回路７は、算出された位置情報及び速度情報に基づいて、カメラ６で撮像された画像が所定の基準位置Ａで撮像された画像と同じ位置になるように画像の水平方向のずれを補正する。この補正は、図示しない測距手段によりカメラ６と被写体１０との距離を測定し、測定した距離とカメラ６の位置情報及び速度情報とカメラ６の画角θとから、基準位置Ａで撮像された画像とのずれ量を算出すればよい。この補正は、コンピュータによるソフトウェア処理もしくはハードウェア回路で実現できる。
【００１５】
位置Ｂで取り込んだ画像のずれを補正した画像を図７に示す。この場合、補正した画像にはずれが生じていないため、あたかも静止した画像として処理することができる。画像処理回路７は、補正後の画像データと記憶装置８に予め登録された画像データとを比較照合して画像認識を行う。以上の処理はΔｔ秒ごとにリアルタイムに行われ、ロボットの頭部１が動作中でも、静止している場合と変わらない状態で被写体１０の認識を行うことができる。
【００１６】
［第２の実施の形態］
次に、本発明の他の実施の形態について図面を参照して詳細に説明する。図８は本発明の第２の実施の形態となるロボットの断面図である。第１の実施の形態では、ロボットの頭部を水平方向に回動させるのに対し、本実施の形態では、ロボットの頭部を垂直方向に回動させる。本実施の形態のロボットは、頭部１１と、サーボモータ１３と、エンコーダ１４と、制御回路１５と、カメラ１６と、画像処理回路１７と、記憶装置１８と、胴体部１９と、ヘッドフレーム２０と、センターフレーム２１とを有する。サーボモータ１３は、カメラ１６を回動させる駆動手段を構成し、エンコーダ１４と制御回路１５は、カメラ１６の位置および移動速度を検出する検出手段を構成している。
【００１７】
センターフレーム２１は、ロボットの胴体部１９の上面に固定されている。ロボットの頭部１１に固定されたヘッドフレーム２０は、センターフレーム２１によって回動自在に軸支されている。サーボモータ１３は、ヘッドフレーム２０に設けられたギア２２と噛み合い、ロボットの頭部１１を回動させる動力源となる。これにより、ロボットの頭部１１（ヘッドフレーム２０）は、サーボモータ１３により駆動され、軸２３を中心として垂直面内で回動する。サーボモータ１３にはその回転を検出するエンコーダ１４が取り付けられており、エンコーダ１４から出力されたパルス情報は制御回路１５へと伝えられる。ヘッドフレーム２０に取り付けられたカメラ１６はカメラ正面の画像を撮像し、カメラ１６から出力された画像信号は画像処理回路１７に入力される。画像処理回路１７は、カメラ１６から取り込んだ画像と記憶装置１８に事前に登録されている認識用の画像とを比較照合する。
【００１８】
次に、本実施の形態のロボットの動作について図を参照して説明する。図９はロボットの動作を示す側面図である。図９に示すように、ロボットの頭部１１は、角速度Ｗで矢印の方向に回動している。カメラ１６はθの画角を有している。ロボットが被写体１０を認識する基準位置をＡとする。画像処理回路１７は、予め定められたサンプリング周期毎にカメラ１６からの画像信号を取り込む。このサンプリング周期をΔｔ秒とし、基準位置Ａで画像信号を取り込んだ時点からΔｔ秒後のカメラ１６の位置をＢとする。基準位置Ａで取り込んだ画像と位置Ｂで取り込んだ画像とを重ね合わせた画像を図１０に示す。図１０において、１０１Ａが基準位置Ａで取り込んだ画像、１０１Ｂが位置Ｂで取り込んだ画像である。図１０から分かるように、カメラ１６が被写体１０に対して移動しているため、画像１０１Ａと１０１Ｂの間にｘのずれが生じ、このままでは、正確な画像認識に用いることはできない。
【００１９】
そこで、本実施の形態の制御回路１５は、エンコーダ１４から出力されたパルス情報に基づいて頭部１１（カメラ１６）の位置情報及び速度情報を算出する。画像処理回路１７は、算出された位置情報及び速度情報に基づいて、カメラ１６で撮像された画像が所定の基準位置Ａで撮像された画像と同じ位置になるように画像の垂直方向のずれを補正する。この補正は、図示しない測距手段によりカメラ１６と被写体１０との距離を測定し、測定した距離とカメラ１６の位置情報及び速度情報とカメラ１６の画角θとから、基準位置Ａで撮像された画像とのずれ量を算出すればよい。この補正は、コンピュータによるソフトウェア処理もしくはハードウェア回路で実現できる。
【００２０】
これにより、補正した画像にはずれが生じていないため、あたかも静止した画像として処理することができる。画像処理回路１７は、補正後の画像データと記憶装置１８に予め登録された画像データとを比較照合して画像認識を行う。以上の処理はΔｔ秒ごとにリアルタイムに行われ、ロボットの頭部１が動作中でも、静止している場合と変わらない状態で被写体１０の認識を行うことができる。
【００２１】
［第３の実施の形態］
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図１１は本発明の第３の実施の形態となるロボットの断面図である。第１、第２の実施の形態では、ロボットの頭部を水平方向又は垂直方向に回動させるのに対し、本実施の形態では、ロボットを自走させる。本実施の形態のロボットは、頭部３１と、サーボモータ３３と、エンコーダ３４と、制御回路３５と、カメラ３６と、画像処理回路３７と、記憶装置３８と、胴体部３９と、タイヤ４０，４１と、ギア４２とを有する。サーボモータ３３は、ロボットを走行させる駆動手段を構成し、エンコーダ３４と制御回路３５は、カメラ３６の位置および移動速度を検出する検出手段を構成している。
【００２２】
ロボットの頭部３１は胴体部３９に固定されている。ロボットの胴体部３９には、タイヤ４０と旋回可能な小径のタイヤ４１が設けられている。大径のタイヤ４０にはギア４２が取り付けられている。サーボモータ３３はギア４２と噛み合い、ロボットを走行させる動力源となる。これにより、サーボモータ３３の回転がタイヤ４０へ伝えられ、ロボットが走行する。また、サーボモータ３３にはその回転を検出するエンコーダ３４が取り付けられており、エンコーダ３４から出力されたパルス情報は制御回路３５へと伝えられる。ロボットの頭部３１に取り付けられたカメラ３６は正面の画像を撮像し、カメラ３６から出力された画像信号は画像処理回路３７に入力される。画像処理回路３７は、カメラ３６から取り込んだ画像と記憶装置３８に事前に登録されている認識用の画像とを比較照合する。
【００２３】
次に、本実施の形態のロボットの動作について図を参照して説明する。ロボットは、一定の速度で図１１の矢印の方向に移動している。ロボットが画像認識を開始した時点をＡとする。画像処理回路３７は、予め定められたサンプリング周期毎にカメラ３６からの画像信号を取り込む。このサンプリング周期をΔｔ秒とし、開始時点Ａで画像信号を取り込んだ時点からΔｔ秒後の時点をＢとする。開始時点Ａで取り込んだ画像と時点Ｂで取り込んだ画像とを重ね合わせた画像を図１２に示す。図１２において、１０２Ａが開始時点Ａで取り込んだ画像、１０２Ｂが時点Ｂで取り込んだ画像である。図１２から分かるように、カメラ３６が被写体１０に対して移動しているため、画像１０２Ａと１０２Ｂの間にｘのずれが生じ、このままでは、正確な画像認識に用いることはできない。
【００２４】
そこで、本実施の形態の制御回路３５は、エンコーダ３４から出力されたパルス情報に基づいて頭部３１（カメラ３６）の位置情報及び速度情報を算出する。画像処理回路３７は、算出された位置情報及び速度情報に基づいて、カメラ３６で撮像された画像が開始時点Ａで撮像された画像と同じ大きさになるように画像の大きさを補正する。この補正は、図示しない測距手段によりカメラ３６と被写体１０との距離を測定し、測定した距離とカメラ３６の位置情報及び速度情報とカメラ３６の画角θとから、開始時点Ａで撮像された画像との大きさの違いを算出して、画像を拡大又は縮小すればよい。この補正は、コンピュータによるソフトウェア処理もしくはハードウェア回路で実現できる。
【００２５】
これにより、補正した画像にはずれが生じていないため、あたかも静止した画像として処理することができる。画像処理回路３７は、補正後の画像データと記憶装置３８に予め登録された画像データとを比較照合して画像認識を行う。以上の処理はΔｔ秒ごとにリアルタイムに行われ、ロボットが走行中でも、静止している場合と変わらない状態で被写体１０の認識を行うことができる。
【００２６】
なお、第１の実施の形態〜第３の実施の形態では、ロボットの頭部の水平方向の回動と、垂直方向の回動と、ロボットの走行という３種類の動きをそれぞれ別々に扱っているが、これらの動きが同時に起こる場合は、第１の実施の形態〜第３の実施の形態で説明した補正を組み合わせることで、３種類の動きが同時に起きても同等の効果が得られることは言うまでもない。さらに、通常カメラで撮影した画像には、画角の端の方でいわゆる曲率による歪みが生じるが、この歪みの補正機能をあらかじめ画像処理回路に付加するとさらに効果的である。
【００２７】
また、第１の実施の形態〜第３の実施の形態では、サーボモータに取り付けられたエンコーダの情報をフィードバックすることを例に挙げたが、タイヤ等の最終回転体にスリット部材とフォトセンサー等を設けたり、ポテンショメータとの組み合わせで同等な構成を実現できるのは言うまでもない。さらに、ステッピングモータ等を用いれば、入力情報をそのまま画像処理に用いることができる。ただし、この場合、入力と最終出力に伝達系の遅れ、モータ脱調が生じた場合、十分な効果を期待することはできない。
【００２８】
また、第１の実施の形態〜第３の実施の形態では、画像認識を行うことを主に列記してきたが、本発明は被写体のデータ登録にも用いることができることは明白である。
また、第１の実施の形態〜第３の実施の形態では、説明上、制御回路と画像処理回路と記憶装置とを別々に記載したが、これらが同一の基板上の回路またはチップで構成され、各信号ルートが異なっていても良いことは言うまでもない。
【産業上の利用可能性】
【００２９】
本発明は、ロボットによる画像認識に適用することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施の形態となるロボットの概略構成図である。
【図２】本発明の第１の実施の形態となるロボットの断面図である。
【図３】本発明の第１の実施の形態のロボットの動作を示す平面図である。
【図４】本発明の第１の実施の形態においてロボットのカメラが基準位置で撮像した画像を示す図である。
【図５】本発明の第１の実施の形態において基準位置からサンプリング周期後のカメラの位置を示す平面図である。
【図６】本発明の第１の実施の形態において基準位置で取り込んだ画像とサンプリング周期後に取り込んだ画像とを重ね合わせた画像を示す図である。
【図７】本発明の第１の実施の形態において補正後の画像を示す図である。
【図８】本発明の第２の実施の形態となるロボットの断面図である。
【図９】本発明の第２の実施の形態のロボットの動作を示す側面図である。
【図１０】本発明の第２の実施の形態において基準位置で取り込んだ画像とサンプリング周期後に取り込んだ画像とを重ね合わせた画像を示す図である。
【図１１】本発明の第３の実施の形態となるロボットの断面図である。
【図１２】本発明の第３の実施の形態において開始時点で取り込んだ画像とサンプリング周期後に取り込んだ画像とを重ね合わせた画像を示す図である。
【符号の説明】
【００３１】
１、１１、３１…頭部、２、２２、４２…ギア、３、１３、３３…サーボモータ、４、１４、３４…エンコーダ、５、１５、３５…制御回路、６、１６、３６…カメラ、７、１７、３７…画像処理回路、８、１８、３８…記憶装置、９、１９、３９…胴体部、１０…被写体、２０…ヘッドフレーム、２１…センターフレーム、４０、４１…タイヤ。
【図１】
2006119746.tif 000003
【図２】
2006119746.tif 000004
【図３】
2006119746.tif 000005
【図４】
2006119746.tif 000006
【図５】
2006119746.tif 000007
【図６】
2006119746.tif 000008
【図７】
2006119746.tif 000009
【図８】
2006119746.tif 000010
【図９】
2006119746.tif 000011
【図１０】
2006119746.tif 000012
【図１１】
2006119746.tif 000013
【図１２】
2006119746.tif 000014