(57)【要約】  本発明は、ビデオカメラ１４を備えた遠隔操縦無人機１０、１２のシステム１であって、標的無人機１０に向けての発信無人機１２のバーチャル射撃を、バーチャル射撃時に、発信無人機１２のカメラ１４が提供するビデオ画像１７内でこの標的無人機１０を認識することによって確認することを可能にする、システムに関する。これらの認識手段は、標的無人機１０に備わっていると共に、５９０ｎｍ乃至７４５ｎｍの波長の光を反射する第１の色の２つの第１の帯１８であって、４４５ｎｍ乃至５６５ｎｍの波長の光を反射する第２の色の少なくとも１つの第２の帯１９、２０の両側に位置している第１の帯１８で覆われている、マーカー１５、１６を含む。したがって、カメラが観察可能な背景画像内に非常に多くの広範な撹乱ディテールが存在しているにもかかわらず、屋外及び屋内の双方で、空地内を動き回っている無人機を非常に信頼性高く識別することが可能である。【選択図】図１
2012510839.tif 000002
【特許請求の範囲】
【請求項１】
各カメラ（１４）を備えた遠隔操縦無人機（１０、１２）のシステム（１）であって、標的無人機（１０）に向けての攻撃無人機（１２）からのバーチャル射撃を、該バーチャル射撃の発射時に、該攻撃無人機（１２）の前記カメラ（１４）が提供するビデオ画像（１７）内で前記標的無人機（１０）を認識することによって確認することを可能にする、システム（１）において、
認識手段は、前記標的無人機（１０）の上に配置されていると共に、第１の波長の光を反射する第１の色の２つの第１の帯（１８）であって、前記第１の波長とは異なる第２の波長の光を反射する第２の色の少なくとも１つの第２の帯（１９、２０）の両側に位置している第１の帯（１８）で被覆されている、ビーコン（１５、１６）を含むこと、及び
前記２つの第１の帯（１８）の前記第１の色の発光スペクトルは５９０ｎｍ乃至７４５ｎｍの範囲内にあり、一方、前記少なくとも１つの第２の帯（１９、２０）の発光スペクトルは４４５ｎｍ乃至５６５ｎｍの範囲内にあることを特徴とする、システム。
【請求項２】
前記ビーコン（１５、１６）は形状が円柱であることを特徴とする、請求項１に記載のシステム。
【請求項３】
前記円柱のビーコン（１５、１６）の軸（３）は、前記標的無人機の主面（５）に対して垂直であることを特徴とする、請求項２に記載のシステム。
【請求項４】
前記第１の帯（１８）、及び前記少なくとも１つの第２の帯（１９、２０）は、前記円柱のビーコンの前記軸（３）に対して垂直である相互に同一平面の面内にある、前記ビーコン（１５、１６）の表面を覆うように周方向に延在することを特徴とする、請求項３に記載のシステム。
【請求項５】
前記２つの第１の帯（１８）の前記第１の色は蛍光色であることを特徴とする、請求項１乃至４のいずれか一項に記載のシステム。
【請求項６】
前記ビーコン（１６）は、少なくとも２つの第２の帯（１９、２０）を呈することを特徴とする、請求項１乃至５のいずれか一項に記載のシステム。
【請求項７】
前記攻撃無人機（１２）は、バーチャル射撃の発射時に、撮影された画像を分析する手段であって、以下の：
前記画像内で前記第１の色の第１の画素を検出する手段と、
前記検出された画素を含めた、前記第１の色の第１の群の画素を検出する手段と、
前記第１の色の前記第１の群の画素の近傍の前記第２の色の一群の画素を検出する手段と、
前記第１の色の第２の群の画素を認識する手段と、
前記検出された群の画素の認識条件及びコンシステンシー条件を検証する手段と、
を実施する手段を含むことを特徴とする、請求項１乃至６のいずれか一項に記載のシステム。
【請求項８】
前記群の画素の認識条件及びコンシステンシー条件を検証する手段は、少なくとも以下の：
前記群の画素の水平的な接続状態を検証する手段と、
前記群の画素の垂直的な半接続状態を検証する手段と、
を含み、それによって、どの群にも属さない一行の画素が異なる群間に許容可能であることを特徴とする、請求項７に記載のシステム。
【請求項９】
前記群の画素の認識条件及びコンシステンシー条件を検証する手段は、少なくとも以下の：
各群の画素の輝度変化を分析する手段と、
Ｖ画像符号化チャンネル（赤色）の前記第１の色の前記第１の帯と前記第２の色の前記第２の帯との色差の差を分析する手段と、
Ｕ画像符号化チャンネル（青色）の前記第１の色の前記２つの第１の帯間の色差の差を分析する手段と、
前記２つの第１の帯及び前記第２の帯の最小色差を分析する手段と、
を含むことを特徴とする、請求項７又は８に記載のシステム。
【請求項１０】
カメラ（１４）を備えた無人機（１０、１２）であって、標的無人機（１０）に向けてのバーチャル射撃を、該バーチャル射撃の発射時に、前記カメラ（１４）が提供するビデオ画像（１７）内で前記標的無人機（１０）を認識することによって確認することを可能にする、無人機（１０、１２）において、標的無人機（１０）及び攻撃無人機（１２）として、請求項１乃至９のいずれか一項に記載のシステムにおいて該無人機を使用することを可能にする認識手段を含むことを特徴とする、無人機。
【請求項１１】
請求項１乃至９のいずれか一項に記載のシステムにおいて実施される、遠隔操縦無人機（１０）を認識する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識ビーコンを備えた無人機のシステムに関する。
【０００２】
本発明の特に有利な用途は無線操縦無人機の分野にある。
【背景技術】
【０００３】
無人機は、無線操縦によって遠隔操縦される飛行物体である。幾つかの特定の無人機は、回転翼無人機であると言え、あらゆる既知のヘリコプター形態を用いることができる。
【０００４】
無線操縦玩具には、例えば戦闘を再現する目的から、バーチャル射撃発動機を備えることができることが知られている。そのような状況下で、ゲームの進行具合を判断するために、標的玩具に向けて攻撃玩具が発射する各バーチャル射撃を評価することが必要である。
【０００５】
このため、バーチャル射撃発動機に関連する視界をシミュレートするカメラを備えたそのような玩具を提供することも知られている。したがって、攻撃玩具が発射するバーチャル射撃は、バーチャル射撃の発射時に、攻撃玩具のカメラが提供する画像内で標的玩具が検出された場合に標的玩具に命中するものとみなされる。
【０００６】
画像内で標的を自動的に検出するために、標的玩具の形状及び／又は特徴点を認識する方法を用いることが可能である。
【０００７】
そのような方法は、例えば非特許文献１において記載されている。
【０００８】
特許文献１は、カメラが取得した画像内のターゲットを識別する、そのような形状認識手段を有する玩具を記載している。
【０００９】
それにもかかわらず、この技法はかなりの計算能力を要し、比較的単純で目立たない形状の特定の幾つかの無人機と共に実施することは困難であろう。そのため、そのようなバーチャル射撃検出器を無人機に搭載できるようにするには、はるかに多くの費用を要する。
【００１０】
例えば特許文献２（Parrot SA）に記載されている第２の方法は、画像内での認識をより容易なものにするために、無人機の上に配置された発光ダイオード（Light-Emitting Diode：ＬＥＤ）を使用しており、ＬＥＤの点滅の頻度等、その固有の特徴を用いている。
【００１１】
しかしながら、実際には白いハローによって囲まれた赤い点を認識することを意味する、ＬＥＤからの光を認識することは、例えば、無人機の太陽及び／又は人工光源に対するその露光角度が変わる場合に生じ得るような、明度の大幅な変化によって、困難となる。明度が大幅に変化することにより、ＬＥＤの誤った認識が生じることで、標的無人機が攻撃無人機の視界内に存在していない場合であってもバーチャル射撃が認められてしまう。
【００１２】
特許文献３及び特許文献４は、領域内を移動するロボットのシステムであって、各ロボットが、そのそれぞれに対して固有に色分けされた平行な複数の帯状の異なる色を有する色分けされた球状又は円形状によって識別される、システムを記載している。領域の上から見下ろすカメラが現場の画像を分析し、色認識システムによってロボットを識別し、そこから領域上の各ロボットの位置を推定する。
【００１３】
この技法は、視野が領域の表面全体をカバーしているカメラによって全体的に表示されるため、対象となっている状況、すなわち、所定の形状及びサイズの平面領域では効果的である。背景が一様であるため、そこに見つけるべきロボットを認識し、次いで、そのそれぞれが帯びている色パターンを分析することによってそれらのロボットを識別するようにすることは比較的容易である。
【００１４】
しかしながら、無人機が空地内で飛行する場合、屋外又は屋内を問わず、カメラが取り込む可能性のある非常に広範の背景画像は、色認識にかなりの乱れをなす。画像は、数多くの外乱ディテール、及び非常に著しい可変のコントラスト差を含む屋内又は屋外の背景を有するだけでなく、屋外（木々、芝生、空、車両、建物又は他の背景対象物、．．．）及び屋内（より高温又はより低温の色温度を有する照明、家具及び壁の色並びに床のカバーの色、．．．）の双方において、比色に関して非常に複雑で変わりやすい。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００８−１６１４２５
【特許文献２】仏国特許第２９１２３１８号
【特許文献３】米国特許第６４５３０５５号
【特許文献４】特開２００４−１８５６３０
【非特許文献】
【００１６】
【非特許文献１】L. Younes著「Invariance, deformations, et reconnaissances de formes」(Invariance, deformation, and shape recognition)（Collection Mathematiques et Applications, Vol.44, Springer 2004）
【発明の概要】
【００１７】
本発明の目的の１つは、無人機間で発射されるバーチャル射撃を確認するために、また、その確認を、非常に様々である可能性があると共に、認識を妨げやすい複数の要素を含んでいる可能性がある環境で行うために、無人機の搭載型カメラが撮影した画像内で無人機を信頼性高く検出することを可能にする無人機認識システムを提供することである。
【００１８】
このために、本発明は、各カメラを備えた遠隔操縦無人機のシステムであって、標的無人機に向けての攻撃無人機からのバーチャル射撃を、バーチャル射撃の発射時に、攻撃無人機のカメラが提供するビデオ画像内で標的無人機を認識することによって確認することを可能にする、システムにおいて、認識手段は、標的無人機の上に配置されていると共に、５９０ｎｍ乃至７４５ｎｍの範囲内にある第１の波長の光を反射する第１の色の２つの第１の帯であって、４４５ｎｍ乃至５６５ｎｍの範囲内にある第２の波長の光を反射する第２の色の少なくとも１つの第２の帯の両側に位置している第１の帯で被覆されている、ビーコンを含むことを特徴とする、システムを提供する。
【００１９】
そのようなビーコンをそれぞれが有する無人機のシステムにより、射撃をビデオ画像内で容易かつ単純に確認することが可能になると同時に、そのような確認が非常に信頼性の高いものであることも確実にする。異なる色の複数の帯で被覆されたビーコンを無人機に配置することにより、単純かつ迅速に検出可能であるパターンとその無人機を関連付ける。さらに、第１の色の２つの帯が第２の色の中間の第２の帯を間に挟んでいることにより、検出の場合に、どの無人機が検出されているのか識別することが可能であるように帯の特定の色替えと無人機を関連付けることが可能となる。
【００２０】
特に、カメラが取り込む可能性の高い背景画像内に非常に広範な外乱ディテールが存在しているにもかかわらず、屋外又は屋内を問わず、空地内を飛行している無人機を非常に信頼性高く識別することが可能である。
【００２１】
一実施の形態では、ビーコンは形状が円柱状である。そのような状況下で、円柱ビーコンの軸は標的無人機の主面に対して垂直である。
【００２２】
一実施の形態では、帯は、円柱のビーコンの軸に対して垂直である相互に同一平面の面内にある、ビーコンの表面を覆うように周方向に延在する。
【００２３】
一実施の形態では、２つの第１の帯の第１の色は蛍光色である。
【００２４】
一実施の形態では、ビーコンは、少なくとも２つの第２の帯を呈する。
【００２５】
一実施の形態では、攻撃無人機は、バーチャル射撃の発射時に、撮影された画像を分析する手段であって、以下の：
画像内で第１の色の第１の画素を検出する手段と、
検出された画素を含めた、第１の色の第１の群の画素を検出する手段と、
第１の色の第１の群の画素の近傍の第２の色の一群の画素を検出する手段と、
第１の色の第２の群の画素を認識する手段と、
検出された群の画素の認識条件及びコンシステンシー条件を検証する手段と、
を実施する手段を含む。
【００２６】
そのような状況下では、群の画素の認識条件及びコンシステンシー条件を検証する手段は、少なくとも以下の：
群の画素の水平的な接続状態を検証する手段と、
群の画素の垂直的な半接続状態を検証する手段と、
を含むことができ、それによって、どの群にも属さない一行の画素が異なる群間に許容可能である。
【００２７】
また、群の画素の認識条件及びコンシステンシー条件を検証する手段は、少なくとも以下の：
各群の画素の輝度変化を分析する手段と、
Ｖ画像符号化チャンネル（赤色）の第１の色の第１の帯と第２の色の第２の帯との色差の差を分析する手段と、
Ｕ画像符号化チャンネル（青色）の第１の色の２つの第１の帯間の色差の差を分析する手段と、
２つの第１の帯及び第２の帯の最小色差を分析する手段と、
を含むことが可能である。
【００２８】
本発明はまた、カメラを備えた無人機であって、標的無人機に向けてのバーチャル射撃を、バーチャル射撃の発射時に、カメラが提供するビデオ画像内で標的無人機を認識することによって確認することを可能にする、無人機において、標的無人機及び攻撃無人機として、上記実施の形態のうちの１つによるシステムにおいて無人機を使用することを可能にする認識手段を含むことを特徴とする、無人機を提供する。
【００２９】
本発明はまた、上記実施の形態のうちの１つによるシステムにおいて用いられる遠隔操縦無人機を認識する方法を提供する。
【００３０】
以下、添付図面を参照しながら本発明の一実施形態を記載する。
【図面の簡単な説明】
【００３１】
【図１】本発明による無人機ゲームシステムを示す図である。
【図２】本発明による、ビーコンを備えた無人機を検出する方法を示す流れ図である。
【発明を実施するための形態】
【００３２】
図１を参照すると、本発明によるシステム１は、典型的に小寸法の飛行物体によって構成される無人機１０又は１２（図１）を含む。この好ましい実施形態では、無人機１０及び１２は「４翼ヘリコプター（quadricopters：クアッドリコプター）」、すなわち、それぞれが４つのローター１１を有する回転翼装置である。
【００３３】
無人機１０及び１２のそれぞれには、各無線コントローラー１１及び１３に画像を送信すると共に各画面に画像を表示するカメラ１４が備わっている。
【００３４】
これらの画面によって、ユーザーは各自の無人機の動きを見ることができ、かつ／又は、標的無人機が自身の攻撃無人機の視界に入り込むように見えたときにバーチャル射撃を起動させることができ、この視界はカメラ１４によってシミュレートされている。
【００３５】
標的無人機が視界内にあるときに攻撃無人機からバーチャル射撃が実際に行われたことを検証するために、射撃の発射時に表示されていた画像１７内に標的無人機が存在していたかどうかを自動的に判定する必要がある。
【００３６】
このために、本発明によれば、無人機１０及び１２には、カメラ１４が生成した画像内で容易に検出される各ビーコン１５及び１６が備わっている。
【００３７】
例として、ビーコン１５及び１６は形状が円柱であるものとすることができ、それぞれ、無人機の主面５に対して垂直な軸３が示されている。ビーコン１５及び１６は、２つの第１の帯１８が第１の帯１８の色とは異なる第２の色の少なくとも１つの第２の帯１９を囲むかたちで覆われている。
【００３８】
第１の帯１８の第１の色は通常、橙色のような暖色であり、その色からの放射は波長が５９０ｎｍ乃至７４５ｎｍの範囲内にある。そのような橙色は、画像内でビーコンを認識しやすくするが、その理由は、この色が、都市エリア又は地方エリアを問わず、特に屋外で比較的珍しいからである。
【００３９】
対照的に、第２の帯１９の第２の色は通常、青色（λが概して４４５ｎｍ乃至４９０ｎｍの範囲内にある）又は緑色（λが概して５２０ｎｍ乃至５６５ｎｍの範囲内にある）である。この場合、画像内でビーコンを認識することは、第１の帯及び第２の帯間に少なくとも２つの色替えがあることによって容易となる。
【００４０】
本発明の特徴的な、この特定の色コントラストは、屋内又は屋外を問わず、本発明者らが検査した複数の環境において特に珍しいことが分かっている。これにより、カメラが取り込む可能性のある背景画像の色の複雑性にもかかわらず、無人機を非常に信頼性高く認識することを確実にすることが可能となる。
【００４１】
ビーコン１５又は１６の認識には、上記の二重の色替えが画像内で識別されることが必要である。
【００４２】
それにもかかわらず、２機よりも多くの無人機が攻撃無人機の標的として捉えられる場合、ビーコン１６に示されるような少なくとも２つの第２の帯１９及び１９’を呈するビーコンを使用することが好ましい。
【００４３】
そのような状況下で、異なる色替えは、異なる無人機を識別する役割を果たすことができる。例えば、４機の無人機を有するゲームを考慮すると、各無人機に関連するビーコンは橙色の２つの第１の帯を呈することができ、一方、第２の帯は、各無人機に関して、青色、緑色又は橙色の帯の特定の組合せ、すなわち、青色／青色、緑色／緑色、緑色／橙色、又は橙色／緑色（第２の帯が橙色の場合、装置は各帯の高さを考慮する必要がある）を呈することができる。
【００４４】
上述したように、色認識は明度の大幅な変化によって困難となる可能性がある。明度の変化の影響を制限するために、本発明のこの実施形態において実施される色帯は蛍光色であり、それによって、ビーコンに関して高レベルの明度を概ね確実にする。
【００４５】
本発明によるビーコンを有する無人機を認識することは比較的簡単であり、無人機が、カメラ１４が送った画像を分析するのに必要とされる手段を搭載することができるようになっている。
【００４６】
標的無人機１０に向けての攻撃無人機１２からのバーチャル射撃の発射時に、撮影された画像１７内でビーコン１５を認識するために、本発明による方法は、画像１７内で橙色を探索することから始まる。
【００４７】
標的を認識する原理は、画像を走査し、ビーコンの端部の２つの帯１８のうち一方の帯の画像に対応することができる第１の色の第１の画素を探索することにある。
【００４８】
この探索は、以下の３つの成分：
輝度を表す１つの第１の成分Ｙ、及び
色差を表す２つの第２の成分ＵＶ
によって比色空間が画定されるＹＵＶモデルに従った信号に基づく画像１７内の画素符号化を用いて行うことができる。
【００４９】
輝度に関する情報が現場の照明に応じて大幅に変わるとしても、色の特徴付けには色差に関連する情報で十分である。
【００５０】
このような理由で、画像内での色の探索は、画素の色差に関連する情報だけを用いて行われ、したがって、処理される必要がある情報の量を減らすことが可能となるが、その理由は特に、この情報を送信するのに必要とされる帯域幅が、輝度に関する情報を送信するのに必要とされる帯域幅の１／４しかないからである。
【００５１】
したがって、ＵＶ空間内で矩形として画定される色の探索は非常に速い。色の特徴付けは、それ自体明度の異なる状況下で標的画像から生成されたデータベースから行うことができる。例えば、本発明の一実施形態では、緑色は色差チャンネルの以下の値：７９＜Ｕ＜１２０及び３４＜Ｖ＜１１５を特徴とし、橙色は以下の値：６５＜Ｕ＜１４６及び１５９＜Ｖ＜２５２を特徴とする。
【００５２】
図２を参照すると、第１のステップ２０は、画像内で橙色画素を検出するために、送られたそれぞれの画像１７を絶えず分析する認識手段のアクティブ状態を表す。
【００５３】
この探索は、スパイラルに沿って画像を走査することによって行うことができる。
【００５４】
２機より多くの無人機を用いてゲームをプレーする場合、色帯の高さを判定するために、左上角から右下角にかけて画像をリニア走査することを用いることがより有利であり、この高さは上述したように橙色ビーコンと緑色ビーコンを区別するのに有用である。
【００５５】
この探索の結果２２に応じて、橙色画素が認識されない限りコマンド２３によって画像のスパイラル走査が続けられる。
【００５６】
或いは、橙色画素が認識された場合、第１の群の橙色画素の探索２５が信号２４によって促される。
【００５７】
一群の橙色画素のこの探索２５は、最初に検出された橙色画素の近傍で行われる。
【００５８】
この探索２５の結果２７に応じて、一群の橙色画素が検出されない場合、画像のスパイラル走査への戻り２０を信号２８によって促すことができる。
【００５９】
しかしながら、一群の橙色画素を検出することができると、その場合、第２の群の画素の探索３０が信号２９によって促される。
【００６０】
より詳細には、第２の群の画素の探索は、中間帯１９又は１９’の考えられ得る第２の色に対応する色判定基準に基づいて行われる。
【００６１】
第２の色を有する一群の画素のこの探索の結果３２に応じて、そのような第２の群の画素がない状態では、画像のスパイラル走査への戻りを信号３３によって促すことができる。
【００６２】
該当する場合、考えられ得る第２の群の橙色画素の探索３５が信号３４によって促される。
【００６３】
この探索３５の結果３７に応じて、第２の群の橙色画素が検出されない場合、画像のスパイラル走査への戻りを信号３８によって促すことができる。
【００６４】
該当する場合、第２の群の橙色画素が検出され、その後、信号３９によって促されるように、３つの検出された群の画素の接続状態条件及びコンシステンシー条件が検証される（４０）。
【００６５】
より詳細には、接続状態条件は、画素の群についての水平的な接続状態及び垂直的な半接続状態を必要とする。したがって、検出されたどの群にも属さない一行の画素が種々の群間に存在することが許容可能である。
【００６６】
この半接続状態は、ビーコンの帯を検出するために色矩形を使用することによって説明することができる。これらの矩形は、画像上に表示される際に帯の実際のサイズを超えることができ、かつ、必ずしも接続されるとは限らない接合線を生成することができる。
【００６７】
さらに、コンシステンシー条件は、明度の変化（これを受けて橙色及び緑色等の色が著しく変化する可能性がある）を考慮することを目的とする。例えば、橙色の帯はその明度に応じて、ピンク味、赤味又は茶色味の彩色を帯びる可能性がある。
【００６８】
その理由から、コンシステンシー条件は以下の通りである：
幾つかの群の画素間の平均輝度の変化がわずかである（例えば、２つの群間の輝度の変化が６０未満）、
Ｖチャンネル（赤色）の第１の色の帯と第２の色の中間帯との間の色差の差が著しい、例えば、閾値（一実施形態では５８）よりも大きい、
Ｕチャンネル（青色）の第１の色の２つの帯間の色差の差がわずかである（例えば、４５未満の差）、及び
２つの第１の帯について、Ｖチャンネル（赤色）の平均色差値が少なくとも幾分の最小である（１６７を超える）。
【００６９】
この検証の結果４０が接続状態条件及びコンシステンシー条件を満たしている場合、信号４２が、認識が確認された（４４）ことを示す。さもなければ、信号４１により、画像のスパイラル走査に戻ることになる。
【００７０】
実際に、本発明の一実施形態は、１／４共通中間フォーマット（Quarter Common Intermediate Format：ＱＣＩＦ）タイプの画像解像度を使用するビデオカメラ１４を用いて実施されており、各画像は、１７６列に配列された１４４行の画素によって構成され、一秒あたり１５枚の画像の割合で動作する。
【００７１】
したがって、搭載型画像プロセッサー手段は、画像内でビーコン１５の存在を検出するのに約６０ミリ秒の期間を有し、これは、比較的単純かつ低コストな手段によって達成することができる。
【００７２】
ビーコンが信頼性高く認識されることを確実にするために、端部の帯１８のそれぞれに固有の感度閾値は１つの色差画素、及び一画像あたり４つの輝度画素であり、これにより、無人機に搭載利用可能な単純な手段を考慮すると、それぞれ高さが２．５ｃｍである帯により、最大２メートルの距離のところまで、高さが７．５センチメートル及び直径が５．２ｃｍのビーコンを検出することが可能である。本発明は数多くの方法で変えることができる。特に、他のアプローチを用いて、例えば８つの画素の幾つかのブロックの画像を処理することによって、画像１７を分析することが可能であり、それによって、分析が得られるまで画像が段階的に分析される。
【図１】
2012510839.tif 000003
【図２】
2012510839.tif 000004
【国際調査報告】
2012510839.tif 000005
2012510839.tif 000006
2012510839.tif 000007
2012510839.tif 000008
2012510839.tif 000009
2012510839.tif 000010