ロボットアームの三次元座標をmicrosoftkinectで決定することでロボットの制御を行う手法請求項1の制御を強化学習などの機械学習と統計処理によって行う方法請求項1の制御を人間が行った操作をまねることで行う方法請求項1の制御を機械学習や統計処理によらずに直接状態遷移を記述するプログラムで行う方法、および請求項2、3との複合方法microsoftkinectで得られた3次元画像情報を統計処理して農作物や昆虫などの生物の3次元位置を決定する方法解決しようとする問題点は、高精細な制御のできないロボットでもmicrosoftkinectの観測情報を使うことでより制御制度を向上する方法の提案である。制御したロボットをmicrosoftkinectで観測する。その時ロボット上の特徴点を観測画像のSIFT特徴量から決定する。特徴点の3次元座標をmicrosoftkinectで決定する。これによりセンサーのないロボットでも自動制御が可能となる。おもちゃとして発売されている数万円以下のロボットやラジコンを実用可能な高精度制御が可能なロボットとすることができる。具体的には数万円のおもちゃとmicrosoftkinectの組み合わせで、作物の自動収穫や害虫の自動駆除が可能となる。コンピュータで動かせるロボットとコンピュータ、microsoftkinectで構成される。約一万円で販売されているEKJapanのロボットアームMR999httpwwwelekitcojpproduct4d522d393939はusbでパソコンと接続することで制御することができるhttpswebryinfospmrsaatwebryinfo200909article6html。このような格安なロボットはセンサーを搭載しておらず、人間が目視で腕などの移動を確認しながら各部モーターの動きをボタンなどで制御するようになっている。この人間の目視を代用する方法としてロボット上にセンサーをつける方法が従来使われていた。このような可動部分の多いロボットの画像はSIFT特徴量などの自動抽出できる特徴点を多く持っている。この特徴点の3次元座標はmicrosoftkinectで観測することができる。結果的にロボットアームの各間接の3次元座標をリアルタイムで観測できる。この観測情報を使い、腕などの自動制御が可能となる。このシステムはソフトウェアを除くなら2万円以下で作ることができ格安である。制御の方法としてはつかみたい目標物との距離が最小となるようにモーターのオンオフを制御する。アームの三次元座標をターゲット値、モーターのオンオフ情報を入力とした強化学習による制御も行うことができる。その具体的な方法はを拡張するだけである。前述の強化学習の入力につかみたい農作物や害虫の画像特徴料をターゲット値とすることもできる。特徴料とは具体的には色ヒストグラムやSIFT特徴量の方向ヒストグラムなどである。強化学習だけでなく単純なニューラルネットワークなどの学習理論や関数近似方法はどれも使うことができる学習理論や関数近似方法や統計処理などを使わずに直接モーターのオンオフの状態遷移プログラムを記述することもできる。特に工業製品のような規格化された形状の処理はこの方法が適している。前述の実施例の応用例を示す。ミカンやトマトなどの果実はその形状や色から容易に画像情報のみで検出を行うことができる。その3次元座標もmicrosoftkinectの観測で容易に決定することができる。3次元座標が決定された目標物とのアーム先端の差が最小になるような制御を前述の機械学習や単純な最小二乗等で行い、アームでつかむことができる。つかんだアームを籠などに移動させる作業も同様の制御で行うことができる。京商から発売されているラジコンのおもちゃ京商150油圧ショベルPC12508もロボットアームの一種である。これはおもちゃとして作られているため、様々な印刷パターンがアーム上にある。そのためSIFT特徴量の観測が容易となっている。ロボットアームMR999と異なりキャタピラで自走移動することもできる。そのため畑の内部を移動しながらロボットアームとしての作業を行うことができる。制御の方法はMR999と同様である。京商150油圧ショベルPC12508のロボットアームとしての加工は次の動画のように行うhttpwwwyoutubecomwatchvr8ju8HhzTwwこの動画で人間が目視で行っているような操作もmicrosoftkinectで3次元座標を観測することで容易に自動化することができる。この動画中の作業をmicrosoftkinectで観測し、同じ作業をまねさせるプログラムも容易に作ることができる。