I robot devono essere in grado di vedere, pianificare e agire. Per farlo, hanno bisogno di sensori (come le videocamere) che consentono loro di acquisire informazioni sul mondo intorno a loro, nonché di potenza di elaborazione che aiuta loro ad analizzare le informazioni e a prendere una decisione. Infine, hanno bisogno di strumenti di attuazione che consentano loro di agire nel mondo fisico.