兰政治家、第一代沙勒蒙伯爵是他母亲伊丽莎白·阿德利同母异父的兄弟。凭借这位伯爵的显赫身份，罗斯家族在当地建立起殷实的家业。这个家族有着传统的军事背景：罗伯特的父亲与伯父都曾作为英国陆军军官参与过英法北美战争，与其伯父并肩战斗的正是时任英军中校，日后的美国国父乔治·华盛顿。一如童年玩伴阿瑟·韦尔斯利（日后的威灵顿公爵），罗伯特从小便对军旅生活充满向往。1784年，17岁的罗斯考入都柏林三一学院，曾在人才辈出的任出纳。大学毕业后罗斯于1789年入伍，如愿成为陆军的一名少尉。
法国大革命战