17世纪初随英国新教徒的爱尔兰殖民潮迁徙而来；母系则来自爱尔兰的科克郡。爱尔兰政治家、第一代沙勒蒙伯爵是他母亲伊丽莎白·阿德利同母异父的兄弟。凭借这位伯爵的显赫身份，罗斯家族在当地建立起殷实的家业。这个家族有着传统的军事背景：罗伯特的父亲与伯父都曾作为英国陆军军官参与过英法北美战争，与其伯父并肩战斗的正是时任英军中校，日后的美国国父乔治·华盛顿。一如童年玩伴阿瑟·韦尔斯利（日后的威灵顿公爵），罗伯特从小便对军旅生活充满向往。1784年，17岁的罗斯考入都柏林三一学院，曾在人才辈出的任出纳。大学毕业后罗斯于1