亲是北卡罗莱纳殖民地法学家弗雷德里克·琼斯（）的女儿玛莎（），也有来源认为他的母亲名叫莎拉（），还有来源认为乔布的第三任太太简（）才是罗伯特的生母。乔布·豪的先辈曾是17世纪末到18世纪初南卡罗莱纳殖民地的种植园主和政治人物。罗伯特出生前，他的家人离开查尔斯顿，在英属北卡罗莱纳省的恐怖角河岸定居。乔布是摩尔家族的延伸成员，本是在南卡罗莱纳生活，之后定居恐怖角下游，到18世纪30年代已在此拥有超过3万2000公顷农田。乔布·豪于1748年去世，把父母传下的庄园和财富留给罗伯特。罗伯特还有两个弟弟和两个妹妹，他