伸成员，本是在南卡罗莱纳生活，之后定居恐怖角下游，到18世纪30年代已在此拥有超过3万2000公顷农田。乔布·豪于1748年去世，把父母传下的庄园和财富留给罗伯特。罗伯特还有两个弟弟和两个妹妹，他们在乔布的遗嘱中都有提及。家人将年幼的罗伯特·豪送到英格兰接受教育，但有多个来源认为他并没有前去。1751至1754年的某个时间里，完成学业的豪迎娶了同样继承有大笔财富的莎拉·格兰奇（）。豪还有过多段婚外情，子女的准确数量虽不得而知，但至少有一个同样叫罗伯特的儿子，两个女儿玛丽（）和安（），此外还有至少4个母亲