出生在什罗普郡马基特德雷顿附近的家族庄园。他的父亲是理查德·克莱芙（Richard Clive），母亲是瑞贝卡·加斯克尔·克莱芙（Rebecca Gaskell Clive）。克莱芙的家族自亨利七世时期开始，就拥有这个庄园。族人很早就活跃在政坛：有的在亨利八世时期担任爱尔兰财政大臣（Chancellor of the Exchequer of Ireland），有的在英国内战时期担任长期国会的议员。因为家族庄园盈利微薄，所以克莱芙的父亲要当律师，提高收入。同时，他的父亲也是一个国会议员，代表蒙哥马利郡选区。