Robert Spencer
第2代サンダーランド伯爵ロバート・スペンサーとアン・ディグビー（、1715年4月16日没、第2代ブリストル伯爵ジョージ・ディグビーの娘）の次男（長男ロバートは1688年9月に生涯未婚のまま死去）として、1675年4月23日に生まれた。父と兄は1687年にカトリックに改宗したが、スペンサーはまだ12歳だったこともあり改宗しなかった。翌1688年12月に父がオランダに逃亡すると、スペンサーも父に従ってオランダに向かい、ユトレヒトで家庭教師（後の、）からオランダの法律と宗教について学んだ。以降1690年までオランダを旅し、1691年10月にオールソープに戻った。