斯福分别来自纽约州富裕的荷兰裔和法裔大家族。富兰克林是他们唯一的孩子。他的祖母玛丽·丽贝卡·阿斯平沃尔（Mary Rebecca Aspinwall），是第五届美国总统詹姆斯·门罗的妻子伊丽莎白·门罗的第一表亲。他的祖先之一是约翰·洛思罗普，亦是贝内迪克特·阿诺德和约瑟·斯密的祖先。他母亲一方的一位远亲是作家劳拉·英格尔斯·怀尔德。他的外祖父小沃伦·德拉诺在澳门、广州及香港的12年期间由茶叶贸易中赚取了100多万美元。但返美后，德拉诺二世在失去了所有。1860年，他回到中国，借着鸦片贸易而大发横财。他为当时