和母亲伊丽莎白·拉姆西·哈里森（，本姓欧文）十个孩子中排行第二。父亲祖上来自英格兰，17世纪30年代移民弗吉尼亚殖民地的先辈也叫本杰明·哈里森，抵达詹姆斯敦后发展成哈里森家族。哈里森完全是英格兰血统，所有祖先都在殖民早期来到北美。哈里森的祖父威廉·亨利·哈里森是第九任美国总统，曾祖父本杰明·哈里森五世是美国开国元勋，曾签署《独立宣言》并担任弗吉尼亚州州长，哈里森已经是家族中第八个全名“本杰明·哈里森”的成员，但他依然就叫本杰明·哈里森，没有“八世”后缀。爷爷当上总统时哈里森只有七岁，没有参加就职典礼