代移民弗吉尼亚殖民地的先辈也叫本杰明·哈里森，抵达詹姆斯敦后发展成哈里森家族。哈里森完全是英格兰血统，所有祖先都在殖民早期来到北美。哈里森的祖父威廉·亨利·哈里森是第九任美国总统，曾祖父本杰明·哈里森五世是美国开国元勋，曾签署《独立宣言》并担任弗吉尼亚州州长，哈里森已经是家族中第八个全名“本杰明·哈里森”的成员，但他依然就叫本杰明·哈里森，没有“八世”后缀。爷爷当上总统时哈里森只有七岁，没有参加就职典礼。虽然家族显赫，但哈里森家境一般。父亲约翰是两任俄亥俄州联邦众议员，把大部分农场收入投入孩子的教育