Предки Гаррисона по отцовской линии входили в число Первых семей Виргинии. Основатель династии Бенджамин Гаррисон прибыл в Джеймстаун, Виргиния в 1630 году. Бенджамин Гаррисон VI родился 20 августа 1833 года, в Норт-Бенде, Огайо. Он был вторым из восьми детей Джона Скотта Гаррисона и Элизабет Рэмси. Дедом Бенджамина был 9-й президент США Уильям Гаррисон, а прадедом Бенджамин Гаррисон V, р Виргинии, подпись которого стоит на Декларации независимости США. Гаррисону было семь лет, когда его дедушка был избран президентом. Его инаугурацию он посетить не смог. Семья Гаррисонов была известна, но не была богата.