Era hijo de Philo Barnum (1778–1826), un posadero, sastre y encargado de tienda, y de su segunda esposa, Irene Taylor.