En el verano de 1865, a la edad de nueve años, Booker, su hermano Juan y su hermana Amanda, se mudaron a Malden en el condado de Kanawha, Virginia Occidental, con su madre para juntarse con su padrastro, Washington Ferguson.