Baker nació en Syracuse, Nueva York, antes de que su familia se mudara a Lynchburg, Virginia, donde nacieron sus tres hermanos mayores.