Уокер происходил из известной бостонской семьи и был сыном экономиста и политика . Он окончил колледж Эмхерста, а когда началась Гражданская война, вступил в 15-й Массачусетский пехотный полк. Он прошёл Кампанию на полуострове, был ранен в сражении при Чанселорсвилле, потом участвовал в кампаниях Бристо, Оверлендской, и в осаде Питерсберга, но попал в плен и оказался в тюрьме Либби. В июле 1866 года по инициативе президента Джонсона он получил почётное временное звание бригадного генерала добровольцев, датированное 13 марта 1863 года. Ему в это время было всего 24 года.