Когда началась гражданская война, штат Индиана начал формировать роты добровольцев и сводить их в полки. Уильяму было уже 40 лет, но он записался в федеральную армию и благодаря своим связям получил звание майора 14-го индианского полка, который был включён в бригаду Натана Кимбалла. Полк был направлен в западную Вирджинию и участвовал в сражении при Чит-Маунтин и при Гринбриер-Ривер. После этого бригада была переведена в долину Шенандоа, где Харроу получил звание подполковника и участвовал в нескольких сражениях кампании в долине Шенандоа. После сражения при Кернстауне ему присвоили звание полковника.