军经验的哈里森谢绝好意。他先是1862年7月22日获封上尉并任连长，半个月后莫顿又于8月7日授予他上校军衔。8月12日，新成立的印第安纳第70步兵团（）划归联邦政府统领，前往肯塔基州路易维尔加入联邦军。第70步兵团前两年基本是在侦察并守卫肯塔基州和田纳西州铁路。1864年，哈里森随团投身威廉·特库姆塞·舍曼指挥的亚特兰大战役转战前线。1月2日，他晋升第20军第一师第一旅旅长，率军参与雷萨卡（）、卡斯维尔、新希望教堂（）、洛斯特芒廷、肯尼索山（）、玛丽埃塔（）、桃树溪（）和亚特兰大（）的战斗。舍曼的主力开