Avec le déclenchement de la guerre et les appels suivants aux armes du président Abraham Lincoln, puis par le gouverneur de Pennsylvanie, Andrew Curtin, Coulter lève une compagnie de soldats et est élu comme son premier capitaine. La compagnie fait bientôt fait partie du 11th Pennsylvania Volunteers, dans lequel Coulter est promu lieutenant colonel. Lorsque le régiment est réorganisé en un régiment de trois ans, Coulter devient le commandant de régiment jusqu'à la fin de la guerre en 1865. Le régiment de Coulter combat à Cedar Mountain, Thoroughfare Gap, et à la deuxième bataille de Bull Run. Lors de la bataille d'Antietam, Coulter assume le commandement de la troisième brigade de la deuxième division du I corps lorsque le brigadier général George L. Hartsuff est blessé. Retournant au commandement du régiment, Coulter combat à Fredericksburg et à Chancellorsville, et est blessé lors de la dernière. Lors de la bataille de Gettysburg Coulter assume le commandement de la première brigade de la deuxième division du I corps lorsque le brigadier général Gabriel R. Paul et tous les autres officiers sont blessés, le , près d'Oak Ridge. Coulter est blessé lui-même mais conserve le commandement de la brigade jusqu'au , quand il rend brièvement le commandement avant de le reprendre le jour même.