Rowley gjorde tjeneste som oberst for 13. Pennsylvania Regiment fra 25. april 1861 til 6. august samme år. Derefter blev han oberst for 102. Pennsylvania Regiment. Han blev såret i Slaget ved Fair Oaks, mens han ledede sit regiment i Army of the Potomac. Han førte i kort tid en brigade i 6. Korps i Slaget ved Fredericksburg. Efter at være blevet forfremmet til brigadegeneral med rang fra den 29. november 1862, fik Rowley derefter kommandoen over en brigade i 1. Korps under Slaget ved Chancellorsville. Han var fungerende chef for tredje division i 1. Korps i begyndelsen af Slaget ved Gettysburg, mens generalmajor Abner Doubleday fungerede som korpschef. (Chapman Biddle førte Rowleys brigade.) Den 1. juli 1863 led brigaden store tab i kamp mod Henry Heths division. Rowley blev kastet af hesten under tilbagetoget. Efter en konfrontation mellem Rowley og brigadegeneral Lysander Cutler, fik Doubleday ham fjernet for fuldskab og for ikke at adlyde ordrer. Rowley blev dømt ved en krigsret, selv om nogle officerer aflagde vidneudsagn til fordel for ham. Selv om han blev genindsat efter ordre fra krigsminister Edwin M. Stanton, fik Rowley kun kommandoen over et distrikt i det vestlige Pennsylvania, hans hjemegn. Da han ikke fik en feltkommando trak han sig tilbage fra hæren den 29. december 1864.