Sullivan aloitti sotilasuransa valmistumalla vuonna 1848 laivastoakatemiasta Annapolisissa, jonka jälkeen hän palveli kuusi vuotta laivastossa. Yhdysvaltain sisällissodan syttymisen jälkeen Sullivan oli mukana organisoimassa Indianan 6. vapaaehtoisrykmenttiä ja hänet valittiin rykmentin kapteeniksi. Myöhemmin hänet ylennettiin everstiksi ja siirrettiin Indianan 13. vapaaehtoisrykmentin komentajaksi. Keväällä 1862 hän komensi kokonaista prikaatia James Shieldsin johtamassa divisioonassa ensimmäisessä Kernstownin taistelussa. Pian taistelun jälkeen hänet ylennettiin prikaatikenraaliksi. Sullivan työskenteli loppusodan aikana useissa eri tehtävissä komentaen muun muassa kokonaista divisioonaa Länsi-Virginiassa ja erosi armeijasta sodan lopulla toukokuussa 1865. Sullivanille ei sodan loputtua myönnetty brevet-ylennystä kenraalimajuriksi, vaikka hän olikin toiminnut pitkään divisioonan komentajan.