Bullock wurde 1828 im Granville County in North Carolina geboren und arbeitete später in Florida als Rechtsanwalt. Bei Ausbruch des Bürgerkriegs trat er ins Heer der Konföderierten ein und wurde Hauptmann im 7. Florida-Infanterie-Regiment. Bei der Schlacht am Stones River vom 31. Dezember 1862 bis zum 2. Januar 1863 wurde er verwundet. Nach seiner Genesung kam er zurück in den aktiven Dienst und führte seine Truppen bei der Schlacht am Chickamauga am 19. und 20. September 1863. In dieser Schlacht verlor er viele seiner Männer, konnte aber auch rund 150 Gefangene machen. Danach nahm er am Atlanta-Feldzug vom Mai bis September 1864 teil und wurde zum Brigadegeneral befördert.