Thomas gjorde tjeneste i den Mexicansk-amerikanske krig og valgte at blive i unionshæren under borgerkrigen, selv om han stammede fra Virginia. Han vandt en af første sejre for Unionen i Slaget ved Mill Springs i Kentucky og gjorde tjeneste som vigtig underordnet i Slaget ved Perryville og Slaget ved Stones River. Hans standhaftige forsvar under Slaget ved Chickamauga i 1863 reddede unionshæren fra opløsning og gav ham hans mest berømte kælenavn "Rock of Chickamauga"