Nachdem Crump mit einem Freund nach Petersburg umgezogen war, trat er im November 1864 in das 10. Alabama-Infanterieregiment ein. Er kämpfte in der Belagerung von Petersburg und war Zeuge der Unterzeichnung der Kapitulation im Appomattox Court House durch Robert E. Lee. Nach dem Krieg wohnte er in Talladega County, Alabama, wo er mit 22 Jahren Mary Hall heiratete, mit der er später fünf Kinder hatte. Die Ehe hielt bis zu Halls Tod 1901. 1905 heiratete er seine zweite Frau Ella Wallis, die 1942 starb. Danach verbrachte Crump seinen Lebensabend bei einem seiner Enkel. Er wurde in der Hall Cemetery in Lincoln beigesetzt.