Allison arbeidet på familiens gård nær Waynesboro i Tennessee til han var 21 år. Da den amerikanske borgerkrigen brøt ut, gikk han med på sørstatenes side 15. oktober 1861 som soldat i Tennessee Light Artillery Division. Den 15. januar 1862 fikk han avskjed fra hæren på medisinsk grunnlag. Samme år ble hans bror Monroe ettersøkt som desertør.