In januari 1862 werd Pegram vrijgelaten in Baltimore. Hij kreeg de toestemming om naar Richmond af te reizen in afwachting van de gevangenenruil met een Noordelijke officier. Daar ontmoette hij Hetty Cary die al snel zijn verloofde werd. Na zijn officiële thuiskomst werd hij bevorderd tot kolonel. Hij diende zich bij generaal P.G.T. Beauregard te melden om dienst te doen al hoofd van de genie. Kort daarna voerde hij dezelfde functie uit bij Braxton Bragg. Al snel werd hij naar generaal-majoor Kirby Smith gestuurd om stafchef te worden tijdens de Kentuckyveldtocht.