Charles-Just de Beauvau-Craon was een telg uit de oude adellijke familie de Beauvau uit Anjou en werd geboren op het kasteel van Haroué als oudste zoon van Marc-Étienne-Gabriel de Beauvau-Craon (1773–1849), 3e prins van Beauvau, en Nathalie-Henriette-Victurnienne de Rochechouart Mortemart (1774–1854). Hij diende ten tijde van het Eerste Franse Keizerrijk als officier bij de karabiniers in meerdere veldtochten van keizer Napoleon Bonaparte. Tijdens de Veldtocht van Napoleon naar Rusland in 1812 geraakte hij zwaargewond in Voronovo (Voranava in het huidige Wit-Rusland), tijdens de terugtocht van het Franse leger. Vanwege zijn verwondingen werd hij gedwongen het leger te verlaten, waardoor hij zich ging toeleggen op politiek.