De siste 29 årene av sitt liv publiserte de Vigny lite. Han trakk seg tilbake til en eiendom han arvet nær Angoulême. Her skrev han noen av sine mest berømte dikt, som og og en dagbok som det etter hans død ble utgitt fragmenter av. Kritikeren Sainte-Beuve skal ha formet uttrykket «elfenbenstårn» for å beskrive de Vignys tilbaketrukne tilværelse. I 1845 ble de Vigny valgt til medlem av Det franske akademi.