Hertuginnen ble født den 28. mars 1926 på Liria slott som det eneste barn av Jacobo Fitz-James Stuart y Falcó, 17. hertug av Alba, og María del Rosario de Silva y Gurtubay, 9. markise av San Vicente del Barco. Hertuginnen ble døpt den 18. april i Det kongelige kapell i Det kongelige slott i Madrid. Hertuginnens gudmor var dronning Viktoria Eugenia av Spania.