En 1956 sufrió un duro golpe que afectó a su familia: la muerte accidental de su hijo más pequeño, el infante Alfonso, de catorce años, mientras jugaba con un revólver con su hermano Juan Carlos.