Su infancia estuvo marcada por la ausencia del padre y la falta de amor de su madre, la condesa de Chinchón, que «aborrecía su presencia».