Cuando era sólo un bebé, su madre, Juana de Austria, que había quedado viuda unos meses antes, abandonó la corte de Lisboa para retornar a Castilla, siendo rey su abuelo Carlos V.