Carlos se crio primero en compañía de sus tías y tras las bodas de estas con familiares cercanos, pues su padre no estuvo en España de 1548 a 1551 ni de 1554 a 1559.