La propia condesa de Olivares, que también era Camarera mayor de la reina Isabel, ejerció como aya del príncipe, lo que dio lugar a comentarios sobre el control que el conde-duque de Olivares ejercía sobre el heredero.