Маргарита Австрийская
Позднее князь был назначен воспитателем юного эрцгерцога, но, поскольку правительница Маргарита Австрийская почти полностью сосредоточила в своих руках заботу о племяннике, Шарль де Крой не оказывал на него никакого влияния, тяготился своей должностью, и в 1509 году с легкостью уступил её Гийому де Крою.