Dès l'enfance, son rêve fut d'entrer à l'Ecole navale pour laquelle il s'était préparé avec acharnement. Son tuteur n'ayant pas fait en temps utile les démarches nécessaires, il me pût se présenter aux examens. Ce fut une déception profonde pour lui de renoncer à sa vocation préférée et c'est alors qu'après ses études au lycée Henri-IV, il se tourna vers l'École Spéciale Militaire de Saint-Cyr où il fut reçu le , à l'âge de , le 15 octobre 1819. Il ne put cependant suivre les cours de cette école, sa famille, ruinée par la révolte de Saint-Domingue, n’ayant pas assez de ressources pour payer sa pension. Les généraux Jean-Baptiste Milhaud et Augustin-Daniel Belliard, en témoignage de l’affection qu’ils portaient au général Chassériau, offrirent à Charles-Frédéric tout juste admis à Saint-Cyr de lui payer la pension que l’État lui refusait. Par fierté et bien que reconnaissant, il ne crut pas devoir accepter et ne devint pas soldat.