Así, en 1811 se trasladan a Madrid e ingresa como internado, junto con su hermano Eugène, en una residencia religiosa que los Escolapios tenían en el colegio de San Antón y que los ocupantes franceses habían convertido en un «seminario de nobles».