Carroll se retire de la vie publique en 1801. Après l'élection de Thomas Jefferson à la présidence des États-Unis, il s'inquiète de la politique du pays et est opposé à la guerre de 1812 contre l'Angleterre. En 1827, il sort de sa retraite pour aider à la création du Baltimore and Ohio Railroad. Sa dernière apparition publique se déroule le , lorsqu'il pose la première pierre ("cornerstone") du chemin de fer. En février 1832, Alexis de Tocqueville et Gustave de Beaumont le rencontrent à la fin de leur fameux voyage aux États-Unis. En mai, il est invité à participer à la première convention du Parti démocrate, mais il décline la proposition à cause de son état de santé.