Carroll es va retirar de la vida pública el 1801. Després de l'elecció de Thomas Jefferson com a president, va tenir una gran ansietat envers l'activitat política i no va simpatitzar amb la Guerra de 1812. Va ser escollit membre de la Societat Antiquària dels Estats Units el 1815. Carroll va sortir de la seva jubilació per ajudar a crear el Ferrocarril de Baltimore i Ohio el 1827. En 1828 va encarregar la construcció de la Phoenix Shot Tower i en va col·locar la primera pedra del que seria l'edifici més alt dels Estats Units fins al Monument de Washington. El seu últim acte públic, el 4 de juliol de 1828, va ser la col·locació de la primera pedra del ferrocarril.