John C. Breckinridge
その後ジェファーソン大統領は、ジョン・ブレッキンリッジをスミスの代わりに司法長官として任命した。スミスは引き続き海軍長官を務め、ジェファーソン大統領の任期終了の1809年3月4日に海軍長官を退任した。ジェームズ・マディソンが新たに大統領に就任すると、マディソンはスミスを国務長官に任命した。スミスは1809年3月6日から1811年4月1日に辞職するまで同職を務めた。