Smith foretrakk ofte en utenrikspolitikk som skilte seg fra den øvrige politikken i kabinettet, samtidig som Madison med sin rutine i embetet anså at han like gjerne kunne være sin egen utenriksminister. Da Gallatin truet med å trekke seg fra regjeringen i mars 1811 hvis ikke Smith ble fjernet, tok Madison grep og utnevnte Smith som ambassadør til Russland i et forsøk på å forhindre ham en fremtidig stilling i regjeringen. Smith nektet å godta dette og ble tvunget til å gå av i april 1811 etter bare to år i embetet.