Kun to dager etter at han gikk av som marineminister i Jefferson-regjeringen ble han utnevnt til utenriksminister av den påtroppende presidenten James Madison den 6. mars 1809, en mann som selv hadde hatt samme embete i den forrige regjeringen. Innad i Madison-kabinettet var Smith en bitter motstander av finansministeren Albert Gallatin, som opprinnelig hadde blitt forespurt om det samme embetet, men som hadde fått motbør fra senatet og Smith selv på grunn av Gallatins utenlandske opphav. Samtidig hadde Smith et tett vennskap til sin bror og Marylands sentator Samuel Smith, som også delte det samme synet.