Etter at han ble tvunget til å gå av som utenriksminister ble han formann for American Bible Society i 1813. Han var også med på å grunnlegge Maryland Agriculture Society før han trakk seg tilbake fra det offentlige og pensjonerte seg. Robert Smith døde den 26. november 1842 i Baltimore i Maryland i en alder av 85 år.