Han ble utnevnt til justisminister av Madison i 1814 og tjenestegjorde til 1817. Fra 1818 var Rush USAs minister i London ved det britiske hoff. Han etterfulgte John Quincy Adams i dette embetet. Rush ble overraskende populær som minister i Storbritannia til tross for at han tidligere var blitt oppfattet som antibritisk, og han ga uttrykk for at han trivdes i London gjennom sin åtteårsperiode, hvor han blant annet var med på å forhandle frem flere viktige avtaler mellom de to landene.