Muravjov-Amurskij gikk av som Generalguvernør i 1861 etter at hans forslag om å dele Øst-Sibir i to separate Generalguvernater ble avslått. Han ble utnevnt til medlem av Statsrådet iRussland. I 1868 flyttet han til Paris i Frankrike, hvor han bodde til sin død i 1881. Han besøkte bare Russland fra tid til annen for å delta i møter i Statsrådet.