I 1855 ble han dessuten utnevnt til innenriksminister. På denne post fremmet han, godt hjulpet av dyktige medarbeidere som særlig N.A. Miljutin, for opphevelsen av livegenskapet i Russland. Han fratrådte i 1861 og fikk da grevelig verdighet.