Затем — с 3 апреля 1851 г. назначен Калужским губернатором, а 27 апреля 1854 г. переведён в Таганрог, военным губернатором и управляющим гражданскою частью градоначальства. Эту должность он занимал до сентября 1856 г., причём принял деятельное участие в отражении неприятеля при бомбардировке города 22.09.1855 г.. На протяжении двух лет, с 31 августа 1859 года служил губернатором в Пензе, а 4 августа 1861 года назначен сенатором. В 1868 г. граф Толстой занял должность первоприсутствующего в соединенном присутствии 1 и 2 отделений 5-го департамента и департамента герольдии. В 1870 г. по случаю 50-летия службы награждён орденом Св. Александра Невского.