В 1865 году вышел в отставку с чином тайного советника и жил преимущественно в имении жены Елизаветы Фёдоровны (Елизавета Флорентина, вдова А. Н. Хвостова, героя Отечественной войны 1812 г. адъютанта М. И. Голенищева-Кутузова и генерал-лейтенанта И. В. Сабанеева) в Тверской губернии. В последние годы жизни делал разыскания по еврейскому вопросу, особенно о так называемом «саддукеизме»; оставил в рукописи сочинение, в котором доказывал, что полное осуществление саддукейской доктрины составляет теперь цель и задачу одного древнего еврейского тайного общества, распространенного почти повсюду и скрывающегося до времени под благовидными формами. До конца жизни старался расширять свои познания чтением книг, пополняя обширную коллекцию книг и рукописей на разных языках. С особенной любовью занимался ботаникой и собрал замечательный гербарий. Работал над мемуарными очерками, с начала 1870-х годов публиковавшихся в российской периодике.