Во время Крымской войны Пестелю было приказано, в случае высадки неприятеля, вывезти из Симферополя бумаги всех присутственных мест. И действительно, после того, как 4 о сентября 1854 года неприятель высадился в Евпатории и стал производить опустошения неподалёку от Симферополя, и когда пришло известие о поражении 8 сентября под Альмой, а посланные к главнокомандующему за сведениями курьеры и чиновники особых поручений не возвращались, и городу начинала грозить опасность от неприятеля, — Пестель решился привести в исполнение данное ему на этот случай предписание. Взяв на подводах бумаги, часть архивов всех присутственных мест и все большие, по случаю военного времени, суммы из казначейства, Пестель 10 сентября выехал из города во главе этого поезда. Жители, оставленные только с несколькими ротами гарнизона и инвалидной командой, перепугались и бросились вслед за губернатором. Известия о безопасности застигли беглецов уже на дороге, и весь поезд по приказанию кн. Меньшикова должен был вернуться обратно. Сведения об этом дошли до Петербурга и, несмотря на то, что Пестель объяснил в главной квартире причины, побудившие его к бегству, он 11 ноября 1854 года был уволен от должности губернатора.