С назначением наместником Царства Польского князя M. Д. Горчакова Панютин не нашел возможным продолжать службу в Варшаве и был причислен к Министерству внутренних дел Российской империи, и только вспыхнувший мятеж в Северо-западном крае вновь призвал Панютина в польскую столицу, но не надолго: он был назначен в 1863 году председателем Следственной Комиссии для разбора дел по политическим преступлениям и обратил на себя внимание графа M. H. Муравьёва (в то время генерал-губернатора Западного края), по представлению которого и был назначен губернатором в Вильну.