С того времени царь стал тяготиться своими прежними советниками и поступал по-своему: Ливонская война была начата вопреки Сильвестру, который советовал завоевать Крым. Болезненная подозрительность Ивана IV, усиливаемая наговорами враждебных партии Сильвестра людей, вражда сторонников Сильвестра к Анастасии и её родным, неумелое старание Сильвестра сохранить влияние на царя грозой Божия гнева произвели постепенно полный разрыв Иоанна с его прежними советниками.