Перед празднованием годовщины Кючук-Кайнарджийского мира Баженову поручили возведение павильонов на Ходынском поле, и в 1775 году работы над дворцом были окончательно прекращены. Официальной причиной называли осадку стен Архангельского собора. Ряд историков полагает, что на решение императрицы также повлияла её нелюбовь к Москве, усилившаяся после Чумного бунта. Для прекращения работ в город отправили подполковника Иванна Герарда, который составил заключение о состоянии строительной площадки, выгодное императрице. Московские архитекторы отказались подписывать рапорт, после чего Баженова объявили виновным в прекращении строительства. Он признавался позднее, что «кремлевские контрфорсы осадкою своею всё у меня отняли». Скомпрометированный произошедшим архитектор оказался в опале. Отдельные исследователи полагают, что на это также повлияло участие архитектора в масонской ложе. Оскорблённый Баженов отказался участвовать в демонтаже возведённого фундамента, поэтому работы поручили Карлу Бланку.