Relacionado con la conspiración Lopujiná, los Golovkín cayeron en desgracia y sus posesiones fueron confiscadas por la emperatriz Isabel, quien pidió a un arquitecto de la corte, Francesco Bartolomeo Rastrelli, que preparara planes para un nuevo palacio en Ropsha.