La emperatriz Isabel, sin embargo, consideró que la residencia de su madre estaba pasada de moda y que era incómoda, y en mayo del año 1752 pidió a su arquitecto de corte, Rastrelli, que demoliera la antigua edificación y la reemplazara con un edificio mucho más grande en un llamativo estilo rococó.