Palasset har 50 rom, og ble bygd av Francesco Bartolomeo Rastrelli for greve Mikhail Illarionovitsj Vorontsov, keiserinne Elisabeth av Russlands kansler, i slekt med henne på morssiden. Det meget kostbare palasset ble bygd på åtte år, fra 1749. Etter at han niese Elisabeth falt i unåde ble Vorontsov utestengt fra hofflivet, og solgte sin hovedresidens til kronen.