此宫殿是由叶卡捷琳娜二世的宠臣，18世纪60年代最有权势的俄罗斯贵族格里戈里·奥尔洛夫伯爵兴建。工程开始于1768年，由曾帮助装饰那不勒斯附近宏伟的卡塞塔皇宫的建筑师安东尼奥·里纳尔迪设计。这座宫殿得名于各种各样华丽的大理石。地面的粗颗粒芬兰花岗岩与壁柱的抛光粉红色卡累利阿大理石以及柱子的白色乌拉尔大理石形成微妙的对比，还使用了蓝灰色乌拉尔大理石和塔林白云石。用来装饰宫殿的共有32种深浅不同的大理石。宫殿的平面为梯形，四个立面虽然严格对称，却有着不同的设计。其中一个立面有凹进的庭院，在1937年到1