宮殿の建つリヴァディアはかつてロシア帝国の領土であり、当初この土地はギリシャ海軍の将軍ランブロス・カトソニスに与えられた。1834年にポーランド人マグナートであるポトツキ家の所有となり、レオン・ポトツキは宮殿、カトリックの礼拝所、庭園を作り、ポトツキ公園と呼ばれた。ポーランド1月蜂起を経てポトツキ公園は1860年代からはロマノフ家の手に渡りロシア皇帝の避暑地となっていた。1879年、中央アジアのイリ地方を巡る紛争で清とリヴァディア条約を締結（1881年にイリ条約が結び直される）、1895年からポトツキ公園の大改装が行われた。