Los trabajos del palacio comenzaron en 1781 bajo dirección del famosos arquitecto escocés Charles Cameron.