Durch die Belgische Revolution, an der sich Luxemburg beteiligte, wurde das Land von den Niederlanden getrennt, verblieb jedoch in Personalunion mit dem niederländischen Königshaus. Durch die Trennung verringerte sich auch der Einfluss des Königs auf die Festung Luxemburg. In der Hoffnung, dass die Trennung die größtenteils katholische luxemburgische Bevölkerung beschwichtigen würde, machte sich König Wilhelm II. auf die Suche nach einer passenden Residenz in Luxemburg und erwarb das Grundstück in Colmar-Berg 1845 von den Pasquier. Durch die neue Verfassung von 1848 wurde das Schloss als exklusive Residenz des Großherzogs bestätigt.