Majątek w Colmar-Berg znalazł się w posiadaniu wielkiego księcia Luksemburga w 1845. Rewolucja belgijska rozdzieliła Luksemburg od Holandii, której dotychczas był częścią, znosząc też holenderskie zwierzchnictwo nad fortecą w mieście Luksemburgu. Od tego momentu Luksemburg i Holandia związane były unią personalną. Wielki książę Wilhelm II (jednocześnie król Holandii) czynił starania, by w księstwie stworzyć odpowiednią rezydencję i w tym celu zakupił zamek Berg od rodziny Pasquier. W 1848 w nowo ogłoszonej konstytucji, zamek ten wymieniono jako oficjalną reprezentacyjną rezydencję wielkiego księcia. Wilhelm II miał też nadzieję, że okazując zainteresowanie sprawami Luksemburga i dzieląc równo swój czas pomiędzy Hagę a Luksemburg, przypodoba się lokalnym mieszkańcom, przeważnie katolikom.