来两人遭到斐迪南二世的放逐。因此豪斯登堡宫在兴建完成之后，反而直接转交给荷兰省督腓特烈·亨利以及其妻子当作夏天居所使用。而在腓特烈·亨利于1647年逝世后，艾玛莉亚则为了表示对于丈夫的怀念而聘请了雅各布·乔登斯、、和等着名艺术家协助装饰宫殿，并且由丹尼尔·马罗特设计新的饭厅。在接下来的一个半世纪豪斯登堡宫的拥有者便不断更换，其中包括奥伦治-拿索王朝、普鲁士王室以及一些当地贵族，1795年法国佔领荷兰后则将豪斯登堡宫转交给巴达维亚共和国，其中拿破崙一世的姪子拿破崙三世在其父母担任荷兰国王时便曾居住其中。在