Reeds in de 10e eeuw stond hier een versterkt kasteel op een rots boven de Maas, dat een inval van de Noormannen moest verhinderen. De middeleeuwse burcht werd echter door de Franse troepen verwoest in 1674, samen met het enkele kilometers stroomafwaarts gelegen Fort Navagne na het Beleg van Maastricht, waarna in 1683 het huidige kasteel werd gebouwd. Dit werd bewoond door de graven van Mercy d'Argenteau. Een van hen bracht het tot kamenier van keizer Napoleon. Later was ook Franz Liszt meermaals te gast op het kasteel, uitgenodigd door Louise, echtgenote van kasteelheer Eugène de Mercy d'Argenteau.