Toen in 1632 Maastricht werd ingenomen door Staatse troepen kwam het kapittel onder voogdij van de Staten-Generaal, maar verder bleef alles bij het oude. Het kasteel bleef bewoond door de rijproosten van het kapittel, die het in 1776 moderniseerden, tot het in de Franse Tijd, na opheffing van het kapittel, in beslag werd genomen. Nieuwe eigenaar werd de Maastrichtenaar Jean François Bachelier, die het doorverkocht aan Frans de Backer uit Mechelen. In 1857 werd A.H. Becker eigenaar. Deze liet in het interieur de zeer dikke buitenmuren deels wegkappen met als doel om ruimte te winnen. Later werd het gebouw verhoogd en werden vier hoektorentjes aangebracht. In 1931 werd de oorspronkelijke kap vervangen door het huidige mansardedak.