Simon von Vellbrüggen vermachte die Anlage im Jahr 1520 Johann Quadt, dem Amtmann von Erprath. Während des Truchsessischen Kriegs wurde sie vielleicht zu großen Teilen zerstört, denn Norf ging bei den damit verbundenen Kriegshandlungen 1585 „fast zugrunde“. Die von Harff verkauften Haus Vellbrüggen 1602 für 16.000 Reichstaler an Robert von Harff. Mit dem Tod von dessen Neffe, Freiherr Werner von Harff, Erbhofmeister des Herzogtums Jülich und Amtmann zu Geilenkirchen, am 19. Juni 1672 fiel der Besitz an den Sohn von Werners Nichte, Johann Arnold Werner von Harff zu Dreiborn.