Doch kaum war der ebenfalls mächtige Rivale, das Herzogtum Jülich durch den Ersten Geldrischen Erbfolgekrieg von 1371 bis 1379 gebunden, entsandte der Erzbischof von Köln seine Truppen sowie die Bürgerschützen von Ahrweiler gegen Johann IV. von Rösberg. Nach vier Monaten Belagerung musste sich dieser in der Burg Neuenahr ergeben. Die Sieger zerstörten anschließend die Burg Neuenahr und der Erzbischof von Köln ließ sich von beiden streitenden Familienlinien zusichern, dass an dieser Stelle niemals mehr eine Burg (die wieder zum Raubritternest und zum Hindernis des Verkehrs nach Ahrweiler werden konnte) erbaut werden dürfte. Generationen später kamen die Nachfahren Johanns IV., unter ihnen Hermann von Neuenahr der Ältere, wieder zu hohem Ansehen.