1561 belehnte Erzbischof und Kurfürst Gebhard von Mansfeld den Grafen Hermann von Neuenahr, einen Anhänger der lutherischen Lehre, mit Rösberg. Er war an der Wahl des Erzbischofs Gebhard Truchsess von Waldburg maßgeblich beteiligt. Ihm war Graf Adolf von Neuenahr gefolgt, der im Kölnischen Krieg auf Seiten des Erzbischofs und Kurfürsten stand. Als Graf Adolf kinderlos gestorben war, verpfändete seine Gemahlin Walburgis die Herrschaft Rösberg für 12.000 Goldgulden an die Gebrüder Wilhelm und Johann Kettler. Diese gaben jedoch schon im Jahr 1603 das Lehen nach der Einlösung an den Koadjutor Ferdinand zurück. Von ihm kam es als Verpfändung an den Grafen Schwarzenberg und von diesem im Jahr 1605 an das Kölner Jesuitenkollegium.