Als ein weiterer Rabodo von der Horst kurz vor 1484 starb, kam es zu Erbstreitigkeiten um den Rittersitz. Rabodos jüngerer Bruder Johann, der Mönch in der Abtei Siegburg war, hatte zugunsten Arnds von Wachtendonk auf sein Erbe verzichtet, sodass Arnd 1484 als Lehnsnehmer eingesetzt wurde. Aber ein weiterer Bruder Rabodos machte ebenfalls Ansprüche auf Haus Horst geltend: Wilhelm von der Horst, klevischer Erbmarschall, erreichte durch seine Bemühungen schlussendlich, dass ihn Erzbischof Hermann IV. am 8. August 1492 mit dem Haus belehnte. Er war der letzte männliche Spross der Familie auf Haus Horst, denn nach seinem Tod ging der Besitz am 9. März durch seine Erbtochter Elisabeth an deren Ehemann Elbert von Palant. Über Elberts jüngeren Sohn Werner kam die Anlage im März 1572 an Werners Neffen Friedrich von Palant zu Issum. Während des Truchsessischen Kriegs befand sich die Anlage kurzzeitig in der Gewalt von Anhängern des zum Protestantismus übergetretenen Kurfürsten Gebhard Truchsess von Waldburg-Trauchburg. Aus diesem Grunde ließ Ernst von Bayern das anlässlich der gewaltsamen Auseinandersetzungen befestigte Haus ab Februar 1585 belagern und konnte es nach Abzug der 150 Mann starken Burgbesatzung am 6. März einnehmen.