Im 15. Jahrhundert kam der Besitz an Sibert von Kessel und anschließend an Sander von Eyll. Letzterer wird 1494 noch als Eigentümer genannt. Um 1500 kam Schloss Effeld über Siberts Tochter vermutlich durch Erbschaft an Dietrich von Baexem aus dem Geschlecht der Herren von Baexem (auch Baexen geschrieben). Sein Sohn Heinrich aus der Ehe mit Barbara de Wilde von Mersen trat nach dem Tod des Vaters 1502 die Nachfolge auf Effeld an. Er wurde 1542 als erster seiner Familie urkundlich als Besitzer von Haus Effeld genannt. Bei seinem Tod 1567 wurde Heinrich von einem Sohn aus erster Ehe, Mattheus von Baexem, beerbt. Während dieser Herr auf Haus Effeld war, hatte der Besitz stark zu leiden. Grund dafür war der Truchsessische Krieg, in dessen Verlauf spanische Truppen unter Führung des Fürsten von Chimay, Charles III. de Croÿ, die Anlage am 7. April 1584 plünderten und in Brand steckten. Die Spanier suchten Effeld im gleichen Jahr noch einmal heim und verursachten insgesamt einen Schaden von 2000 Goldgulden.