Stark leiden mussten die Elseyer Bewohner bis Ende des 18. Jahrhunderts unter Seuchen, wie der Pest oder den Blattern, Hungersnöten, Raubzügen und Brandschatzungen. In den Kriegen unter Plünderungen, Einquartierungen und Überfälle. Im Kölnischen Krieg (1587) wurde das Kloster durch Brandschatzung ein Raub der Flammen (Neubau an gleicher Stelle bis ins 17. Jahrhundert). Furchtbar waren die Raubzüge und Brandschatzungen in Elsey 1599 und 1616 unter dem Befehl des Francisco de Mendoza während des Spanisch-niederländischen Krieges. 1616 brannte auch die gräfliche Kornmühle am Lenne-Mühlengraben ab (Neubau bis 1619). Im Dreißigjährigen Krieg war Elsey mal von Hessen und Schweden, mal von kaiserlichen Truppen besetzt. Leidvoll die Einquartierungen in Elsey und Limburg von 1633 bis 1636 unter dem kaiserlichen Generalfeldwachtmeister Lothar von Bönninghausen. 1654 waren die Dorfbewohner verarmt, viele Häuser zerstört und die Äcker der Bauern verwüstet. Während des Siebenjährigen Krieges war Elsey 1761 von dem gefürchteten Fischer’schen Freicorps besetzt, die zudem die Blattern mitbrachten und 68 Bewohner daran starben. Besonders schlimm traf es auch am 29. April 1783 die Bewohner von Reh, als das ganze Oberdorf, außer zwei Häuser, mit 14 Wohnhäusern und zahlreichen Scheunen und Ställen abbrannte.