Im Gegensatz zum längst mit Mauern und Gräben bewehrten Stift war Xanten weitgehend unbefestigt, die zunächst angelegten Holzpalisaden konnten die Besetzung Xantens im Geldrischen Erbfolgekrieg 1372 nicht verhindern. Nachdem Xanten von 1322 bis 1331 an die Grafen von Kleve verpfändet worden war, die gleichfalls Vogtrechte über das Stift und das 1116 gegründete Kloster Fürstenberg besaßen, war neben Rees, der Herrschaft Linn und Rheinberg insbesondere Xanten Anlass für drei zum Ende des 14. Jahrhunderts geführte Kriege zwischen Graf Adolf I. von Kleve und dem Kölner Bischof Friedrich III. von Saarwerden, der versuchte seinen weltlichen Einfluss am Niederrhein zu festigen und auszuweiten. Erst jetzt wurde Xanten ab 1389 auf einem fast rechteckigen Areal von knapp 25 Hektar mit einer bis zu acht Metern hohen Mauer (Bauzeit etwa 60 Jahre), vier Doppeltoren sowie 18 Türmen und Kleintoren befestigt. Während der Rhein im Nordosten und sumpfiges Gelände im Süden und Westen zusätzlichen Schutz boten, wurde die nördliche Befestigung unter anderem mit dem Klever Tor und einem als Kriemhildmühle genutzten Rundturm verstärkt ausgebaut. Während der Linner Fehde konnte Friedrich III. 1392 schließlich Linn und Rheinberg für sich gewinnen, verlor jedoch Rees und den nördlichen Teil Xantens an Adolf I. Von der Teilung der Stadt zeugt das über einen Wehrgang mit dem "Meertor" verbundene, 1392 erbaute "Mitteltor".