Η τοποθεσία φέρεται να ήταν οχυρωμένη από το 1080. Τον πύργο αυτό ανήγειρε ο Λαντγκράβος (χωροδεσπότης) Χέρμαν Α΄ τον οποίο και κατέστησε έδρα μιας σπουδαίας και ζωηρής Αυλής στην περιοχή όπου επισκέπτονταν διάφοροι περιπλανώμενοι ποιητές, μουσικοί κ.ά. Μέχρι το 1440 υπήρξε έδρα των Λαντγκράβων της Θουριγγίας. Ο Πύργος Βάρτμπουργκ που περιλαμβάνει και ένα υπέροχο ανάκτορο ρομανικού ρυθμού είναι ο τόπος της δράσης του περίφημου έργου του Ρίχαρντ Βάγκνερ «Τανχόυζερ» που έχει ως υπόθεση τον διαγωνισμό τραγουδιστών που έγινε εκεί το 1207. Μερικά χρόνια αργότερα υπήρξε πύργος - κατοικία της Αγίας Ελισάβετ της Ουγγαρίας μέχρι τον γάμο της με τον Λουδοβίκο που είχε αρραβωνιαστεί σε ηλικία 4 μόλις ετών. Ο Βάγκνερ τοποθετεί «ποιητική αδεία» το γεγονός της δράσης του έργου του σ' εκείνη την εποχή, αν και ο διαγωνισμός είχε γίνει 20 χρόνια πριν.