Ifølge legenden ble borgen bygget omkring 1067. Den eldste skriftlige kilde til borgens navn er et dokument fra 1080, der Bruno biskop av Merseburg, nevner «En borg kalt Wartburg».