König Konrad III. erwarb 1142 von den Neumünster-Kanonikern in Würzburg die Ortschaft Detwang, zu welcher der nordwestlich der heutigen Stadt gelegene Bergsporn gehörte, und errichtete auf der Fläche des heutigen Burggartens die Burg Rothenburg. Für 1150 ist ein Aufenthalt Konrads in Rothenburg nachgewiesen. Neben dieser Burg oberhalb der Tauber entstand eine Stadt, aus deren geographischer Lage sich der Namenszusatz "ob der Tauber" ableitet. Die Burg wurde möglicherweise durch ein Erdbeben um 1356 zerstört oder zumindest beschädigt. In der historischen Forschung herrscht diesbezüglich keine Einigkeit.