La di "Haberturm" fu una delle torri più antiche del castello di Königsberg in quanto alcune sue basi risulterebbero già erette dai Cavalieri Teutonici durante la loro prima costruzione in pietra del castello nel 1255, sul lato nord-est delle mura. Quando il castello conobbe il proprio primo assedio nel 1260, la torre aveva già uno scopo difensivo e la caratteristica forma ottagonale leggermente irregolare che mantenne anche nei secoli successivi, malgrado gli ampliamenti subiti dal complesso.