Stein fra borgmurene ble siden brukt i grunnmurene på privathus i byen, blant annet i den gamle bydelen Fjerdingen, og i dag er det bare lave ruiner igjen av anlegget på Slottsfjellet. Til Tønsberg bys 1000-års-jubileum i 1888 ble Slottsfjellstårnet reist på fjellet, som har blitt byens mest kjente landemerke.