En rekke konflikter med russerne førte til at danskene påbegynte bygging av en fortifikasjon av stein på begynnelsen av 1300-tallet. Dette var en 40 meter langt kastell-lignende bygning med tårn, en forløper det til det senere Hermannstårnet, i det nordvestlige hjørnet. Det ble også etablert en liten borggård på den nordlige siden, mens det på midten av samme århundre ble bygget en større borggård på vestsiden, hvor byens befolkning kunne søke beskyttelse i krig, da selve byen under det danske styret ikke var beskyttet av en bymur.