Początkowo miasto posiadało niezbyt wysokie mury spięte basztami i wieżami bramnymi: Mariacką, czyli Sztumską, Garncarską (zwaną też Św. Ducha lub Elbląską) i Szewską. Od strony rzeki mury i wał wzmocniono skarpami. Od systemu obronnego zamku miasto oddzielała fosa i mur oporowy zapobiegający osuwaniu się ziemi. Zakaz stawiania z tej strony muru obronnego, wydany przez komtura, spowodowany był zamiarem roztoczenia całkowitej kontroli nad miastem, co znalazło swoje potwierdzenie w czasie późniejszej wojny trzynastoletniej i w czasie najazdów szwedzkich w XVII wieku. W latach 1352–1383 mury obronne miasta podwyższono, a w ciągu wschodnim wzmocniono je dodatkowo siedmioma basztami trójbocznymi, otwartymi od strony miasta.