Wojna trzynastoletnia (1454–1466) i wojna popia (1478–1479) dokonały na Warmii zniszczeń i znacznie nadwerężyły stan obwarowań miejskich. Dlatego pod koniec XV i na początku XVI wieku mieszczanie olsztyńscy zastąpili kamienne mury obronne ceglanymi znacznie je podwyższając i łącząc z murami zamku. Wówczas zbudowano też obecną Wysoką Bramę oraz prawdopodobnie Stary Ratusz i Dom Burmistrza.