Haapsalu fikk byrettigheter i 1279, men byens historie strekker seg tilbake til 1263, da den ble valgt til den katolske biskopens høysete for Lääne og Saare. Biskopkatedralen ble fullført i andre halvdel av 1200-tallet. Midt i byen finner vi også en middelalderborg – biskopens fort. Det 38 meter høye tårnet er intakt, og kan besøkes. Borgen var i en periode svensk, og er delvis bygd av svensker.