Valga não possuía castelos ou muralhas protetoras da cidade com torres, como era comum para uma cidade medieval. Portanto, sofreu seguidas invasões em 1298, 1329, 1345 pelos lituanos comandados pelos Grão-Duques Gediminas e Algirdas. Em 1419 tornou-se sede da Landtag da Confederação da Livônia e a partir de então foi destruída e incendiada muitas vezes, agora pelos russos. Até que em 1558, durante a Guerra da Livônia, o povoado medieval de Walk foi completamente destruído.