Vestervig var opprinnelig krongods, og det ble omtalt i Kong Valdemars jordebok. Det var i dette område at Thys lokale skyttshelgen Sankt Thøger (eller Theodgar) hadde sin gang på 1000-tallet. Klosteret ble grunlagt ca. 1110 og ble sete for augustinerordenen, og Thøgers jordiske rester ble overført til klosterkirken i 1117. Vestervig kloster skulle bli et av landets rikeste, og her hadde de første biskoper av Vendelbo stift sete.