Thøger stammet trolig fra en adelig familie i Thüringen, men forlot sin familie tidlig for å studere teologi i England. Siden fulgte han med Olav den hellige til Norge, hvor han ble kapellan. Da kongen døde under slaget på Stiklestad, reiste Thøger til Vendsyssel i Danmark. Ved Vestervig bygget han en kirke, som ifølge legenden besto av ris og kvister. Han døde omkring 1065 og ble begravet i Vestervig.