Stedet har hatt en tidlig bosetning. Det er flere steder funnet pilespisser og steinredskaper fra steinalderen. Fra jernalderen (ca. 700 e. Kr.) er det funnet en jernøks som i dag ligger på Tromsø museum. Det er ikke bekreftet, men på stedet ligger også en gravplass som kan være fra jernalder/vikingtid. Kildene er usikre, men det er ikke usannsynlig at stedet hørte til under det såkalte Bjarkøy-godset i middelalderen. Tidligste skriftlige kilde er fra 1300-tallet. Blant annet var det rundt år 1400 beskrevet at stedet ble overført fra en viss Elsebet, ”for sin sjels frelse”, til den katolske kirke. Etter reformasjonen ble alt kirkegods overført til kongemakten. Ved folketellinger utover 1600- og 1700-tallet nevnes stedet som en base i Ofoten for jektefart til Bergen og Trondheim. Det var også eget gjestgiveri på stedet. Sommeren 1743 var Vidrek tingsted i forbindelse med den norske majoren Peter Schnitlers grenseoppgangskommisjon. En viktig oppgave for denne kommisjonen var å fastsette grensen mellom Norge og Sverige, samt avklare de svenske reinsamenes rettigheter på norsk side. Dette var en del av det arbeidet som til slutt skulle resulterte i den såkalte lappekodisillen. Muntlig tradisjon hevder også at det har vært kapell på Vidrek, men er sålangt ikke bekreftet verken i skriftlige kilder eller ved arkeologi. Fra ca. 1820 mistet stedet sin økonomiske betydning, da andre handelssteder tok over.