Uansett relasjonen mellom kvener og birkarlene, var de sistnevnte en gruppe som gjør seg gjeldende i senmiddelalderen og inn på 1500-tallet. De har holdt til i bondebygdene i Torne-, Lule og Piteälvdalenes nedre deler. Birkarlene oppsøkte samene både i innlandet (dagens Väster- og Norrbotten), men også samene ved kysten og i nordligste deler av Norge, samt de vestligste deler av den finske Lappmarken. Spesielt var de ute etter kostbart pelsverk og noen ganger tørket fisk. I tillegg til å drive handel med samene, hadde birkarlene altså rett til å kreve inn skatter. Under Kalmarunionen fra 1389 til 1521 ble skattelegingen noe endret. Birlkarlene fikk da anledning til å drive handel og ta skatt fra samene helt ut til kysten i Nord-Norge. Men da unionen ble brutt opp, ble de nektet tilgang til de norske fjordene og kystområdene.