Wallin var født i Sverige av en norsk omstreiferfamilie, som vandret i området mellom Finnskog, Drevsjø og svenskegrensetraktene. Hans far het Jakob Andersen Wahlgren, skal ha vært født i Lesja i Gudbrandsdalen og var «tater» og omstreifer. Moren het Anna Johansdatter og var husmannsdatter. Ettersom foreldrene var norske, mens han var født i Sverige, oppstod det spørsmål om hans nasjonalitet. Wallin hadde ikke gode barndomsminner, moren døde da han var liten gutt, og faren skal ha vært en tyrann. Allerede som fjortenåring flyktet sønnen fra faren, og begynte å streife rundt i de samme traktene på begge sider av landegrensen. Han vandret mye alene, og arbeidet både som kopper- og blikkenslager.