Hans far var lensmannen Erling Ivarsson (nevnt i kilder i 1263 og 1264), morens navn er ikke kjent. Vidkunn stammet fra Bjarkø-slekten, som eide store eiendommer. En rekke av Norges viktigste menn i middelalderen nedstammer fra ham. Selv om han ikke var så betydelig som broren Bjarne Erlingsson, var han ikke desto mindre medlem av det høyeste riksaristokrati i siste del av høymiddelalderen. Deres far hadde deltatt i kong Håkon IV Håkonssons tokt til Skottland i 1263.