Wilhelmsen er født og oppvokst i Tromsø. Faren, Berner Wilhelmsen, drev butikk i Tromsø sentrum, mens moren jobbet bak disken i butikken og var husmor. Wilhelmsen har beskrevet det som et arbeiderhjem. Han vokste opp med tre søsken.