Larsen er født og oppvokst på Tofte i Hurum. Senere flyttet familien til Drammen, hvor han tok idrettsfagslinjen ved St. Hallvard videregående skole. Han var et allsidig idrettstalent, med gode treningsvaner og gener for å bli stor og sterk.