Han ble født på Kampen og vokste opp hos sine besteforeldre i Sarpsborg. Han byttet navn fra Pedersen til Sveen etter at hans far Arnt Pedersen dro til USA. Han tok navnet Sveen etter sin mor og besteforeldre. Faren hadde et allsidig i Pennsylvania og Alaska, og var blant annet kjent som sanger Sitka.