Veiteberg vokste opp på øya Stord i en lærerfamilie og har fortalt at «mor og far formidla ei raus, solid og sosialetisk forankra kristentru som eg aldri har hatt trong til å ta avstand frå».