Stoltenberg ble født i Oslo, men flyttet som niåring til Fetsund. Han startet i underholdningsbransjen allerede tidlig i ungdomsårene. På 1980-tallet hadde han oppdrag i radioprogrammer som og . Derfra ble det NRK P2s Morgenradio og . Etter det tok han historie grunnfag på Universitetet i Oslo, og dro deretter til Lillehammer for å ta TV-regissørutdanning. I 1990 ledet han popmusikkprogrammet på NRK-TV (sammen med sin tvillingbror, Harald Stoltenberg). Utover 1990-tallet hadde han oppgaver bak kamera og hadde regi på en rekke promotion-filmer for NRK Fjernsynet. Han var med å produsere barne- og ungdomsprogrammer som og samt noen dramaserier. Etter noen år bak kamera fikk han i 2000 prøve seg som programleder i det humoristiske underholdningsprogrammet . Han fikk sitt store gjennombrudd som underholder i 2002 med komiserien , der han spilte en rekke roller, deriblant den pågående driftslederen Narvestad som ble mest kjent og i ettertid brukt i flere andre sammenhenger. Han har også satt stemme til flere animasjonsfilmer.