Ulstein har tidligere vært politisk rådgiver for byråd Filip Rygg under Mæland-byrådet. Han har også arbeidet som ungdomsleder i Salem Misjonsforsamling og som leder for Haraldsplass Kurs og Samtale. Fra 2014 arbeidet han som utviklingssjef for Stiftelsen Bergen Diakonissehjem.