Ulstein har hatt flere verv i frivillige organisasjoner og offentlige utvalg. Han har vært styreleder i OIKOS Økologisk Norge og i KFUK-KFUM Global (da Ungdomsaksjonen), ordfører i Frisam Kontaktforum og var daglig leder ved etableringen av Frivillighet Norge i 2005.