I tillegg til å være politiker er Ulven engasjert i Forsvaret gjennom Oslo og Akershus Heimevernsdistrikt 02, hvor han var områdesjef i mange år. Nå har han en stilling i distriktsstaben.