Han gikk inn utenrikstjenesten i 1977 med første postering ved den norske ambassaden i Ankara 1979-1982 og deretter ved Norges delegasjon til Europarådet i Strasbourg 1982-1985. I 1996 ble han utnevnt til minister ved Norges delegasjon til NATO i Brussel hvor han tjenestegjorde til han ble utnevnt til underdirektør i Utenriksdepartementet i 1997 og avdelingsdirektør i 1998. I perioden 2001 til 2003 var han spesialrådgiver ved avdeling for sikkerhetspolitikk. I 2003 ble Ulland utnevnt til ambassadør i București hvor han tjenestegjorde til 2007. Han ble deretter på nytt spesialrådgiver i Utenriksdepartementet før han i 2011 ble utnevnt til ambassadør i Vilnius. Ulland tjenestegjorde i Litauen inntil han gikk av med pensjon i 2014.