Fra 1945 jobbet han for Utenriksdepartementet fra 1946 som ambassadesekretær ved Norges ambassade i London. I 1947 giftet han seg med Olive May Finley. Han mottok i 1950 en grad fra London School of Economics. Ulstein ble forfremmet til byråsjef i 1956, virket fra 1958 som ambassaderåd ved Den norske utsending til NATO og EEC. Fra 1962 var han ambassaderåd ved Norges ambassade i London.