Ulstad tok artium ved Trondheim katedralskole i 1829 og teologisk embedseksamen i 1837. Ved etableringen av Klæbu seminar i 1839 ble Ulstad ansatt som annenlærer, mens sogneprest Hans Jørgen Darre ble bestyrer og lærer. Fra 1860 til 1874 var Ulstad seminarets bestyrer, og stillingen som bestyrer ble dermed løst fra kallet som sogneprest. Ulstad bidrog til å forme lærerutdannelsen, men påstanden om at han skal ha dosert sine grundtvigianske ideer overfor seminaristene, har blitt imøtegått.