Ulvestad ble student i 1943 og studerte filologi ved Universitetet i Oslo fra 1945 til 1947, ved Dartmouth College i USA fra 1947 til 1948, Universitetet i München 1952–1953. Han tok doktorgraden ved Universitetet i Wisconsin med en avhandling om i 1954, og var ansatt ved Universitetet i California fra 1956 til 1957. Han var professor i tysk ved Universitetet i Bergen fra 1957 til 1992. Hovedfeltet hans var tysk syntaks. Han var også interessert i dialektologi, særlig sin egen dialekt, sunnmørsk.