Ustvedt ble cand. philol. i 1955. Han var lektor ved Sorbonne fra 1958 til 1961. I 1965 tok han doktorgraden på en avhandling om Henrik Wergelands lyrikk. Som student var han formann (titulert «Formand») av Det Norske Studentersamfund i 1954.