Østberg ble cand. philol. i 1991 med hovedoppgave om den aristokratiske etos og forholdet til arbeid i Frankrike under det gamle regimet (ancien régime). I 2004 ble han dr.art. med en avhandling om lojalitetsbånd og sivilisering under den franske revolusjon. Han har undervist i historie og fransk kulturkunnskap ved Universitetet i Oslo.