Østvedt utga en lang rekke bøker om lokalhistoriske emner fra Skien og Telemark og om Henrik Ibsen. Han skrev dessuten NSBs historie til 100-årsjubileet i 1954, samt biografier om Bernhard Dunker, Christian Magnus Falsen og Frits Thaulow.