Østbye utga en oversettelse av Sofokles' i 1891, men de fleste av oversettelser av klassisk litteratur til norsk skrev han på sine eldre dager. Da utkom i 1920, var han således 65 år gammel. I tiden som universitetsstipendiat hadde han skrevet enkelte vitenskapelige avhandlinger, slik som «Die Zahl der Bürger von Athen im 5. Jahrhundert» («Antallet athenske borgere i det femte århundre», 1894). Han skrev ellers artikler om det norske skolevesenet i tyske tidsskrifter.