I stedet for en vitenskapelig karriere valgte imidlertid Østbye å gå over i skoleverket. I 1894 ble han ansatt som bestyrer, og i 1898 som rektor ved Fredrikstad kommunale højere Almenskole. I 1910 ble han rektor ved Drammens Latinskole, hvor han ble inntil han tok avksjed i 1926. Han var dessuten medlem av Undervisningsrådet i 15 år. Han er blitt skildret som en mild og stillferdig lærer, og som en godslig rektor.