I 1870 blev han ekstrakorrektør ved Dagstelegrafen, og da J.C. Ferslew i 1876 sendte ham som korrespondent til verdensudstillingen i Philadelphia opgav han embedsbanen og blev journalist. Østergaard var derefter i en årrække knyttet som æstetisk journalistisk medarbejder og skrev fortrinsvis som litteratur- og teateranmelder ved "Nationaltidende" (1876-1878) og senere "Dagens Nyheder" (1882-1891) og "Berlingske Tidende" (1896-1901).