Voss tok filologisk embetseksamen i 1861. Han hadde arbeidet som lærer gjennom hele studietiden. I 1863 grunnla han sammen med J. J. Aars en latin- og realskole i Kristiania, Aars og Voss' skole, som lenge var den mest populære skolen i Norge. Han var bestyrer for skolen helt til sin død.