Han var sønn av skolestyrer Michael Ursin Schmidt (1808–1888) og Helene Margrethe Adelaide, født: Hartmann. Etter å ha vært elev ved Tanks realskole i Bergen 1857-1867, hvor hans far var rektor, forberedte Harald Schmidt seg til examen artium. Han ble privat dimittert med haud i 1871. Etter anneneksamen ved Universitetet i Christiania i 1872 begynte han å studere filologiske fag. På samme tid fikk han også ansettelse som kopist ved universitetets sekretariat.