Han kom fra storgård, og hadde privatlærere inntil han tok artium ved Heltbergs studentfabrikk i 1866. Han vekslet mellom studier og å være huslærer inntil han i 1878 ble cand.philol. Han var lærer i Trondheim og Arendal, tok doktorgrad i 1895 på en avhandling om , og tapte i 1899 duellen om et nytt professorat i landsmål til Marius Hægstad. Til gjengjeld ble Larsen utnevnt til statsstipendiat i 1901 for å granske norske bygdemål. Hans bok fra 1901 var det første sammenfattende oversiktsverket om norske dialekter.