Olsen tok artium i 1896, studerte ved Universitetet i Oslo og ble cand.philol. i 1903. Fra 1899 hadde han arbeidet som amanuensis ved Universitetsbiblioteket i Oslo, og fra 1904 var han universitetsstipendiat. I 1908, 30 år gammel, ble han utnevnt til sin lærer Sophus Bugges (1833–1907) etterfølger i professoratet i (fra 1921 het faget ).