Bugge tok filologisk embetseksamen i 1857 og fra våren 1858 mottok han stipend for å studere allmenn språkvitenskap i Berlin og København.