Holger Pedersen ble student i 1885 og tok skoleembetseksamen i 1890. Han begynte tidlig med omfattende språkstudier, og interesserte seg særlig for sammenlignende språkvitenskap. I årene 1892–1896 oppholdt han seg i utlandet, ved tyske universiteter, i Øst-Europa og i Irland, før han i 1897 ble med en avhandling om «Aspirationen i Irsk». I 1900 ble han dosent i sammenlignende språkvitenskap ved Københavns Universitet. Han ble ekstraordinær professor i 1903 og ordinær professor i 1914, og var universitetets rektor 1926–1927.