Hermann Paul var sønn av en murermester. Etter å ha vært elev ved gymnaset i Magdeburg studerte han filologi, først i Berlin, siden i Leipzig, under blant andre Fredrich Zarncke, Georg Curtius og August Leskien. Han tok habilitasjonen i 1872. Etter to år som dosent i germanske språk og litteraturer i Leipzig ble han professor ved universitetet i Freiburg. 1893–1916 var han professor i tysk filologi ved universitetet i München. 1909–10 var han universitetets rektor.