Han var sønn av stiftsprost J. H. V. Paulli. Jakob Paulli ble student i 1862 og cand.theol. i 1868. Etter noen år som prest i Asminderød og Grønholt på Nordsjælland, tiltrådte han i 1876 som kapellan i Vor Frue kirke i København. I 1884 etterfulgte han biskop Martensen i stillingen som kongelig hoffpredikant og kongelig konfessionarius. I tillegg til dette underviste han på Pastoralseminaret fra 1877-1915. I 1892 ble han sokneprest og stiftsprost. Han døde i sitt hjem i København i 1915, av et hjerteinfarkt..