Den 3. april 1954 ble han ordinert til prest av Fulda-biskopen Johannes Baptist Dietz i Fulda-katedralen. Han var opprinnelig prest ved bispeseminaret og religionslærer ved det som senere ble . I 1963 ble Kapp etterfølgeren etter fader Alfons Maria Lins som sogneprest og fra 1971 dekan i Bad Orb. I 1975 ble han valgt til kannik og ble regent for bispeseminaret i Fulda.