På grunn av -lovgivningen var han bare i stand til å utføre midlertidig arbeid i bispedømmet Mainz, først i Hessloch i Rheinhessen (1880–1881), deretter i Worms katedralsogn og til slutt i Bürstadt (1881–1884). Med reorganiseringen av forholdet mellom kirke og stat initiert av opphøyelsen av biskop Paul Leopold Haffner til bispesetet Mainz, kunne Kirstein begynne sin tjeneste som kapellan i (Darmstadt) i 1887. Han tok på seg sitt første pastorat i Gau-Algesheim, hvor hans bispevåpen hugget i stein fortsatt kan sees på trappen til sognekirken . I 1902 ble han kalt til katedralkapittelet i Mainz og ble snart utnevnt til prest, katedralvokter og regent for seminaret.