Da biskop Heinrich Brück uventet døde den 15. november 1903, valgte domkapitlet fader Kirstein til hans etterfølger den 30. november. Han ble bispeviet den 19. mars 1904 av erkebiskopen av Freiburg, Thomas Nörber; nedkonsekratorer var biskopen av Fulda Adalbert Endert og biskopen av Limburg an der Lahn, Dominikus Willi, O.Cist.