Kohlgraf ble født som sønn av en murer og en sykepleier. Etter sitt i 1986 ved i Köln studerte han filosofi og katolsk teologi ved universitetet i Bonn og ett semester i Salzburg. Kohlgraf ble uteksaminert fra universitetet i 1991 og fortsatte ved erkebispedømmet Kölns presteseminar.