I 1984 ble Naumann kapellan på deltid ved i St. Louis mens han arbeidet som koordinator i erkebispedømmets anti-abort-komité. Naumann ble i 1989 sendt til i Normandy, og ble der i fem år. Han ble erkebispedømmets generalvikar i 1994.