Karl Fritz vokste fra 1873 opp i Pfaffenberg og gjennomførte teologiske studier i Freiburg im Breisgau. Han ble presteviet 12. juli 1888 i Freiburg im Breisgau. Før han ble utnevnt til biskop var Karl Fritz domkapitular i Freiburg. .