Diefenbach vokste opp i småbyen Hadamar, som den tredje av seks søsken i en katolsk familie. Han fikk sin første kunstutdannelse av faren, Leonhard Diefenbach, som hadde studert en tid ved akademiene i München og Frankfurt. Leonhard Diefenbach arbeidet som tegnelærer ved den videregående skolen i Hadamar. For å spe på inntektene, tegnet han prospekter og illustrerte barnebøker. Da han fikk slag i 1868, hjalp Karl Wilhelm ham med å male prospekter. I 1869 fikk han for første gang prøve å male med oljefarger, og malte både portretter og byprospekter for salg.