Karl Wolff var sønn av dommeren Karl Friedrich Wolff (1871-1916). I 1901 ble faren statsadvokat i Darmstadt, og i 1906 gikk han over til dommerfeltet og ble dommer i Butzbach. Deretter ble han amtsdommer i Darmstadt, i 1910 amtsdommerråd, og i 1911 landrettsråd. Til sist var han i Darmstadt.