Karl Sack var annet barn av en protestantisk prestefamilie. Han studerte jus ved universitetet i Heidelberg hvor han sluttet seg til en studentorganisasjon, Burschenschaft (Burschenschaft Vineta) og etter en tid i juridisk praksis ble han dommer i Hessen. Han giftet seg med Wilhelmine Weber og fikk to sønner.