Karl August von Reisach var en sønn av ekteskapet til dommer og kongelig bayerske kammerherre Johann Adam Graf von Reisach (1765-1820) og Therese von Gumpenberg (1771-1834). Bestefaren, Franz Christoph von Reisach-Steinberg (død 1797), var blitt elevert til riksgrevestanden i 1790.