Hans kone var Ilse Koch, som han giftet seg med i 1936. Hun er kjent som "Heksen fra Buchenwald" (), på engelsk oftere bare kalt "The Bitch of Buchenwald." Da Karl Otto Koch ble overført til Buchenwald, ble Ilse Koch utnevnt til av SS, og fikk slik en aktiv offisiell rolle i driften av leiren. Det har versert mange utrolige og udokumenterte historier om at hun fikk laget hansker og lampeskjermer av huden fra leirfanger, og også om at ekteparet Koch dekorerte familiens middagsbord med krympede hoder fra drepte fanger.