Károly var gift med Annamária Szklenkay (født i 1958). Ekteparet fikk fem barn. Etter å ha bodd i Vác de første tyve årene av ekteskapet, flyttet familien til Pilis. Etter tre år der flyttet de videre til Szigetszentmiklós. Károly døde av en svulst i hjernen den 26. oktober 2018.