Károly var eneste sønn av György Károly (1924–2003) og Ilona Szabó (1928–2014). Faren var slakter, og moren var skredder. Han vokste opp i Szigetszentmiklós, og etter å ha gått på grunnskolen der, fullførte han skolegangen i Budapest.