Kádár tilbrakte sine første seks år med fosterforeldre i Kapoly i fylket Somogy, til han ble gjenforent med sin mor i Budapest. Hun arbeidet som vaskekone og som sendte ham til skole inntil han var 14 år. Første i 1960 møtte han sin biologiske far, som var landeier, og sine tre halvbrødre.