Familienavnet hans, Kalláy, stammer fra deres eiendommer ved Nagykálló i Szabolcs. De anså seg å være etterkommere av Balogh Semsen-klanen som koloniserte kommunene Borsod, Szabolcs, og Szatmár mot slutten av 800-tallet. De spilte en viktig rolle i ungarsk historie allerede fra 1000-tallet. Kong Mattias Corvinus av Ungarn (1458–1490) skjenket dem deres eiendommer i Mezőtúr nær Kecskemét på grunn av Michael Kállay sin heroiske innsats i krig.