Faren til Benjamin von Kállay var en høytstående mann i den ungarske regjeringen og døde i 1845, da Kallay bare var seks år. Moren hans konsentrerte seg om hans utdanning. Hun døde i 1903.