就这样，出生不久的亚诺什便被送到一个景色美丽，但极其贫困的村子，绍莫吉州的考波伊村。考波伊村不远的一个更小的村子就住着他的生父。卡达尔因为他的生父抛弃他们母子，而对他怀恨在心，称“这既不能弥补，也不能挽救”。 少年卡达尔由一位被他称作“山多尔叔叔”的新教徒抚养，他虽然贫穷，但是十分疼爱齐尔毛奈克。齐尔毛奈克的农村生活非常艰辛，刚会走路便要帮家里干活。这些都对后来的卡达尔影响深远。6岁时卡达尔被生母接回布达佩斯，但是他依然与“山多尔叔叔”保持联络，在上学时，每到夏天他就要回到农村赚学费，并总是想方设法攒钱