Selv om han ble født i Kecskemét i dagens Ungarn, vokste han opp i Galánta og Nagyszombat (nå: Trnava) i dagens Slovakia, den gang en del av dobbelmonarkiet Østerrike-Ungarn. Faren var stasjonsmester og en ivrig amatørmusiker og Kodály lærte å spille fiolin som barn. Han sang også i katedralens kor og skrev tidlig musikk, til tross for at han manglet formell utdannelse i dette.