Béla ble født av en russisk far og en ungarsk mor. Han viste tidlig musikalsk talent og opptrådte allerede som niåring på en konsert i Kyiv. Etter å ha tjenestegjort som soldat under første verdenskrig studerte han musikk i Moskva under Michail Press og senere i Berlin hos Issay Barmas.