Carl Czernys foreldre var av tsjekkisk bakgrunn. Moren var fra Mähren. Foreldrene talte tsjekkisk med ham i hjemmet. Czerny kom fra en musikalsk familie: En bestefar var fiolinist i Nymburk, nær Praha, og faren Wenzel, var oboist, organist og pianist. Allerede da Czerny var seks år gammel, tok hans far arbeide som pianolærer på en polsk herregård, og familien flyttet til Polen. Der ble de boende til Polens tredje deling. Da vendte de tilbake til Wien i 1795.