Johann Nepomuk Hummels far, Josef Hummel, var direktør ved den «keiserlige skolen for militær musikk» i Wartberg. I 1786 flyttet han med familien til Wien der han ble kapellmester ved Emanuel Schikaneders Theater auf der Wieden.