Danzi var sønn av den italienske cellisten Innocenz Danzi (rundt 1730 – 1798). Faren gav ham og søstera Franziska den første musikkundervisningen. De fikk også undervisning av Georg Joseph Vogler.