Heidenreichs oppvekst skal ikke ha vært god. Han bosatte seg i København og slo inn på en kriminell løpebane. Han ble dømt til døden for falskmynteri i 1788, men dommen ble senere omgjort til livsvarig tukthus. Som tukthusfange arbeidet han for Det kongelige kunstkammer og laget et sett falske nøkler som han tok med seg da han ble løslatt i 1798.