Willermoz ble født som den eldste av 12 barn. Han tilbragte mesteparten av sitt liv i Lyon, hvor han også tok sin utdannelse. Faren Claude Cathrin Willermoz var en selger av kortevarer, og sønnen Jean-Baptiste åpnet sin egen silkefabrikk i 1754.