Jean-François Champollion var det yngste av syv barn (to døde før han ble født). Han ble oppdratt i trange kår. Hans far Jacques Champollion var en bokhandler fra Valjouffrey nær Grenoble som hadde slått seg ned i småbyen Figeac. Faren var en notorisk drukkenbolt, og moren synes å ha vært heller fraværende fra guttens liv.