Peyret fue hijo de Alexis Agustín Peyret, un hacendado de Serres-Castet que combatió en el ejército de Napoleón, y de Cécile Angélique Vignacour.