Jouffroy nació en Dijon, hijo de un panadero y asistió a la escuela local de dibujo antes de su admisión en la École des Beaux-Arts en París en 1824.