Buffet nació en París, Francia, estudió arte en la École Nationale Supérieure des Beaux-Arts (Escuela Nacional de Bellas Artes) y trabajó en el estudio del pintor Eugène Narbonne.