Buffet ble født i Paris og studerte kunst ved École nationale supérieure des beaux-arts(det nasjonale kunstakademi) og arbeidet i atelieret til Narbonne sammen med bl.a. Maurice Boitel og Louis Vuillermoz.