Dufaure har redan fallit offer för partiets stämplingar , underwisningsministern Jules Simon och understatssekreteraren Calmon wäntas komma att följa honom efter.