Casimir-Perier har bestämt nekat att inträda som medlem i det nya kabinettet.