Durante l'Anarchia (storia inglese) la vita nelle terre di de Gloucester era diventata caotica e conflittuale, e pare che Sibyl non avesse approvato la decisione del marito di abbandonare Stefano per Matilda, temendo forse delle ripercussioni. Il tempo le diede ragione, quando Matilde venne sconfitta nel tardo 1141 la sua famiglia si trovò in disgrazia, la situazione peggiorò nel 1143, quando il Vescovo di Hereford, Roberto de Bethune arrivò a scomunicare suo marito. Quando la guerra fra Stefano e Matilde era ancora in corso, Miles, per avere il denaro necessario per supportare l'ex imperatrice, aveva imposto delle tasse alla chiesa, pratica che il vescovo aveva ritenuto illegale. Il chierico aveva risposto scomunicando de Gloucester una prima volta e questi aveva reagito mandando degli uomini a spogliare la diocesi di ogni bene possibile. Ritornato al trono Stefano I d'Inghilterra tolse il titolo di conte a de Gloucester per darlo a Roberto di Beaumont, II conte di Leicester, ma Miles non si arrese mai a cedere ne il titolo, ne il contado.