Nachdem die Kaiserin Matilda jedoch im Herbst 1139 in England landete, um für ihren Thronanspruch zu kämpfen, wurde Brian von seinem Cousin Miles de Gloucester überzeugt, Partei für die Kaiserin zu ergreifen. König Stephan belagerte umgehend Wallingford Castle, doch die Burg widerstand der Belagerung. Als Miles de Gloucesters Schwiegersohn Humphrey II de Bohun Truppen in Trowbridge zusammenzog, zog Stephan zur Abwehr dieser Bedrohung nach Wiltshire, so dass Miles schließlich Wallingford entsetzen konnte. Nach der Schlacht von Lincoln begleitete Brian die Kaiserin nach St Albans, Westminster und nach der Vertreibung aus London nach Oxford. Nach der Niederlage in der Schlacht von Winchester eskortierte Brian die Kaiserin nach Devizes. Vermutlich war er bei ihr, als sie 1142 von König Stephan in Oxford Castle belagert wurde und am 20. Dezember in einer abenteuerlichen Flucht über die zugefrorene Themse nach Wallingford flüchtete. Von dort zog sie sich in die schwer einnehmbare Burg nach Devizes zurück, wo sie sich bis zu ihrer Abreise aus England 1148 blieb.