Vermutlich kam er schon bald wieder frei, denn im Juli 1139 war er Kommandant der Truppen, mit denen Matilda in Wareham in England landete. Unter seiner Leitung wurde das nahe gelegene Corfe Castle erobert. In den nächsten drei Jahren blieb er ein treuer Unterstützer der Kaiserin. Er nahm 1141 an der siegreichen Schlacht von Lincoln teil und gehörte zu Matildas Eskorte, mit der sie anschließend nach London zog, in der vergeblichen Hoffnung, dort zur Königin gekrönt zu werden. Bei ihrer Ankunft in London im Juni 1141 erhob Matilda ihn zum Earl of Devon. Baldwin begleitete Matilda auch auf ihrem Rückzug von London nach Oxford und im Juli 1141 weiter nach Winchester. Nach der Niederlage ihres Heeres in der Schlacht von Winchester verließ er jedoch anscheinend ihr Heer, denn danach wird er nicht mehr erwähnt. Als einziger hochrangiger Magnat akzeptierte er jedoch nie die Herrschaft von König Stephan. Möglicherweise verließ er wieder England und nahm Ende der 1140er Jahre am Zweiten Kreuzzug teil. Erst Ende 1153 wird er wieder in Westminster erwähnt, wo er mit das Abkommen zwischen König Stephan und Heinrich Plantagenet bezeugte, das den Thronfolgekrieg beendete.