Nach dem Sieg über Lancaster und die Rebellen unternahm der König im Sommer 1322 einen Feldzug gegen die Schotten. Auch Richmond nahm an dem Vorstoß teil, der jedoch völlig scheiterte. Er deckte im Herbst mit den Rückzug des Königs. Dabei wurde er am 14. Oktober von den Schotten in der Schlacht bei Byland geschlagen und zusammen mit dem französischen Adligen "Henry de Sully" gefangen genommen. Erst im Sommer 1324 wurde er nach der Zahlung eines hohen Lösegelds von 14.000 Mark freigelassen. Nach seiner Freilassung reiste er während des Kriegs von Saint-Sardos im November 1324 als Gesandter nach Frankreich, im Februar 1325 nach Schottland und im März 1325 wieder nach Frankreich. Dann wechselte Richmond jedoch die Seiten. Er kehrte nicht nach England zurück, sondern blieb in Frankreich, wo bereits Roger Mortimer of Wigmore und andere Gegner des Königs Zuflucht gefunden hatten. Daraufhin beschlagnahmte der König Anfang 1326 seine englischen Besitzungen. Auch Königin Isabelle und der Thronfolger Eduard blieben aus Protest gegen den Einfluss der Despensers auf Eduard II. im französischen Exil. Als Statthalter des Thronfolgers, der auch Herzog von Aquitanien war, übernahm Richmond die Verwaltung der Gascogne. Deshalb gehörte er nicht dem Heer an, mit dem Mortimer und Königin Isabelle im September 1326 in England landeten und die Herrschaft von Eduard II. und der Despensers stürzte. Nach dem erfolgreichen Sturz des Königs erhielt Richmond Weihnachten 1326 seine englischen Besitzungen zurück. Er blieb jedoch weiter in Frankreich, wo er im Februar 1327 wieder als englischer Gesandter diente. Offenbar kehrte er nicht mehr nach England zurück, denn er wurde regelmäßig bei den Parlamenten und bei Feldzügen des neuen Königs Eduard III. wegen seiner Abwesenheit entschuldigt.