Im Sommer 1321 nahm Latimer an dem Treffen der oppositionellen Barone in "Sherburn" in Elmet teil, während dem Lancaster versuchte, ein Bündnis von nordenglischen Baronen, Marcher Lords und seinen eigenen Vasallen gegen den König und dessen Günstlinge, vor allem gegen Hugh le Despenser dem Älteren und seinem Sohn, dem jüngeren Despenser zu bilden. Gemäß ihrer Verpflichtung brauchte sich Latimer jedoch nicht an einem Kampf gegen den König zu beteiligen, so dass er, wie auch andere Vasallen Lancasters, nicht an der wenig später beginnenden offenen Rebellion Lancasters gegen Eduard II. teilnahm. Stattdessen stellte er im Februar 1322 im Auftrag des Königs ein Aufgebot in Yorkshire gegen das Heer von Lancaster auf. Latimer gehörte dann zu den Anführern des königlichen Heeres, dass Lancaster und den Earl of Hereford am 16. März 1322 in der Schlacht bei Boroughbridge entscheidend schlug. Lancaster geriet kurz nach der Schlacht in Gefangenschaft und wurde hingerichtet. Latimer wurde dagegen im Oktober 1322 vom König mit der Verwaltung von York belohnt. Im Frühjahr 1324 gehörte er noch einmal häufig zum Gefolge des Königs in Westminster. Letztmals wurde er am 11. April 1325 als Zeuge einer königlichen Urkunde in Beaulieu genannt. Nach seinem Tod wurde er in Guisborough in Yorkshire beigesetzt.