Dabei geriet der Streit zwischen Vescy und John fitz Thomas Fitzgerald, der als Lord of Offaly ein Vasall von Vescy war, in den Mittelpunkt. Die Spannungen zwischen den beiden Männern waren so gestiegen, dass Vescy Truppen aufbieten wollte, um Offaly zu besetzen. Daraufhin griff der König ein und untersagte den Feldzug. Fitz Thomas beschuldigte Vescy 1293 während des Parlamentes, worauf Vescy 1294 vor dem König und dem Kronrat Anschuldigungen gegen Fitz Thomas erhob. Fitz Thomas wies die Anschuldigungen zurück und beschuldigte im Gegenzug, dass Vescy den König ihm gegenüber verleumdet hätte und ein Verräter sei, unter anderem hätte er behauptet, das sich Eduard während der Belagerung von Kenilworth Castle 1266 feige verhalten hätte. Vescy verlangte daraufhin als Gottesurteil einen Zweikampf zwischen ihm und Fitz Thomas. Daraufhin befahl der König beide Kontrahenten für den 24. Juli an seinen Hof. Vescy erschien bewaffnet und zum Zweikampf bereit, doch Fitz Thomas erschien nicht. Der Fall wurde mehrfach vertagt und im Juni 1295 vom Parlament, an dem Vescy als "Baron Vescy" teilnahm, aufgehoben. Als Justiciar war Vescy bereits im Juni 1294 abgelöst worden, doch der König trug ihm sein Scheitern in Irland nicht nach. Im April 1295 begleitete er den König, als dieser in Wales einen Aufstand niederschlug, und nach dem Tod seines Sohnes John wurde er im September 1295 wieder zum Richter für die Forests north of trent ernannt. Während des Französisch-Englischen Kriegs nahm er 1296 an einem Feldzug in die Gascogne teil. Zurück in England, bereitete er sich im Folgejahr für einen Feldzug in die Gascogne vor, starb aber noch vor seinem Aufbruch.