I januar 1322 ble han derimot tvunget til å overgi seg til kongen og ble deretter lukket inne i Tower of London, men ved å forgifte en konstabel klarte å han å rømme til Frankrike. Han ble ettersøkt og ønsket død eller levende i august 1323. I det følgende året fikk dronning Isabella, ivrig etter å komme seg vekk fra sin ektemann, hustru av kong Edvard II, tillatelse til å reise til Frankrike for å bruke sin innflytelse på hennes bror, kong Karl IV, for å forhandle fram en fred. Ved det franske hoff møtte dronningen Roger Mortimer, og det synes som om han ble hennes elsker kort tid etter. Ved hans påvirkning nektet hun på Edvards påkallelse å reise tilbake til England så lenge som Despenserne forble ved makten som kongens favoritter.