1325 gehörte Ferrers zum Gefolge von Henry Beaumont, der den Thronfolger Eduard nach Frankreich begleitete, wo dieser dem französischen König für seine Besitzungen in der Gascogne huldigte. Vor 1329 trat Ferrers in den Dienst von Henry of Lancaster. Als dieser im Januar 1329 vergeblich gegen die Herrschaft von Roger Mortimer rebellierte, unterstützte ihn Ferrers militärisch. Mortimer ordnete daraufhin am 16. Januar die Beschlagnahmung von Ferrers Besitzungen an. Nach Mortimers Sturz im Oktober 1330 erhielt Ferrers von Lancaster eine jährliche Pension in Höhe von £ 100. Als Nachfahre von Helen, einer Tochter von Alan, Lord of Galloway hatte Ferrers Ansprüche auf Besitzungen in Schottland, die durch den Frieden von 1328 nicht als erloschen galten. Deshalb galt er als einer der "Enterbten", die versuchten, ihre Ansprüche auf schottische Gebiete durchzusetzen. 1332 sollte er im Dienst des Königs zunächst an einem Feldzug nach Irland teilnehmen, der jedoch abgesagt wurde. Daraufhin gehörte er im August 1332 dem kleinen Heer der Enterbten an, die unter Führung von Henry Beaumont und Edward Balliol in Schottland landeten. Die Enterbten konnten zwar ein schottisches Heer in der Schlacht von Dupplin Moor schlagen, wurden jedoch bis Ende des Jahres wieder aus Schottland vertrieben. Daraufhin nahm er 1333 am Feldzug des englischen Königs nach Schottland teil, und im selben Jahr wurde er zum Verwalter der Kanalinseln ernannt. Von 1334 bis 1335 diente er als Kommandant der Garnison der schottischen Grenzstadt Berwick, doch letztlich blieb der Krieg in Schottland erfolglos und Ferrers konnte seine Ansprüche auf schottische Gebiete nicht durchsetzen.