Als Ferrers 1354 für volljährig erklärt wurde und die Verwaltung seiner Güter übernahm, musste er deshalb deren Bewirtschaftung reorganisieren, um die Folgen der Pest zu überwinden. Vermutlich tauschte er deshalb 1358 mit Roger Mortimer, 2. Earl of March Besitzungen in Shropshire gegen Besitzungen in Buckinghamshire. 1364 verkaufte er den Großteil seiner irischen Besitzungen. Nach dem Tod seiner Großmutter Elizabeth de Clare 1360 erbte er von ihr vier Güter in den Midlands. Als Baron Ferrers of Groby wurde er mehrfach in das Parlament berufen. Während des Hundertjährigen Kriegs diente er ab 1355 in Frankreich und nahm 1356 an der Schlacht von Poitiers teil. Unter Henry of Grosmont, 1. Duke of Lancaster nahm er von 1359 bis 1360 an dessen Feldzug in Frankreich teil. 1369 diente er noch einmal in Frankreich.