Robert de Ferrers entstammte der alten Adelsfamilie Ferrers. Er war der zweite Sohn von John de Ferrers, 1. Baron Ferrers of Chartley und dessen Frau Hawise de Mucegros. Sein Vater starb bereits 1312, und nach dem kinderlosen Tod seines älteren Bruders John 1324 wurde er der Erbe der Besitzungen seines Vaters und des Titels Baron Ferrers of Chartley. Da sein Bruder noch minderjährig starb, wird Robert auch als 2. Baron Ferrers of Chartley gezählt. Zu seinem Erbe gehörte das Gut von Chartley in Staffordshire sowie verschiedene andere verstreute Güter in Huntingdonshire, Somerset und anderen Teilen Englands. Am 25. Februar 1342 wurde er in das Parlament berufen. Unter König Eduard III. nahm er an zahlreichen Feldzügen gegen Schottland und Frankreich teil. Während des Feldzugs in Frankreich von 1346 konnte er dabei am 10. August mit einem Vorauskommando die Besatzung der Burg La Roche-Guyon überraschen, die Burg erobern und die Besatzung gefangen nehmen., wenig später nahm er an der siegreichen Schlacht bei Crécy teil.