Il était le troisième fils de Charles Manners (4e duc de Rutland) et de Lady Mary Somerset, fille de Charles Somerset (4e duc de Beaufort) . Son frère Charles Manners et lui figuraient parmi les soutiens financiers de leur ami George Brummell, alias "Beau" Brummell, lors de son long exil à Calais et à Caen. Lord Robert a commandé le 10th Royal Hussars au cours de la campagne de Waterloo.