Il est le quatrième mais le deuxième fils survivant de Richard Grosvenor (2e marquis de Westminster), et de Lady Elisabeth Marie, fille de George Leveson-Gower, duc de Sutherland. Hugh Grosvenor, duc de Westminster, est son frère aîné. Il est instruit à l'École de Westminster et est admis le à Trinity College, Cambridge, et reçoit son Master of Art en 1858. Au cours de sa jeunesse, il fait une tournée dans l'ouest des États-Unis et est présent lors du sac du Palais d'Été au cours de la Seconde guerre de l'opium.