Il est le fils de George Lyttelton (4e baron Lyttelton) et de Mary Lyttelton (née Glynne) et fait ses études au Collège d'Eton. Il entre dans la brigade de fusiliers en janvier 1865 . En tant qu'officier subalterne, il est envoyé au Canada où il aide à vaincre les raids des Fenians en 1866 et sert comme secrétaire de la Commission des frontières de l'Oregon en 1867. Il est promu lieutenant le 14 juillet 1869, capitaine le 13 octobre 1877 et major le 22 février 1882. En 1880, il est nommé secrétaire particulier de Hugh Childers, secrétaire d'État à la guerre.