Charles Lyttelton était le deuxième fils de Sir Thomas Lyttelton (1er baronnet) de Frankley, dans le comté de Worcester, et de Catherine Crompton. Il combattit dans l'armée royaliste et s'enfuit en France en 1648. En 1650, en exil et après la restauration, il fut nommé Échanson de Charles II. Pendant la vie de son frère, il servit comme officier de l'armée, devenant Général de brigade. Gouverneur de la Jamaïque de 1662 à 1664, il fonda la première ville de Port Royal, où il convoqua la première assemblée législative en 1664, et de Harwich en 1667. Il était major du régiment maritime Yellow Coated, le précurseur du Royal Marines, gouverneur de Harwich et Landguard Fort lors de la Troisième guerre anglo-néerlandaise en 1672, et gouverneur de Sheerness en 1680. Il fut agent commun de la Jamaïque de 1682 à 1685. Il devint député de Bewdley de 1685 à 1689. Il a hérité de la baronnie et des domaines familiaux de Frankley, Halesowen, Hagley et Upper Arley, dans le Worcestershire, à la mort de son frère, sir Henry Lyttelton (2e baronnet), en 1693 .