Zwischen 1748 und 1755 vertrat er den damaligen Wahlbezirk Bewdley im britischen House of Commons. Im Jahr 1755 wurde er als Nachfolger von James Glen zum Kolonialgouverneur der Province of South Carolina ernannt. Auf dem Weg dorthin wurde sein Schiff von französischen Kriegsschiffen gestoppt und er wurde für kurze Zeit deren Gefangener. Am 1. Juni 1756 kam er in Charleston an, wo er umgehend sein neues Amt übernahm. Diesen Posten hatte er bis zum 5. April 1760 inne. In diese Zeit fiel der Siebenjährige Krieg in Nordamerika, in den auch South Carolina hineingezogen wurde. Global gesehen ging es in diesem Krieg um die Vorherrschaft zwischen Großbritannien und Frankreich. Beide Seiten zogen in Nordamerika Indianerstämme auf ihre Seite, die dann an Kriegshandlungen teilnahmen. So kam es auch in South Carolina zu Indianerkriegen. Lyttelton war als Gouverneur bestrebt, die Handelsinteressen seiner Kolonie zu verteidigen, die durch den Krieg gefährdet waren. Neben dem Krieg hatte er es auch mit inneren Konflikten zu tun. So kam es zwischen seiner Regierung und dem kolonialen Parlament zu Streitereien über Verfassungsfragen. Diese Probleme blieben bis zum Ende seiner Amtszeit ungelöst. Im Jahr 1760 wurde Lyttelton durch William Bull II ersetzt, nachdem der ursprünglich nominierte Kandidat Thomas Pownall dieses Amt abgelehnt hatte.