Nach der Stuart-Restauration half Kerr, die königliche Herrschaft in den Grenzregionen zu England wiederherzustellen. Bereits 1665 übergab ihm sein Vater die Familienbesitzungen. Von 1668 bis 1676 diente er als Kavallerieoffizier, dabei kämpfte er vielleicht als Freiwilliger im Dritten Englisch-Niederländischen Krieg, dabei machte er im September 1673 einen geheimen Besuch in Paris. Nach dem Tod seines Vaters im Oktober 1675 erbte er den Titel Earl of Lothian. Wegen seiner schlechten Gesundheit hielt sich Lothian von Herbst 1679 bis Sommer 1680 in Paris und Montpellier auf. 1681 legte er einen Eid auf die Testakte ab, und während der Herrschaft von Jakob VII. wurde er am 4. Januar 1686 Mitglied des Privy Council. Bereits am 16. September 1686 wurde er zusammen mit anderen Oppositionellen wieder aus dem Kronrat gedrängt, als der König gegen ihren Widerstand ein Strafgesetz aufheben ließ.