Некоторое время он был капитаном в роте пехотного полка лорда Лоудуна, впоследствии 54-го полка. Джон Мюррей был членом парламента от с 1761 по 1764 год. 8 января 1764 года умер его дядя и тесть Джеймс Мюррей, 2-й герцог Атолл. Мюррей должен был стать наследником герцогского титула, который мог передаваться только по мужской линии, но он не имел на это права, так как его отец участвовал в восстании якобитов в 1745 году. Однако 7 февраля 1764 года Палата лордов считал Джона Мюррея законным наследником титула своего дяди (несмотря на то, что он был наследником своего отца) и наследовал ему как 3-й герцог Атолл. В 1766 году он был избран шотландским пэром-представителем в Палату лордов.