W 1841 r. został wybrany do Izby Gmin jako reprezentant okręgu Wilton, ale po kilku miesiącach zmarł jego ojciec i James, jako 3. hrabia Malmesbury, zasiadł w Izbie Lordów. W 1852 r. był ministrem spraw zagranicznych. Ponownie sprawował ten urząd w latach 1858-1859. Poparł zamach stanu księcia Ludwika Napoleona w 1852 r., który doprowadził do powstania II Cesarstwa. W wojnie francusko-austriackiej 1859 r. stanął jednak po stronie Austrii. W 1866 r. został Lordem Tajnej Pieczęci i pozostał nim do 1868 r. Ponownie pełnił tę funkcję w latach 1874-1876. W 1868 r. był również przewodniczącym Izby Lordów, a w latach 1868-1869 stał na czele Partii Konserwatywnej w izbie wyższej.