Brett ble innvalgt i parlamentet i 1880, men trakk seg etter fem år tilbake fra offentligheten og fortsatte sitt virke mer som rådgiver og historiker. Ved farens død i 1899 arvet han tittelen og ble deretter omtalt som Lord Esher. Fra 1901 og til sin død var han en nær rådgiver for den britiske kongefamilien, han influerte også reformer den liberale regjeringen satte i verk før første verdenskrig.