Lord John Manners , en afprotektionisternas