En 1780 fue protagonista de la represión, durante los disturbios anticatólicos que se llevaron a cabo en la ciudad de Londres, conocidos como "Gordon Riots", lo que le supuso la pérdida de su popularidad.