Inom partiet är hans popularitet ifallande