Hans popularitet led dock på senaretiden