Dermed började väl egentligen hans förfall.