Men hans korrupsjon og svik utløste etterhvert så meget indignasjon blant rettskafne mandariner og skaffet ham mange politiske motstandere. Yan Song falt til sist fra makten, og døde i fattigdom ikke lenge etter det. Hans sønn, Yan Shifan, ble henrettet for å ha samarbeodet med japanske sjørøvere som herjet langs kystene.