Efter VM-vinsten 2003 gick karriären långsamt utför för Williams. Han hade åter blivit rankad som världsetta efter sin andra VM-titel, men två säsonger senare hade han fallit till nionde plats, och det var nu inte många som längre räknade honom till "de fyra stora". Det fanns dock ljusglimtar, som exempelvis maximumbreaket i första omgången i VM 2005, hans dittills enda maximumbreak i karriären. År 2006 vann Williams sin 16:e rankingtitel i karriären, China Open, men det skulle dröja ända till 2010 innan den 17:e kom, även det China Open. Däremellan hade Williams hunnit ramla ur topp-16, och var nere på 22:a plats på världsrankingen, och funderade då på att avsluta karriären . Han hittade dock tillbaka till sitt spel och tog sig tillbaka in på topp-16 inför &lt;a href="Snookers%C3%A4songen%202009/2010"&gt;säsongen 2009/10&lt;/a&gt;. &lt;a href="Snookers%C3%A4songen%202011/2012"&gt;Säsongen 2011/2012&lt;/a&gt; blev han efter att ha nått semifinal i årets VM åter igen rankad som världsetta.