Midtstopperen signerte en permanent kontrakt med «The Swans» i 2008, etter at han først kom til klubben på lån fra Stockport County i 2007/08-sesongen. Han spilte han nesten samtlige ligakamper for Swansea i Coca-Cola Championship sesongene 2008/09, 2009/10 og 2010/11. Han ble kåret til «Årets walisiske spiller» for 2009/2010-sesongen. Williams var i sesongen 2010/11 en viktig spiller på laget til Swansea som rykket opp til Premier League. Williams har spillertrøye nummer 6.