I juli 2005 signerte han for Swansea City. I debutkampen mot Tranmere, scoret han sitt første mål og ble dermed også den første spilleren til å score det første offisielle målet på det nyåpnede Liberty stadium. I 2006 scoret han det avgjørende målet i Football League Trophy-finalen mot Carlisle United, og Swansea vant dermed 2-1. Han var også med på å nå League One Play-off finalen mot Barnsley. Stillingen var 2-2 etter fulltid, og det endte med straffer. Akinfenwa var en av to Swansea-spillere som bommet på sine straffer, noe som gjorde at Barnsley rykket opp fremfor Swansea. Neste sesong spilte Akinfenwa fast på Swansea, men på slutten av sesongen brakk han høyrefoten i en kamp mot Scunthorpe United. Det som endte med en langtidsskade.