Akinfenwa ble født i Islington i London, og som tenåring ble han med i den litauiske fotballklubben FK Atlantas etter råd fra sin agent. Han hadde en kone fra Litauen, og hennes bror kjente noen i trenerstaben til klubben. Akinfenwa spilte for Atlantas i to år før han reiste tilbake til England våren 2003. Samme året fant han seg en ny klubb i den walisiske Elitedivisjonen og begynte å spille for fotballklubben Barry Town. Her vant han både den Walisiske Cupen og Elitedivisjonen. Senere samme år, gikk klubben konkurs og måtte gi slipp på alle sine spillere med proffkontrakt. Akinfenwa fant seg raskt en ny klubb i Boston United i oktober 2003. Her scoret han seiersmålet sent i kampen og sikret klubben seier i Football League Trophy. På grunn av problemer med å tilpasse seg sine nye omgivelser, forlot Akinfenwa Boston United og signerte for Leyton Orient samme måned. I Leyton Orient ble han løslatt fra kontrakten sin etter bare en måned. Samme år, desember 2003, gikk han til Rushden and Diamonds. Her var han i omtrent 2 måneder før han forlot klubben til fordel for Doncaster Rovers, i februar 2004. På denne tiden hadde han spilt for fem klubber på én sesong.