I 2001 pådro han seg en skade som satte ham ut av laget, og som gjorde at Scott Parker fikk anledning til å ta hans plass for godt, selv når Kinsella var tilbake skadefri. Han ble deretter solgt til Aston Villa for én million pund sommeren 2002. Den 24. august samme år debuterte han for Villa mot Tottenham Hotspur, og tilsammen fikk han 24 seriekamper i sin første sesong. I den påfølgende sesongen ble han rammet av skader og spilte kun to kamper før han ble hentet av West Bromwich Albion på en halvårskontrakt i januar 2004. Her var han med på å rykke opp med WBA etter å ha spilt 18 kamper og scoret ett mål.