Coventry'de gösterdiği performans ve elde ettiği gol krallığıyla çeşitli kulüplerin dikkatini çeken Dublin, 1998 sonbaharında Aston Villa ile 5,75 milyon sterlin karşılığında anlaştı. Takımdaki ilk dört maçında 7 gol kaydederken, Southampton karşısında çıktığı ikinci maçında üç gol attı. Bu sayede Aston Villa formasıyla ilk dört maçında da gol atmayı başaran altı oyuncudan biri oldu. Aralık 1999'da, Sheffield Wednesday ile oynanan maçta hayati tehlikesi olan bir sakatlık yaşadı. Maçta boynu kırılan Dublin'e maçın ardından üç boyun omurunu tutan titanyum bir levha takıldı. 2 Nisan 2000'da, takımla antrenmanlara başlamasından bir hafta sonra; Bolton Wanderers ile oynanan FA Cup yarı finaliyle birlikte sahalara geri döndü. Normal süresi 0-0 berabere sona eren ve kazananı seri penaltı vuruşlarının belirlediği maçta kullandığı penaltı atışını gole çeviren Dublin, takımının 43 yıl aradan sonra FA Cup finaline yükselmesinde rol sahibi oldu. Fakat Villa, finalde Chelsea'ye 1-0'lık skorla mağlup olarak ikincilikle yetindi.