Crystal Palace forması giyen orta saha oyuncusu Gareth Southgate'i transfer eden ve defansın göbeğinde oynatmaya başlayan Little, kulüpteki ilk sezonu olan 1994-95 sezonunu düşme hattının bir basamak üstünde, 18. sırada tamamlayarak takımın kümede kalmasını sağladı. Southgate ise 2001'e kadar sürdürdüğü Villa kariyerinde 42 millî maça çıktı ve Villa'da oynadığı sürede en çok millî olan oyuncu unvanını David Platt'ın elinden aldı. Ertesi sene kadroda değişikliklere gidilerek tecrübeli birçok oyuncuyla yollar ayrılırken, genç oyuncularla anlaşıldı. Bu bağlamda Alan Wright, Ian Taylor ve Gary Charles başta olmak üzere birtakım oyuncular takıma katıldı. Yeni kadroyla ilk başarı 1996'da geldi ve Football League Cup finalinde Leeds United karşısında alınan 3-0'lık galibiyetle 1994'ten sonra ikinci kez bu kupaya ulaşılırken, FA Cup'ta yarı finale kadar gelindi. Aynı sezon, lig ise dördüncü sırada tamamlandı. Beşinci sırada sonlandırılan 1996-97 sezonu ve 15. sırada bitirilen 1997-98 sezonundan sonra Little'a olan güven azaldı. Şubat 1998'de Little görevden ayrılırken, yerine takımın eski oyuncularından John Gregory getirildi.