Neill hadde problemer med å kontrollere laget sitt i sin periode som manager, og hadde blitt «uvenner» med flere av spillerne sine (inkludert Alan Hanson og Malcolm MacDonald), og han klarte ikke å kontrollere drikkekulturen som hadde oppstått i troppen. Neill fikk sparken i desember 1983, etter en elendig start på 1983–84 sesongen, som også innebar et sjokktap mot Walsall i Ligacupen (det fikk frem et minne om et liknende tap mot samme lag i FA-cupen femti år tidligere).