Noen snarlig retur ble det ikke denne gangen for laget, og i den neste sesongen måtte manager Stuart McMillan trekke seg. McMillan ble erstattet av Jack Barker i november 1953. Barker hadde ikke særlig suksess i sin første sesong, og klubben ble til slutt nummer 18. Året etterpå gikk det enda verre da laget kom på en klar sisteplass i 2. divisjon, hele åtte poeng fra sikker plass. Dette førte også til at Barker hadde fått sparken i april, og den tidligere landslagsspilleren Harry Storer ble den nye sjefen.