Tras el descenso a la Second Division en 1963, el futuro del club parecía oscuro, ya que, entre otras cosas, sucedió el registro de asistencia en un partido como local más bajo en toda la historia del club ante el Swindon Town, con la presencia de 8.015 espectadores en enero de 1965.