En la temporada 1964/65 el Swansea desciende a Third Division y dos temporadas después desciende otra vez, a Fourth Division.