En el año 1954 y tras el descenso del club a Tercera División, éste se vio obligado a abandonar el estadio por no poder atender los compromisos adquiridos con el dueño del inmueble, debido a que la deuda ascendía a 800.000 pesetas, comenzando a jugar en el Estadio de San Eulogio, que luego quedaría pequeño al solamente tener capacidad máxima para 9.000 espectadores.