A finales de la década de 1940 el club pasó por momentos deportivos muy complicados hasta que, finalmente, los días de gloria del Elfsborg terminaron y el club fue finalmente relegado a la segunda división en 1954.