El Borås Fotbollslag fue formado el 26 de junio de 1904 por un grupo de jóvenes. En 1906 el nombre fue cambiado a IF Elfsborg, porque los fundadores sintieron que había demasiados equipos con «Borås» en su nombre. En 1926 el Elfsborg ganó la Västsvenska Serien y derrotó al Halmstad BK en el "play-off", por lo que ascendió a la Allsvenskan por primera vez en su historia. Durante la década de 1930 el Elfsborg logró construir un equipo muy fuerte liderado por el delantero Sven Jonasson, quien apareció en las Copas del Mundo de 1934 y 1938. En 1936 el Elfsborg ganó su primera Allsvenskan, a la que siguieron dos títulos más poco después (1939 y 1940). Durante este período el Elfsborg contaba con hasta siete jugadores en el equipo nacional sueco.