I 1928 var Oslo vertskap for den såkalte , RSIs alternativ til De olympiske leker, med 426 deltakere fra 6 land, og i motsetning til i en del andre søsterforbund, opplevde AIF vekst, på tross av at den hadde blitt en kamparena mellom kommunister og sosialdemokrater. I 1929 hadde de sistnevnte også vunnet kontrollen, men valgt inntil videre å fortsette i RSI i stedet for å slutte seg til Den sosialistiske sportsinternasjonale (SASI). I 1931 vedtok imidlertid landsmøtet å stille seg utenfor de eksisterende idrettsinternasjonalene og heller samarbeide der det passet seg. Blant annet sendte de 42 deltakere til SASIs arbeiderolympiade i Wien sommeren samme år. Kommunistenes svar ble å danne Kampforbundet for Rød Sportsenhet, men dette ble aldri noen suksess og Kampforbundet ble nedlagt i 1935 og dets medlemmer gikk inn i AIF igjen. På sitt meste hadde de 4-5.000 medlemmer, mens AIF i 1933 hadde 36.602 medlemmer fordelt på 388 lag.