Høsten 1939 var en sammenslutning vedtatt i prinsippet av begge forbund (NLF og AIF), men den tyske invasjon av Norge den 9. april 1940 satte en midlertidig stopp for dette arbeidet. Stoppen ble kortvarig. På fellesmøte den 13. september 1940 ble et interimsstyre for det samlede Norges Idrettsforbund opprettet. Men den organisasjonen ble oppløst ved forordning fra det nazistiske idrettsdepartement av 22. november 1940 under okkupasjonen av Norge. Forbund, kretser og klubber gikk til idrettsstreik. I 1942 gav nazistene opp forsøket på å organisere idretten, og tyskerne mistet interessen for Norges Idrettsforbund. Det meste av den organiserte idretten i Norge opphørte fram til krigens slutt i 1945.