Rasmussen var blant de fagforeningslederne som ble arrestert og mot slutten av krigen satt i tysk fangenskap. I den tyske fangeleiren satt han blant annet sammen med Einar Gerhardsen. Etter krigen ble Rasmussen i 1946 enstemmig gjenvalgt til LO-sekretariatet, der han satt helt til 1951.