Tilbake i Norge ble Erling engasjert i Hillevåg Arbeiderungdomslag (AUL), først under Arbeiderpartiet før organisasjonen skiftet til Norges Kommunistiske Parti (NKP) den 17. mai 1940. Han ble raskt en sentral figur innenfor NKP i Stavanger-regionen. Under dekknavnet "Oskar" deltok Erling i ulike former for motstand, inkludert etterretningsarbeid, produksjon av illegale aviser ("Stritt Folk" og "Frihet"), og sabotasjeopplæring organisert av Saborg i Bergen.