Under krigen var Johansen sentral i motstandsarbeidet i Trondheim. Han organiserte både arbeidet med å spre illegale aviser og militære grupper, og var leder for den såkalte Thingstad-gruppen. I 1942 ble han leder for NKPs distriktsparti i Trondheim og medlem av partiets sentralkomité.