В дальнейшем Левштейн присоединился к недавно созданной подпольной организации «ЭЦЕЛ» и по окончании гимназии в 1936 году был направлен на её командные курсы, во главе которых стоял Давид Разиэль. Когда в том же году в Палестине началось очередное арабское восстание и возобновились массовые нападения на евреев, члены «ЭЦЕЛа» приняли решение не присоединяться к политике сдержанности, провозглашённой руководством еврейского ишува. «ЭЦЕЛ» начал вооружённые действия против арабов, и в 1938 году Яаков Элиав уже возглавлял боевую деятельность организации в Иерусалиме. Боевики «ЭЦЕЛа» совершали в это время покушения на командиров арабских отрядов, бросали гранаты в арабские автобусы, закладывали бомбы на арабских рынках, в кафе и кинотеатрах.