Участвовал в организованном революционном движении с 1901 года, когда и стал членом РСДРП. Подвергшись преследованию полиции за организацию стачек рабочих в Новороссийске, в 1902 эмигрировал в Берлин, затем жил в Париже и Берне, где в 1903 году и познакомился с В. И. Лениным. Впоследствии был одним из наиболее близких к вождю партии людей и долгое время его постоянным представителем в социалистических организациях Европы. На II съезде РСДРП в 1903 году Зиновьев поддержал позицию Ленина, примкнув к большевикам, после чего вернулся на родину, где проводил активную пропагандистскую работу на территории Украины.