זינובייב הצטרף למפלגה הסוציאל-דמוקרטית הרוסית בשנת 1901. למד כימיה ומשפטים בברן. בשנת 1903 הוא פגש בברן את ולדימיר לנין ומאז היה למקורבו. בשנים 1904–1908 פעל ברוסיה בארגון המפלגה ובהפצת חומר תעמולתי וכן השתתף בארגון המרד קרונשטאדט. בשנת 1908 נאסר, לאחר ששוחרר יצא את רוסיה והשתתף בפעילות ההנהגה הגולה של הפלג הבולשוויקי.