Berzin oli lähtöisin latvialaisesta talonpoikaisperheestä ja oli koulutukseltaan opettaja. Hän liittyi vuonna 1902 Venäjän sosiaalidemokraattiseen työväenpuolueeseen ja alkoi toimia sen bolševikkisiivessä. Hän oli 1906–1907 bolševikkien Pietarin-komitean puheenjohtaja. Berzinistä tuli vuonna 1914 Latvian sosiaalidemokraattisen puolueen pää-äänenkannattajan "Cīņan" päätoimittaja. Berzin edusti Latvian sosiaalidemokraatteja Zimmerwaldin konferenssissa vuonna 1915 ja asui sen jälkeen jonkin aikaa Yhdysvalloissa. Hän palasi maanpaosta Venäjälle vuoden 1917 helmikuun vallankumouksen jälkeen ja hänet valittiin sekä Latvian työväenpuolueen että Venäjän bolševikkipuolueen keskuskomiteaan. Bolševikkien keskuskomiteassa hän jäi seuraavana vuonna ehdokasjäseneksi. Lokakuun vallankumouksen jälkeen Berzin nimitettiin toukokuussa 1918 Neuvosto-Venäjän lähettilääksi Sveitsiin, mutta paikalliset viranomaiset karkottivat hänet marraskuussa 1918. Hän oli keväällä 1919 lyhytikäisen Latvian neuvostotasavallan valistusasiain kansankomissaarina ja 1919–1920 Kommunistisen internationaalin sihteerinä.