Berzin oli lähtöisin latvialaisesta talonpoikaisperheestä ja opiskeli opettajaseminaarissa, kunnes ryhtyi 15-vuotiaana ammattivallankumoukselliseksi. Venäjän sosiaalidemokraattiseen työväenpuolueeseen hän liittyi vuonna 1905. Hänet tuomittiin vuonna 1907 poliisin surmasta kahdeksan vuoden vankeuteen, mutta vapautettiin alaikäisyytensä vuoksi jo kahden vuoden kuluttua. Hänet karkotettiin vuonna 1911 Irkutskin kuvernementtiin, josta hän pakeni 1914 ja asui sen jälkeen työläisenä Pietarissa. Vuoden 1917 lokakuun vallankumouksen jälkeen Berzin siirtyi Neuvosto-Venäjän sisäasiain kansankomissariaatin palvelukseen ja oli myös poliittisena komissaarina puna-armeijassa. Keväällä 1919 hän oli lyhytikäisen Latvian neuvostotasavallan apulaissisäasiain kansankomissaarina. Historioitsija Viktor Suvorovin mukaan Berzin oli Venäjän sisällissodan aikana yksi bolševikkien punaisen terrorin tärkeimmistä suunnittelijoista ja vuoden 1921 Kronstadtin kapinan tukahduttajista.