Durante su encarcelamiento Berzin trabajó con el boticario de la prisión. En 1909 fue perdonado y liberado de su pena. Se unió inmediatamente de nuevo a los bolcheviques. Bajo diferentes pseudónimos difundió material de propaganda del partido en Riga. En agosto de 1911 fue arrestado por sus actividades políticas y exiliado a la "guberniya" de Irkutsk. En primavera de 1914 huyó con unos documentos falsos con el nombre de Yan Kárlovich Berzin. Durante la Primera Guerra Mundial fue reclutado por el Ejército Imperial Ruso con su nueva identidad, desertando en 1915. En 1914, Berzin fue nombrado editor jefe del "Cina" ("Lucha"), el órgano oficial del Partido Obrero Socialdemócrata Letón. Sería el representante de la organización en la Conferencia de Zimmerwald de 1915 y fue miembro del grupo minoritario fuertemente antimilitarista y revolucionaria "Izquierda de Zimmerwald" encabezado por Lenin en ese encuentro. En 1916, Berzin vivió en los Estados Unidos de América, donde participó en el movimiento socialista y escribió para su prensa. Volvió a Europa en verano de 1917, tras la revolución de febrero de 1917. Durante la revolución de octubre fue miembro de los comités del partido bolchevique de Výborg y San Petersburgo, perteneciendo a la esfera de Trotski.