В январе 1919 года вместе с другими красными частями его дивизион вступил в Ригу, однако в мае 1919 года под натиском частей ландесвера вынужден был оставить город. При отступлении Берзиньш сделал предложение своей будущей жене Эльзе, которая ушла в отступление вместе с ним.