2004 startete Bērziņš erstmals, doch ohne größere Erfolge, bei den Biathlon-Weltmeisterschaften, die in dem Jahr in Oberhof stattfanden. In der Folgesaison gewann er in einem Einzel in Turin beim vorolympischen Testweltcup als 26. zum ersten Mal Weltcuppunkte. Weitere Punkte gewann er bei den Biathlon-Weltmeisterschaften 2005 in Hochfilzen, als er 26. im Sprint wurde. Bērziņš Start bei den Olympischen Spielen 2006 in Turin brachte erneut keine nennenswerten Ergebnisse, obwohl er in allen Rennen außer dem Massenstart eingesetzt wurde. Die Saison 2006/07 brachte mit einem 24. Platz im Einzel von Antholz Bērziņš bislang beste Weltcupplatzierung in einem Einzelrennen.