Im Juni 2005 fanden die Europameisterschaften in Ljubljana-Tacen statt. Kauzer gewann die Silbermedaille im Einer-Kajak hinter Helmut Oblinger aus Österreich und die Goldmedaille im Mannschaftswettbewerb der Einer-Kajak-Fahrer zusammen mit Dejan Kralj und Andrej Nolimal. Bei den Weltmeisterschaften 2005 in Penrith belegte er im Einzelwettbewerb den 17. Platz. Im Mannschaftswettbewerb gewannen die Slowenen Bronze. 2006 bei den Europameisterschaften in L’Argentière-la-Bessée war Kauzer Vierter im Einzelwettbewerb. Im Mannschaftswettbewerb siegten Kauzer und Kralj zusammen mit Jure Meglič. Bei den Weltmeisterschaften 2006 in Prag belegte er den achten Platz in der Einzelwertung und den vierten Platz mit der Mannschaft. 2007 fanden die Europameisterschaften im slowakischen Liptovský Mikuláš statt. Im Einzelwettbewerb gewann Kauzer Silber hinter dem Slowaken Ján Šajbidor, zusammen mit Kralj und Meglič siegte er in der Mannschaftswertung. Bei den Weltmeisterschaften 2007 in Foz do Iguaçu belegte er den 15. Platz im Einzel und den fünften Platz mit der Mannschaft. Ebenfalls medaillenlos blieb Kauzer bei den Europameisterschaften 2008 in Krakau, wo er den fünften Platz im Einzel und den vierten Platz mit der Mannschaft erreichte. Bei den Olympischen Spielen 2008 in Peking belegte Peter Kauzer den 13. Platz.