Peter Kauzer begann im Alter von sechs Jahren in Hrastnik mit dem Kanusport, dabei wurde er von seinem Vater Peter Kauzer sr angeleitet, der selbst aktiver Kanusportler war. Der 1,77 m große Peter Kauzer jr startete vom Beginn seiner Karriere an für "Steklarna Hrastnik" und ist seit 2001 auch international aktiv. 2002 startete er erstmals bei Europameisterschaften, 2003 debütierte er bei Weltmeisterschaften.