Žbogar konnte bei Olympischen Sommerspielen 2004 in Athen die Bronzemedaille in der Offenen Klasse mit dem Laser gewinnen. Später wurde er zum Sportler des Jahres 2004 in Slowenien gewählt. Vier Jahre später bei den Olympischen Spielen in Peking gab es mit dem Laser für beide Geschlechter einen Wettkampf. Auch hier trat Žbogar wieder an und konnte dieses Mal die Silbermedaille gewinnen. Bei seiner dritten Olympiateilnahme 2012 blieb er ohne Medaille. In Rio de Janeiro 2016 hingegen konnte er erneut Silber gewinnen, dieses Mal in der Finn Dinghy Klasse. Bei der Eröffnungsfeier führte er als Fahnenträger beim Einmarsch der Nationen die slowenische Delegation ins Stadion an.