Som trener for Artmedia Bratislava vant Weiss Corgoň Liga og nådde gruppespillet i Mesterligaen 2005/2006. Han trente FC Saturn Moscow Oblast fra februar 2006 til juni 2007. I sin tid ved FC Saturn Moscow Oblast hentet han mange slovakiske fotballspillere fra sin tidligere klubb, før han i juni 2007 ble hentet tilbake som trener for FC Artemedia Bratislava. Siden 2008 har han vært hovedtrener for det slovakiske fotballandslaget. Den 14. oktober 2009 ledet han laget til en historisk suksess, hvor det for første gang kvalifiserte seg for en turnering av betydning. Slovakia vant sin kvalifiseringsgruppe etter en 1-0-borteseier over i den siste og avgjørende kvalifisieringskampen. I Fotball-VM 2010 førte han Slovakia videre fra gruppespillet etter en 3-2-seier over 24. juni 2010.