Under OL 1996 i Atlanta kom Baumann på fjerdeplass på 5000 meter. I sitt tredje verdensmesterskap i Athen kom Baumann på femteplass på 5000 meter. I Zürich noen dager senere ble han den første europeeren som løp på under 13 minutter, da han fikk tiden 12.54,70. Året etter tok han sølv på 10 000 under EM 1998 i Budapest. Han forsøkte også å forsvare tittelen på 5000 meter, men havnet langt bak medaljevinnerne. I august 1998 gjorde han et av sine siste store løp da han fikk tiden på 7.30,50 på 3000 meter under et stevne i Monaco.