19. oktober 1999 testet Baumann positivt på nandrolon og fikk en to års utestengelse. Etter at resultatene ble kjent, gjennomgikk Baumann frivillige tester av et uavhengig institutt. Disse testene viste svært høye nandrolonverdier, og testresultatene svingte dramatisk. Baumann hevdet at resultatene varierte etter når på døgnet testene ble tatt, fordi nandrolonet var i hans tannpasta. Det tyske friidrettsforbundet (DLV) trodde Baumann på at noen hadde tuklet med tannpastaen hans, og tillot ham å starte i det tyske mesterskapet, der Baumann kvalifiserte seg til OL i Sydney. Det internasjonale friidrettsforbundet (IAAF) var imidlertid uenige i denne avgjørelsen, og idømte ham en utestengelse. Etter utestengelsen gjorde han et comeback i 2002, 37 år gammel, og tok en ny sølvmedalje på 10 000 m under EM i München. Han deltok også under VM 2003 i Paris, men fullførte ikke 10 000-meterløpet. Han la opp sent i 2003.