Holt ble i oktober 1982 mistenkt for dopingbruk, etter at det i media ble slått stort opp at han sammen med vektløfteren Tage Knudsen skulle ha stukket av fra en dopingprøve. Medieoppslagene viste seg å være sterkt overdrevne, idet verken Holt eller Knudsen hadde blitt innkalt til dopingkontroll før de forlot lokalet. Dette ble senere bekreftet av Norges Idrettsforbund. I etterkant mottok både Holt og Knudsen innkalling til ny dopingprøve 31. oktober 1982. Begge møtte opp, men de nektet å la seg teste – delvis i protest mot det de mente var en uhjemlet innkalling, og delvis i protest mot å ha blitt hengt ut i media. De ba om at spørsmålet om dopingkontrollørenes innkallingsprosedyrer ble forelagt idrettsstyret i Norges Idrettsforbund for en prinsipiell behandling. Norges Idrettsforbund mente de hadde hjemmel for den aktuelle innkallingen, og kalte Holt og Knudsen inn til ny dopingprøve på Idrettens hus i Bærum 4. november 1982. Ingen av dem møtte opp, og i en felles uttalelse til NTB informerte de om at de verken ville la seg dopingteste eller konkurrere i aktiv idrett før deres forespørsel om prinsippbehandling var etterkommet. På et møte i idrettsstyret 25. november 1982 ble det vedtatt å anmelde Holt og Knudsen til Idrettsforbundets domsutvalg for brudd på dopingreglementet. Den 5. januar 1983 ble de av domsutvalget fradømt retten til å drive idrett i to år, under henvisning til at nektelse av å avgi dopingprøve likestilles med å avlegge positiv prøve. Dette var på daværende tidspunkt de strengeste dopingdommene i norsk idretts historie. Både Holt og Knudsen anket dommen. I mars 1983 besluttet Idrettsforbundets appellutvalg å nedsette straffen til et år for begges vedkommende. Både Holt og Knudsen ble dermed utestengt i et år, selv om ingen av dem hadde avgitt positiv dopingprøve.