Povlsen startet å spille fotball i den århusianske forstaden Viby, men gikk videre til toppklubben AGF Aarhus i 1984. I 1985 ble han tildelt Superligaens . Han flyttet utenlands i 1986, da han signerte for spanske Castilla CF, reservelaget til Real Madrid. I sin tid i Castilla CF fikk han sin debut for i 5–0 seieren over i en kvalifiseringskamp til sommer-OL 1988. Etter kun ett år i Castilla CF forlot han klubben til fordel for 1.FC Köln i Tyskland, hvor han spilte sammen med dansken Morten Olsen. Selv om han ikke var en stor målscorer, gjorde hans fart og innsats at han ble populær blant fansen, og han vant to sølvmedaljer, da FC Köln ble nr. to i 1988-89- og 1989-90-sesongen. Povlsen spilte ikke mer enn tre kamper for FC Köln i 1989-90 sesongen, ettersom han ble kjøpt av den nederlandske Eredivisieklubben PSV Eindhoven i 1989. Han spilte den resterende sesongen i PSV, hvor han var med på å vinne den nederlandske cupen, og ble nummer to i serien. Han flyttet tilbake til Tyskland, hvor han slo seg ned i Borussia Dortmund i 1990.