Bakke begynte fotballkarrieren på hjemstedet Sogndal. I 1999 ble han solgt til Leeds United for 45 millioner kroner. Yorkshire-klubben var da et topplag i engelsk og europeisk fotball. Bakke spilte blant annet for Leeds i semifinalen i Mesterligaen i 2000/2001-sesongen. Deretter ble Bakke med på klubbens økonomiske og sportslige nedtur i årene som fulgte. Høsten 2005 lånte Leeds ham ut til Aston Villa. Leeds ble ikke enig med Aston Villa om å forlenge låneavtalen, og han returnerte derfor til Leeds i februar 2006.