I løpet av november 2003 gikk klubben inn i administrasjon på grunn av et finansielt vanstyre av klubbeierne, Peter Marr og Jimmy Marr. Siden klubben ble satt under administrasjon, mistet Dundee flere av sine talentfulle spillere, men klubben kjempet videre og maktet å unngå nedrykk den sesongen. I 2004-2005-sesongen slet Dundee med en minimal spillerstall og rykket ned på sesongens siste dag. Duffy fortsatte i stillingen med velsignelse fra styret for å forsøke å bringe klubben tilbake til SPL på første forsøk. Den 24. august 2005 valgte styret likevel å gi Duffy sparken etter bare fire kamper i den nye sesongen, selv om Dundee befant seg på topp i Scottish First Division.