Duffy ble utnevnt til Brechin City-manager i januar 2009, og erstattet Michael O'Neill, som hadde forlatt klubben for å trene Shamrock Rovers én måned tidligere. Duffy trakk seg fra stillingen etter at Brechin hadde blitt slått 3–0 sammenlagt av Cowdenbeath i kvalifiseringsspillet for skotsk førstedivisjon i mai 2010.