Duffy kuului vuoteen 2014 saakka Evertonin omistukseen mutta pelasi Valioliigassa vain viisi ottelua ja muutoin Evertonin reservijoukkueessa sekä lainalla Burnleyssä, Scunthorpe Unitedissa ja Yeovil Townissa. Vuosina 2014–2016 hän pelasi Blackburn Roversin joukkueessa Englannin mestaruussarjaa 63 ottelua, joissa hän teki viisi maalia. Elokuussa 2016 hän siirtyi Brightoniin, jossa hän ensimmäisellä kaudella pelasi mestaruussarjassa 31 ottelua ja teki kaksi maalia. Keväällä 2017 Brighton nousi Valioliigaan. Duffy pelasi kaudella 2017–2018 Valioliigassa 37 ottelua. Kaudella 2018–2019 hän pelasi Valioliigassa 35 ottelua ja teki niissä viisi maalia. Kaudella 2019–2020 hän pelasi Valioliigassa 19 ottelua ja teki niissä yhden maalin.