Даф је дебитовао за Блекберн роверс када му је било 18 година, у последњем колу сезоне 1996/97. напротив Лестер ситија. У наредној сезони је чешће добијао шансу и четири пута се уписао у стрелце, али је Блекберн и поред тога испао из Премијер лиге. У Премијер лигу су се вратили 2001. године, а већ наредне сезоне су освојили Лига Куп. Током Светског првенства 2002. продужио је уговор са Блекберном на још четири сезоне.