Sus primeros años en la Football League fueron interesantes obteniendo un segundo lugar en 1896 y unos cuantos terceros lugares pero lo mejor de esas campañas fueron las tres finales de FA cup alcanzadas por el club, primero contra el Nottingham en 1898, luego contra el Sheffield en 1899 y por último contra el Bury en 1903 aunque todas estas finales fueron derrotas para el Derby.