Su primer título oficial lo ganó el 23 de abril de 1904, al vencer en la final de la FA Cup —"Copa de Inglaterra"— al Bolton Wanderers en Crystal Palace National Sports Centre; esa misma temporada el club estuvo cerca de ganar el título de liga, pero finalizó segundo.