Klubben ble stiftet av Tiverton Preedy, og fra 1887 til 1897 var navnet Barnsley St Peter's. I denne perioden deltok laget først i Sheffield and District League fra 1890-1891 og senere i Midland League fra 1895-1896. I 1898 gikk de inn i 2. divisjonen til The Football League, og deres første kamp endte med et 1-0 tap mot Lincoln City. Deres største triumf kom i 1912 da de vant FA-Cupen. Finalen endte uavgjort 0-0 mot West Bromwich, men i omkampen vant laget 1-0. Barnsley var også i finalen 2 år tidligere, men da ble det tap mot Newcastle United.