Hearts hadde betydelig suksess i de første årene til skotske fotballigaen, de vant ligaens mesterskap i 1895 og i 1896. De vant også fire cupfinaler i en 15 års periode fra 1891 til 1906. Laget spilte mot engelske Sunderland AFC i verdensmesterskapet for 1894/95, men tapte 5-3. Derimot vant klubben verdensmesterskapet i 1902 ved å beseire engelske Tottenham Hotspur FC 3-1 ved Tynecastle Park, etter et uavgjortresultat på 0-0 i London noen få måneder tidligere.