Klubben ble opprettet av en gruppe venner fra Heart of Midlothian Dancing Club Speed. Den tradisjonelle fortellingen om opprettelsen var at vennegjengen kjøpte en ball før de spilte fotball i henhold til lokale regler på Tron, og der ble de dirigert av en lokal politimann til å spille på Meadows. Fotball med lokale regler var en blanding av rugby og den fotball som er kjent i dag. I desember 1873 ble spilt kamp mellom Queens Park og Clydesdale ved Raimes Park i Bonnington, et distrikt i Edinburgh. Det var den første gangen at reglene fra dagens fotball ble benyttet i Edinburgh. Medlemmene fra danseklubben så kampen og i 1874 besluttet de å gå over til de nye reglene. Den nye siden var Heart of Mid-Lothian Football Club. Den nøyaktige datoen for klubbens opprettelse ble aldri nedtegnet, men Tom Purdie hevdet at klubben ble opprettet i 1873. Den eldste omtalen av Heart of Midlothian i en sportslig sammenheng er rapportert i avisen den 20. juli 1864 om The Scotsman mot Heart of Mid-Lothian i cricket. Det er dog ikke kjent om det er den samme klubben som senere ble fotballklubben, men det var vanlig for fotballklubber den gang å spille andre former for sportsgreiner.