Klubben tok sitt navn fra fengselet Heart of Midlothian, som ble revet i 1817, men som var fortsatt levende i folks bevissthet ved Walter Scotts roman .