Klubben som ble grunnlagt i 1903, har en unik historie og var den første klubben som vant den skotske ligacupen tre ganger. Klubben er også den eneste som har vunnet den skotske FA-cupen mens laget holdt til i andredivisjon.