市内迁移数地后最终在1881年搬到佐治区（Gorgie），五年后（1886年）迁进现时的泰因河城堡球场。赫斯是苏格兰联赛在1890年成立时的创始成员，亦是唯一的苏格兰东部球队。在1895年至1906年之间接连取得两届联赛及四次苏格兰杯冠军。在第一次世界大战期间整队赫斯十六名球员自愿参军，数以千计的球迷追随，七名队员在战争中被害，战后只有少数队员能在战壕中重回球场作赛。每年的阵亡将士纪念日（Remembrance Sunday）市民都会到干草市场（Haymarket）纪念碑前悼念为国捐躯的英灵。赫斯