城市范围不断扩展，赫斯搬迁到佐治路（Gorgie Road）另一边的泰因河城堡球场现址，而旧球场则成为贫民区。新球场揭幕战与zh-hans:博尔顿; zh-hk:保顿;进行友谊赛，以4-1旗开得胜。1892年泰因河城堡主办首场国际赛，苏格兰迎战威尔斯大胜6-1，但只有1,200名观众入座，由于当时正刮起大风雪，很多球迷以为球赛会改期上演。同年球场在南看台加设顶盖。
新世纪.泰因河城堡球场在20世纪初期进行大规模改建。首先于1903年在球场东面设置一个小型看台及帐篷；1911