营运赖以维持。1878年，曰字楼孤子院成为政府津贴学校。同年，因夫人健康欠佳，未能继续胜任女舍监，雅瑟于是辞去校长一职，转任香港中央书院副校长。其后又历任裁判处文员长、警官学校校长。活跃于共济会，时往厦门参与相关活动。1900年5月，退休返英，居于根德郡。1912年1月27日，于歌和路逝世，享寿七十二岁。1949年，拔萃男书院成立雅瑟社（绿社），以资铭念。雅瑟之子夏礼﹙Harry Arthur﹚生于香港，曾为台南安平协领。外孙亦是港产，历任吉里巴斯群岛、塞舌尔、向风群岛总督，后受骑士爵。