1900年5月，退休返英，居于根德郡。1912年1月27日，于歌和路逝世，享寿七十二岁。1949年，拔萃男书院成立雅瑟社（绿社），以资铭念。雅瑟之子夏礼﹙Harry Arthur﹚生于香港，曾为台南安平协领。外孙亦是港产，历任吉里巴斯群岛、塞舌尔、向风群岛总督，后受骑士爵。