后来迁往模范区，名格非堂，即今日黄石路口的荣光堂），创办仁济医院（汉口协和医院的前身）。1863年，在汉口夹街建造华中第一所教堂——首恩堂。1864年7月，在当时尚未列为商埠的武昌戈甲营建造了湖北省城的第一所教堂（崇真堂，2000年恢复使用），在附近的昙华林，也建造了一所仁济医院。不久，又先后在孝感、天门、皂市以及黄陂、汉阳等地建立教堂。他和他的同事在湖北省建立了至少100个传教站,被称为“街头布道家”。杨格非以在广阔的中国内地旅行布道而知名，有时旅行距离远达3000英里以上。他是第一个进入湖北、湖南、