后，牛惠霖于1918年回到中国，任上海仁济医院副院长、外科主任。1920年辞职改任外科顾问，并与兄弟、着名骨科医生牛惠生创办了霖生医院。1922年，牛惠霖被聘为中国红十字会总医院院长，同时兼任红十字会时疫医院院长与虞洽卿路时疫医院院长。1923年关东大地震爆发后，他率领赴日救护队前往日本参与救护工作，后被授予日本红十字会纪念勋章。1924年，当选为中华医学会第五届会长。同时，他还任教于圣约翰大学。1932年一·二八事变爆发后，他组织设立伤兵医院，并任上海地方协会救护伤兵第一医院院长、上海公共租界万国商团