。1913年调上海，任第三区警察署署长。1914年1月任改组后的江苏淞沪警察厅闸北分厅厅长。同年7月，升任淞沪警察厅厅长，负责上海华人界的社会治安。1915年1月，授陆军中将衔兼江苏省警务处长（当时上海属江苏省）。1919年压制上海响应五四运动的罢工罢市活动。1922年开设聚丰贸易公司，暗中贩毒。1923年10月授北洋将军府将军。同年，江苏督军齐燮元准备进攻浙江督军卢永祥，暗中联系拥有警察部队7000人的徐国梁。卢永祥之子卢小嘉怒而收买斧头帮帮主王亚樵，11月10日将徐刺杀。