上海学生群起响应。李玉阶以中国公学学生分会会长身份，与当时上海学生领袖程天放、余井塘、潘公展等筹组上海学生联合会。他被推派为负责执行的总务部部长，策动上海地区大学、中学学生全面罢课。同年，加入国民党。1923年，担任上海烟酒公卖局局长。1924年，孙传芳聘其为上海市政府财政局局长，其后并兼任淞沪地区统一收税总局局长。1928年，应聘为财政部长宋子文机要秘书。北伐底定，于任内，殚智竭虑擘划中央地方税收划分原则、整顿盐税、成立税警团改进缉私方式、完成国民政府成立以来第一部22条《税法》草案，整顿中央税务