912年，其父过世。刘太夫人养育其兄弟五人长大。同年，他于苏州沧浪亭师范附设小学毕业，名列榜首。考取上海民立中学。1918年，就读上海中国公学。1919年，北京学生发起「五四运动」，上海学生群起响应。李玉阶以中国公学学生分会会长身份，与当时上海学生领袖程天放、余井塘、潘公展等筹组上海学生联合会。他被推派为负责执行的总务部部长，策动上海地区大学、中学学生全面罢课。同年，加入国民党。1923年，担任上海烟酒公卖局局长。1924年，孙传芳聘其为上海市政府财政局局长，其后并兼任淞沪地区统一收税总局局长。19