曾是潮汕大地主，李卓人在族谱卓字辈排行十八。父辈靠收租过活，不愁衣食，汕头的祖屋在二三十年代甚至有网球场，母亲在上海沪江大学毕业。于1959年为逃避中共「批斗黑五类」，举家逃到香港，一无所有。分别就读民生书院小学以及民生书院（小一至中七），1978年于香港大学土木工程系毕业。他就读中六时曾报考普通教育高级程度证书（GCE）考试，并获得3A1B的成绩。1978年大学毕业后，加入联合医院旗下观塘职业健康中心，宣传职业健康安全资讯。1980年转投基督教工业委员会，开始处理劳资纠纷、策划大型工潮。1989年