于1959年为逃避中共「批斗黑五类」，举家逃到香港，一无所有。分别就读民生书院小学以及民生书院（小一至中七），1978年于香港大学土木工程系毕业。他就读中六时曾报考普通教育高级程度证书（GCE）考试，并获得3A1B的成绩。1978年大学毕业后，加入联合医院旗下观塘职业健康中心，宣传职业健康安全资讯。1980年转投基督教工业委员会，开始处理劳资纠纷、策划大型工潮。1989年民运期间，李卓人带着香港市民捐赠的190万港元到北京支援学生，6月5日在港府回程包机上被公安带走，被软禁4日，签署悔过书承诺日后「