李绍祖于1917年11月1日出生于马来联邦雪兰莪州吉隆坡（今马来西亚吉隆坡联邦直辖区），曾就读吉隆坡维多利亚书院。他在1931年入读新加坡英皇爱德华七世医学院（今新加坡国立大学杨璐玲医学院），1942年毕业后于竹脚医院任职医生，翌年被派往泰缅边境负责泰缅铁路战俘的医疗工作。1947年，李绍祖在禧街挂牌执业，成为私人医生。他在行医期间，亦曾任英国医科协会南部分区名誉秘书以及马来亚分部秘书。
政治生涯.1958年，李绍祖在吴庆瑞的介绍下加入人民行动党，并在1959年大选中当选为女皇镇