李伯祥生于北京，父亲李洁尘也是一位相声演员。1943年起，五岁的李伯祥就随着父亲四处演出，学说相声。6岁时在南京贡院街金谷茶园首次登台演出，艺名小神童。1949年，李伯祥由北京启明茶社到天津小梨园、玉壶春等处演出。同年冬天，拜父亲的朋友，着名相声演员赵佩茹为师。1978年李伯祥开始和杜国芝合作表演相声。1979年，两人都调入天津市曲艺团，担任相声教师。1990年中央电视台录制传统相声，李伯祥分别杜国芝、孙少臣合作表演其中的数十段。1997年又在天津录制了多段传统相声，其中的《醋点灯》、《财迷回家》等节