大的名气，二十岁左右后被任命为秘书郎，魏孝文帝元宏常常说：“这人是李氏的千里马。”李伯尚不久转任通直散骑侍郎，魏孝文帝任命他撰写太和年间的起居注，不久又转任秘书丞，魏宣武帝初年，兼任给事黄门侍郎。景明二年五月壬戌（501年6月30日），李伯尚与妹夫咸阳王元禧等人谋反，被人告发，李伯尚投奔过去有交情的同乡安东府主簿辛纂，事情发觉后，辛纂被免官，李伯尚被诛杀，虚岁二十九。