年（736年）起兼任中书令。为人阴柔奸狡，人称“口蜜腹剑”。又称他为「肉腰刀」。并参与武惠妃夺嫡之谋，造成皇太子李瑛、鄂王李瑶、光王李琚三位皇子被冤杀，意在拥立武惠妃之子寿王李瑁，未遂后又试图废黜新的皇太子李玙，迫使李玙先后休弃一妻一妾。开元年间，张嘉贞、王晙、张说、萧嵩、杜暹等皆以节度使之职入朝知政事。李林甫欲杜绝“出将入相”之源，尝奏曰：“文士为将，怯当矢石，不如用寒族、蕃人，蕃人善战有勇，寒族即无党援。”自是高仙芝、哥舒翰皆专任大将，李林甫利用这些人不太识文字，无法入相，以巩固自身的权力，但此举使