无学术，善音律，为舅氏姜皎所爱。林甫的姨丈侍中源干曜对他评价不好，他说：“郎官须有素行才望高者，哥奴岂是郎官耶？”唐玄宗开元十四年，任御史中丞，历任刑部、吏部侍郎，其中离间中书令张九龄，使之被贬。开元二十二年（734年）至天宝十一载（752年）间任唐朝宰相，开元二十四年（736年）起兼任中书令。为人阴柔奸狡，人称“口蜜腹剑”。又称他为「肉腰刀」。并参与武惠妃夺嫡之谋，造成皇太子李瑛、鄂王李瑶、光王李琚三位皇子被冤杀，意在拥立武惠妃之子寿王李瑁，未遂后又试图废黜新的皇太子李玙，迫使李玙先后休弃一妻一妾。