上奏：“古代三公坐而论道，内参六官之事，外与六卿之教，兼听狱讼，疑难之典，谋及卿士。”建议大政方针，应听取群公直言。晋武帝听从。泰始二年（266年），任吏部尚书仆射，转太子少傅、领司隶校尉。咸宁元年（275年）以侍中加特进，迁尚书令。晋武帝因司徒为西汉的丞相之职，以李胤为司徒。李胤为官“简亮持重，称为任职”。太康三年闰四月丙子（282年5月25日）李胤卒，谥号成。李胤为官清廉，家中贫俭，儿子得病无钱买药。晋武帝得知，赐钱十万。身后家无余财，晋武帝赐李胤家二百万钱，一千斛谷。