军司马、吏部郎，铨选廉平。赐爵关中侯，任安丰郡太守。司马昭命他为自己的僚属大将军从事中郎，转任御史中丞，依法办事。曹魏伐蜀汉，李胤为西中郎将、都督关中诸军事。之后转任河南尹，封广陆伯。晋武帝泰始元年（265年），李胤为尚书，晋爵为广陆侯。上奏：“古代三公坐而论道，内参六官之事，外与六卿之教，兼听狱讼，疑难之典，谋及卿士。”建议大政方针，应听取群公直言。晋武帝听从。泰始二年（266年），任吏部尚书仆射，转太子少傅、领司隶校尉。咸宁元年（275年）以侍中加特进，迁尚书令。晋武帝因司徒为西汉的丞相之职，以李胤