郡太守李敏之孙。幼年孤儿以孝着称。仕郡上计掾，被州辟为部从事、治中，举孝廉，参镇北军事。转任乐平侯相，政尚清简。入朝为尚书郎，历任中护军司马、吏部郎，铨选廉平。赐爵关中侯，任安丰郡太守。司马昭命他为自己的僚属大将军从事中郎，转任御史中丞，依法办事。曹魏伐蜀汉，李胤为西中郎将、都督关中诸军事。之后转任河南尹，封广陆伯。晋武帝泰始元年（265年），李胤为尚书，晋爵为广陆侯。上奏：“古代三公坐而论道，内参六官之事，外与六卿之教，兼听狱讼，疑难之典，谋及卿士。”建议大政方针，应听取群公直言。晋武帝听从。泰始二年