厌恶言官，下诏申斥，指责他们挟私报复。李世达劝谏：“效忠且正直的人，话语虽然偏激，心中实在没有别的意思。即使居心叵测，而谏言不能废置，应该一并容纳。只是阿谀奉承的人，此后应加以罢黜。则正直的话每天能听到，邪说渐渐消失。”万历二十一年，李世达与吏部尚书孙鑨共同主持京官的考核，将官员中私人关系入籍的全部贬斥。考功郎中赵南星被弹劾贬官，李世达极力抗争，皇上反而将南星除名，于是李世达请求辞职，皇上不同意。这年秋天吏部侍郎赵用贤因为拒绝婚事遭人攻击，李世达辩白无罪。郎中杨应宿、郑材上奏诋毁李世达，他便接连上奏请求