他人，吏部尚书高拱趁机贬吴时来为云南副使。不久，再为高拱门生给事中韩楫所劾，离职闲住。万历十二年（1584年），起为湖广副使，擢通政使司左通政。万历十三年（1585年），任大理寺卿、刑部右侍郎。万历十四年，任吏部右侍郎、吏部左侍郎。万历十五年，担任左都御史，弹劾诚意伯刘世延怙恶抗旨。虽然吴时来早年弹劾权贵声震朝野，但是因这十余年的挫折，他的晚年更多是在权贵间虚与委蛇。不久，东林党人饶伸、薛敷教、王麟趾、史孟麟、赵南星、王继光接连弹劾吴时来，吴时来被迫辞职，未离京师之前，就已经去世。明廷赠其为太子太保，谥