七年（1558年），再次弹劾严嵩，因其为徐阶弟子，下狱后，张翀、董传策、吴时来三人被拷问谁是主使，三人均不承认。不久，吴时来被贬戍横州。隆庆初年，恢复原职，晋工科给事中，举荐谭纶、俞大猷、戚继光等人北上镇守边疆。出为抚治郧阳，弹劾佥都御史刘秉仁，升顺天府府丞。隆庆二年（1568年），拜为南京右佥都御史、提督操江。隆庆四年，改为广东巡抚。但给事中光懋等弹劾他滥为举荐他人，吏部尚书高拱趁机贬吴时来为云南副使。不久，再为高拱门生给事中韩楫所劾，离职闲住。万历十二年（1584年），起为湖广副使，擢通政使司左