其为翰林院学士，升任吏部右侍郎。四年（1570年）十月，蒙古可汗俺答之孙汉那吉归降朝廷，朝议纷纷，四维力挺高拱、张居正，促成俺答封贡。升为吏部左侍郎，以疾乞归。万历二年（1574年）复原官，仍掌詹事府事，充任《世宗实录》副总裁。三年（1575年）为张居正引荐，以礼部尚书兼东阁大学士入赞机务。万历六年（1578年）春，主持神宗婚礼，加少保，晋武英殿大学士。最初在内阁任职时，张四维多事事曲从张居正意思办，后不能忍受，拟旨不尽如张居正的意思，故而张居正也渐恶张四维。万历十年张居正病逝，遂代为首辅，一反居正时期