谈兵事，四维受其影响，亦熟知边防事务。四维十五岁举秀才，名列优等，学政甚奇之，嘉靖二十八年（1549年）乡试，以第二名中举人。嘉靖三十二年（1553年）进士，入翰林院为庶吉士，三十四年（1555年）授翰林院编修。隆庆元年（1567年），因分摹《永乐大典》有功，升右春坊右中允，充任经筵日讲官，升为左春坊左谕德兼翰林院侍读。四维倜傥有才智，明习时事，被誉为“真博物君子”，为内阁首辅高拱所器重，三年（1569年）高拱提拔其为翰林院学士，升任吏部右侍郎。四年（1570年）十月，蒙古可汗俺答之孙汉那吉归降朝廷