船前往美国，并在费城中学读书。1874年回国进入开成学校（后为东京帝国大学）就读。1880年（明治13年），从中途退学进入外务省工作，前往日本驻伦敦大使馆赴任，和赴欧进行宪法调査的伊藤博文相识。此后，牧野伸顕历任福井县知事、茨城县知事、文部次官、驻意大利公使、奥地利公使等职务。1906年，牧野伸顕在第一届西园寺内阁中任文部大臣，1907年11月4日因外交方面的功绩被授予男爵。1911年在第二届西园寺内阁任农商务大臣、1913年的第一届山本内阁任外务大臣。这个时期的牧野，与伊藤博文及其后継者西园寺公望