是萨摩藩士大久保利通与妻子満寿子所生的第二子（幼名伸熊），出生后被大久保利通的姨表兄弟牧野吉之丞认为养子。1863年吉之丞在新潟战死，遂继承牧野家，但在大久保家长大。1871年（明治4年），11歳的牧野伸顕与父兄一起随岩仓遣欧使节团坐船前往美国，并在费城中学读书。1874年回国进入开成学校（后为东京帝国大学）就读。1880年（明治13年），从中途退学进入外务省工作，前往日本驻伦敦大使馆赴任，和赴欧进行宪法调査的伊藤博文相识。此后，牧野伸顕历任福井县知事、茨城县知事、文部次官、驻意大利公使、奥地利公使