。1925年（大正14年），牧野转任内大臣，1935年（昭和10年）离任。退任时被授予伯爵。昭和天皇对牧野的信任非常深厚，在他向天皇提出退任意向时，天皇流着眼泪很是不舍。为了保持影响力，牧野推荐了汤浅仓平继任内大臣。1936年（昭和11年），二二六事件中牧野被作为亲英美派的代表被袭击，政变发生时他正在汤河原的伊藤屋旅馆别荘「光风庄」休养，在外孙女麻生和子（吉田茂之女）的帮助下逃过一劫。第二次世界大战期间。天皇对牧野的信頼依旧，数度招他入宫中听取他的意见。晩年在千叶柏市居住。战后他作为最老的自由主