汤河原的伊藤屋旅馆别荘「光风庄」休养，在外孙女麻生和子（吉田茂之女）的帮助下逃过一劫。第二次世界大战期间。天皇对牧野的信頼依旧，数度招他入宫中听取他的意见。晩年在千叶柏市居住。战后他作为最老的自由主义者得到很高评价，鸠山一郎被公职追放后由他接任自由党总裁的唿声很高，但因其年老的问题再次进入政坛不易而最后由其女婿吉田茂担任自由党的总裁和首相。1949年（昭和24年）1月25日去世，享年87岁。他是日本棋院初代总裁。另外他也是一个福尔摩斯迷。