69年7月，黄杰奉调行政院政务委员兼中华民国国防部长，仍是军职外调的文职政务官。期间制定国防组织法，发展国防科技。1972年6月，奉调总统府战略顾问。1975年4月25日，黄杰到慈湖弔祭蒋中正陵寝，哭泣伤痛，令人感动亦感激；与蒋经国相谈甚久，二人共进午餐，使蒋经国「人在悲痛之时，益感友谊之可贵」。1995年病逝台北，享年93岁。安葬于五指山国军示范公墓特勋区。
作品.生平擅诗词及书法，并着有《老兵忆往》、《作战日记》、《淞沪及豫东作战日记》、《服务母校工作纪要》、《滇西作战