1980年9月被全斗焕任命为青瓦台。1982年5月与许和平因张玲子事件与全斗焕产生间隙，全斗焕尝试将许三守调任铁道厅长但被拒绝。1982年12月20日与许和平被全斗焕免去职务。1983年3月受夏威夷大学的邀请赴美担任客座教授，1984年在日本大学和京都大学担任客座教授，1985年在斯坦福大学胡佛研究所担任客座教授。从1986年2月开始数次短暂回国。1987年8月10日被卢泰愚任命为国策评议委员。1988年代表民主正义党参加釜山东区第13届国会议员选举，但在选举当中不敌卢武铉。1990年三党合并后被金