导人邓小平会面，简悦强从中得知中共坚持接收香港主权，有感意兴阑珊，他于1980年距离完成任期尚有五个月辞任行政局首席非官守议员，淡出政坛。简悦强在1983年退任东亚银行主席后，其时中、英步入香港前途谈判，他进一步担忧香港前景，于是将手上所持股份悉数售予李冠春后人，自此简氏家族退出了东亚银行的业务管理。此外，简悦强于1983年退任香港中文大学校董会主席后，在同年获聘任为中文大学终身校董，同时改任香港中文大学首任副监督，继续投身参与中文大学发展，在职13年，至1996年2月退休。他退休以后，大学副监督一职一直悬