任中文大学校长期间，李卓敏夫妇居于大学校长官邸汉园，是首位居于汉园的校长。李卓敏夫人在1998年4月1日于美国加州柏克莱逝世，终年80岁。李卓敏的兴趣包括网球、书法、桥牌和钻研字典；他生前是多家绅士会所会员，当中包括香港的美国会、香港乡村俱乐部、美国纽约的世纪协会和俄亥俄州克利夫兰高地的国际平台协会等。