可是在老挝的经历，使卫奕信对中国文化感到深厚的兴趣，因此极力要求到香港的香港大学学习中文。外交部最初打算让他到新加坡南洋大学学中文，但得到艾惕思爵士之帮助，卫奕信终于如愿以偿，于1960年到香港学中文。自1960年至1962年，卫奕信一直都在香港的香港大学学习普通话，同时还兼任时任香港总督柏立基爵士之政治顾问。期间，他曾寄居于湾仔的一个华人家庭，后来则改与一位来自印度的同学同住一单位。卫奕信在学习中文方面显露出突出的天份和才华，当时一般外籍人士需要学习三年中文才可考试，但卫奕信学了两年中文就获准考试，并