囚禁中度过了几乎整个1950年，并最终于1951年5月被驱逐出境。从此开始，纽黑文的雅礼与其创办的长沙、武汉机构之间的联系差不多整整中断了30年。
1951年－1979年.1951年至1954年之间，大陆反美情绪高涨，国民党治下台湾动乱不安，雅礼在华事业不得不暂时搁置。在此期间，雅礼将大部分精力和资源用来资助在美中国学生，同时密切註意亚洲值得支持的新项目和新机会。很快，他们找到了位于英国殖民地香港的一所为难民开设的本科学院。这所学院由钱穆及一些中国知识分子创建，他们立志在大陆风云际