因为该楼离香港大学很近，日军“笔部队”准备利用这个楼房来查封香港大学冯平山图书馆收藏的中国古籍，实行文化统制。最后征用楼房之事被日军驻港总督矶谷廉介否决。香港日本政权欲以高薪聘请其任香港东亚学院院长，未果。1942年6月19日，陈寅恪致傅斯年、朱家骅、叶企孙、王毅侯四人信中说：“……香港倭督（指矶谷廉介）及汉奸（指陈君葆）复欲以军票二十万（港币四十万）交弟办东亚文化协会及审定中小学教科书之事。”1942年5月1日陈寅恪从日军占领下的香港大学正式辞职。携妻女逃离香港，至桂林，中研院物理所长丁西林前去迎接，