文学专家的小川环树、还有日军竹藤峰治、肥田木等数人，均是日本各大学的中文系从军学生；而征用陈家租借的那楼居民楼是因为该楼离香港大学很近，日军“笔部队”准备利用这个楼房来查封香港大学冯平山图书馆收藏的中国古籍，实行文化统制。最后征用楼房之事被日军驻港总督矶谷廉介否决。香港日本政权欲以高薪聘请其任香港东亚学院院长，未果。1942年6月19日，陈寅恪致傅斯年、朱家骅、叶企孙、王毅侯四人信中说：“……香港倭督（指矶谷廉介）及汉奸（指陈君葆）复欲以军票二十万（港币四十万）交弟办东亚文化协会及审定中小学教科书之事。”