港府只撤走英籍侨民，有歧视之嫌。截止1940年7月，港府一共将大约3,500名英籍侨居妇孺撤离到澳洲，但有900名家眷仍选择留港，结果这批人于香港沦陷后大致被送入日军拘留营或集中营囚禁。尽管香港战霾密佈，不过罗富国仍关注社会建设，当中尤其专注香港的教育发展。在1939年，港府于西营盘医院道成立一间全新的师范学院，名叫香港师资学院，该学院后于1941年迁往般含道，并更名为罗富国师范学院，由于港督罗富国爵士出生豪门，学院遂以罗富国的家族盾徽为校徽。罗富国师范学院后来于1994年併入香港教育学院。此外，在罗富