41年3月，罗富国才返港复任港督，可是到同年9月6日，他复因病辞任港督一职，返回英国休养。罗富国称病辞职后，接任港督杨慕琦爵士在1941年9月10日抵港履新，当时香港局势仍然相当平稳，市面一概如旧，但到12月8日，日军偷袭太平洋珍珠港后挥军香港，爆发香港保卫战，杨慕琦旋于12月25日兵败投降，沦为日军战俘，到1945年8月日本投降后才获得释放。相较之下，罗富国在香港保卫战爆发前三个月及时因病脱身返英，因此幸运地没有成为战俘。
晚年生涯.返英调理一段日子以后，罗富国爵士于1942年重