传闻不足为奇，指出自己当年也与麦理浩勋爵常有意见不合的时候，没有分歧才更令人奇怪，惟陈方安生未几于2001年宣佈辞职。晚年的罗弼时继续以写作为乐，于2006年发表新书"Another Disaster"（《又一场灾难》）。2013年5月20日，他因为肾病在诺福克郡家中逝世，终年90岁，家属在同年5月28日在当地圣玛丽教堂为他举行葬礼。罗弼时身后，香港行政长官梁振英、终审法院署理首席法官陈兆恺、以及汶莱司法界和法律界均对其逝世致以轸悼；罗弼时的家属也引述他生前指出，在香港担任公职的26年是他的「黄金岁月」