但他此时已为癫痫症所苦，外表明显虚弱，必须严格控管饮食，常被论敌嘲讽。卸任掌玺大臣仅一年后，赫维病逝。赫维的妻子Lady Hervey（1700年－1768年），在Lady Louisa Stuart的"Anecdotes"之中被描绘成一位热情的斯图亚特王朝支持者。她是一位充满机智与魅力的女性，伏尔泰曾经以英文写诗献给她。除了《乔治二世宫廷回忆录》，赫维还曾创作过大量政治小册子和应景诗。
回忆录.赫维的《乔治二世宫廷回忆录》详细而写实地描述1727年－1737年间的乔治二世