ハロルド・ピンター
ハーマンの家系は、政治的・文化的に重要な閨閥に連なっている。彼女の父、ジョン・B・ハーマンは、ヴィクトリア女王や初代ウェリントン公爵アーサー・ウェルズリーの伝記作家として知られる、(旧姓ハーマン)の兄弟である。エリザベスの夫は、弁護士ので、2人の間に生まれた、作家の、、歴史作家で著名なアントニア・フレイザーはハーマンの従姉に当たる。アントニア・フレイザーは政治家のと結婚し、を生んだが離婚。のちにノーベル文学賞受賞作家のハロルド・ピンターと再婚している。娘フローラも伝記作家で活動中である。