Hanne Harlem er datter av tidligere forsvarsminister Gudmund Harlem og yngre søster til tidligere statsminister Gro Harlem Brundtland og Lars Harlem. Hun er gift med advokat Sam E. Harris.