Hallam fikk elleve barn med sin hustru, som døde den 25. april 1846. Kun fire av barna vokste opp, Arthur Henry, Ellen, som døde i 1837 (disses død ble minnet i dikt av lord Houghton), Julia som ble gift med John Farnaby Lennard, og Henry Fitzmaurice. Hallam hadde en søster som døde ugift og etterlot sin formue til ham.