Hazlitt procedía de una familia irlandesa protestante, y de una rama que se trasladó durante el reino de Jorge I desde el condado de Antrim a Tipperary.