Hart ble født i en metodistisk familie i Ulster, i 1835. Hans far, Henry Hart (1806–1875), arbeidet i distilleriene, og giftet seg med en bondedatter, Ann Edgar, i 1834.