Visstnok fikk Harrison også seks barn med en av sine slavinner, Dilsia. Da han stilte til valg som president, tok det seg ikke ut å ha slavebarn rundt seg, så han ga fire av barna til sin bror, som solgte dem til en plantasje i Georgia. Gjennom denne grenen av familien ble Harrison oldefar til den kjente borgerrettsforkjemperen Walter Francis White, president i NAACP fra 1931 til 1955.