હેનરી ગ્રિમેએ મિશ્ર-જાતિના ગુલામ નેન્સી વેસ્ટોન સાથે સંબંધ શરૂ કર્યો હતો, તેની પત્ની મૃત્યુ પામ્યા પછી, અને તેમને બે પુત્રો, ફ્રાન્સિસ અને આર્કીબાલ્ડ હતા.