Han var gift med Petronelle Kornelia Rye. Foreldrene hans var Niels Boesen Harris og Anne Henrikke Schwengel.