妻は子爵・高木正得の四女・小夜子。