弟の恒次郎は医師、次男の順蔵は中国思想史家として知られる。