建次郎は天文学者・平山信の次女・多美と結婚し、長男・彬(法学者・慶應義塾大学名誉教授)、長女・絢子、次女・さだ子の1男2女をもうけた。