異母妹の御井夫人を妻として、4人の子が存在する。