頼家には四男一女がいたが、皆非業の死を遂げている。