父である将軍頼家は建仁3年（1203年）9月の比企能員の変によって鎌倉を追放され、翌年善哉が5歳の時に北条氏の刺客によって暗殺された。
父亲将军赖家在建仁3年（1203年）9月的比企能员之变被逐出镰仓，翌年被北条氏的刺客暗杀。