父・祐経は建久4年(1193年)5月、曾我兄弟によって殺害された。