家长大，所以后来称爲曾我兄弟。治承寿永之乱中伊东家追随平家，伊东祐亲被捕后自杀。而工藤祐经支持源家成爲源赖朝的宠臣。曾我兄弟也长大成人，兄长一万丸元服之后继承曽我家家督，改名为曾我十郎祐成。弟弟箱王丸寄养在父亲河津祐泰的菩提寺箱根权现社出家。文治3年（1187年），源赖朝参拜箱根权现社，箱王丸发现了随同前来的工藤祐经。工藤祐经不知道眼前的箱王丸是与自己有杀父之仇的侄子，甚至送给箱王丸一把红木柄的短刀。最后箱王丸就是用这把短刀杀了工藤祐经。此后箱王丸投奔姑父北条时政（北条时政的前妻是伊东祐亲的