（1450年），镰仓公方足利成氏与关东管领对立，于江之岛合战之际足利成氏弹劾两上杉家的家宰，因为在领地内进行支配的是家宰，于是家宰的权限变得太过强大。因此当主与家宰之间产生对立关系。例如在文明9年（1477年），长尾景春与主君上杉显定对立并反起叛乱（长尾景春之乱）；在文明18年（1486年），家宰太田道灌被主君上杉定正谋杀。战国时代至江户时代中有家老和宿老等职位。以后家宰的权限渐渐缩小，纯粹变成了指挥家长的私事的役职，连称唿都变成广敷用人、用人、侧用人、家令、家扶长、执事 (日本)等。此等职权未必一样，