钦明天皇时期开始，物部尾舆成为大连，开始与苏我氏对立。 587年物部氏的物部守屋败于苏我氏的苏我马子而自刎，物部氏开始走向衰落。朱鸟元年（686年）物部麻吕由于在壬申之乱后一直追随天武天皇，重被赐姓石上氏。
系谱.根据『先代旧事本纪』，其系谱为