欽明天皇
しかし、欽明天皇の代に入ると欽明天皇と血縁関係を結んだ蘇我稲目が台頭、金村の権勢は衰え始める。さらに欽明天皇元年（540年）には新羅が任那地方を併合するという事件があり、物部尾輿などから外交政策の失敗（先の任那4県の割譲時に百済側から賄賂を受け取ったことなど）を糾弾され失脚して隠居する。これ以後、大伴氏は衰退していった。