大伴金村
しかし、欽明天皇の代に入ると欽明天皇と血縁関係を結んだ蘇我稲目が台頭、金村の権勢は衰え始める。さらに欽明天皇元年(540年)には新羅が任那地方を併合するという事件があり、物部尾輿などから外交政策の失敗(先の任那4県の割譲時に百済側から賄賂を受け取ったことなど)を糾弾され失脚して隠居する。これ以後、大伴氏は衰退していった。
晩年は大伴氏の館のあった摂津国住吉郡(現在の大阪市住吉区)に住み、そこで死去。住吉区にある帝塚山古墳は、大伴金村あるいはその子の墓とされている。ただし、古墳の築造年代は4世紀末から5世紀初頭であり年代が合わない。
奈良県葛城市には、金村を祀る金村神社がある。