继位后再次担任大连之职。539年（钦明天皇元年），大伴金村将任那四郡割让给了百济，物部尾舆非难他，迫使金村从政界引退。552年（钦明天皇十三年），百济圣明王将佛像、佛经等送给日本朝廷（佛教公传）。物部尾舆与中臣镰子一起主张废除佛教（废佛派），与崇佛派的苏我稻目对立。