三好氏的势力急剧衰退，丹波国国人赤井氏和波多野氏的势力崛起，并不断蚕食内藤氏的领地。当时，室町幕府的将军足利义昭与织田信长对立，内藤如安在冲突中支持足利义昭。因此在织田信长消灭足利义昭势力之后决定消灭内藤氏。天正六年（1578年），织田信长派遣家臣明智光秀攻陷八上城，没收了内藤氏的领地。足利义昭在备后国的鞆（今广岛县福山市鞆町）重建室町幕府时，内藤如安出仕于该幕府。天正十三年（1585年），内藤如安成为小西行长的重臣，开始使用小西氏的名乘。万历朝鲜战争时期，内藤如安作为日本的使者，前往北京，同明朝进