元，义贤则仕于细川分家・阿波守护赞州细川当主细川持隆，从此开始了在四国的影响力。天文16年（1547年），细川晴元与细川氏纲、畠山政国、游佐长教等势力在摄津爆发舍利寺之战，义贤做为细川晴元方将领出战获得胜利。此后随着三好的势力逐渐扩大，相继转战赞岐、和泉等地。而由于其弟十河一存后来成为和泉国岸和田城主，赞岐一国实际上也由其支配，因此囊括了三好势力在四国的政治及军事。天文22年（1553年）6月与其弟十河一存共同在见性寺内杀害了细川持隆，并拥立其子细川真之作为傀儡。此举虽引起持隆旧臣久米义张、佐野丹波