好三人衆暗杀（永禄之变），之后降服于松永久秀。后来织田信长拥立义辉之弟义昭就任第15代征夷大将军，因此返回京都侍奉义昭。当时在京都的义昭的居城二条城中藤贤的屋敷也採用了名为「藤户石」的名石。据说运送这块石头，是由织田信长亲自指挥运输的。天正元年（1573年），义昭举兵反抗信长而劝谏其不要这么做。结果在义昭举兵之后，藤贤还是跟随他了。结果城池被织田军包围，因而投降。义昭被从京都追放之际，获得了信长的许可，而担任近江国坂本城主。天正9年（1581年）的京都御马揃中以旧公方衆的身份参加，但是并没有与被流放到中