延宝8年(1680年)に志摩鳥羽藩主・内藤忠勝が刃傷事件のために改易に処された際には、雄豊が鳥羽城受け取り役に命じられ、志摩国鳥羽へ赴いた。