再興する際には有力大名の藤堂高虎の口添えがあったと伝わる。廊ノ坊の子どもたちは廊ノ坊の妻の実家である色川の色川家（清水家）にかくまわれていた。色川は山岳地帯で堀内氏も攻め抜くことができなかった｡このため、豊臣秀吉の時代、色川氏は熊野の戦国大名となった堀内氏にはつかず、秀吉の弟で大和と紀伊を支配した秀長の家来だった藤堂高虎についた。色川氏は高虎とともに朝鮮に出兵している。高虎の助力はこの縁とされ、色川氏の美談として伝わる。