この頃、盟友の久世広宣や坂部広勝ら横須賀七人衆など、多くの元・横須賀衆が離脱しており、これは「我々は命じられて大須賀氏の与力となっていただけであり、本来は徳川直参家臣。