因为对此反对的家臣拥立国繁的母亲妙印尼并死守城池，于是兄弟二人被幽禁在小田原城（『石川忠总留书』）。守城军与佐竹义重、连结，攻击北条方的，不过在同年冬天因为北条方的攻势，城池被攻下。天正13年（1585年）正月，金山城、馆林城依照当初的预定，让渡予北条氏照，兄弟二人的知行得到保证，国繁把本据移至（桐生城），显长则把本据移至，不过因为投向北条方的黑熊中城阿久泽氏等人独立，实质上领土减少。天正14年（1586年）正月，显长杀死佐野宗纲，并向北条氏请求领有佐野的领地，不过佐野的领地最后交给北条氏忠。天正15年