10年（1582年）6月2日，织田信长在本能寺之变中横死，相模的北条氏直开始侵攻上野。同月18日至19日，在神流川之战中，作为一益方战败（『上毛古战记』），战后向氏直投降。天正18年（1590年），在小田原征伐中，把白仓城交给弟弟重高守备，自身前往小田原城笼城（『上州古城垒记』）。在后北条氏灭亡后，白仓氏亦失去所领而没落。