正10年（1582年）3月11日，因为织田氏的甲州征伐，令武田家灭亡。同年3月23日，织田家重臣泷川一益被赐予东信浓的佐久、小县二郡和上野一国，此时与其他上野国人众同様向一益投降。天正10年（1582年）6月2日，织田信长在本能寺之变中横死，相模的北条氏直开始侵攻上野。同月18日至19日，在神流川之战中，作为一益方战败（『上毛古战记』），战后向氏直投降。天正18年（1590年），在小田原征伐中，把白仓城交给弟弟重高守备，自身前往小田原城笼城（『上州古城垒记』）。在后北条氏灭亡后，白仓氏亦失去所领而没