时，一度成为德川方于若神子之战与北条氏直争战。天正13年（1585年）北条氏照率大军讨伐广照，经过大平连山之战及草仓山之战后，于天正14年（1586年）在德川家康、佐竹义宣仲介下，降伏北条氏并成为家臣，于北条方小田原城竹浦口守备。天正18年（1590年），在秀吉的小田原征伐期间向家康投降而成功保住所领。广照将居城从皆川城移往栃木城，并针对西侧流经的巴波川外堀的城下町进行整备。皆川广照与千利休的弟子山上宗二的交情深厚，山上宗二前往关东之际，把茶道秘传书『山上宗二记』交给他，因此天正18年（1590