岛高晴遭怀疑暗中帮助丰臣氏，改由织田信长次子织田信雄成为藩主，直到1695年因织田家内部发生御家骚动，被该封至后，此后成为幕府直属的奈良奉行或五条代管所的知行领地，另有部分区域为旗本或是的领地。19世纪末明治维新后，这些区域曾先后隶属奈良县、柳本县、堺县、大坂府，直到1887年重新恢复设置奈良县后，才再次隶属奈良县。在1880年实施时，正式的设置了近代的行政区划「宇陀郡」，并在式上郡三轮村（位于现在的樱井市）设置「三轮郡役所」，由于郡役所同时也负责管辖周边的式上郡、式下郡、宇陀郡，因此后来又改称为「