配伊势国的北畠晴具企图进军大和国，因此先控制了吉野，并在此区域与大和国的、、十市氏、发生多次战争。江户时代后，此区域被划为幕府直属的天领，并在1795年由位于西北侧宇智郡的五条代官所负责管理。19世纪末明治维新后，吉野郡曾先后隶属奈良县、五条县、堺县、大坂府，直到1887年重新恢复设立奈良县后才再次隶属奈良县。在1880年实施时，正式的设置了近代的行政区划「吉野郡」，并由设置在宇智郡五条村（位于现在的五条市）的「五条役所」负责管理，由于郡役所同时也负责管辖的宇智郡，因此后来又改称为「宇智吉野郡役