Sanan alkuperä on 1600-luvun lopun Irlannin Ulsterista. Englannin mainiota vallankumousta seuranneessa sisällissodassa Vilhelm III Oranialainen päihitti vuonna 1690 Stuart-suvun katolisen kuningas Jaakko II:n Boynen taistelussa. Vilhelmin ulsterilais-skottilaisia kannattajia kutsuttiin nimillä "Orangemen" (oranialaiset) ja "Billy Boys". Vastaavasti Appalakkien seudulle asettuneita ulsterilais-skottilaisia Vilhelmin kannattajia kutsuttiin nimellä "Hillbillies".