Fylket har fått sitt navn etter Goshen Hole, en dal som ligger sørvest i fylket. Minst fire forskjellige fortellinger finnes om opprinnelsen til navnet Goshen Hole. John C. Frémont overnattet ved Goshen Hole 14. juli 1843 og skrev ned navnet i sin journal, på sin oppdagelsesekspedisjon på Oregon Trail.