Historie Gangi bývá podle teoretických předpokladů ztotožňována se ztraceným mytickým městem Engyon (ve staré řečtině Ἔγγυον), které bylo založeno Kréťany na Sicílii kolem roku 1200 př. n. l. a které reprezentovalo v této oblasti mínojskou kulturu. Po zániku tohoto legendárního Engyonu (jak nasvědčují některé archeologické nálezy, to sídlo se mohlo nacházet v lokalitě Gangivecchio nebo Monte Alburchia) mělo být na sousedním vrcholu Monte Marone založeno město Engio (z latinského "Engium"), později nesoucí jméno Gangi. Ovšem ještě z 12. století, kdy na Sicílii vládl Jindřich VI. Štaufský, jsou v nejstarších dokumentech zmínky o sídle Gangi v lokalitě Gangivecchio. Toto sídlo mělo být zničeno v závěru 13. století během bojů, které následovaly po tzv. Sicilských nešporách, tj. po povstání Sicilanů proti vládě francouzského krále Karla I. z Anjou. Od 15. století, kdy byla Sicílie pod Španělskou nadvládou, nebyli ani obyvatelé Gangi ušetřeni pronásledování ze strany španělské inkvizice, která zde nechala mučit a popravit převora benediktinského kláštera z Gangivecchia. V průběhu staletí se ve vlastnictví hradu a města střídaly různé šlechtické rody.