Lenge var Gao et viktig kommersielt senter for den transsahariske handelen. Arabiske kilder utenfra hevder at Gao i det niende århundre var en viktig regional makt, og i det tiende århundre var byens hersker en muslim. Mot slutten av det trettende århundre mistet byen sin uavhengighet, og ble en del av Maliriket, men i den første halvdel av det femtende århundre gjenvant byen uavhengigheten med Sonni Alis erobringer, og den ble så Songhais hovedstad. Dette riket brøt sammen da de marokkanske saʿdiene invaderte i 1591, og marokkanerne valgte heller Tomcouctou som sin hovedstad. Da Heinrich Barth besøkte byen i 1854, hadde Gao gått inn i en nedgangsperiode, og besto av 300 hytter.