Den antas at byen ble grunnlagt på 1100-tallet. Men det er ennå uklart akkurat når den ble grunnlagt. Timbuktu ble grunnlagt som en leir av nomadiske tuareger. De brukte bare leiren deler av året, men den vokste raskt i størrelse og rikdom på grunn av den strategiske plasseringen. Byen var en viktig del av de transsahariske handelsveiene. Den lukrative handelen gjennom Sahara omfattet gull, elfenben, slaver, salt og andre varer. Timbuktu var viktigste by i flere etterfølgende riker: Ghanariket, Maliriket og Songhairiket. Byen hadde sin storhetstid på 1400- og 1500-tallet da den var et senter for islamsk teologi og misjonsvirksomhet i Nord-Afrika. Byens tre store moskeer er et vitnesbyrd om denne perioden. Djinguerebermoskéen, bygd i 1327 av El Saheli; Sankoremoskéen, også kjent som Universitetet i Sankore, bygd tidlig på 1400-tallet og Sidi Yahyamoskéen, bygd tidlig på 1400-tallet. Historikeren Leo Africanus besøkte byen i 1512, og skriver om den i sin bok (1526).