Baku er første gang nevnt i historiske kilder i 885 e.kr, men arkeologiske funn tyder på at det har vært bosetting der i flere århundre før Kristi fødsel. På 1000-tallet kom Baku i besittelsen til Shirvanshah-kongedømmet, som på 1100-tallet gjorde byen til sin hovedstad. Bymurene ble styrket og det ble bygd borger inne i og rundt byen. På 1200-tallet og 1300-tallet var Baku tidvis under mongolsk herredømme. På 1500-tallet tok safavidene over byen. Etter deres fall ble byen i 1723 erobret av Peter den store, men ble returnert til Persia i 1735 før Russland vant den tilbake i 1806.