Ifølge Det gamle testamente i Bibelen var byen sterkt befestet allerede i 1000-tallet f.Kr før kong David erobret den. I dag er det antatt at kong Davids by lå sørvest for murene som omgir gamlebyen, utenfor Møkkaporten. Davids sønn, kong Salomo, utvidet bymurene og omkring 440 f.Kr, i den persiske perioden, vendte Nehemja tilbake fra fangenskap i Babylon og bygde dem opp igjen. Fra 41 til 44 bygde romren Marcus Vipsanius Agrippa en ny bymur som kalles .