После завоевания Вавилона персами, Кир II Персидский позволил евреям вернуться из Вавилонского пленения в Иудею и восстановить Храм. Строительство было завершено в 516 или 439 году до н. э. Затем Артаксеркс I (или, возможно, Дарий II) разрешил Эзре и Нехемии вернуться, восстановить стены города и управлять Иудеей (которая при персидском правлении именовалась провинцией Ехуд). На протяжении эпохи Второго Храма, — в особенности в течение периода Хасмонеев, — городские стены были расширены и обновлены. Ирод Великий раздвинул стены, так чтобы они включили Западный холм. Позже Агриппа I начал сооружение третьей стены, которая была завершена непосредственно перед тем, как разразилась Первая Иудейская война. Некоторые остатки этой стены расположены сегодня возле заправочной станции Ворота Мандельбаум.