Seiring dengan semakin kuatnya Roma, Herodes diangkat sebagai raja klien Yahudi. Herodes Agung, sebagaimana ia dikenal, mengabdikan dirinya untuk mengembangkan dan memperindah kota ini. Ia membangun berbagai tembok, menara dan istana, serta memperluas Bukit Bait Suci juga memperkuat halamannya dengan blok-blok batu dengan berat mencapai 100 ton. Dalam masa pemerintahan Herodes, areal Bukit Bait Suci dilipatgandakan luasnya. Tak lama setelah wafatnya Herodes, Yudea pada tahun 6 M berada dalam pemerintahan Romawi secara langsung sebagai Provinsi Yudea, kendati Dinasti Herodian hingga Agripa II tetap menjadi raja klien atas wilayah di sekitarnya sampai tahun 96 M. Kekuasaan Romawi atas Yerusalem dan wilayahnya menghadapi tantangan dalam Perang Yahudi-Romawi Pertama yang berakhir dengan kemenangan Romawi. Bait Kedua dihancurkan pada tahun 70 M, dan seluruh kota dihancurkan dalam perang tersebut. Yosefus, sejarawan Yahudi pada saat itu, menuliskan bahwa kota ini "hampir seluruhnya diratakan dengan tanah oleh mereka yang menghancurkannya sampai fondasinya, sehingga tidak ada yang tersisa yang pernah dapat meyakinkan para pengunjung bahwa di situ pernah menjadi suatu tempat pemukiman." Kekuasaan Romawi kembali ditantang selama pemberontakan Bar Kokhba yang bermula pada tahun 132 M dan ditumpas oleh orang Romawi pada tahun 135 M.