با قدرت گرفتن روم، هرود به عنوان پادشاه دولت اقماری یهودی گمارده شد. هرود بزرگ به توسعه و زیباسازی شهر پرداخت. در زمان وی دیوارها، برج‌ها و کاخ‌های متعددی ساخته شد. همچنین کوه معبد توسعه داده شده و محوطهٔ آن با بلوک‌های عظیم سنگی به وزن بیش از ۱۰۰ تن مستحکم شد. در زمان هرود مساحت محوطهٔ کوه معبد دو برابر شد. در زمان کوتاهی پس از مرگ هرود، در سال ۶ میلادی، یهودا تحت کنترل مستفیم امپراتوری روم درآمد. با این وجود، دودمان هرودیان پس از اگریپای دوم تا سال ۹۶ میلادی بصورت پادشاهان دست نشاندهٔ مناطق مجاور باقی ماندند. سلطهٔ رومیان بر اورشلیم در طی نخستین جنگ یهود-روم به چالش کشیده شده اما با غلبهٔ رومیان و تخریب شهر به حالت عادی بازگشت. بنابر روایت یوسف فلاوی مورخ یهودی، شهر «چنان با خاک یکسان شد که هیچ نشانی دال بر سکونت قبلی در آن بجای نمانده بود.» شورش دیگری موسوم به شورش بارکوخبا در سال ۱۳۲ میلادی رخ داد که در سال ۱۳۵ میلادی توسط رومیان سرکوب شد. با این وجود تحقیقات اخیر نشان داده ست که شورشیان بارکوخبا هرگز نتوانستند کنترل شهر را در دست بگیرند.