기원전 63년부터 폼페이우스가 팔레스타인을 지배했지만, 헤로데가 로마에 의해 분봉왕이 되면서 로마 제국의 지배가 강화되기 시작했다. 예수가 태어날 쯤부터 팔레스타인은 혼란에 빠졌고 이후 유대인들과 기독교인들은 박해를 받았는데, 이는 제1차 유대-로마 전쟁의 발단이 되었다. 66년부터 73년까지 계속된 전쟁에서 로마의 황제 티투스는 예루살렘을 점령하고, 통곡의 벽을 제외한 두 번째 성전 전체를 파괴했다. 132년부터 135년까지의 바르 코크바의 반란이 실패한 후, 모든 유대인들은 로마 제국에 의해 예루살렘에서 추방되었고, 일부는 팔레스타인 밖으로 쫓겨났다. 로마 제국은 팔레스타인의 지역명을 유다에서 시리아 팔레스티나로 바꾸었다. 132년 로마의 황제 하드리아누스는 예루살렘의 이름을 바꾸고 로마신화의 최고신 유피테르를 위한 성전들을 지었다. 그러나, 기독교는 비밀리에 계속되었다.