公元前63年，耶路撒冷被罗马共和国的格奈乌斯·庞培占领，设犹太行省。保留犹太人国王，作为傀儡，由罗马帝国方面设置总督。公元前4年至公元1年，耶稣于犹太行省耶路撒冷伯利恆出生，《圣经》新约开始，记载的事件背景多为犹太行省内各地。公元33年，耶稣被时任罗马总督彼拉多判钉十字架。公元66年和132年，为了反抗罗马帝国统治，当地犹太人发起了犹太战争以及巴尔柯赫巴起义，但均遭到罗马军队的镇压。公元135年，罗马拆除耶路撒冷圣殿，并把所有犹太人驱逐出犹太行省，同时将该地重新命名为「巴勒斯坦」（），改置。