在《圣经·列王纪上》第五章至第六章记载,所罗门在即位后第四年开始,花费七年时间在城内建造了第一座圣殿。所罗门圣殿所在的地方是最后确知的约柜所在的地方,后来在犹太人历史中一直具有重要地位(在一定程度上对基督教也很重要),也是犹太人崇拜的焦点。这座圣殿采用来自推罗(Tyle)的岩石及香柏建造,成为当地最重要的礼拜地,并取代了其他地方的祭坛。到“第一圣殿期”末,这座圣殿成为全国唯一的宗教场所和朝圣的中心。此后的400年(直到前586年所罗门圣殿被毁),后来称为第一圣殿时期。这一时期开始于所罗门去世(前930年),北方10个支派分裂出去,成立了以色列王国(首都位于撒马利亚)。在大卫和所罗门后裔的统治下,而耶路撒冷仍然是南方犹大王国的京城,长达300多年。前722年,亚述征服了北方的以色列王国。前597年,巴比伦国王尼布甲尼撒二世攻破耶路撒冷,年轻的国王约雅斤和大多数贵族均被掳到巴比伦囚禁(史称巴比伦之囚)。在西底家的领导下,耶路撒冷反抗巴比伦的占领,前586年,尼布甲尼撒二世占领并摧毁这座城市,城墙被毁,圣殿被焚,圣殿中大批的金银器皿则被带到巴比伦。前538年,巴比伦之囚50年后,波斯帝国居鲁士大帝灭亡巴比伦,允许犹太人回到犹太地重建耶路撒冷圣殿,圣殿重建工程在前516年(大流士一世在位第六年),也就是第一圣殿被毁70年后完成。接着,尼希米又重新修建耶路撒冷城墙,使城市又恢复了繁荣。此后600年间,犹太地先后是波斯、希腊和罗马的一个省份,耶路撒冷则是犹太省的首府。在罗马统治的前期,曾委任代理王大希律王进行统治。大希律王在位时扩建了圣殿。公元6年,犹太地直接归属罗马统治 。公元70年,一次反抗罗马的起义失败后,罗马军队拆毁了圣殿(只剩下部分墙基,即西墙)。犹太人再次起义,最后在135年,罗马皇帝哈德良派兵包围并夺取了该市;作为惩罚措施,下令在希伯来历埃波月九日,即耶路撒冷遭巴比伦和罗马军兵两次攻陷的周年记念日(恰巧是同一日),将耶路撒冷彻底铲平,在原址新建罗马城市爱利亚加比多连(Aelia Kapitolina),圣殿山上另建罗马神庙;同时将所有犹太人赶出巴勒斯坦,禁止犹太人在耶路撒冷居住。耶路撒冷在3个亚伯拉罕宗教—犹太教、基督教和伊斯兰教以及其他许多较小宗教团体,如巴哈伊教中扮演重要角色。