Yerusalem
cukup penting dalam tulisan suci Ibrani awal. Kemungkinan redaktur Apokrifon Kejadian ingin memisahkan Melkisedek dari daerah Sikhem, yang mana pada saat itu dikuasai orang Samaria. Bagaimanapun sumber-sumber Rabinik setelah itu juga menyamakan Salem dengan Yerusalem, terutama untuk menghubungkan Melkisedek dengan tradisi-tradisi Bait di kemudian hari.
Dalam bahasa Arab, Yerusalem paling sering disebut , ditransliterasikan sebagai al-Quds dan berarti "Yang Suci" atau "Tempat Suci". Kebijakan resmi pemerintah Israel mengamanatkan bahwa , ditransliterasi sebagai ralm, yang mana merupakan kerabat dari nama-nama Ibrani dan Inggris, digunakan sebagai nama bahasa Arab untuk kota ini bersama dengan . -.
Keluarga-keluarga Arab Palestina yang berasal dari kota ini sering disebut "Qudsi" atau "Maqdisi", sementara orang Yerusalem (Jerusalemite) Muslim Palestina mungkin menggunakan istilah-istilah ini sebagai demonim.
Mengingat posisi sentral kota Yerusalem di tengah nasionalisme Yahudi (Zionisme) dan nasionalisme Palestina, selektivitas yang diperlukan untuk merangkum lebih dari 5000 tahun sejarah permukimannya seringkali dipengaruhi oleh latar belakang atau bias ideologis (lih. Historiografi dan nasionalisme). Era kedaulatan Yahudi dalam sejarah Yerusalem dipandang penting oleh nasionalis Israel
(Zionis), yang mengklaim hak atas kota ini berdasarkan garis keturunan Yahudi dari Kerajaan Yehuda bangsa Israel, dimana Yerusalem adalah ibu kotanya. Era Islam, Kristen dan berbagai era non-Yahudi lainnya dalam sejarah Yerusalem dipandang penting bagi nasionalis Palestina, yang mana mengklaim hak atas kota ini berdasarkan garis keturunan Palestina modern dari beragam bangsa
berbeda yang telah tinggal di wilayah ini. Akibatnya kedua belah pihak mengklaim bahwa sejarah Yerusalem telah dipolitisir oleh kalangan lain untuk memperkuat klaim relatif mereka atas kota ini, dan bahwa hal ini dikonfirmasi oleh fokus-fokus berbeda yang dibuat beragam penulis pada berbagai peristiwa dan era dalam sejarah kota ini.
Bukti keramik menunjukkan pendudukan Kota Daud, di dalam Yerusalem masa kini, selama Zaman Tembaga (c. milenium ke-4 SM), dengan adanya bukti sebuah permukiman permanen selama awal Zaman Perunggu (c. 3000-2800 SM). Teks Kutukan (c. abad ke-19 SM), yang mana merujuk pada sebuah kota bernama rw3lmm dan dengan berbagai cara ditranskripsikan sebagai
Rualimum/Urualimum/Rôsh-ramen, juga surat Amarna (c. abad ke-14 SM) mungkin adalah teks-teks yang pertama kali menyebut kota ini. Beberapa arkeolog, termasuk Kathleen Kenyon, meyakini bahwa Yerusalem didirikan oleh orang Semit Barat Laut dengan permukiman yang terorganisir pada sekitar tahun 2600 SM. Nadav Na'aman berpendapat bahwa fortifikasinya
sebagai pusat suatu kerajaan terjadi pada sekitar abad ke-18 SM. Permukiman pertama itu terletak di Ofel.
Pada akhir Zaman Perunggu, Yerusalem merupakan ibu kota dari suatu negara-kota vasal Mesir, sebuah permukiman sederhana yang memerintah beberapa desa terpencil dan daerah penggembalaan, dengan suatu garnisun Mesir yang kecil dan diperintah oleh orang-orang yang ditunjuk seperti Raja Abdi-Heba. Pada masa Seti I dan Ramses II, dilangsungkan pembangunan skala besar seiring dengan meningkatnya kemakmuran.
Periode ini, ketika Kanaan merupakan bagian dari kerajaan Mesir, bersesuaian dengan catatan Alkitab tentang invasi Yosua. Dalam Alkitab, Yerusalem didefinisikan berada dalam wilayah yang dialokasikan bagi Suku Benyamin kendati diduduki oleh kaum Yebus. Daud dikatakan telah menaklukkan daerah-daerah ini dalam Pengepungan Yebus, dan memindahkan ibu kotanya dari Hebron ke Yerusalem
dimana kemudian menjadi ibu kota dari suatu Kerajaan Israel bersatu, serta salah satu dari beberapa pusat keagamaannya. Keputusan ini mungkin didasari oleh fakta bahwa Yerusalem tidak membentuk bagian dari sistem kesukuan Israel, dan dengan demikian cocok untuk berfungsi sebagai pusat federasi tersebut. Ada perbedaan pendapat mengenai apakah sebuah Struktur Batu Besar dan sebuah Struktur
Batu Bertingkat di dekatnya dapat diidentifikasi sebagai istana Raja Daud, atau berasal dari periode selanjutnya.
Menurut Alkitab, Raja Daud memerintah selama 40 tahun. Perkiraan yang umum diterima mengenai akhir pemerintahannya adalah tahun 970 SM. Alkitab menyatakan bahwa Daud digantikan oleh Salomo putranya, yang kemudian membangun Bait Suci di Gunung Moria. Bait Salomo (kemudian dikenal sebagai Bait Pertama) melanjutkan suatu peranan penting dalam sejarah Yahudi sebagai tempat
penyimpanan Tabut Perjanjian. Setelah Salomo wafat, sepuluh dari Suku Israel utara memisahkan diri dari Kerajaan Bersatu tersebut untuk membentuk sendiri negara, raja, nabi, imam, tradisi keagamaan, ibu kota dan bait mereka di Israel utara. Suku-suku selatan, bersama dengan imam keturunan Harun, tetap tinggal di Yerusalem dengan kota ini sebagai ibu kota Kerajaan
Yehuda. Peninggalan arkeologis dari era Israel kuno juga meliputi Terowongan Hizkia, yakni sebuah akuaduk yang dibangun oleh Raja Yudea Hizkia dan dihiasi dengan inskripsi Ibrani kuno yang dikenal sebagai Inskripsi Siloam, suatu fortifikasi pertahanan dengan sebutan Tembok Lebar yang dibangun oleh Hizkia pada abad ke-8 SM, Makam sang Pengurus Istana (Monolit
Silwan) dengan hiasan inskripsi yang monumental dalam bahasa Ibrani, dan Menara Suku Israel, yakni sisa-sisa fortifikasi kuno yang dibangun dari batuan kukuh yang besar dengan pilar-pilar berukir. Sebuah waduk yang sangat besar dari periode ini ditemukan pada tahun 2012 di dekat Lengkung Robinson, mengindikasikan keberadaan suatu bagian kota yang padat penduduk di daerah barat Bukit Bait Suci pada masa kerajaan Yudea tersebut.
Ketika orang Asiria menaklukkan Kerajaan Israel pada tahun 722 SM, Yerusalem diperkuat oleh masuknya gelombang pengungsi yang sangat besar dari kerajaan utara. Periode Bait Pertama berakhir sekitar tahun 586 SM dengan ditaklukkannya Yehuda dan Yerusalem oleh bangsa Babilonia, serta penghancuran Bait Salomo oleh mereka.
Pada tahun 538 SM, Raja Persia Koresh Agung mengundang orang Yahudi dari Babilonia agar pulang ke Yehuda untuk membangun kembali Bait tersebut. Pembangunan Bait Kedua terselesaikan pada tahun 516 SM dalam masa pemerintahan Darius Agung, 70 tahun setelah penghancuran Bait Pertama.
Beberapa saat setelah tahun 485 SM, Yerusalem dikepung, ditaklukkan, dan sebagian besarnya dihancurkan oleh suatu koalisi negara-negara tetangganya. Pada sekitar tahun 445 SM, Raja Artahsasta I dari Persia mengeluarkan sebuah dekret yang memperbolehkan kota ini (termasuk temboknya) untuk dibangun kembali. Yerusalem kembali berperan sebagai ibu kota Yehuda dan pusat ibadah Yahudi.
Banyak makam Yahudi dari periode Bait Kedua telah ditemukan kembali di Yerusalem. Salah satu contoh yang ditemukan di utara Kota Lama berisikan jasad manusia dalam sebuah osuarium yang dihiasi dengan inskrispsi Aramaik bertuliskan "Simon sang Pembangun Bait." Makam Abba, juga terletak di utara Kota Lama, menyimpan sebuah inskripsi Aramaik dengan huruf
Paleo-Ibrani yang kira-kira dapat dibaca: "Aku, Abba, putra imam Eleazar, putra Harun sang imam besar, Abba, yang tertindas dan teraniaya, yang lahir di Yerusalem, dan pergi ke dalam pembuangan di Babilonia dan membawa (kembali ke Yerusalem) Matatias, putra Yehuda, dan menguburnya di sebuah gua yang kubeli dengan akta." Makam Benei Hezir yang terletak
di Kidron dihiasi dengan inskripsi Ibrani dan kolom-kolom Doria yang monumental, diidentifikasi sebagai situs pemakaman para imam Bait Kedua. Makam Sanhedrin, suatu kompleks bawah tanah yang berisikan 63 makam berupa lubang pahatan dalam batu karang, terletak di sebuah taman publik di Sanhedria di Yerusalem utara. Makam-makam ini, mungkin dikhususkan bagi para anggota Sanhedrin serta ditorehkan tulisan Aramaik dan Ibrani kuno, bertarikh antara tahun 100 SM dan 100 M.