חפירות ארכאולוגיות העלו ממצאים המעידים על פעילות אנושית מתקופת האבן. הממצאים כוללים בעיקר כלי עבודה ושרידי מזון המעידים כי בירושלים וסביבתה התהלכו קבוצות של ציידים-לקטים. ההתיישבות האנושית על השלוחה הידועה כעיר דוד החלה - ככל הידוע - בתקופה הכלקוליתית. היישוב החל לקרום עור וגידים כעיר במהלך תקופת הברונזה ולשיא התפתחותו הגיע בתקופת הברונזה התיכונה. העיר, שנבנתה על ידי אחד העמים הכנענים וכללה בתחומה את פסגת עיר דוד, הוקפה בביצורים מאסיביים. כמו כן נבנה בעיר מפעל מים חצוב באבן על מנת לאפשר לה אספקת מים גם בעיתות מצור. למרות קיומם של מקורות כתובים אין הסכמה בין החוקרים באשר להשפעה המדינית-פוליטית באזור: תאוריה אחת קובעת כי העובדה שאין במקורות כל אזכור למקומות יישוב מהתקופה מעידה על דומיננטיות של ירושלים באזור יהודה ובערים המבוצרות (בית אל ודביר, ששרידיהן נחשפו בחפירות, ושהיו ערים כפופות לשליטה והשפעה ירושלמית). תאוריה אחרת עולה ממחקרו של פרופסור נדב נאמן , על פיה שטח השפעתה של ירושלים היה מצומצם והוגבל על ידי בית אל ודביר, שהיו בעצמן ערי ממלכה עצמאיות.
תקופת הברונזה המאוחרת.
בתקופת הברונזה המאוחרת, הפכה ארץ כנען לאזור מריבה ושדה קרב בין האימפריה המצרית ואימפריות ממסופוטמיה. ירושלים, אחת מערי המדינה הכנעניות, הייתה נתונה תחת שלטון מצרי, ומוזכרת במכתבי אל-עמארנה בהם פונה שליט העיר עבד-חבה לפרעה בבקשות עזרה. המקרא הוא הבסיס העיקרי לתולדות ירושלים בתקופת המקרא, אף על פי שאמינות מקור זה - לפחות לגבי תקופת ההתנחלות מוטלת בספק. על פי הכתוב בספר יהושע , אדוני צדק, מלך ירושלים, עמד בראש ברית מלכי הדרום במלחמתם כנגד יהושע בן נון וצבא בני ישראל, בעימות שבסופו הושג ניצחון ישראלי ונכבש כל אזור ההר - ללא ירושלים. אף על פי שחורבנה של העיר לא מוזכר בפירוש במקרא, כתוב בספר שופטים כי שבט יהודה העלה אותה באש. ייתכן וחולשת העיר משכה אליה תושבים חדשים, היבוסים, שיש הקושרים אותם לחיתים. מאז ועד כיבוש העיר על ידי דוד, כעבור כ-200 שנה, נקראת העיר בשם המקראי יבוס. האזכור המפורסם ביותר של יבוס באותה תקופה, בהיותו יישוב נכרי יחיד בלב אזור ההר המיושב בשבטים יהודיים, היה במעשה פילגש בגבעה:
תקופת הברזל (תקופת המקרא).
תקופת הברזל הראשונה (מאות 10–12 לפנה"ס) - תחילת התיישבות ישראלית.
גם אם נתחשב בעדויות ארכאולוגיות, המקורות אודות כיבוש ירושלים בידי דוד המלך הם מעטים מאוד. לכן, אנו נאלצים להסתמך על תיאור המאורע בתנ"ך, בלא שתהא בידינו היכולת לאמת זאת באופן מדעי.
על פי המסופר במקרא, הכיבוש החלקי של ארץ כנען על ידי שבטי ישראל הותיר את ירושלים בידי היבוסים, ועם הכתרת דוד למלך (בחברון) הוא החליט לכבוש את העיר ולהפכה לעיר בירתו. הסיבות להחלטה אינן ברורות לחלוטין: כשבוחנים את הנתונים הגאוגרפיים והפיזיים של ירושלים מסתבר שאינם אידיאליים לעיר בירה, מהיותה רחוקה ממוקדי הכוח ומדרכים ראשיות. ההנחה היא שההחלטה הייתה פוליטית, "עיר יבוס" שכנה על כתף הר בין שבט יהודה בדרום - לשבט בנימין בצפון, במובלעת שלא נכבשה מעולם, מה שהופך אותה ל"נייטרלית", עיר שאינה מזוהה עם אף אחד משבטי ישראל. לפי המסורת זהו המקום בו עמד אברהם אבינו להקריב את יצחק בנו, מקום העקדה, ולכן הבחירה במקום היא "אלוהית". ספר דברי הימים א, יא ד-ט מתאר את כיבוש ירושלים על ידי דוד המלך:
תקופת הברזל השנייה (מאות 6–10 לפנה"ס) - תקופת בית ראשון.
על פי המסופר בתנ"ך, ירושלים הפכה תחת שלטון דוד המלך למרכז המדיני-דתי של ממלכת ישראל המאוחדת ולמקום משכן ארון הברית. בנו של דוד, שלמה, בנה את בית המקדש הראשון בהר המוריה בסביבות המאה ה-10 לפנה"ס, כ"בית זבול" (בית משכן?) לאלוהים וכסמל לזיקת העם לבית דוד. הבית נבנה בשטחו של גורן (ארַוְנה היבוסי) שם רכש דוד את הקרקע, והקים בו מזבח לה'. בניית בית המקדש נמשכה כשבע שנים ולאחריה נבנה ארמונו של שלמה במשך 13 שנים, סך הכל 20 שנה. על פי המקרא, לצורך הבניה הטיל שלמה מיסים כבדים על העם, העסיק גם מומחים ובנאים צידונים ויבא עצים וחומרי בנייה. על אף בניית בית המקדש בירושלים לא בוטל הפולחן בבמות ברחבי הארץ, ואלה הוסיפו לשמש לצורכי זבח וקורבן, אף על פי שהתורה אסרה שימוש בבמות בזמן שבית המקדש קיים. ברם, בהיעדר עדויות ישירות מחוץ לתנ"ך, שאלת קיומה של הממלכה המאוחדת, במיוחד תחת שלמה, נתונה למחלוקת. חוקרים רבים, שהבולט בהם הוא ישראל פינקלשטיין מפקפקים בכך, וגורסים שירושלים באותה תקופה הייתה עיר קטנה למדי. עם זאת, כתובת תל דן בה מופיע השם "בית דוד" לציון בית המלכות ביהודה, מצביעה לכאורה על קיומו של אדם בשם "דוד", שייסד את בית המלוכה ביהודה.
רחבעם, בנו הבכור של שלמה, לא הצליח לשמור על שלמות הממלכה, ועם עלייתו לשלטון בשנת 928 לפנה"ס היא התפרקה לשתי ממלכות נפרדות, ממלכת יהודה שכללה את שבטי בנימין, שמעון יהודה (ולוי) ובתוכה ירושלים, וממלכת ישראל שכללה את עשרת השבטים הנותרים (למעשה תשעה שבטים בעלי נחלות, ושארית שבט לוי שהיו מפוזרים בכל הנחלות). עם פילוג הממלכה נותקה ממלכת ישראל, מהמקדש בירושלים - שהיה מעתה מרכז פולחן לממלכת יהודה בלבד. בממלכת יהודה הוסיפו לזבוח גם בבמות השונות עד לימי יאשיהו כשנהרסו הבמות, ובית המקדש נהיה למקום היחיד לעבודת האלוהים. מאז נאסרה כליל עבודת אלילים באיסור חמור, והציווי לעבודת האלוהים האחד הפך לייסוד האמונה היהודית.
בימי המלך חזקיהו, בסוף המאה השמינית לפנה"ס, צרו על העיר צבאות אשור; ואולם העיר עמדה במצור, בין השאר בזכות נקבת השילוח שהזרימה מים ממעין הגיחון שהיה מחוץ לחומות העיר לבריכת היקוות מפנים לחומות. לקראת סוף תקופת הבית הראשון העיר התרחבה לכיוון צפון מערב, לאזור אותו תופש הרובע היהודי, ואף מעבר לכך.
חורבן בית ראשון.
על פי המסורת היהודית, בית המקדש הראשון עמד על תלו כארבע מאות ועשר שנים עד שהועלה באש בשלהי קיץ שנת 586 לפנה"ס (חודש אב), על ידי נבוזראדן, שר צבאו של נבוכדנאצר מלך בבל, שכבש את ירושלים והחריבה. חורבן הבית היה סוף תקופת בית ראשון, ומאז ולאורך גלות בבל, חדל בית המקדש לשמש כמרכז רוחני ליהודים. כלי המקדש נבזזו ונלקחו לבבל, כפי שמסופר ב:
לאחר חורבן ממלכת יהודה ובית המקדש הראשון הוגלו רבים, ובראשם הצמרת השלטונית, לבבל. חסרים מקורות כלשהם לקורות יהודה, וארץ ישראל כולה, בין השנים 582 ל-539 לפנה"ס, היא השנה בה ניגפה ממלכת בבל בפני כורש מלך פרס. נוטים לשער שבמהלך תקופה זו לא חלו שינויים מהותיים ביישוב בארץ. משחרב הבית הראשון הפכה יהודה, כמו ממלכת ישראל 136 שנה לפניה, לחלק ממערכת הפחוות של האימפריה הנאו-בבלית. היישוב היהודי בארץ ישראל עתיד להתחדש רק עם שיבת ציון, 48 שנים מאוחר יותר.
תקופת בית שני.
במשך כשש-מאות השנים שבין 538 לפנה"ס ועד לשנת 70 לספירה, תקופה היסטורית בתולדות עם ישראל וארץ ישראל המכונה תקופת בית שני, הייתה ירושלים בירת חבל יהודה. תקופה זו בדברי ימי ירושלים נתחמת בין שיבת ציון לחורבן בית שני, ולאחר חורבן זה חדלה ירושלים להוות עיר יהודית למשך דורות אחדים.
המבנה החשוב ביותר בירושלים בתקופה זאת היה בית המקדש השני, והיהודים היוו את הקבוצה האתנית-דתית הדומיננטית בעיר, ובכל פרובינקיית יהודה (על שמותיה השונים). ירושלים הייתה מרכז חיי הדת לכל היהודים, גם לאלה שחיו בגולה, שהמשיכו לשאת עיניהם לירושלים ועלו לרגל אליה. העיר היוותה כר פורה ליצירות דתיות, ובתקופה זו עוצב חלק גדול מדמות הדת היהודית כפי שהיא מוכרת בעת החדשה. באותה תקופה נחתם המבנה הקנוני של התנ"ך, ובה נאספו, נוצרו ונחתמו רוב פרקי המשניות.
מבחינה פיזית, ירושלים מתוחמת מדרום, ממערב וממזרח בגיאיות הגדולים של נחל קדרון וגיא בן הנום, בהתאמה. לכן, כיוון ההתפתחות הטבעי האפשרי של העיר היה תמיד צפונה, שם משתרעת רמה ללא מכשול טבעי, עובדה שהופכת את הצפון גם לנקודת התורפה הפגיעה ביותר שלה. ואכן, עם כל התרחבות של העיר צפונה נבנתה חומה נוספת, צפונית יותר, שנועדה להגן על שטח ההתיישבות החדש. החוקרים מונים שלוש חומות שנבנו מצפון לכל אזור הרחבה חדש, לאורך ימי הבית השני.
התקופה הפרסית.
בעקבות הכרזת כורש, החל משנת 538 לפנה"ס החלו יהודים לחזור לארצם, ואגב כך גם לירושלים. בין השנים 538 לפנה"ס ו-332 לפנה"ס הייתה ירושלים בירתה של מדינת-חסות באימפריה הפרסית שנקראה פחוות יהודה. בראש הפחווה עמד פחה (מושל), שבתחילה היה פרסי אך מאז מינוי נחמיה כפחה היהודי הראשון (445 לפנה"ס), התפקיד נועד ליהודי. במשך התקופה הראשונה שלאחר שיבת ציון, חומות ירושלים לא היו מבוצרות כדבעי, והמקדש במרכזה היה צנוע. כפי שמספר יוסף בן מתתיהו:
עם זאת, התקיימו בעיר חיים שוקקים שהתבטאו גם ביצירה דתית ורוחנית מונומנטלית: חתימת התנ"ך, איסוף ועריכת המשניות הראשונות, והנחת היסודות לפרשנות העתידה להפוך את חומשי התורה - לתורת חיים.
התקופה ההלניסטית.