בתקופת בית שני הייתה ירושלים מרכז שלטוני ודתי, והיא התפתחה במהירות, בהתאם לטכנולוגיה הרומית. רמת החיים בעיר עלתה מאוד, ותושביה נזקקו למים רבים לשתייה, לרחצה, לטהרה ועוד. תפעול בית המקדש דרש אף הוא כמות רבה של מים לניקיון ולפולחן. מעיין הגיחון לא הספיק, ומצוקת המים בירושלים הייתה קשה. הדבר בא לידי ביטוי בעיקר בימי שלוש הרגלים – פסח, שבועות וסוכות - שבהם פקדו את ירושלים מאות אלפי מבקרים, שנצרכו לכמות מים עצומה.
מושלי העיר ופרנסיה דאגו לאיסוף מים בבורות, וברשימת נושאי התפקידים בבית המקדש מופיע "נחוניה חופר שיחים". הצורך הגדול בימי הרגלים, בא לידי ביטוי במקורות חז"ל:
האמה התחתונה.
החשמונאים (37-167 לפנה"ס) היו הראשונים שפתרו את בעיית אספקת המים לירושלים באמצעות הבאת מים ממרחקים. הם איתרו את עין עיטם, מעיין הנובע במרחק של כעשרה קילומטרים מירושלים, והזרימו את מימיו לבריכת אגירה סמוכה. מבריכה זו יצאה אמת מים ארוכה, שהוליכה אלפי ליטרים של מים ביום לירושלים. כדי להבטיח שהמים יזרמו באמת המים בלי קושי, הקפידו הבונים על שיפוע מתון ביותר של כפרומיל (מטר עומק לכל 1000 מטרים אורך), ויצרו אמה ארוכה ומפותלת, שהקיפה את ההרים בדרך בין בית לחם לירושלים. בשני מקומות בלבד נכרו מנהרות: האחת סמוך לבית לחם, והשנייה ברכס ארמון הנציב הסמוך לירושלים. הסיבה לכריית המנהרה הראשונה הייתה להימנע ככל האפשר מהלאמת שדות חקלאיים של יושבי בית לחם, וכן למנוע פגיעה וגנבת מים על ידי חקלאים מקומיים. המנהרה השנייה נועדה לחסוך עבודה רבה בהקפת הרכס הגבוה באמה, ובמקומה לכרות מנהרה באורך של כ-400 מטרים בלבד מדרום לצפון. מרכס ארמון הנציב עברה האמה לאורך הגדה הדרומית של גיא בן הינום, חצתה את העמק הרדוד בגשר סמוך לבריכת הסולטאן, והמשיכה לאורך הגדה הצפונית של הגיא. סמוך לשער ציון נכנסה האמה אל תוך העיר, והסתיימה בבית המקדש.
כמה עשרות שנים לאחר מכן גדלה ספיקת האמה, בעקבות אמה נוספת שיזם הנציב הרומי, פונטיוס פילאטוס (36-26 לספירה). אמה זו, המכונה 'אמת הערוּבּ' על שם מעיין המוצא שלה המרוחק כחמישה קילומטרים דרומית לעין עיטם, הזרימה מים לבריכה שנבנתה מעל בריכת האגירה הראשונה, ושתי הבריכות גם יחד מילאו עתה את האמה התחתונה.
האמה העליונה.
בימי הורדוס, שמלך כמאה שנה לאחר בניית "האמה התחתונה", לא הספיקו עוד מימיה של זו, והיה צורך באמה נוספת. יש הסוברים כי הורדוס עצמו יזם את הקמתה של אמה חדשה, ויש הסוברים שהייתה זו פעולה מאוחרת בהרבה של הלגיון העשירי בסוף המאה הראשונה לספירה. בניית האמה העליונה התאפשרה עם כרייתה של אמת אספקה נוספת, הנקראת 'אמת הבּיאָר' על שם מעיין המוצא שלה, הנובע לא רחוק מעין ערוּבּ, בנקודה גבוהה יותר. מי 'אמת הבּיאָר' הוזרמו לבריכה שלישית, שנחצבה מעל שתי הבריכות הקודמות לה. האמה העליונה יצאה מהבריכה העליונה. הבריכות שופצו והורחבו, וכונו ברבות השנים בכינוי השגוי בריכות שלמה. האמה החדשה הייתה משוכללת בהרבה, ועברה דרך מנהרות רבות, שחסכו פיתולים סביב ההרים, ולכן הייתה קצרה בהרבה מקודמתה. ניצולם של מעיינות נוספים באזור, שנבעו בנקודה גבוהה יותר מן הערוב והביאר, איפשר לאמת המים להתחיל מנקודה גבוהה יותר מבחינה טופוגרפית, ולכן היא נקראת "האמה העליונה".
אמת מים זו זרמה לאורך תוואי דרך חברון של ימינו, והגיעה עד חלקו העליון של גיא בן הינום, סמוך לשער יפו. נראה ששם נכנסה אל העיר, מילאה את "בריכת המגדלים" (היא בריכת חזקיהו שברובע הנוצרי), עברה דרך ארמון הורדוס (שברובע הארמני), מילאה את המקוואות ובורות המים בעיר העליונה, מקום מושב הכוהנים, ונכנסה להר הבית דרך הגשר הגדול.
המים שהגיעו לירושלים דרך אמות המים נאגרו בבורות ובבריכות אגירה, אך לבריכות אלו היו שני חסרונות: המים התאדו מהן במהירות, והמים העומדים התלכלכו והתעפשו. בשל כך שימשו בריכות האגירה בעיקר להשקיה ולניקיון, ואילו בורות המים שימשו לשתייה. עד היום קיימות בירושלים כמה בריכות אגירה ששרדו מהעת ההיא, ובהן בריכת הסולטאן, בריכת ממילא, בריכת ישראל ועוד.
המערכת הצפונית.
עבודת המקדש, ובפרט הקרבת הקורבנות, דרשו כמויות גדולות של מים. לשם כך נאגרו מימי נחל בית זיתא שזרם מצפון להר הבית בבריכות הצאן (נקראות גם בריכות ישראל ובית חסדא). מים אלה שימשו ככל הנראה להשקיה ולניקוי בעלי החיים שנועדו לעלות לקורבן, לנקיון רחבת המקדש וכן עבור עולי הרגל שהגיעו מצפון. בברית החדשה (הבשורה על-פי יוחנן, פרק ה', 9-1) מוזכרות הבריכות בהקשר של סגולות הריפוי שיוחסו למימיהן.
מפעל נוסף להולכת מים אל בריכת אגירה באזור הצפון-מערבי של הר הבית, נקרא כיום "המנהרה החשמונאית" או "מוביל המים החשמונאי" (כיום נמצא בקצה מנהרות הכותל). תקופת כרייתו לא הובררה, ויש המקדימים את זמנו אף לימי בית ראשון, אך ודאי שהוא מוקדם לימיו של הורדוס. מפעל זה ניקז את מימי נחל בית זיתא והגיא המרכזי אל בורות בשטח מצודת הבירה או הר הבית. אורך המנהרה 80 מטר, רוחבה כ-1.20 מטר וגובהה בשיאה 12 מטר. המנהרה נחשפה בחפירות משרד הדתות ב-1985.
שמחת בית השואבה.
חשיבותם הרבה של המים בעיר מעוטת המים, הייתה כנראה הסיבה שבימי בית המקדש נערכה בירושלים מדי שנה בחג הסוכות חגיגת מים מיוחדת שנקראה שמחת בית השואבה. היא לוותה בטקסים גדולים: הלויים שאבו מים ממעיין הגיחון והעלו אותם על המזבח במקדש. העם הודה לאל על הגשמים שירדו בשנה הקודמת והתפלל לגשמי ברכה בשנה החדשה.
שמחת בית השואבה הייתה גדולה כל כך, עד כי המקורות היהודיים מלאים בתיאורי השירים, הריקודים והחגיגות הסוערות:
על כך אמרו חכמי ישראל: "מי שלא ראה שמחת בית השואבה - לא ראה שמחה מימיו" (שם, שם).
התקופה הרומית.
בראשית תקופת השלטון הרומי הוקמה מצודת אנטוניה, ובעקבות זאת נוספה למערכת אספקת המים הצפונית בריכת הסטרותיון שנועדה לספק מים למצודת השלטון. ככל הנראה בשלב ראשון התמלאה הבריכה ממי גשמים, ובשלב מאוחר יותר הוסדרה אמת מים שניקזה את מי הטירופיאון אל הבריכה.
בימי הקיסר אדריאנוס (שבהם הוקמה איליה קפיטולינה על חורבות ירושלים), הייתה אספקת המים לירושלים אחת ממשימותיו של הלגיון העשירי פרטנסיס, שהיה מוצב בעיר. על חלקים רבים מאמת המים העליונה נמצאו שרידי כתובות של הלגיון, אשר תחזק ושיפר אותה.
ימי הביניים.
האמה העליונה והאמה התחתונה שימשו את ירושלים במשך מאות שנים, ותוחזקו על ידי שליטי העיר הנוצרים והמוסלמים. בחלוף השנים נזנחו האמות ונהרסו; במקומות רבים התפורר הטיח, העמודים נסדקו והאמה נפלה. בחלק מהמקרים פגעו חקלאים מקומיים באמה, כדי ליהנות ממימיה להשקיית שדותיהם. לבסוף התייבשו האמות, ושליטי ירושלים חיפשו פתרונות אחרים לבעיית אספקת המים לעיר. הפתרון היה בדרך כלל חפירת בריכות אגירה ובורות מים בעיר ובסביבותיה, כמופיע בתיאורו של הגאוגרף המוסלמי אל-מֻקַדָּסִי בשנת 985 לספירה:
שפע המים שתיאר אל-מֻקַדָּסִי לא האריך ימים: שנות בצורת שפקדו את הארץ והזנחת ניקיון הבורות והבריכות, יצרו מחסור חמור במים בירושלים. לעיתים היו הבורות והבריכות מתייבשים כבר באמצע הקיץ, ותושבי העיר נאלצו לקנות מים במחיר מופקע מתושבי הכפרים הסמוכים. אלה היו שואבים מים ממעיינות מרוחקים ומביאים אותם בנאדות עור אל תושבי העיר הצמאים. מחיר המים יכול היה להאמיר כל כך, עד כי בשנות בצורת קשות מתו עניי ירושלים בצמא, מפני שלא יכלו לממן את המים שלהם נצרכו.
התקופה הממלוכית.
הראשון בתקופה הממלוכית שהסדיר אספקה סדירה של מים להר הבית היה עלאא' א-דין, הממונה על ההקדשים וחברו לגדוד של ביברס. ב-1266 הקים מערכת הובלת מים להר הבית לצורכי טהרה.
ב-1327 שיקם המושל תנכיז את אמת המים התחתונה, ששימשה עוד מימי הרומאים להובלת מים ממעיינות אל-ערוב ומבריכות שלמה. הוא בנה את תעלות הסביל של בריכת הסולטאן והעביר אמה לאורך רחוב השלשלת להובלת מים אל ה"כוס" (אל-כאס), מבנה הטהרה שבנה על הר הבית. מפעל מים זה סיפק גם את המים הדרושים לבית המרחץ בשוק הכתנים.
בחודש מרץ 1483 נערכה פעולת השיפוץ האחרונה של אמת המים בתקופה הממלוכית. הסולטאן קאיתבאי הקציב סכום גדול לשיקום בריכות שלמה ואמת המים. סופה של האמה, העוברת גם היא ברחוב השלשלת, בסביל קאיתבאי שנבנה מול מדרסת האשרפייה על הר הבית. זהו הסביל המפואר ביותר בירושלים, ולו כיפה מעוטרת בתחרת אבן. הנוסע פליקס פברי, שביקר בירושלים ב-1480, ראה את הפועלים חוצבים בהר תוואי לתעלת המים, וכתב שמעשה התעלה עולה על מעשה הנקבה שחצב חזקיהו.
התקופה העות'מאנית.
אמות המים.
הפולחן המוסלמי בהר הבית דרש מים זורמים רבים לשתייה, לטהרה ולרחצה. העות'מאנים, שכבשו את ארץ ישראל ב-1517, שיפצו בהשקעה כספית עצומה את אמת המים התחתונה מבריכות שלמה, כדי לחזק את אספקת המים להר הבית. אולם במהלך השנים התקלקלו הצינורות ונסתמו עקב חוסר תחזוקה ועקב מנהגם של תושבי בית לחם ליטול להם חלקי צינור לצורכיהם, עד כי "מכל הדרת בניינם לא נשארו רק שרידי עמודי פאר וכתובות שונות". עם זאת, בשלהי המאה ה-19, לקראת ביקורו בארץ ישראל של וילהלם השני, קיסר גרמניה, החלו עבודות שיקום נרחבות. עדות לכך אפשר למצוא אצל ישראל דב פרומקין, בעיתון החבצלת: