בשנת 1993, אחרי הפסדו של שמיר בבחירות לכנסת השלוש עשרה שבהן הוצב במקום השלוש עשרה ברשימה, החליט אולמרט להתמודד על ראשות עיריית ירושלים מול ראש העירייה הוותיק, טדי קולק. בעזרת תמיכת החרדים ניצח אולמרט בבחירות. אולמרט זכה ב-59% מהקולות לעומת 35% לטדי קולק. במועצת העיר, רשימת לב-ירושלים מלוכדת בראשות אהוד אולמרט מנתה 5 חברי מועצה, לעומת 6 חברי מועצה של ירושלים אחת, רשימתו של קולק. הקואליציה של אולמרט במועצה הייתה מורכבת מיהדות התורה עם 7 חברי מועצה, המפד"ל - 4, ש"ס - 2 וצומת - 2. הברית עם החרדים גרמה לאולמרט להצטייר כעושה דברם, אך להגנתו טען שבתקופתו ירושלים נותרה פתוחה בשבתות. לימים נפגמה ידידותו עם החרדים כאשר פעל להצטרפות מפלגת שינוי לממשלת שרון.
ב-1997 הקים את הקרן החדשה לירושלים, קרן תרומות עירונית חדשה, שהתחרתה בקרן הוותיקה קרן ירושלים, שהקים טדי קולק ב-1966. אף על פי שהוצע לאולמרט, מיד עם היבחרו, להיות יושב ראש הוועד המנהל של קרן ירושלים, הוא ביקש לקבל שליטה מלאה בהחלטות לגבי כספי הקרן וסורב. בשנים הראשונות, לאחר שהפסיק אולמרט לשתף פעולה עם הקרן לירושלים, החל לעסוק בהתרמה באופן עצמאי. ואחר כך החליט להקים קרן עירונית משלו. אולמרט דיווח שהקרן החלה לפעול בשנת 1997, ועד לשנת 2000 גייסה הקרן 62 מיליון שקלים שהושקעו ב-250 מיזמים. לצורך הקמת הקרן נעזר אולמרט בידידו משה טלנסקי.
ב-1998 נבחר לכהונה שנייה כראש העיר ירושלים ברוב של 61% לעומת 22% של יריבו העיקרי שמעון שטרית. במועצה רשימתו נחלשה וזכתה ב-3 מנדטים. עקב החוק שאסר על תפקיד ציבורי נוסף לחבר הכנסת, התפטר מחברותו בכנסת.
כראש עיר פעל להגברת השליטה הישראלית במזרח ירושלים, דחף להקמת שכונת הר חומה ופתיחת מנהרת הכותל. אולמרט היה נואם בולט בהפגנות הימין בזמן ממשלות רבין וברק, כנגד הסכמי אוסלו, כנגד נסיגה מרמת הגולן וכנגד ויתורים טריטוריאליים בירושלים.
בתקופתו החלה תנופת פיתוח חסרת תקדים של תשתית תחבורתית בירושלים: הוקמו כבישים ומחלפים, בהם כביש בגין והמנהרה המחברת בין מעלה אדומים לירושלים וכן החל מיזם הרכבת הקלה. הסכום שהושקע בכך עמד על כ-6.1 מיליארד שקלים, וכתוצאה ממנו הגיע גרעון העירייה בסוף כהונתו לסכום של כ-534 מיליוני שקלים, כמעט פי 8 מהגירעון שהיה בכניסתו ללשכת ראש העיר. באותה תקופה פעל לאישור פרויקט מתחם המגורים הולילנד, פרשה שבגינה הורשע בעבירת שוחד.
בעת מערכת הבחירות ב-1999, שבה הוצב במקום ה-119 הסמלי ברשימת "הליכוד", התייצב במפתיע להגנתו של מועמד "ישראל אחת", אהוד ברק, כאשר בנימין נתניהו האשימו שהוא "יחלק את ירושלים" (בסופו של דבר ברק אכן הציע פשרה טריטוריאלית בירושלים, ואולמרט הודה שטעה). אחרי תבוסת נתניהו והתפטרותו מראשות "הליכוד", התמודד אולמרט על הנהגת המפלגה מול אריאל שרון ומאיר שטרית, אך הבחירות המקדימות הסתיימו בניצחונו של שרון.
באותה תקופה הוזכר שמו של אולמרט בפרשת האי היווני כמי שקיבל (במקביל לשרון) עזרה מדודי אפל בעת הבחירות לראשות הליכוד ב-1999, תמורת עזרה בקידום המיזם, ואירוח ראש עיריית אתונה בעת ביקור שאותו יזם אפל, אולם ב-2004 הוחלט לא להגיש נגדו כתב אישום.
נסיעותיו הרבות מחוץ לישראל בעת כהונתו כראש עיריית ירושלים הובאו כראיה לאופיו הנהנתני והבזבזני. המקומון הירושלמי "כל העיר" פרסם טור קבוע בשם "אולמרט בשחקים".
חזרה לפוליטיקה לאומית.
בשנת 2003, לקראת הבחירות לכנסת ה-16, התמודד בבחירות המקדימות במרכז הליכוד והגיע למקום ה-32 ברשימת הליכוד. לאחר שאריאל שרון, אליו היה אולמרט מקורב, הבטיח לו תפקיד של ממלא מקום ראש הממשלה, התפטר אולמרט מתפקידו כראש עיריית ירושלים ב-16 בפברואר 2003, כדי להיכנס לכנסת ולממשלה. בתחילה דובר עליו כשר האוצר, אולם לאחר ששרון החליט למנות את בנימין נתניהו לתפקיד זה, מונה אולמרט לשר התעשייה והמסחר, שאליו צורף תיק התעסוקה שהופרד ממשרד העבודה והרווחה.
שרון הוסיף על תפקידיו גם את האחריות על משרד התקשורת. כשר התעשייה והמסחר, קיבל גם את האחריות על מינהל מקרקעי ישראל ומינהל התכנון.
בממשלת שרון השנייה התגלה אולמרט עד מהרה כסמן שמאלי יחסית בציר המדיני. הדבר התגלה בפומבי כאשר נאם באזכרה לדוד בן-גוריון ב-1 בדצמבר 2003, ודיבר על הצורך בוויתור על חזון ארץ ישראל השלמה. עם הכרזתו של שרון על תוכנית ההתנתקות, חודשים מספר לאחר מכן, היה אולמרט מראשי תומכיה בממשלה. אולמרט התייצב בצד השמאלי של מפלגת הליכוד מבחינה מדינית, וכמו כן תקף את שר האוצר בנימין נתניהו, והאשים אותו כמי שפגע בחלשים. בשל תמיכתו בפשרה טריטוריאלית, הפופולריות שלו בקרב חברי מרכז הליכוד פחתה והסקרים ניבאו לו חוסר הצלחה בבחירות המוקדמות.
בשנת 2004 הוא תכנן למנות את אהרון דומב למנהל מרכז ההשקעות אך ב"ידיעות אחרונות" פורסם תחקיר שלמעשה טרפד את המינוי.
ב-7 באוגוסט 2005 התפטר נתניהו מתפקיד שר האוצר על רקע ההתנתקות, ואולמרט מונה להחליפו, תוך שהוא ממשיך להחזיק במשרד התמ"ת.
אולמרט נמנה עם הדוחפים את שרון לפרוש מהליכוד, ועם הקמתה של מפלגת "קדימה" על ידי שרון בסוף נובמבר 2005, היה לאחד מראשיה, תוך כדי מאבק סמוי בינו לבין ציפי לבני על המקום השני ברשימה אחרי שרון.
ראש ממשלת ישראל.
התמנותו והקמת הממשלה.
ב-4 בינואר 2006, עם אשפוזו של ראש הממשלה שרון, לאחר שלקה בשבץ מוחי ושקע בתרדמת, הועברו סמכויות ראש הממשלה לידי אהוד אולמרט כממלא מקום ראש הממשלה. מיד עם האשפוז התלכדו סביב אולמרט בכירי "קדימה" וכאשר התברר ששרון אינו עומד להתאושש במהרה ממחלתו הוא הפך למועמד מפלגתו לראשות הממשלה.
עם כניסתו לתפקיד ממלא המקום, נקט אולמרט קו תקיף בפינוי המאחז הלא חוקי עמונה, שנגרר לפינוי אלים. בנוסף נאלץ להתמודד עם עליית החמאס לשלטון ברשות הפלסטינית, בבחירות שהתקיימו בינואר 2006, ואשר ישראל לא מנעה את קיומן (כולל במזרח ירושלים) למרות השתתפות החמאס בהן. אירוע ביטחוני משמעותי בתקופה זו היה מבצע הבאת ביכורים, תפיסת רוצחי רחבעם זאבי, שהוחזקו בכלא פלסטיני ביריחו ועמדו להשתחרר בעקבות עליית החמאס.
ערב הבחירות הבהיר אולמרט שבכוונתו לקדם את תוכנית ההתכנסות לפינוי חלקים נרחבים מיהודה ושומרון.
ב-28 במרץ 2006 נערכו הבחירות לכנסת השבע עשרה שבהן זכתה קדימה ב-29 מנדטים, נמוך מהציפיות הגבוהות ומתוצאות הסקרים, אולם די היה במספר מנדטים זה כדי להציב את אולמרט כמנצח. ב-14 באפריל 2006, בחלוף 100 ימי הנבצרות הזמנית של אריאל שרון, מונה אולמרט על ידי הממשלה לראש הממשלה בפועל. 20 יום לאחר מכן, ב-4 במאי, הוא מונה לראש ממשלת ישראל, לאחר שממשלתו, הממשלה ה-31, קיבלה את אמון הכנסת. הקואליציה מנתה 67 חברי כנסת מ-4 מפלגות: קדימה, העבודה, ש"ס והגמלאים. ציפי לבני מונתה לשרת החוץ וממלאת מקום ראש הממשלה, עמיר פרץ כשר הביטחון ואברהם הירשזון, מקורבו של אולמרט, כשר האוצר. הממשלה כללה 25 שרים (כולל ראש הממשלה). עקב הביקורת הציבורית על מספר השרים לא מונו סגני שרים.
כחודשיים לאחר סיום מלחמת לבנון השנייה (ראו להלן), ב-30 באוקטובר 2006, הצטרפה לקואליציה ישראל ביתנו. החל מיום זה התבססה ממשלת אולמרט על קואליציה של 78 חברי כנסת. כמו כן, מונו מספר סגני שרים. עם התקדמות המשא ומתן עם הפלסטינים (שיחות אולמרט–אבו מאזן) פרשה סיעת ישראל ביתנו מהקואליציה וזו נותרה עם 67 חברי כנסת.
לאחר שנבחר אולמרט לראש הממשלה הוא מינה את ד"ר יורם טורבוביץ' כראש סגל, שאחראי על כלל הפונקציות המשרדיות במשרד ראש הממשלה. לתפקיד מנכ"ל המשרד מונה רענן דינור, שעבד קודם עם אולמרט בתפקידים אחרים. לראש לשכה מינה את שולה זקן, וזו הושעתה מתפקידה בינואר 2007, בעקבות פתיחת חקירה פלילית נגדה בפרשת רשות המיסים.
פעילותה העיקרית של ממשלתו.
בתחומי החברה והכלכלה, עם הפעולות המרכזיות של הממשלה בראשותו ניתן למנות את העלאת שכר המינימום, הורדת המע"מ ל-15.5%, שמירה על שיעור הצמיחה הגבוה והפעלת מס הכנסה שלילי. בתקופת אולמרט גובשו תוכניות ממשלתיות לסיוע לניצולי שואה, לקשישים עניים, לקידום קליטת בני העדה האתיופית ולטיפול בילדים ונוער בסיכון. הוקמה מנהלת השירות האזרחי-לאומי, במטרה לקדם שירות לאומי בקרב חרדים, ערבים ופטורים משירות צבאי, תוכנית לטיפוח מנהיגות צעירה בחברה, בנייתה מחדש של תוכנית "ויסקונסין" הישראלית בשם "אורות לתעסוקה", טיפול ביוצאי גוש קטיף וצפון השומרון, רפורמת "אופק חדש" במערכת החינוך והורדת מספר התלמידים בכיתה, סיוע לנפגעים מסגירת כלובי הדגים באילת וההכנות לקראת השתתפות ישראל בתערוכה הבינ"ל אקספו 2010. פותח אזור מזרח לכיש והוסדר אזור רמת חובב לטובת הקמת עיר הבה"דים.
בתחום הביטחון והטיפול בעורף, מלבד מלחמת לבנון השנייה, מבצע עופרת יצוקה, מבצעים צבאיים נוספים והמשא ומתן המדיני, אושרה החלטה להתנות תוספת תקציב למשרד הביטחון בצעדי התייעלות מצידו, חתימת הסכם עם נשיא מצרים, חוסני מובארכ, בנושא ההסתננות מאפריקה לישראל, אושרו תוכניות לטיפול בעורף במצבי חירום ולמיגון בתי תושבים ומוסדות חינוך בשדרות ועוטף עזה, נוסף על סיוע אזרחי לתושבי האזור. כמו כן, בתקופת אולמרט קודם פרויקט כיפת ברזל לאחר שנקבע כי הוא יהיה המענה לרקטות לטווח קצר.