בתקופה זאת היה חבר הקבינט המצומצם ויו"ר ועדת השרים לקידום הבדואים. במהלך השנתיים הללו, פעל לקיום מפעלים משותפים עם ירדן, מצרים והרשות הפלסטינית.
1998–1999 – שר החוץ ושר התשתיות הלאומיות.
ב-13 באוקטובר 1998 התמנה לשר החוץ, בנוסף לתפקידו כשר התשתיות הלאומיות.
בתקופה זאת נסע עם בנימין נתניהו לאחוזת ואי לגיבוש סעיפי הסכם ואי. במסגרת פעולתו כשר החוץ פעל לקידום השלום באזור ובניסיון לקידום פרויקטים משותפים אזורים בנושאי המים.
בשנת 1999 יזם, יחד עם רפאל איתן, תוכנית להקמת שלושה מפעלים להתפלת מים. ההחלטה אושרה בממשלה. בדבריו לחברי הממשלה בדיון בנושא אמר כי בעיית המים חשובה גם מבחינת מערכת היחסים הגאופוליטית, ואל לה לישראל לקחת על עצמה סיכון של מחסור במים. לדבריו, הצפי לגידול האוכלוסייה גורר עמו עלייה בביקוש למים לצרכים עירוניים ועלול ליצור כבר במהלך העשור הקרוב מחסור של כ-200–350 מיליון מ"ק מים. המפעל הראשון נבנה באשקלון והחל לפעול בשנת 2005, במהלך כהונתו של שרון כראש ממשלה. המפעל השני החל לעבוד בפלמחים בשנת 2007.
יו"ר הליכוד וראש האופוזיציה.
אחרי מפלת נתניהו בבחירות של מאי 1999 שבהן הוצב במקום השמיני ברשימת הליכוד, נבחר שרון בספטמבר ליו"ר הליכוד, וכיהן כראש האופוזיציה בתקופת כהונתו של אהוד ברק כראש ממשלה.
ב-28 בספטמבר 2000 ערך שרון ביקור מתוקשר בהר הבית והכריז ש"לכל יהודי זכות לבקר בהר-הבית". הביקור עורר את מהומות הר הבית, והוצג על ידי הפלסטינים כעילה לפריצתה של האינתיפאדה השנייה, אף כי הפיגוע הראשון באינתיפאדה השנייה התרחש לילה קודם ברצועת עזה: הפעלת שני מטעני חבלה לעבר שיירה שנסעה לנצרים. בפיגוע זה נהרג סמל דוד בירי.הן ישראל והן הרשות הפלסטינית התכוננו ממושכות לעימות מזוין, אותו יזם ערפאת יזם אותה לאחר כישלון ועידת קמפ דייוויד.
שרון נחשב על פי הסקרים למועמד בעל סיכויים מועטים להיבחר שוב ליו"ר הליכוד, בהתמודדות מול בנימין נתניהו, ששב לפוליטיקה לקראת בחירות 2001, אולם נתניהו פרש מהמירוץ, לאחר שלא התקבלה דרישתו לקיים גם בחירות כלליות לכנסת. כך התפנתה הזירה לשרון, שעתיד היה לכהן כראש ממשלה למשך חמש שנים סוערות.
כהונתו כראש הממשלה.
הקדנציה הראשונה.
לאחר מסע בחירות שבו הבטיח לעם בישראל "שלום וביטחון" נבחר לתפקיד ראש הממשלה, לאחר שגבר על אהוד ברק ברוב של 62%, והחל לכהן בתפקיד זה ב-7 במרץ 2001. שרון בחר להקים ממשלת אחדות לאומית בה ניתנו למפלגת העבודה שני תיקים מרכזיים – תיק החוץ לשמעון פרס ותיק הביטחון לבנימין בן אליעזר. הדבר סייע לשרון בהשגת לגיטימציה לו באופן אישי, ולממשלתו, ובהצגת צעדיו כצעדים הכרחיים לפתרון המצב המבוצעים תוך קונצנזוס רחב. הדבר גם התבקש מהמצב בכנסת, אשר חלוקת המנדטים בה הייתה לפי בחירות 1999, שבהן זכה השמאל לתמיכה רבה.
הלחימה בשטחים.
שרון ניסה לגרום להפחתת כוחה של הרשות הפלסטינית באמצעים שונים, להראות את הקשר בינה לטרור, ולגרום לה לדה לגיטימציה בעולם. כחמישה חודשים לאחר בחירתו (ב-10 באוגוסט 2001) יזם שרון את סגירת משרדי הרשות הפלסטינית, האוריינט האוס בירושלים. עם זאת בתקופת כהונתו הגיע לשיאו גל טרור, שהתבטא בעיקר בפיגועי התאבדות, דפוס פעולה לא חדש בסכסוך הישראלי-פלסטיני, אבל כזה שהשימוש בו הובא לרמות חסרות תקדים בשנים 2002-2001. אחרי תקופה של הבלגה יחסית, גם אחרי הפיגוע בדולפינריום, שהפתיעה את השמאל ואכזבה את תומכיו בימין, הוא נקט מדיניות של הסלמה מבוקרת, בדמותם של סיכולים ממוקדים, שלא הועילה בהפחתת פיגועי ההתאבדות. לבסוף, אחרי הפיגוע במלון פארק במרץ 2002, ואחרי שבחודש זה (אשר כונה "מרץ השחור") נרצחו למעלה מ-120 אזרחים וחיילים ישראלים, הממשלה בראשותו החליטה על כיבוש השטח שבשליטת הרשות הפלסטינית (שטחי A) במבצע חומת מגן. מבצע זה ומבצע דרך נחושה שבא אחריו, סייעו לפורר את תשתיות הטרור ביהודה ושומרון, והצליחו להוריד במידה משמעותית את מספר ההרוגים בפיגועים, ואת התחושות הקשות שהביא ההרג היומיומי במרץ 2002.
שרון ספג ביקורת נוקבת על התמהמהותו בהקמת גדר הפרדה שתחצוץ בין ישראל ליהודה ושומרון ותקטין את מספר הפיגועים. גדר כזו מסמלת שבר אידאולוגי מבחינתו, כמי שכל חייו תמך בהתלהבות ברעיון ארץ ישראל השלמה. בשנת 2002 שינה את עמדתו וקידם את הקמת גדר ההפרדה, אלא שגדר זו נותרה שנויה במחלוקת והפכה למוקד של סערה בינלאומית, מאחר שעל פי התוכנית, עתידה הייתה להיות מוקמת בתוככי השטחים, מזרחית להתנחלויות רבות.
המצב הכלכלי.
גל הפיגועים הקשים שהציפו את ישראל והלחימה ההולכת ומסלימה בשטחים פגעו קשות במצב הכלכלי בשנים 2002–2003: נוצר צורך להגדיל באופן משמעותי את תקציב הביטחון על חשבון שאר צרכיה של המדינה, התיירות בארץ קרסה בשל חששם של התיירים לביטחונם האישי ומשקיעים זרים הדירו רגליהם מהמדינה. ממדי העוני והאבטלה התגברו.
השנתיים האחרונות של אריאל שרון התאפיינו בשיפור ניכר במצב הכלכלה ובצמיחה מהירה ויציבה של המשק בקצב של 5% בכל שנה. הצמיחה נבעה בעיקר מהאצה בסחר הבינלאומי ומהשקט הביטחוני היחסי. שר האוצר ברוב התקופה היה בנימין נתניהו ושרון גיבה את תוכניותיו והצעותיו.
יחסי שרון-בוש.
שרון טיפח את יחסיו עם נשיא ארצות הברית, ג'ורג' ווקר בוש, בעיקר לאחר פיגועי 11 בספטמבר. בוש העניק לו את מלוא הגיבוי והתמיכה הדיפלומטית והכלכלית במאבק נגד הטרור הפלסטיני. בוש נתן לשרון יד חופשית במאבק המזוין נגד הפלסטינים, גיבה את פעולותיו באו"ם והרבה לארחו בבית הלבן. מעבר ליחסי הידידות המסורתיים בין ישראל לארצות הברית, בין שרון לבוש הייתה הזדהות הדדית; שכן כאשר שניהם היו בשלטון, שתי המדינות היו נתונות תחת התקפה של טרור אסלאמי, והייתה הרגשה כי שניהם "באותה סירה". כמו כן, איחדה אותם גישתם המיליטנטית למלחמה בטרור. בוש ושרון ניהלו מערכת יחסים חמה ביותר, ושרון אף העיד על בוש כי אהדתו לישראל היא חסרת תקדים. שרון הביע תמיכה במפת הדרכים שהוצגה כמימוש החזון של בוש.
זעזוע ביחסים התרחש שלושה שבועות לאחר פיגועי 11 בספטמבר. שרון כינס מסיבת עיתונאים בה קרא למערב ולארצות הברית בראשו, לא להפקיר את מדינת ישראל כפי שמדינות ההסכמה הפקירו את צ'כוסלובקיה ערב מלחמת העולם השנייה. הנאום התקבל בזעם בבית הלבן. ארצות הברית העבירה מחאה רשמית דרך שגריר ארצות הברית בישראל, דן קרצר, ועל-ידי המועצה לביטחון לאומי, מחאה פומבית דרך דובר הבית הלבן, ארי פליישר, ודרך מזכיר המדינה, קולין פאוול, בשיחה טלפונית עם שרון.
הניצחון השני בבחירות.
הביטחון האישי שעדיין נותר מעורער למדי, המיתון הכלכלי המתמשך, וגם קשירתו בעבירות בתחום טוהר המידות שנחקרו על ידי המשטרה, לא מנעו ממנו לנצח את בנימין נתניהו בהפרש של 24% בבחירות המקדימות בליכוד לקראת הבחירות לכנסת השש עשרה בשנת 2003. בניגוד לנתניהו שהביע התנגדות להקמת מדינה פלסטינית, שרון פנה למרכז המפה הפוליטית, והצהיר כי "תמורת שלום לדורות (ורק עבור שלום לדורות) אני מוכן לעשות גם ויתורים כואבים".
שבועות ספורים לפני הבחירות לכנסת הדליפה ליאורה גלט-ברקוביץ', מפרקליטות המדינה, לעיתון "הארץ" ידיעה בדבר חקירה שבה הייתה מעורבת, על קבלת תרומות בלתי חוקיות על ידי שרון מידי ידידו סיריל קרן. שרון הגיב במסיבת עיתונאים שהועברה בשידור חי ברשתות התקשורת ב-9 בינואר. יו"ר ועדת הבחירות המרכזית, השופט מישאל חשין, החליט שמסיבת העיתונאים גלשה לתעמולת בחירות בוטה האסורה על פי החוק, והורה לאמצעי התקשורת לקטוע את השידור הישיר. דבר זה דווקא גרם לעלייה בפופולריות של שרון.
חרף המצב הביטחוני והכלכלי הקשה, "הליכוד" בראשותו של שרון השיג ניצחון מוחץ בבחירות לכנסת שנערכו ב-28 בינואר, כאשר הוא מכפיל את כוחו מ-19 מנדטים ל-38.
הקדנציה השנייה.
לאחר הניצחון בבחירות 2003 הקים שרון ממשלה עם "שינוי", המפד"ל והאיחוד הלאומי, ללא מפלגת העבודה וללא החרדים. זאת הייתה הממשלה הראשונה בישראל שהוקמה אחרי הבחירות ללא חרדים.
שרון מינה את בנימין נתניהו לשר האוצר והעניק לו גיבוי בעת שישם את משנתו הקפיטליסטית וקיצץ את הקצבאות. בביטחון האישי חל שיפור, וגם המיתון התחלף בצמיחה.
יוזמת תוכנית ההתנתקות.
בנאום שנשא בכנס הרצליה בסוף 2003, הודיע שרון שבכוונתו, אם לא ימצא פרטנר פלסטיני הולם, לבצע בעתיד הקרוב נסיגה חד צדדית מחלקים מיש"ע ואף לפנות התנחלויות, תוכנית שהוא כינה "התנתקות". תוכניתו עמדה בסתירה לאידאולוגיה אותה ייצג בהתלהבות לאורך כל הקריירה הפוליטית שלו ושעל בסיסה נבחר בבחירות, ולדברים שאמר רק שנה לפני כן ולפיהם: "דין נצרים כדין תל אביב". כחלק מההכנה של קבלת תוכנית ההתנתקות בימין, הפעיל שרון שדולה חזקה בממשל האמריקני לקבלת התוכנית. ולאחר לחץ רב של שתדלניו של שרון בראשותו של דב וייסגלס, הצליח לשכנע את בכירי הממשל האמריקני לתמוך בתוכנית, אף שמלכתחילה הסתייגו ממנה. שרון קיבל מבוש ההתחייבויות לתמוך בעמדות ישראל ובכללן שלילת זכות השיבה והשארת גושי ההתיישבות.
שרון התנגד למשאל עם, והעמיד את תוכניתו ב-2 במאי 2004 לאישורם של מתפקדי "הליכוד", שדחו אותה. למרות תוצאה זו, שרון התכחש להבטחתו לקיים את דין התנועה, והמשיך לחתור לאישור בממשלה של תוכנית התנתקות. הוא פיטר את שרי האיחוד הלאומי כדי להבטיח רוב בין השרים לתוכניתו בצעד שנוי במחלוקת, שאף ספג ביקורת משופטי בג"ץ.