בסופו של דבר פרשה הסיעה מהממשלה כחצי שנה אחר כך, ב-14 במרץ 2002, תוך שהיא מבקרת בחריפות את מדיניות ההבלגה בה נקטה הממשלה באותה עת למול השתלשלות אירועי האינתיפאדה השנייה. כשבועיים אחרי הפרישה, ב-27 במרץ אירע הפיגוע במלון פארק בנתניה ויומיים לאחר מכן החל מבצע חומת מגן, אולם הסיעה נותרה באופוזיציה לממשלת שרון עד תום כהונת הכנסת.
הכנסת השש עשרה (2003–2006).
בבחירות ינואר 2003 התמודדה הרשימה המאוחדת תחת השם "איחוד לאומי" וזכתה ב-7 מושבים בלבד בכנסת: שלושה לישראל ביתנו (ליברמן, שטרן ונודלמן), שניים לתקומה (הנדל ואריאל) ושניים למולדת (אלון ואריה אלדד). התוצאה הזו היוותה ירידה במנדט אחד לעומת תוצאות הבחירות הקודמות, כשהאיחוד הלאומי וישראל ביתנו רצו בנפרד. רשימת חרות של קליינר, שהיה עד פברואר 2000 חלק מהמפלגה, ורץ כעת בנפרד יחד עם ברוך מרזל, זכתה בכאחוז אחד מקולות המצביעים, אותו מנדט שחסר לאיחוד הלאומי. רשימת קליינר לא עברה את אחוז החסימה.
האיחוד הלאומי הצטרפה לקואליציה ולממשלת שרון השנייה, שהוקמה בפברואר 2003 וכללה את הליכוד, שינוי, האיחוד הלאומי-ישראל ביתנו והמפד"ל. בני אלון נשאר בתפקיד שר התיירות ואילו ליברמן התמנה לשר התחבורה.
בראשית יוני 2004, לקראת ולצורך השגת רוב בהצבעה בממשלה על תוכנית ההתנתקות, פיטר ראש-הממשלה שרון את השרים ליברמן ואלון, שניים מהמתנגדים לה. בעקבות הפיטורין, פרשה מפלגת האיחוד הלאומי מהקואליציה. כמו כן, פרש ח"כ מיכאל נודלמן (ישראל ביתנו) מהסיעה, עקב תמיכתו בהתנתקות בניגוד לעמדת הסיעה. ב-6 ביוני 2004 אושרה תוכנית ההתנתקות בממשלה, לאור הרוב שנוצר בה לאחר פיטורי שני שרי האיחוד הלאומי. המפד"ל, ששריה התנגדו לתוכנית, נשארה למרות זאת בממשלה, למעט השר אפי איתם וסגן השר הרב יצחק לוי, שהתפטרו. איתם ולוי עזבו בהמשך את המפד"ל, הקימו את מפלגת ציונות דתית לאומית מתחדשת, שנקראה לאחר מכן אח"י, ובאוגוסט 2005, לקראת הבחירות לכנסת ה-17 ב-2006 הצטרפו לאיחוד הלאומי.
לקראת סוף אוקטובר 2004 אושרה תוכנית ההתנתקות, בכנסת, בהצבעה דרמטית בה התפצלה סיעת הליכוד לשני חלקים שווים פחות או יותר, תומכי ומתנגדי התוכנית. בראשית נובמבר, בעקבות אישור זה וכחצי שנה לאחר פרישת איתם ולוי, פרש מהממשלה גם החלק השני של המפד"ל, בראשות זבולון אורלב. בשלב זה, חלק זה של המפד"ל עדיין לא הצטרף לאיחוד הלאומי. באותה עת ובמקביל הודיעה גם מפלגת "ישראל ביתנו", שבבחירות הבאות היא תרוץ בנפרד. בפברואר 2006 היא אכן עזבה את הרשימה.
הכנסת השבע עשרה (2006–2009).
האיחוד הלאומי החלה את המירוץ בבחירות לכנסת ה-17, כשהיא כוללת בששת המקומות הראשונים ברשימתה שני נציגים מכל אחת מהמפלגות שהרכיבו אותה - מולדת, ציונות דתית לאומית מתחדשת ותקומה. עם זאת, לאחר לחצים מצד רבנים ותנועות ציבוריות של פעילי ימין הוסכם ב-9 בפברואר 2006 על רשימה משותפת של האיחוד הלאומי והמפד"ל, בה הוצבו ששת נציגי האיחוד הלאומי בתשעת המקומות הראשונים, בשילוב שלושה נציגים מהמפד"ל. הרב מרדכי אלון סירב לבקשה שהופנתה אליו לעמוד בראשות הרשימה המאוחדת ובמקומו הוצב בראשותה הרב בני אלון.
עוד לפני הבחירות, ב-1 בפברואר 2006 הגיעו חברי הכנסת של האיחוד הלאומי (אפי איתם, הרב בנימין אלון, פרופ' אריה אלדד ואורי אריאל) אל המאחז עמונה, על מנת למנוע את הריסתו על ידי כוחות המשטרה. במקום פרצו עימותים אלימים בין המתנחלים למשטרה, במהלכם נפצעו ופונו לאשפוז גם איתם ואלדד, לאחר שהוכו על ידי השוטרים. בעקבות האירועים הקשים הוציא האיחוד הלאומי הודעת גינוי ומחאה חריפה תחת הכותרת "במקום בו מכים ח"כים - נגמרת הדמוקרטיה" ותבע להקים ועדת חקירה ממלכתית לבדיקת מה שלטענתם התפרש כאלימות המשטרה בעמונה.
בבחירות שנערכו במרץ 2006, ניצחה מפלגת קדימה בראשות אהוד אולמרט, שירש את אריאל שרון חודשיים קודם לכן, בעיצומה של מערכת הבחירות, בעקבות האירוע המוחי שאירע לשרון. רשימת האיחוד הלאומי - מפד"ל לא עמדה בציפיות מרכיביה וזכתה בתשעה מושבים בכנסת, בלבד, מהם שישה לנציגי האיחוד הלאומי. ישראל ביתנו לעומת זאת, זכתה להצלחה גדולה בהתמודדותה העצמאית והשיגה בבחירות 2006, 11 מנדטים. רשימות ימין נפרדות בראשות ברוך מרזל ומיכאל קליינר, שרצו גם בבחירות אלה, השיגו ביחד פחות מאחוז אחד מהקולות ולא התקרבו אפילו לאחוז החסימה, שעמד הפעם על 2%.
הממשלה שהקים אהוד אולמרט כללה רשימות מרכז - שמאל, ביחד עם ש"ס, כאשר האיחוד הלאומי - מפד"ל התייצבה באופוזיציה, לצידה של מפלגת הליכוד המצומקת (12 מושבים בלבד). "ישראל ביתנו", שהייתה תחילה באופוזיציה גם היא, הצטרפה לממשלה באוקטובר 2006, כעבור כחצי שנה, זמן קצר לאחר תום מלחמת לבנון השנייה.
הכנסת השמונה עשרה (2009–2013).
בדצמבר 2008, לקראת הבחירות לכנסת השמונה עשרה שנועדו להתקיים בפברואר 2009 החליטו תקומה ומולדת להתאחד עם המפד"ל, ליצירת מפלגה חדשה - הבית היהודי, שאמורה הייתה להתמקד בנושאי ערכים וחינוך ופחות בנושא ארץ ישראל השלמה. מתוך תשעת הח"כים המקוריים של המפלגה, חמישה פרשו תוך כדי ביצוע מהלך האיחוד: אפי איתם ומפלגת אח"י שלו, וכן אליהו גבאי מהמפד"ל, הצטרפו לליכוד, אריה אלדד פרש, על מנת לעמוד בראש התקווה - מפלגה ציונית לאומית - מפלגת ימין בעל אופי חילוני ושני ח"כים נוספים, צבי הנדל מתקומה ויצחק לוי מאח"י פרשו לחלוטין מהחיים הפוליטיים.
מארבעת הח"כים שנותרו, נשארו בבית היהודי בסופו של דבר שניים בלבד. מלאכת הכנת הרשימה החדשה הופקדה בידי ועדה ציבורית עצמאית, אולם לאחר פרסום הרשימה המיועדת לכנסת וערב סגירת רשימות המועמדים, פרשו ממנה שני חברי הכנסת של "האיחוד הלאומי", בני אלון ממפלגת מולדת, שהוצב במקום ה-17 הבלתי ריאלי ופרש בעקבות זאת מהחיים הפוליטיים ואורי אריאל ממפלגת תקומה, שהוצב אמנם במקום השלישי ברשימת הבית היהודי, אך בחר בסוף לחזור ולהצטרף לחבריו לאיחוד הלאומי שפרשו עוד קודם לכן. הטענה של הפורשים הייתה, שהוועדה המסדרת מעלה בתפקידה בכך שכללה את כל חברי הכנסת של המפד"ל ברשימה הסופית, בעוד רק אחד מחברי האיחוד הלאומי (אריאל) הוצב בין עשרת המועמדים הראשונים. תקומה ומולדת הפורשות, נשארו לפיכך עם השם "האיחוד הלאומי", בעוד המפד"ל רצה בנפרד תחת השם "הבית היהודי". התקווה - מפלגה ציונית לאומית, שבראשה עמד אריה אלדד, חזרה והצטרפה אל תקומה ומולדת תחת השם האיחוד הלאומי, וכמו כן הצטרפה אליהן גם מפלגת ארץ ישראל שלנו של הרב שלום דב וולפא וברוך מרזל.
בראש רשימת האיחוד הלאומי החדשה - ישנה הזו הוצב הפעם יעקב כץ (כצל'ה), מראשי המתנחלים, מנהל מוסדות קריית הישיבה בית אל, ממייסדי גוש אמונים, ומי שהיה עוזר שר השיכון לענייני התיישבות, אריאל שרון, בשנים 1990 - 1992 ולאחר מכן המנכ"ל של ערוץ 7.
בבחירות לכנסת השמונה עשרה זכתה הרשימה ב-4 מושבים בכנסת, אחד יותר מהבית היהודי. חברי הכנסת מטעמה היו יעקב כץ ואחריו אורי אריאל נציג "תקומה", פרופ' אריה אלדד מ"התקווה", והרב ד"ר מיכאל בן ארי מ"ארץ ישראל שלנו" (בפועל נציג חזית יהודית לאומית של מרזל). נציג מולדת אורי בנק, שהוצב במקום החמישי, לא נכנס ובכך לראשונה מאז הקמת האיחוד לא יוצגה מולדת בכנסת. לאחר הבחירות והקמת ממשלת נתניהו השנייה נשארה הסיעה באופוזיציה, בעוד הבית היהודי כמו גם ישראל ביתנו מצטרפים לממשלה.
במהלך כל כהונת הכנסת השמונה עשרה תיפקדה הרשימה באופוזיציה בלבד. עם זאת, חברי הכנסת מטעמה היו פעילים בשורת עניינים: חבר הכנסת כץ כיהן כיושב ראש הועדה המיוחדת לבעיית העובדים הזרים והיה בין השאר גם יושב ראש השדולה לחיזוק ההתיישבות בערבה ויושב ראש השדולה למניעת הגירה בלתי חוקית לישראל והסדרתה ועוד. חבר הכנסת אריאל היה יושב ראש הועדה לביקורת המדינה, יושב ראש ועדת משנה לעניין מפוני גוש קטיף וצפון השומרון והיה בין השאר גם נציג האופוזיציה בהוועדה למינוי שופטים, חבר וועדת הכספים, חבר וועדת המשנה לענייני תקציב הביטחון ועוד. חבר הכנסת אלדד כיהן כחבר בוועדת החוץ והביטחון, חבר בוועדת האתיקה, יושב ראש השדולה למאבק בשחיתות המינהל הציבורי, יושב ראש השדולה למען יש”ע, ועוד. וחבר הכנסת בן ארי היה חבר בוועדת החוקה, חוק ומשפט, יושב ראש השדולה למען נפגעי תופעת המסתננים הבלתי חוקיים, יושב ראש השדולה לקביעת יום ראול וולנברג וחסידי אומות העולם ביום הולדתו של ראול וולנברג (4 באוגוסט), ועוד.
המפלגה כולה וחברי הכנסת שלה, כל אחד מהם בנפרד, דורגו גם במקום הגבוה ביותר במדד הפעילות הלאומית, בדו"ח החצי-שנתי שמפרסם ארגון מטות ערים, עם ציון ממוצע של מעל 95.
ב-18 באוקטובר 2012, לקראת הבחירות לכנסת התשע עשרה התפצלה "האיחוד הלאומי" פעם נוספת. שניים מהח"כים, נציגי תקומה כץ ואריאל, חתמו על טיוטת הסכם לריצה משותפת עם מפלגת הבית היהודי בבחירות לכנסת ה-19, אך אריה אלדד ("התקווה") ומיכאל בן-ארי (איש "ארץ ישראל שלנו" שפרש כעת לחזית יהודית לאומית) פרשו מהאיחוד והקימו רשימה חדשה בשם עוצמה לישראל והחליטו לרוץ בנפרד. ב-19 בנובמבר 2012 אושרה בוועדת הכנסת בקשתם להתפלג מסיעת האיחוד הלאומי ולהקים את סיעת עוצמה לישראל.