לאחר סיום שירותו הצבאי עמד בקשרים עם אנשים שנכללו ב"רשימת ה-11" ונחשבו כראשי הפשע המאורגן בישראל, ואף נחקר על כך, אך לא הועמד לדין. זאבי צוטט כמי שאמר "אם צריך" בתשובה לשאלה "אז אתה יכול להגיע?", בשיחת טלפון שהוקלטה על ידי המשטרה בינו לבין טוביה אושרי, כשאושרי ורחמים אהרוני ("גומדי") הסתתרו מפני המשטרה אחרי ביצוע "הרצח הכפול" של עמוס אוריון ועזר כהן. השלושה הכחישו לאורך השנים שמפגש התקיים בפועל באותו ערב. כשנודע הדבר ברבים הוא עורר הדים וח"כים אחדים שלחו מכתב ליוסף בורג, שר הפנים והמשטרה, בקריאה שלא ימנה את זאבי למשרה רמה במשרד. בלט בהתנגדותו לזאבי חבר הכנסת אהוד אולמרט, וזאבי הגיש נגדו תביעת דיבה, שהוסרה לאחר "סולחה" בתיווכו של מנחם בגין, שבה הבטיח אולמרט להפסיק להאשים את זאבי אך לא חזר בו מדבריו. גם בהמשך, היו שהתנגדו למינויו למנהל מוזיאון ארץ ישראל בגלל הקשרים הללו. בשנת 2015 שינו אהרוני ואושרי את גרסתם, וטענו בתחקיר עיתונאי כי זאבי הגיע באותו לילה למקום המפגש, ניסה לאתר עבורם אונייה להימלט בה מהארץ, ומאוחר יותר טס לאמסטרדם שם הסתתרו, והעביר להם מידע מהחקירה שהתנהלה נגדם.
בשנים שאחרי שחרורו מצה"ל הירבה זאבי לעסוק בנושאים הקרובים ללבו - היסטוריה וארץ ישראל, ונחשב לבעל ידע רב בתחומים אלה (השכלתו הפורמלית הייתה לימודים במכון אבשלום לידיעת הארץ). בשנת 1981 מונה, על ידי ראש עיריית תל אביב שלמה להט, שהכיר את זאבי משירותו הצבאי, כיו"ר ההנהלה של מוזיאון הארץ. אחת מפעולותיו הראשונות במוזיאון הייתה שינוי שמו ל"מוזיאון ארץ ישראל". זאבי גרס כי פיתוח המוזיאון צריך להיות מהיר ובין היתר פותחו בתקופתו מרכז אדם ועמלו וביתן נחושתן המתמקד בחפירות תמנע. הוא כיהן בתפקיד עד 1991.
זאבי קשר קשרי חברות הדוקים עם חוקר ארץ-ישראל זאב וילנאי למן כהונתם המשותפת בוועדת השמות הממשלתית ואף סעד אותו באחרית ימיו. כמו כן אסף אלפי ספרים וברשותו נמצאו גם ספרים ייחודים רבים ובין השאר אוסף ספרי תנ"ך עתיקים מרחבי העולם ובשפות רבות.
בנוסף, עסק זאבי בעריכה וההדרה של סדרת ספרי נוסעים וחוקרים של ארץ ישראל מהמאה ה-19 שיצאו לאור בהוצאת משרד הביטחון. בין הספרים היה הספר חיפה – כתבות מארץ הקודש 1882–1885 של לורנס אוליפנט, חיי יום-יום בארץ ישראל של מרי אליזה רוג'רס וכן הספר רוב רוי על הירדן של ג'ון מקגרגור בו תיאר את מסעותיו למקורות הירדן ב-1869 על שוטית. זאבי ארגן את הבאתה ושיפוצה של השוטית לתערוכה במוזיאון. עד מותו הספיק לערוך ולההדיר 72 ספרים, כאשר בתכנון היו עוד רבים.
פוליטיקה.
תוכנית הטרנספר.
בשנת 1987 הודיע זאבי על תמיכתו בחזון ארץ ישראל השלמה וב"טרנספר מרצון" או "טרנספר בהסכמה" לאוכלוסייה הערבית ביהודה ושומרון ורצועת עזה. הוא טען שזו הדרך היחידה לפתרון הסכסוך הישראלי-ערבי. את הטרנספר מרצון הציע ליישם באמצעות עידוד משפחות ובודדים פלסטינים לעבור לארצות אחרות על ידי הפסקת עבודתם בישראל, סגירת "אוניברסיטאות האינתיפאדה", אי-עידוד התעשייה אצל הערבים ביש"ע ומענקים כספיים לעוזבים. את הטרנספר בהסכמה הציע ליישם כהעברת אוכלוסייה אף ללא הסכמתה, במסגרת הסכם שלום עם מדינה ערבית שכנה, כשההסכמה היא בין המדינות להעביר את המיעוטים למדינות הלאום שלהם. כתקדימים לכך הציג טרנספר לשלושה מיליון תושבים במסגרת הסכם השלום בין יוון לטורקיה, ואת הטרנספר בעקבות הסכם השלום בין ישראל למצרים. זאבי סבר שמערכת הביטחון של ישראל חזקה דיה לסיפוח שטחי יהודה, שומרון ועזה ולביצוע טרנספר לאוכלוסייה הערבית שם. זאבי הסתמך על מנהיגי התנועה הציונית, אנשי רוח ומנהיגים מן השמאל, וטען שהם אף הציעו בשלבים שונים "טרנספר בכפייה" ושהוא אף בוצע במלחמת העצמאות. לדבריו, "אם הטרנספר אינו מוסרי - כל הציונות אינה מוסרית, כי היא קמה וצמחה והייתה למדינה תוך שימוש מסיבי בדרך הטרנספר". הוא עצמו הציע טרנספר בכפייה במקרה של התקפה על ישראל ממזרח. לדבריו, "לא נוכל לקבל נוכחות של גיס חמישי אצלנו", וערביי ארץ-ישראל "יופנו אל מול הצבאות הפולשים כדי לשבש את מערכותיהם."
עמדותיו בנושא הטרנספר ספגו ביקורת בטענה שהן גזעניות ובלתי לגיטימיות.
בכנסת ובממשלה.
בשנת 1988 הקים את מפלגת מולדת ועמד בראשה עד יום הירצחו.
בשנת 1988 נבחר זאבי לראשונה לכנסת ה-12 מטעם מפלגת "מולדת". בבחירות לכנסת ה-12 אז זכתה מפלגתו בשני מנדטים, במשא ומתן הקואליציוני על כניסה עתידית לממשלת שמיר תבע זאבי לקבל לידיו את תפקיד שר המשטרה כמו כן הציע לקיים משאל עם על טרנספר ברם, שמיר הקים ממשלת אחדות עם המערך ומולדת ישבה בספסלי האופוזיציה. בפברואר 1991 הצטרף כשר בלי תיק וחבר בקבינט הביטחוני לממשלתו של יצחק שמיר.
צירופה של מולדת לממשלה ומינויו של רחבעם זאבי כשר הביאו למחאה מכיוון מחנה השמאל, ולוו בסדרת כתבות עוינות מצד העיתונות. אחת מהן הייתה כתבת התחקיר של רונאל פישר מקיץ 1991 שפורסמה בעיתון "חדשות" ושמה "החייל האמיץ רחבעם". הכתבה שהתבססה על ראיונות עם כמה מיריביו של זאבי טענה לכאורה כי אישיותו של זאבי בעייתית. הכתבה פקפקה בעברו הצבאי של זאבי, בכישוריו הצבאיים ובתרומתו לצה"ל, בהתנהלותו בקרבות מלכיה ותל מוטילה ובהבאת עיתונאים וזמרים לצפות במרדף ראוותני בבקעת הירדן, איומים והטרדות מיניות ועוד. זמן מה לאחר מכן התפרסמה בעיתון ידיעות אחרונות עצומה בשם "עצומת גנדי" שעליה חתמו מבכירי קציני צה"ל בעבר ובהווה בראשם יצחק רבין, חיים בר-לב ומוטה גור. בלשון העצומה נאמר כי אמנם רוב החותמים אינם שותפים לדרכו הפוליטית של זאבי אך דוחים מכל וכול את כתבת ההכפשה שמשכתבת את העבר הצבאי של זאבי.
זאבי התפטר בינואר 1992 מממשלת שמיר (יחד עם השר יובל נאמן, ראש מפלגת התחיה), עקב התנגדותו לוועידת מדריד.
ב-27 בפברואר, לאחר ליל הקלשונים, בו נרצחו שלושה מחיילי צה"ל בידי כנופיה מואדי עארה, גילה זאבי מעל במת הכנסת שהרוצחים נתפסו, וכי הוא מקווה כי יוטל עליהם עונש מוות, חרף היותם אזרחי ישראל, הצעד בו נקט זאבי נעשה תוך התעלמות מצו איסור פרסום שהוטל על החקירה.
בבחירות לכנסת ה-13 עלתה מולדת ל-3 מנדטים, אך כוחה נחלש עקב סכסוכים בין זאבי לבין חברי תנועה, וכן מול שני חברי הכנסת האחרים של הסיעה שאול גוטמן ויוסף בא גד. פועל יוצא היה שהסיעה התפצלה לשלוש סיעות יחיד במהלך הכהונה, חברי הכנסת בא-גד וגוטמן ניהלו מדיניות עצמאית משל עצמם. בתקופת ממשלת רבין, שבה נחתמו הסכם השלום בין ישראל לירדן והסכמי אוסלו, היה זאבי בין המתנגדים החריפים ביותר להסכמים. הוא היה מבין שלושת חברי הכנסת היחידים שהצביעו נגד הסכמי השלום עם ירדן, ובתקופת הסכמי אוסלו נטל חלק פעיל בעצרות עם ובהפגנות כנגד מדיניות הממשלה, בין השאר בעצרת הימין שהתקיימה בכיכר ציון ובה כינה את ממשלת רבין "ממשלת מינכן היהודית". עם זאת, זאבי גינה בחריפות את רצח יצחק רבין, וביכה את מותו במאמר בשם חבר ויריב. מולדת הייתה באופוזיציה גם בתקופת ממשלת פרס, שהוקמה בעקבות רצח רבין.
בבחירות לכנסת ה-14 גייס זאבי את הרב בני אלון ואת משולם עמית לשורות המפלגה אך זו זכתה בשני מנדטים בלבד. מולדת לא הצטרפה לממשלתו של בנימין נתניהו והתנגדה למדיניותו ולהסכמים שחתם עם הפלסטינים. מתוקף היותו זקן חברי הכנסת שאינו חבר הממשלה היוצאת.
זאבי ניהל את ישיבת הפתיחה החגיגית של הכנסת, בפתח נאומו הקדיש מילים חמות לזכרו של ראש הממשלה הנרצח יצחק רבין וביקש שכל חברי הכנסת יעמדו לדקת דומיה לזכרו. כמו כן הוא ניהל מספר ישיבות בראשית ימיה של כנסת זו, לקראת הבחירות לכנסת ה-15 התאחדה "מולדת" עם "חרות" ו"תקומה" לסיעת האיחוד הלאומי, כשבני בגין ראשון ורחבעם זאבי שני ברשימה. לאחר פרישתו של בני בגין היה זאבי למנהיג הסיעה. בפברואר 2000 התאחדו האיחוד הלאומי ומפלגת ישראל ביתנו של אביגדור ליברמן לבלוק פרלמנטרי אחד. המפלגה הייתה באופוזיציה בתקופת ממשלת ברק.
לאחר הבחירות לראשות הממשלה שנערכו ב-2001 זאבי היה שר התיירות בממשלתו הראשונה של אריאל שרון, בתקופה מרץ-אוקטובר 2001. יום לפני הירצחו, הוא והשר אביגדור ליברמן הודיעו על התפטרותם מהממשלה עקב התנגדותם ליציאת צה"ל משכונת אבו סנינה וח'רת א-שייח המשקיפות על היישוב היהודי בחברון שצה"ל נכנס אליהן לאחר ירי מתוכן על היישוב היהודי. ההתפטרות טרם נכנסה לתוקף בעת שנרצח.
זאבי נהג לענוד בקביעות דסקית ובה שמות השבויים והנעדרים, לאות הזדהות עמם.
לזאבי שגדל בבית שומר מסורת הייתה זיקה למורשת היהודית, כך למשל דרש במשא ומתן הקואליציוני בשנת 1988 לכתוב בקווי היסוד של הממשלה, כי יש להשתית את החינוך של ילדי ישראל בין השאר על תורת ישראל. גם בכרטיס החבר של תנועת מולדת הובא המשפט "ארץ ישראל לעם ישראל על פי תורת ישראל". בשנותיו האחרונות נהג להניח תפילין מדי יום.
ההתנקשות בחייו.