בשנת 1989 נבחר ליו"ר סיעת העבודה בכנסת, תפקיד שאותו מילא עד 1992. באותן שנים התנגד לחברות מפלגתו בממשלת האחדות בראשות יצחק שמיר, ונטל חלק פעיל במה שכונה לימים על ידי יצחק רבין "התרגיל המסריח" - הניסיון להקים ממשלה בראשות שמעון פרס. בהיותו חבר אישי של אריה דרעי, שימש איש קשר לעסקה שנרקמה עם מפלגת ש"ס.
בסוף שנות ה-80 ובתחילת שנות ה-90, נחשב למנהיג השמינייה, קבוצת חברי הכנסת היוניים של מפלגת העבודה.
שר הבריאות.
בעקבות הבחירות לכנסת ה-13, ב-1992, מונה לשר הבריאות בממשלתו של יצחק רבין. חוק ביטוח בריאות ממלכתי, שיצר מהפכה בזכויות תושבי ישראל לקבלת שירותי בריאות, בדרכי מימונם ובתכולתם, נחשב, לטוב ולרע, להישג אישי שלו (החוק אושר בכנסת ב-15 ביוני 1994, לאחר שרמון סיים את כהונתו כשר הבריאות, וכיהן כחבר הכנסת וכיו"ר ההסתדרות, תפקידים שגם בהם תרם רבות לקידום החוק).
ב-30 בינואר 1994 נשא, בוועידת מפלגת העבודה, נאום דרמטי שקיבל את השם "נאום הלווייתנים". בנאום זה, שניתן במסגרת דיון בוועידת המפלגה על חוק ביטוח בריאות ממלכתי, אמר רמון לחברי מפלגת העבודה:
הקהל קרא לעברו "תתפטר", וכך למעשה החל רמון את מלחמת הבחירות שלו לראשות ההסתדרות הכללית.
יו"ר ההסתדרות.
ב-8 בפברואר 1994 פרש רמון מתפקיד שר הבריאות, על-מנת לעמוד בראש סיעת "חיים חדשים" בהסתדרות, שאותה הקים בשיתוף עם עמיר פרץ. בבחירות להסתדרות ניצחה הסיעה, תוך שהיא מביסה את מפלגת העבודה בראשות חיים הברפלד.
אחד הצעדים הראשונים שעשה רמון בהסתדרות הוא לשנות את שמה מן "ההסתדרות הכללית של העובדים בארץ ישראל" ל"הסתדרות העובדים הכללית החדשה". כמו כן, שינה את תוארו מ"מזכ"ל ההסתדרות" ל"יו"ר ההסתדרות" ואת "הוועד הפועל של ההסתדרות" הפך ל"בית נבחרי ההסתדרות". ההסתדרות הוקמה על פי עקרון היסוד שהיא צריכה לתת מענה חברתי וכלכלי כולל לעובדים, לרבות מוסדות לעזרה הדדית, בריאות, חינוך ותרבות, מפעלים כלכליים השייכים לכלל ציבור העובדים ולקבוצות עובדים, וקואופרציה יצרנית ושירותית. בהתאם לעקרונות אלה נכללו, במסגרת ההסתדרות, חברת העובדים, קופת חולים, קרנות פנסיה, מוסדות לעזרה הדדית, רשתות סופרמרקטים וצרכניות, הקיבוצים והמושבים. במסגרת חברת העובדים, שכל חבר הסתדרות היה אוטומטית חבר גם בה, נכללו כל מפעלי משק ההסתדרות ובהם סולל בונה ושיכון עובדים (שהתאחדו לשיכון ובינוי), כור, בנק הפועלים. בכל מפעל כלכלי במסגרת ההסתדרות ניתנה מניית זהב לחברת העובדים. ההסתדרות אף נטלה על עצמה, עם ייסודה, לפעול למען המפעל הציוני (בנושאי התיישבות, עלייה וביטחון). היו שראו בשינוי השמות התנתקות של ההסתדרות מן האידאולוגיה הישנה שלה.
הניתוק של ההסתדרות מערכיה המסורתיים החל, למעשה, עוד לפני בואו של רמון. בפני ההסתדרות עמדה הברירה בין התחדשות הערכים הישנים, שנזנחו במידה רבה (התחדשות בה רצה מזכ"ל ההסתדרות , יצחק בן-אהרן) ובין הפיכת ההסתדרות לאיגוד מקצועי גרידא, תוך חיסול כל המבנה שאפיין את ההסתדרות בעולם כארגון עובדים מיוחד במינו. רמון בחר בדרך השנייה, ובכך הביא לסיום תהליך שהחל לפניו, לאחר הקמת המדינה, עוד בתקופת דוד בן-גוריון, שהביא להלאמת מוסדות חברתיים (זרם העובדים, לשכות העבודה) והעברתם לידי המדינה (לפי העיקרון הממלכתי "ממעמד לעם"). במסגרת חוק ביטוח בריאות ממלכתי, ניתק רמון את קופת חולים מההסתדרות, הניח את הבסיס לניתוק קרנות הפנסיה על גירעונותיהן האקטואריים העצומים מההסתדרות ומכר את שארית מפעליה, שנותרו בידיה אחרי התמוטטות בנק הפועלים וכור בשנות השמונים. נותרו כמה ספיחים למבנה שאפיין את ההסתדרות המקורית (כמו רשת בתי האבות משען), אולם ההסתדרות שרמון הותיר אחריו הפכה ביסודה לאיגוד מקצועי המייצג עובדים שכירים (ויש הסבורים כי בעיקר קבוצות עובדים חזקות כמו עובדי הנמלים, חברת החשמל ומקורות).
רמון קיבל לידיו הסתדרות וקופת חולים עם חובות והתחייבויות כוללים בהיקף של מיליארדי שקלים, ממש לפני פשיטת רגל וקריסה מוחלטת. קופת חולים היוותה חלק אינטגרלי של ההסתדרות והמס האחיד שנגבה מחברי ההסתדרות כלל הן תשלום עבור קופת חולים (כ-70%) והן תשלום למימון מנגנון ההסתדרות, האיגודים המקצועיים ופעילויות אחרות (כ-30%). ההצמדה של החברות בקופת חולים עם החברות בהסתדרות (שנבעה במקורה מהאידאולוגיה שלפיה הוקמה) הביאה לכך שחברים רבים השתייכו להסתדרות אך ורק בשל רצונם ליהנות משירותי קופת החולים.
חוק ביטוח בריאות ממלכתי, למענו פעל רמון כשר הבריאות וכיו"ר ההסתדרות, הפריד את קופת חולים הכללית מההסתדרות והעביר את הטיפול בגירעונות קופת חולים למדינה. דמי ביטוח בריאות נגבים על ידי המוסד לביטוח לאומי מכוח חוק זה מכלל אזרחי המדינה ומחולקים בשיטת קפיטציה בין קופות החולים השונות, דבר ששיפר את מצבה היחסי של קופת החולים הכללית וצמצם את גירעונותיה.
כתוצאה מהפרדת קופת חולים מן ההסתדרות, ירד מספר חברי ההסתדרות באופן דרסטי וירדו הכנסות ההסתדרות מדמי חבר. ההסתדרות לא יכלה להעלות את דמי החבר, מאחר שפעולה כזו הייתה מקטינה את מספר החברים עוד יותר, וכדי לפצות על ירידת ההכנסות ולעמוד בגרעון השוטף הגדול שנוצר, היא הייתה חייבת לערוך צמצום מסיבי של מנגנון ההסתדרות (שקומם על רמון אלפי מועסקים ומתפרנסים מההסתדרות הישנה) ולמכור נכסים. הסרת חובות קופת חולים מן ההסתדרות והטלתם על המדינה, כמו גם מכירת הנכסים, הביאה להקטנה ניכרת בחובות ההסתדרות, אך זו המשיכה להיות על סף קריסה עוד שנים אחדות.
את תקופתו במשרד הבריאות ובהסתדרות סיכם חיים רמון בחוברת "ההסתדרות וחוק ביטוח בריאות" (אוגוסט 2002).
שר וחבר כנסת.
בנובמבר 1995, לאחר רצח רבין, פרש רמון מתפקיד יו"ר ההסתדרות, כדי לכהן כשר הפנים בממשלת פרס. בראשות ההסתדרות הותיר את עמיתו, עמיר פרץ. כשר הפנים פעל להבאת בעיית מספרם הגבוה של העובדים הזרים ששהו ללא היתר בישראל -בפני הממשלה. בחודש אוגוסט 1996 קיבלה לראשונה ממשלת ישראל שורה של החלטות שמטרתן להביא לצמצום מספרם של השוהים הבלתי חוקיים במדינה.
בממשלת אהוד ברק, לאחר בחירות 1999, שימש כשר במשרד ראש הממשלה והיה גם השר האחראי לענייני ירושלים.
במסגרת תפקידו זה היה האחראי על ביקור האפיפיור יוחנן פאולוס השני בישראל. אחר-כך מונה גם לשר הפנים והחל בשורה של רפורמות, שרובן נקטעו עם נפילת ממשלת ברק.
ב-2001 לא הצטרף לממשלת האחדות של אריאל שרון, והעדיף לשמש כיו"ר ועדת החוץ והביטחון.
בפריימריס של מפלגתו שהתקיימו בנובמבר 2002 התמודד על ראשות מפלגת העבודה נגד עמרם מצנע ובנימין בן אליעזר, אך זכה למספר קולות נמוך. במהלך הפריימריס קרא רמון לנסיגה ישראלית חד-צדדית משטחי יהודה ושומרון ומרצועת עזה, תוכנית שאומצה על ידי מפלגת העבודה לקראת הבחירות לכנסת השש עשרה. לימים התפתחה תוכנית ההפרדה החד-צדדית לתוכנית ההתנתקות.
בכנסת ה-16 שימש כחבר בוועדת החוץ והביטחון והיה ראש הצוות המדיני של מפלגת העבודה. בממשלת אריאל שרון, בתקופה בה הייתה מפלגת העבודה שותפה לממשלה (שנת 2005), כיהן רמון כשר בלי תיק מטעם המפלגה.
רמון העלה את תאוריית "המפץ הפוליטי" בכנסת. עם הקמתה של מפלגת קדימה, בסוף נובמבר 2005, פרש ממפלגת העבודה והצטרף למפלגה החדשה, ולשם כך פרש מהכנסת. הוא מוקם שביעי ברשימתה, ונבחר מטעמה לכנסת השבע עשרה.
שר המשפטים.
עם הקמת הממשלה ה-31 בראשות אהוד אולמרט ב-4 במאי 2006, מונה רמון לתפקיד שר המשפטים. מיד עם כניסתו לתפקידו החל בביצוע רפורמה מקיפה במשרד המשפטים ובחקיקה - דוגמת חוק יסוד: החקיקה, חוק האתיקה של מערכת המשפט, תיקון חוק האזרחות וחוק הבניית הענישה, שנועד להביא להענשה אחידה על אותן עבירות באותן נסיבות. כמו כן פעל להאצת ההפרדה המלאה של מח"ש מהמשטרה כדי למנוע כל קשר בין אגפי החקירות של המשטרה לבין המחלקה החוקרת את השוטרים עצמם.
רמון התנגד לשיטת הסניוריטי במינוי נשיא בית המשפט העליון (לפיה ממונה לנשיא השופט הוותיק ביותר), אולם תמך במינויה של דורית ביניש, השופטת הוותיקה ביותר, לנשיאת בית המשפט העליון על פי כישוריה. בסופו של דבר מונתה ביניש לאחר התפטרותו של רמון.
ב-20 באוגוסט 2006 הודיע רמון על התפטרותו מהממשלה, לאחר שהיועץ המשפטי לממשלה, מני מזוז, הודיע על הגשת כתב אישום נגדו באשמת מעשה מגונה ללא הסכמה. ב-31 בינואר 2007 הורשע רמון בבית משפט השלום בתל אביב, וכעבור זמן נקבע עונשו: 120 שעות בשירות לתועלת הציבור, ופיצוי כספי של 15,000 ש"ח שישולם למתלוננת. בנוסף נקבע כי בעבירה אין קלון.
ההרשעה במעשה מגונה.
ב-17 באוגוסט 2006 החליט היועץ המשפטי לממשלה, מני מזוז, להגיש כתב אישום נגד חיים רמון בחשד שביצע מעשה מגונה ללא הסכמה. המתלוננת ה', קצינה צעירה בלשכת ראש הממשלה, טענה שב-12 ביולי 2006, השר נישק אותה, תוך החדרת לשונו לפיה, לאחר שהצטלמה איתו לרגל שחרורה מצה"ל.
בעקבות ההודעה על הגשת כתב אישום, ב-20 באוגוסט 2006 התפטר רמון מהממשלה, מבלי שמיצה את זכות השימוע, כדי לאפשר קיום משפט מוקדם ככל האפשר. ב-31 בינואר 2007 הורשע רמון בבית משפט השלום בתל אביב. השופטים מתחו ביקורת על רמון וכתבו שהוא "המעיט וצמצם את מעשיו ואחריותו ומנגד הגזים והפריז באשר לחלקה של המתלוננת, עיוות וסילף את העובדות בדרך מתוחכמת ומתחכמת". הם מתחו ביקורת גם על המסע התקשורתי נגד המתלוננת, שלדבריהם הייתה מושא להכפשות מצד גורמים שונים שלא הכירו את העובדות כהוויתן. לגבי רמון ציינו השופטים כי "מצערת העובדה, שהנאשם בחר לפגוע פגיעה בלתי הוגנת במתלוננת לצורך ניהול הגנתו".
גזר הדין.