בתחילת שנות השישים היה בין מייסדי הפת"ח, לצד יאסר ערפאת. לאורך השנים היה פעיל בהנהגת הפת"ח, חבר הוועדה המרכזית של הפת"ח שמנתה בשנת 1973 11 חברים ואחראי על ענייני הכספים של הארגון בשנות ה-70. לאחר מלחמת ששת הימים יצא עבאס יחד עם ערפאת לירדן. עם הצטרפות הפת"ח לאש"ף ב-1968, היה עבאס לחבר המועצה הלאומית הפלסטינית וחבר בוועד הפועל של אש"ף. עבאס עבר עם ערפאת ללבנון לאחר אירועי ספטמבר השחור. לפי מידע של ממשלת ישראל היה בין מקימי ארגון הטרור ספטמבר השחור. אהוד יערי כתב ב-1973 שצלאח ח'לף ועבאס היו אחראים להפעלת המודיעין של הפת"ח במבצעים מיוחדים בשם "ספטמבר השחור" בלא היוועצות בחבריהם בהנהגת הפת"ח. מוחמד עודה ("אבו דאוד"), ראש ארגון ספטמבר השחור ומתכנן טבח הספורטאים באולימפיאדת מינכן, טוען בספרו האוטוביוגרפי שעבאס היה בין היחידים ששותפו בסוד העניין והוא שדאג למימון הפעולה. עבאס עצמו אמר שלא ידע למה עתיד לשמש הכסף.
בשנות ה-70 נודע עבאס כאיש של סעודיה באש"ף ונמנה בין המתונים בארגון. בינואר 1977 צוטט כאומר שאין הפת"ח מתנגד למגעים עם ישראלים. באמצע שנות ה-70 הוא עסק בעידוד ירידה של יהודים מישראל לארצות ערב. בשנים 1977–1978 ניהל שיחות עם ירדן ופעל לסיכול תוכנית האוטונומיה. ב-1979 ניהל את המגעים של אש"ף עם רוחאללה ח'ומייני שעלה לשלטון באיראן.
בשנת 1980 קיבל עבאס את תיק החוץ של אש"ף. בשנת 1982, במהלך מלחמת לבנון הראשונה עבר עבאס יחד עם הנהגת אש"ף לתוניס. בשנת 2016, כשנה לאחר פתיחת ארכיון מיטרוחין לעיון חוקרים, התפרסמו מסמכים לפיהם ב-1983, בתקופה שהיה חבר הוועד הפועל של פתח בדמשק ובתקופה שעשה את הדוקטורט שלו באוניברסיטת לומומבה, הוגדר עבאס סוכן ק.ג.ב. ושם הצופן שלו היה "קרוטוב".
לאחר חיסולו של ח'ליל אל-ווזיר (אבו ג'יהאד) בשנת 1988, הוא מונה לאחראי על ניהול המאבק בשטחים.
הסכמי אוסלו.
עבאס היה מיוזמי הסכמי אוסלו, וב־13 בספטמבר 1993 חתם עליהם בשם אש"ף. היה בין המועמדים לפרס נובל לשלום, אך מכיוון שרק שלושה יכולים לזכות בפרס בשנה אחת, נדחק החוצה. ב־1995 גיבש יחד עם יוסי ביילין את הבנות ביילין-אבו מאזן כבסיס להסדר אפשרי בין ישראל ומדינה פלסטינית. ההבנות מעולם לא הפכו להסכם רשמי, אך היוו בסיס ליוזמות אחרות. בספרו "הדרך לאוסלו" פרסם כי היה תיאום בין אש"ף למפלגת העבודה על מנת לטרפד את המשא ומתן עם ממשלת ישראל בראשות יצחק שמיר, שהתחיל בוועידת מדריד (1991), ופנייה של מפלגת העבודה לאש"ף לפעול לעידוד הצבעת ערביי ישראל למפלגות הערביות בבחירות לכנסת השלוש עשרה, על מנת להחליש את הליכוד. טענות אלו הוכחשו על ידי אפרים סנה ועל ידי נציגי אש"ף.
בתור אחד מאחרוני המייסדים של הפת"ח, נחשב למספר שתיים במנהיגות הפלסטינית אחרי יאסר ערפאת, אולם הוא מעולם לא היה פופולרי בקרב הציבור הפלסטיני. בשנת 1996 מונה עבאס לתפקיד המזכיר הכללי של הוועד הפועל של אש"ף, מה שחיזק את מעמדו כשני לערפאת בהנהגה הפלסטינית וכיורש אפשרי. ב־8 באוגוסט 2009, במסגרת הוועידה השישית של הפתח בבית לחם, נבחר עבאס לעמוד בראש התנועה.
פעילות במהלך האינתיפאדה השנייה.
עוד מתחילת האינתיפאדה השנייה נחשב עבאס למבקרי דרך הטרור, או כפי שנקראה "המאבק המזוין". עבאס גרס כי העולם כבר נוטה להכיר בזכויות העם הפלסטיני, ולכן דרך המאבק צריכה להיות מדינית ובלא שימוש בכוח. הוא שב וטען באופן פומבי כי השימוש בטרור פגע במעמד הפלסטינים בעולם, והרחיק אותם מהשגת זכויותיהם. כמו כן, ביקר עבאס את הסממנים השליליים שיצרה האינתיפאדה - התרחבות התופעה של חיסולים פנימיים, מאבקי חמולות, אנרכיה ביטחונית ופגיעה בשלטון החוק. כל אלה, טען עבאס, היו תוצאה של השימוש בטרור ושל פעילות ישראל בעקבותיו.
ב־19 במרץ 2003, אחרי לחצים כבדים מצד ארצות הברית והאיחוד האירופי, מונה עבאס לראש הממשלה של הרשות הפלסטינית על ידי נשיא הרשות יאסר ערפאת, וממשלתו זכתה לאמון המועצה המחוקקת ב־29 באפריל והושבעה למחרת. כראש ממשלה ניסה להגיע להבנות עם החמאס והג'יהאד האסלאמי על "הודנה" - הפסקת אש זמנית במאבק בישראל. ב־4 ביוני 2003 נפגש בעקבה עם אריאל שרון וג'ורג' ווקר בוש והבטיח לשים קץ ל"אינתיפאדה החמושה". אולם קריסת ה"ההודנה" וחוסר הגיבוי מצדו של ערפאת הביאו אותו להתפטר מתפקידו ב־6 בספטמבר 2003 בעקבות איום בהפלת ממשלתו בהצבעת אי אמון, אולם הוא המשיך לכהן בתפקידו עד להשבעת ממשלת אחמד קריע ב־11 בנובמבר.
בראיון שנתן כשנה לאחר התפטרותו נימק אותה בהיעדר שיתוף פעולה מצד ממשלת ישראל והממשל האמריקני וכן בהסתה הפרועה שהתנהלה נגדו ברחוב הפלסטיני (ככל הנראה בעידודו של יאסר ערפאת, שעבאס אכן הטיל עליו במרומז את האשמה).
כיו"ר הרשות הפלסטינית.
עלייתו לשלטון.
ההחמרה בבריאותו של ערפאת במהלך נובמבר 2004 השיבה את עבאס אל מוקד הכוח השלטוני ברשות הפלסטינית. עם מותו של ערפאת באותו חודש, התמנה למחליפו בתפקיד יו"ר הוועד הפועל של אש"ף, כלומר ראש הארגון. על תפקיד יו"ר הרשות הפלסטינית התמודד בבחירות מיוחדות שנערכו ב-9 בינואר 2005 בצורה דמוקרטית ובפיקוח בינלאומי בראשות ג'ימי קרטר. לפי הערכות שונות, בבחירות השתתפו בין 70 ל־75 אחוזים מהפלסטינים בעלי זכות ההצבעה, אחוז הצבעה שנחשב גבוה מאוד במדינות ערב.
במערכת הבחירות התבטא עבאס בגנות האינתיפאדה החמושה, ובכך חיזק את תדמיתו כדמות הממתנת בהנהגה הפלסטינית. מנגד, נפגש עם פעילים חמושים בערים הפלסטיניות השונות, והדגיש בנאומיו מחויבות מלאה למימוש זכות השיבה. כמו כן, מצעו לבחירות כלל את עיקרון "רשות אחת, חוק אחד, נשק אחד", שפירושו שרק לרשות הפלסטינית יש מונופול על שימוש בנשק. בישראל תלו ציפיות בבחירתו, אך גם הטילו ספק ביכולתו לשלוט בארגונים החמושים ברשות.
במהלך מסע הבחירות, עבאס הגיע לדרום רצועת עזה והמון אנשים הקיף את רכבו. מאחר שעבאס היה חסר ניסיון בהתמודדות עם התקהלויות ציבוריות, הוא נבהל וסגר את דלת המכונית בבהלה על ידו שלו, מה שגרם לקטיעת הקמיצה בידו הימנית.
עבאס נבחר לתפקיד ברוב של כ־62 אחוזים, מול כ־20 אחוזים שבהם זכה ד"ר מוסטפא ברגותי ואחוזים בודדים שבהם זכו שאר המועמדים, והושבע לתפקיד ב־15 בינואר 2005. הבחירות הבאות לרשות הפלסטינית היו אמורות להתקיים בינואר 2010 אך לא התקיימו בפועל ומחמוד עבאס נשאר בתפקיד עד מועד לא ידוע.
סוף האינתיפאדה ותוכנית ההתנתקות.
לאחר מינויו לתפקיד חתר לסיום האינתיפאדה, כאשר במסגרת פסגת שארם א-שייח' הוא הכריז על סופה הרשמי של האינתיפאדה החמושה, אולם בחר לנסות לשתף את ארגוני הטרור בהנהגה הפלסטינית, ולא לפרקם מנשקם, מתוך השקפה ששילוב תנועות האופוזיציה בשלטון ימתן אותן ויחייבן לקבל את הכרעת הרוב. ממשלת שרון, שהחרימה את הרשות כל זמן שעמד בראשה יאסר ערפאת, שיתפה עמו פעולה במטרה להעביר בהדרגה לידי הרשות את השליטה בערים הפלסטיניות ולהסתייע בה כדי ליישם את תוכנית ההתנתקות. במרץ 2005, לאחר סבב דיונים אינטנסיבי בין הפלגים הפלסטיניים (כולל ארגוני הסירוב), הושגה הצהרת קהיר. ההצהרה כללה החלטה על "הרגעה" (תהדייה) – הפסקת אש מותנית מול ישראל – על אי שימוש באלימות בעניינים פנים-פלסטיניים, ועל השתלבות חמאס במערכת השלטונית – לרבות עריכה מחדש של הבחירות במועצות המקומיות, והשתתפות התנועה בבחירות למועצה המחוקקת הפלסטינית. חמאס לא התחייבה באופן מלא ל"הרגעה", וירתה במספר מקרים פצמ"רים ורקטות בטענה כי היא מגיבה על "הפרות ישראליות", אך לאחר מספר חודשים התחייבה אליה באופן מלא. ה"הרגעה", על אף שלא הובילה להפסקת אש מלאה או להתקדמות במתווה "מפת הדרכים", הובילה להורדה משמעותית בהיקף האלימות בין ישראל לפלסטינים.
ב־14 ביולי בעקבות ירי פצמ"רים נרחב של חמאס ולחץ בינלאומי, הורה עבאס למנגנוני הביטחון של הרש"פ ופעילי התנזים של פת"ח לעצור בכוח את הירי. לאחר הוראה זו, והנאום התקיף שנשא ב־16 ביולי במועצה המחוקקת (בו תקף את חמאס בחומרה), החלה סדרת מאבקים בשטח בין חמאס לפת"ח ומנגנוני הביטחון, אשר כללו ירי ברחובות, שריפת משרדים ופגיעה בסממני שלטון. אף שמנגנוני הביטחון לא הצליחו לפגוע ביכולת חמאס, רבים טוענים כי עבאס יצא נשכר פוליטית מההסלמה משום שהפגין נחישות במאבק מולה. שר החוץ של ישראל, סילבן שלום, טען כי עבאס "סוף סוף נלחם בטרור". ב־21 ביולי, בעקבות הבנות שהשיג עם חמאס, הפסיקו המאבקים.
ב־20 באוגוסט, ערב פינוי רצועת עזה, נשא אבו מאזן נאום שבו הגדיר את מטרותיו לאחר מימוש תוכנית ההתנתקות. עבאס הצהיר כי "נגמר היום הג'יהאד הקטן של שחרור האדמה, והחל הג'יהאד הגדול של בניין המולדת". בשימושו באבחנות השונות בין סוגי הג'יהאד באסלאם, הדגיש את סדר העדיפויות השונה שהוא מייעד לעם הפלסטיני – התרכזות ברפורמות פנימיות ובבניין "מדינה שבדרך", ולא בטרור נגד ישראל.