בשנת 928 נפטר ראש ישיבת סורא שבבגדאד. לפי הנוהג, הגאון הבא מתמנה מבין תלמידי החכמים של אותה הישיבה. כשנפטר גאון סורא, רב יעקב בר נטרונאי, ובישיבה לא היה מועמד בולט מלבדו, נאלצו למנות את בנו רב יום טוב כהנא בר יעקב. לאחר שרב יום טוב נפטר (לאחר ארבע שנים בתפקיד), ביקשו להביא מישיבת פומבדיתא – נגד חוק הישיבות בבבל – את רב נתן אלוף, בנו של רב יהודה בן שמואל גאון. אך הוא נפטר בטרם התמנה. האיש היחיד שהיה ראוי להיות גאון סורא היה רס"ג, אך הוא לא היה מקומי אלא זר, ממצרים. למרות זאת, החליט ראש הגולה, דוד בן זכאי, למנות את רס"ג לגאון סורא. כשעמד המינוי על הפרק, הזהיר ניסים הנהרואני את ראש הגולה מפני המינוי, ואמר לו שרס"ג תקיף בדעותיו ובעל כושר רטורי גדול, "ואינו מסביר פנים לשום אדם בעולם, מפני רוב חכמתו ורוחב דעתו ואריכות לשונו ויראת חטאו". אך דוד בן זכאי לא שמע לדברי ניסים, ובגיל 46, התמנה רס"ג לגאון וראש ישיבת סורא.
רס"ג רומם את קרנה של ישיבת סורא, ותלמידים רבים מכל קצוות בבל, ואף מחוצה לה, באו לישיבתו. תרומות רבות התקבלו מכל קהילות בבל, והישיבה שבה לתפקד תפקוד מלא, עד שהייתה שוב למרכז התורה הגדול ביותר בבבל.
המחלוקת עם ראש הגולה והנידוי.
שנתיים אחרי מינויו של רס"ג לגאון סורא, התגלע סכסוך בינו לבין ראש הגולה, דוד בן זכאי, ותומכיו. דוד בן זכאי פסק בסכסוך ירושה שבא לפניו לטובת כמה מעשירי בגדאד. לפי מנהג המקום פסק הדין של ראש הגולה היה נכנס לתוקפו רק אחרי חתימת שני ראשי הישיבות. כשהתבקש רס"ג לחתום, התחמק, והציע שראש ישיבת פומבדיתא יחתום תחילה. משהלה חתם, נאלץ רס"ג להודיע, אחרי שורה של התחמקויות, שפסק הדין שגוי לדעתו ופסיקת ראש הגולה נגועה בשוחד. בנו של ראש הגולה, יהודה, שהיה שליח להחתים את רס"ג, הוכה והושפל על ידי תלמידי רס"ג. בעקבות כך הדיח ראש הגולה את רס"ג מגאונותו, והטיל עליו חרם, ומינה תחתיו כגאון סורא תלמיד חכם מקומי בעל ייחוס, בשם יוסף בר יעקב.
בתגובה להדחתו כתב רס"ג את "ספר הגלוי", חיבור בסגנון מקראי, המתאר את השחיתות המוסרית שפשתה בזמנו בקרב מנהיגי הקהילה היהודית בבגדאד, ואת פעליו למיגורה, שהתקבלו באהדה רבה על ידי הציבור הרחב, ובחוסר נחת מצידם של אותם מנהיגים. רס"ג מייחד פסקאות לכל ראשי מתנגדיו, ומספר בגנותם, כשהוא מכנה אותם בכינויי גנאי: דוד בן זכאי ראש הגולה, כ'לף (אהרון) בן סרג'אדו, המכונה "כלב" על פי שמו הערבי, כהן צדק, ראש ישיבת פומבדיתא, ואנשים נוספים. הספר כולל גם תפילה ארוכה שהתפלל רס"ג להצלחתו והעלאת קרנם של היושר והצדק, ומסתיים בשמחת העם על שובו למקומו.
נגד הספר כתב כ'לף בן סרג'אדו, ממקורביו של ראש הגולה, מגילה חריפה בשם "אפיקורוס מן הנכריים הדילציים", הכוללת גם את כתב החרם שהטיל ראש הגולה. בעקבות מגילה זו הוסיף רס"ג לספר הגלוי הקדמה ארוכה המפרטת את מעלותיו הרבות של החיבור בתחום המוסר והשירה, ותשובות לטענות שהועלו נגדו. כמו כן חיבר פירוש לחיבור, הדומה במתכונתו לחיבוריו של רס"ג על המקרא, וכולל ביאורי מילים, צימודים, והרחבה בעניינים שונים.
לצד הפולמוס הספרותי, ליוו רס"ג ותומכיו את מאבקם גם במעשים. הם הדיחו את דוד בן זכאי מראשות הגולה, ומינו במקומו את אחיו יאשיה (חסן). יאשיה נפטר כעבור שלש שנים, ובפועל כיהן דוד בן זכאי כראש גולה יחיד.
לפי מסורת מאוחרת, השלום בין המחנות הניצים שב על כנו אחרי שבע שנים, בעקבות סכסוך בין שני בעלי דין, שאחד מהם ביקש את דוד בן זכאי כבורר, והשני את רס"ג. דוד בן זכאי קרא לאיש שבחר ברס"ג כבורר, והיכהו קשות, והלה התלונן על דוד בן זכאי בכל העיר. בעקבות המאורע, פעלו נכבדי העיר להשכין שלום בין דוד בן זכאי לרס"ג. השלום הושב על כנו, והם התפייסו בתענית אסתר. כדי לתת ביטוי פומבי וציבורי להתפייסותם, הוחלט שאחד מהם יאכל את סעודת סיום התענית אצל השני. הוטל גורל מי יאכל אצל מי, והפור נפל על רס"ג, שאכל את הסעודה אצל דוד בן זכאי.
שלוש שנים לאחר הפיוס נפטר דוד בן זכאי. מספר חודשים אחר כך מת גם בנו, יהודה. בנו של יהודה, שהיה בן 12, הפך ליתום, ורס"ג פרס חסותו עליו ודאג לו. רס"ג לא האריך ימים אחר כך, ובהיותו כמעט בן שישים, בכ"ו באייר ד'תש"ב, נפטר.
השפעתו.
במפעליו הספרותיים והפילוסופים, ביסס רס"ג את היהדות הרבנית. רבי אברהם אבן עזרא, פילוסוף יהודי שחי לאחר רס"ג, כינה את רס"ג "ראש המדברים בכל מקום", כשכוונתו לשבח את בקיאותו של רס"ג בכל המקצועות ובמיוחד בפילוסופיה, ואת העובדה שבמקצועות רבים היה רס"ג חלוץ וסולל דרך. הרמב"ם שיבח בעקיפין את רס"ג כשהסביר מדוע עסק בחישוב קצין האסור: "לפי שהיו בני דורו בעלי סברות נשחתות, וכמעט שתאבד תורת ה', לולא הוא, עליו השלום, לפי שהוא גילה מן התורה מה שהיה נעלם, וחיזק ממנה מה שנתדלדל". פרשנות המקרא שלו השפיעה רבות על פרשני המקרא בספרד, בתימן ובארצות המזרח, כגון: יהודה אבן בלעם, אברהם אבן עזרא, יונה אבן ג'נאח, תנחום הירושלמי, אברהם בן שלמה ואחרים.
בפוסטאט שבמצרים, תחת כהונתו של רבי מצליח הכהן גאון, דבקה הקהילה הארץ–ישראלית בדרכו של רס"ג. רבי מצליח נשא דרשות המבוססות על חיבוריו של רס"ג, וחכמי הקהילה עיבדו חיבורים של רס"ג לתועלת העם.
יהודי תימן קיבלו עליהם את הוראותיו "כמרא דאתרא" ובסידור התכלאל ישנם נוסחאות של רב סעדיה גאון המשולבות בתוך הברכות, במקומות שהן לא נסתרות על ידי הוראות הרמב"ם. סידור רבי שלמה בן נתן מבוסס אף הוא על סידור רס"ג, כשהוא מקבל חלק מדבריו ומתבסס עליהם.
באימפריה הביזנטית, כמאה שנים אחרי מותו של רס"ג, שגשגה קהילה שעסקה בפרשנות המקרא, והם תרגמו חלק מפירושיו שהובאו על ידם מירושלים ועיבדו אותם. פירוש ספר דניאל המיוחס לרבינו סעדיה גאון, חובר באותה תקופה, והוא מכיל חלקים מפירושו האמיתי של רס"ג לספר זה.
חיבוריו ויבולו הספרותי.
כתביו של רס"ג מגוונים ורבים מאוד ובמידה רבה ניתן לומר עליו כי היה המייסד של כמעט כל סוגי הספרות התורנית. כבר בצעירותו החל בכתיבת ספרים, וכל חייו עסק בכתיבת חיבורים חדשים ושכלול החיבורים הקודמים.
ספרו הראשון, האגרון, העוסק בדקדוק, נכתב בעודו במצרים, כשהיה כבן עשרים. לימים, בהיותו בבבל, שכלל את חיבורו זה והוסיף לו הקדמה בערבית. כמו כן חיבר במצרים את חיבורו הפולמוסי הראשון, "כתאב אלרד עלי ענן" – ספר הכחשת ענן, בו תוקף את היהדות הקראית, ואף ספר זה שוכלל לימים ופוצל לשני חיבורים.
עד לגילויה של הגניזה הקהירית לא היה ידוע רבות על חיבוריו של רס"ג, מלבד ספר האמונות והדעות ותרגומו לתורה שהשתמרו בשלמותם, וסידורו שהשתמר בשלמות בכתב יד אך לא פורסם. מחקר הגניזה הוביל לגילוי חיבוריו הרבים, שרבים מהם פורסמו באופן מלא או חלקי.
להלן רשימת חיבוריו, לפי סדר הצגתם ברשימת החיבורים שפרסמו בניו אחרי פטירתו, ומצב פרסומם:
הפירוש למקרא.
רס"ג כתב פירוש למקרא המחולק לשני חלקים. תרגום לשפה הערבית המשלב בקצרה פירושים וביאורים, ושמו "תפסיר", וכן פירוש רחב, העוסק בהיבטים פרשניים, הלכתיים, דקדוקיים ופולמוסיים, והוא מכונה "שרח". להלן חלקי פירושי המקרא:
התפסיר לחמישה חומשי תורה.
תרגום חמישה חומשי תורה לערבית. בתרגומו, כפי שמספר רס"ג בהקדמתו, ביקש להנגיש את המקרא לשכבות הרחבות של ההמון, שהכיר את השפה הערבית ולא הכיר את השפה העברית, ובנוסף פירש במילה או שתיים את הכוונה הנסתרת של המקרא.
למרות הידיעות ההיסטוריות על תרגום ערבי שנעשה על ידי חכם מוסלמי בתחילת המאה ה-9, הרי תרגומו של רס"ג נעשה על כל ספרי המקרא, ובשל תפוצתו הרבה נבחר כתרגום הערבי החשוב ביותר. מטרתו של רס"ג הייתה לקרב את התנ"ך על ידי תרגומו, הן ליהודים דוברי ערבית והן לבני הדתות האחרות.
על-פי עדותו של ר' אברהם אבן עזרא בבראשית (), רס"ג כתב את התרגום באותיות ערביות ("בעבור שתרגם התורה בלשון ישמעאל ובכתיבתם"). עם זאת, העדר כתבי יד של התפסיר באותיות ערביות, לצד בדיקה שיטתית של אוצר המילים של התפסיר וסגנונו, מוכיחים שרס"ג כתב את תרגומו שבידינו באותיות עבריות, וייעד אותו ליהודים שהיטיבו לקרוא באותיות עבריות. על כן, ההנחה הרווחת היא שדברי אבן-עזרא אינם עוסקים במהדורה העיקרית של התפסיר, אלא בתעתיק נוסף שיצר רס"ג לצורך חוג מלומדים מוסלמים.
לשונו של התפסיר ספרותית וכמו תרגום אונקלוס, הוא מרחיק הגשמה ומזהה מקומות גאוגרפיים עם אתרים בני זמנו.
רס"ג שכלל את התרגום כל ימיו, הגיהו ותקנו. נוסחאות התרגום, ה'תפסיר' בלשון הערבית, הועתקו בעותקים רבים והלכו והתגלגלו מדור לדור. תפוצתם העיקרית, מטבע הדברים, הייתה בארצות הדוברות ערבית. שרשרת רצופה של מסירה, עד לימינו, התקיימה בתימן. ענפי נוסח שונים התקיימו במזרח התיכון והשתמרו בעיקר בגניזה הקהירית. השתמר עותק אחד הכולל כשני שלישים מהתרגום למקרא, שנכתב רק כשמונים שנה אחר פטירת רס"ג, על ידי הסופר שמואל בן יעקב. בשנת 2015 יצא לאור בירושלים ספר המכיל את פירוש התורה של רס"ג באותיות ערביות תיקניות המבוסס על כתב יד זה וכתבי יד תימניים.