גרפילד פייס את מחנה מתנגדי גרנט באמצעות בחירתו של צ'סטר ארתור כשותפו למרוץ וכמועמד לסגן הנשיא. על אף יחסיו הטובים עם ארתור ב-1879, שרמן סבר שזו הייתה בחירה גרועה: "מועמדתו של ארתור היא בורלסקה מגוכחת", הוא ציין במכתב שכתב לידיד, "ואני חושש שהיא הושפעה מהרצון לנצח... מועמדותו מצמידה לפתק ההצבעה את כל הגנאי של קבלני קולות, והיא תסכן במידה רבה את סיכויו של גרפילד לנצח". שרמן צדק כמעט ברוב דבריו, שכן גרפילד השיג ניצחון דחוק על פני המועמד הדמוקרטי וינפילד סקוט הנקוק. שרמן המשיך לכהן כמזכיר האוצר עד לתום נשיאותו של הייז ב-3 במרץ 1881.
שובו לסנאט.
ב-1880 בחר בית הנבחרים של אוהיו את גרפילד כסנאטור, וכאשר והוא החל לכהן כנשיא טרם כניסתו לסנאט, בחר בית הנבחרים בשרמן במקומו. מעמדו של שרמן בסנאט השתנה לאחר ארבע שנות היעדרות. הוא שב לוועדת הכספים, אך עמיתו הוותיק מתקופת שירותו בבית הנבחרים, ג'סטין סמית' מוריל, היה כעת יושב ראש הוועדה. כאשר שב שרמן לסנאט הרפובליקנים לא החזיקו ברוב בבית. המושבים בסנאט נחלקו בין 37 של הרפובליקנים, 37 של הדמקורטים, סנאטור עצמאי אחד, דייוויד דייוויס, שהיה מזוהה עם הדמוקרטים, ואיש מפלגת "הסדר החדש" , ויליאם מאהון, שהיה מזוהה עם הרפובליקנים. קולו המכריע של צ'סטר ארתור כסגן הנשיא הותיר את הרפובליקנים עם רוב מזערי בסנאט. אף על פי כן, המושב המיוחד שהתכנס במרץ 1881 נותר במבוי סתום למשך חודשיים בנוגע לאישור המינויים של הנשיא גרפילד, בשל התנגדות האופוזיציה של קונקלינג לכמה מהם, וכתוצאה מכך התפטרו קונקלינג והסנאטור השני מניו יורק, תומאס פלאט, במחאה על התנגדותו המתמשכת של גרפילד לסיעתם. שרמן צידד בגרפילד בנוגע למינויים והיה שבע רצון לאחר שבית המחוקקים של ניו יורק לא בחר בקונגלינג ובפלאט מחדש לסנאט, והחליף אותם בשני רפובליקנים נוחים יותר.
רצח גרפילד וחוק פנדלטון.
לאחר פיזור המושב המיוחד של הקונגרס, שב שרמן לביתו במנספילד. הוא נאם בזכותו של מושל אוהיו צ'ארלס פוסטר, ששאף להיבחר לתקופת כהונה שנייה, והגיע יחד עם הנשיא לשעבר הייז לקולג' קניון, שם הוא קיבל תואר כבוד. שרמן היה נינוח כשהכין את עצמו לשהות ממושכת עם רעייתו בפעם הראשונה מזה שנים, כאשר הגיעו החדשות על הירי בנשיא גרפילד בוושינגטון. הרוצח, צ'ארלס גיטו, היה אדם מופרע בנפשו שהאמין שיורשו של גרפילד ימנה אותו למשרה ציבורית. לאחר כמה חודשים נפטר גרפילד מפצעיו וצ'סטר ארתור היה לנשיא במקומו. לאחר שהשלים את טיולו הארוך המתוכנן אל הפארק הלאומי ילוסטון ואל אתרים נוספים במערב, יחד עם אחיו ויליאם, שב שרמן למושב מיוחד נוסף של הקונגרס באוקטובר 1881.
רצח גרפילד על ידי אדם שדרש להתמנות למשרה ממשלתית, הגביר את הדרישה הציבורית לרפורמה בשירות הציבורי. מנהיגי שתי המפלגות הבינו שיעלה בידם למשוך את קולות דורשי הרפורמה אם יפנו נגד מערכת מינויי החסות, וב-1882 החלו המאמצים של שתי המפלגות לטובת רפורמה. בקונגרס הקודם, הניח עמיתו של שרמן מאוהיו, ג'ורג' פנדלטון, הצעת חוק על שולחן הסנאט, שחייבה בחירה של פקידי ממשל על סמך כישוריהם שנבחנו בקפידה, אך הקונגרס דחה את הצעת החוק באופן מידי. בבחירות אמצע הכהונה של 1882 איבדו הרפובליקנים מושבים בבית הנבחרים, זאת בשל המקום המרכזי שתפסה הרפורמה בשירות הציבורי במסע הבחירות של הדמוקרטים. שרמן דיבר בזכות בחירתם של אנשים ראויים וכנגד העברתם של אנשים ממשרותיהם ללא סיבה. הוא התנגד לרעיון שלמשרתי ציבורי יהיו תנאים בלתי מוגבלים להעסקתם, אך האמין שיעילות, לא פעילות פוליטית, צריכה להיות אמת המידה למשך העסקתו של משרת הציבור. שרמן הצביע בעד חוק פנדלטון לרפורמה בשירות הציבורי , שאותו אישר הסנאט ברוב של 38 תומכים מול 5 מתנגדים וקודם לכן העביר אותו בית הנבחרים ברוב של 155 תומכים מול 47 מתנגדים. ב-16 בינואר 1883 חתם עליו הנשיא ארתור.
המס "בן הכלאיים".
בשנות ה-80 של המאה ה-19 חוקקו יחסית מעט חוקים פיננסיים. באותה עת הייתה נחיצות הנפקתן של איגרות חוב פחותה ביותר, שכן הממשלה הצליחה ב-1882 לשמור על עודף תקציבי של 145 מיליון דולר. הדעות על הדרך לשמור על איזון תקציבי היו מגוונות. הדמוקרטים שאפו להפחתת מיסים כדי לצמצם את ההכנסות ואת עלות מוצרי הייבוא, בעוד שהרפובליקנים האמינו שמיסוי גבוה יבטיח שכר גבוה במגזרי התעשייה והכרייה. הם העדיפו שהממשלה תוציא יותר כספים על עבודות ציבוריות ותצמצם את מס הבלו. הקונגרס העביר חוק להקמת ועדה לבדיקת נושא הפחתת המיסוי, אך ארתור מינה לוועדה בעיקר פרוטקציוניסטים. בדצמבר אותה שנה הגישה הוועדה דוח לקונגרס בו היא קראה להפחתת המיסים בשיעור ממוצע שבין 20% ל-25%. המלצות הוועדה לא זכו להתייחסות, שכן ועדת המיסוי והתקצוב של בית הנבחרים, שנשלטה על ידי פרוטקציוניסטים, אישרה הפחתה במיסים בשיעור של 10% בלבד. לאחר דיון בסנאט ירד שיעור הפחתת המיסים על פיו ל-1.47% בממוצע, אך במסגרתו בוטלו או צומצמו סוגי מיסים רבים קיימים. שרמן תמך בחוק, יותר בשל הפחתת שיעור הבלו מאשר השינוי בגביית המיסים. החוק, שנודע בשם חוק המיסים של 1883 , או כפי שמתנגדיו כינו אותו "חוק בן הכלאיים" (Mongrel Tariff), עבר בשני בתי הקונגרס ב-3 במרץ, יומו האחרון של קונגרס זה, ברוב קטן. הנשיא ארתור חתם עליו, אך לא הייתה לו שום השפעה על העודף התקציבי.
ההגירה הסינית.
שרמן הקדיש תשומת לב רבה יותר ליחסי החוץ במהלך החלק השני של הקריירה שלו בסנאט, כאשר שימש כיושב ראש ועדת החוץ של הסנאט. ב-1868 אשרר הסנאט את חוזה ברלינגיים עם סין, שאפשר הגירה בלתי מוגבלת מסין לארצות הברית. לאחר המשבר הפיננסי של 1873, הואשמו המהגרים הסינים כמי שגרמו לירידת השכר. בתגובה לכך העביר הקונגרס ב-1879 את חוק הדרת הסינים, אך הנשיא הייז הטיל עליו וטו. שלוש שנים לאחר מכן, לאחר שסין הסכימה לתיקונים בהסכם, ניסה הקונגרס שוב להדיר את המהגרים הסינים. הסנאטור ג'ון מילר מקליפורניה הגיש הצעת חוק נוספת להדרת הסינים שמנע מהמהגרים לקבל אזרחות של ארצות הברית ואסר על הגירתם לתקופה של עשרים שנה. שרמן התנגד הן להסכם של 1880 והן להצעת החוק של מילר, בהאמינו שחוק ההדרה הפך על פיה את סבר הפנים החיובי של ארצות הברית לכל הבאים בשעריה ואת תלותה של האומה בהגירה מארצות חוץ לטובת צמיחתה. הנשיא ארתור הטיל וטו על החוק ושרמן הצביע בעד אישורו מחדש. חוק חדש עבר ברוח הסעיפים להם התנגד הנשיא. שרמן הצביע גם נגד חוק זה, אך הוא עבר והנשיא ארתור חתם עליו. ב-1885 הצביע שרמן בעד חוק העבודה החוזית הזרה , שאסר על העסקת עובדים זרים בחוזה לפני שהם עוברים או מהגרים לארצות הברית על פי חוזה. שרמן ראה את החוק הזה כמתאים יותר לפתרון ירידת השכר בהשוואה לחוק הדרת הסינים. הבעיה, כפי שהוא ראה אותה, לא הייתה מוצאם של המהגרים הסינים, אלא תת-התנאים דמויי העבדות של העסקתם.
ניסיונות נוספים להתמודדות לנשיאות.
ב-1884 הציג שרמן את שמו להתמודדות על מועמדות המפלגה הרפובליקנית לנשיאות, אך מסע הבחירות שלו לא צבר תאוצה. בליין נחשב למועמד מועדף והנשיא ארתור גם קיבץ נציגים בניסיון להיבחר לתקופת כהונה נוספת בעצמו. שוב, לא עלה בידה של משלחת אוהיו לוועידת המפלגה להתאחד מאחורי שרמן, ועם פתיחת הוועידה עמדו לרשותו 30 נציגים בלבד שהתחייבו להצביע עבורו. השופט לשעבר מסינסינטי, ג'וזף פורקר, נשא נאום לטובת מועמדותו של שרמן, אך הנאום משך תשומת לב מועטה. בליין קיבץ את התמיכה ביום המחרת, ושרמן פרש מהמרוץ לאחר סבב ההצבעה הרביעי. בסופו של דבר זכה בליין במועמדות המפלגה, אך הפסיד בבחירות הכלליות לגרובר קליבלנד הדמוקרטי מניו יורק, ההפסד הראשון של הרפובליקנים מזה 28 שנה. שרמן שב לסנאט, שם ב-1885, הוא נבחר כנשיא הזמני של הסנאט. לאחר מותו של סגן הנשיא תומאס הנדריקס מאוחר יותר באותה שנה, היה שרמן הבא בתור בסדר הירושה של נשיא ארצות הברית עד 26 בפברואר 1887, כאשר הוא התפטר מתפקידו.