שרמן, שבאותה עת לא היה שבע רצון מגרנט ומממשלו, קיבל על עצמו את המשימה בשמה של הנאמנות למפלגה, והצטרף לג'יימס גרפילד, לסטנלי מתיוס ולפוליטיקאים רפובליקנים נוספים לנסיעה ללואיזיאנה. גם הדמוקרטים שלחו את נציגיהם ושני הצדדים נפגשו כדי לפקח על הבחירות וכך הובטח שקולות האלקטורים של המדינה יגיעו להייז. בכך הסתיימה מעורבותו הישירה של שרמן בעניין והוא שב לוושינגטון, אך המחלוקת לא נפתרה עד אשר התכנסה בוושינגטון ועדה דו-מפלגתית. ימים ספורים לפני תום נשיאותו של גרנט, החליטה הוועדה ברוב צר על כך שרתרפורד הייז יהיה הנשיא ה-19 של ארצות הברית.
מזכיר האוצר.
מומחיותו הפיננסית של שרמן וידידותו עם הייז הפכו אותו למועמד הטבעי להיות מזכיר האוצר של ארצות הברית עם כניסתו של הייז לתפקיד ב-1877. כמו גרנט לפניו, לא נועץ הייז עם מנהיגי המפלגה בנוגע למינויים לקבינט שלו, והסנאט נקט בצעד שהיה מקובל אז להגיש את אישור מועמדותם של חברי הקבינט המיועדים לוועדה. יומיים לאחר מכן, לאחר שעה של דיונים, אישרו הסנאטורים את מינויו של שרמן הוא החל לפעול למען אישור המינויים של עמיתיו לקבינט. בארבע השנים הבאות היו הייז ושרמן לידידים קרובים, והם נהגו לנסוע יחדיו בכרכרה כדי לדון על ענייני המדינה בארבע עיניים. במחלקת האוצר, כמו בסנאט, התמודד שרמן עם שתי משימות: הראשונה, להכין את החזרת השטרות עם כניסת החוק בנוגע לכך ב-1879, והשנייה, ההתמודדות עם התגובה החריפה נגד ההוצאה מהמחזור של מטבעות הכסף.
הכנת החזרת שטרות הכסף.
שרמן והייז הסכימו על אגירת מלאי זהב כהכנה להמרת שטרות הכסף בשטרות מגובים במתכות. הצעד נותר בלתי פופולרי בכמה חוגים והוביל לכמה ניסיונות בלתי מוצלחים לבטלו בסנאט ובבית הנבחרים. באותה עת כבר גבר האמון של הציבור באוצר למידה ששוויו של דולר הזהב עמד על 1.05 דולר בשטרות הירוקים. משעה שהציבור היה סמוך ובטוח שהוא יוכל לפדות את השטרות בזהב, מעטים בלבד אכן עשו זאת. ב-1879, כאשר נכנס החוק לתוקף, רק 130,000 דולר מתוך 346 מיליון דולר נפדו בזהב. שטרות הכסף לא היו עוד תלויים בגיבוי הזהב ולראשונה מאז מלחמת האזרחים הייתה לאומה האמריקאית מערכת מטבע אחידה.
חוק בלנד-אליסון.
הדעות נגד חוק המטבע של 1873 התגברו כאשר מצב הכלכלה החמיר בעקבות המשבר הפיננסי של 1873. חבר בית הנבחרים הדמוקרטי ריצ'רד בלנד ממיזורי הגיש הצעת חוק שתחייב את ארצות הברית לרכוש כל כמות של כסף שהכורים יכלו למכור לממשל ולטבוע אותה למטבעות, שיטה שתגדיל את אספקת הכסף ותסייע לבעלי החוב. בקיצורו של דבר, כורי כסף יכלו למכור לממשלה כסף בשווי של 50 עד 70 סנט ולקבל בתמורתו דולר כסף. הרעיון חצה את קווי המפלגות והסנאטור הרפובליקני מאיווה ויליאם אליסון הוביל את המאמצים לאישור החוק בסנאט. אליסון הציע תיקון חוק בסנאט שיצריך רכישה של שניים עד ארבעה מיליון דולר בחודש במתכת הכסף, אך לא יאפשר פקדונות של כסף במטבעות. כך הסניוראז', פער הרווח בית עלות הנפקת הכסף לבין ערכו הנקוב נכנס לקופתה של הממשלה ולא של האזרחים. כתוצאה מכך עבר ב-1878 חוק בלנד-אליסון בשני בתי הקונגרס. הנשיא הייז חשש שהחוק יגרום לאינפלציה בשל הוצאת הכספים. דעתו של שרמן הייתה מורכבת יותר. הוא ידע שמתכת הכסף צוברת פופולריות והתנגד לכך שהחוק יזיק למועמדי המפלגה בבחירות של 1880, אך הוא גם הסכים עם הייז שיש צורך למנוע אינפלציה.
שרמן לחץ על ידידיו בסנאט להפיל את החוק, או להגביל את הנפקת מטבעות דולר הכסף, שאמור היה להיות בעל שווי של 1/16 של משקלו בזהב. מאמציו אלו עלו בתוהו, אך התיקון של אליסון הפך את החוק לפחות מסוכן מבחינה פיננסית. שרמן סבר שעל הייז לחתום על החוק המתוקן, אך לא לחץ עליו בעניין והנשיא הטיל וטו. "לאור הרגשות הציבוריים החזקים בעד הטבעת חופשית של מטבעות כסף", הוא כתב מאוחר יותר, "סברתי שיהיה זה טוב יותר לא להתנגד להעברת החוק, אך לא היא אכפת לי להתנגד לרצונו של הנשיא". בסופו של דבר עקף הקונגרס את הווטו של הייז והחוק נכנס לתוקף. השפעותיו של חוק בלנד-אליסון היו מוגבלות. הפער בין ערך הזהב לערך הכסף המשיך לגדול ומצבה הפיננסי של ארצות הברית המשיך להשתפר.
רפורמה בשירות הציבורי.
הנשיא הייז נכנס לתפקידו כשהוא נחוש לבצע רפורמה במערכת המינויים לשירות הציבורי, שהייתה מבוססת על מינויים מושחתים עוד מימיו של הנשיא אנדרו ג'קסון ארבעים שנה קודם לכן. שרמן לא היה איש רפורמות, אך הוא פעל על פי הנחיותיו של הייז. האויב העיקרי של הרפורמות, ושל הייז, היה הסנאטור מניו יורק רוסקו קונקלינג, והיו אלו אנשיו של קונקלינג שאליהם הפנה הייז את תשומת ליבו כבר בתחילת התהליך. בהנחייתו של הייז, הורה שרמן לג'ון ג'יי לחקור את הנעשה בבית המכס של ניו יורק, שרוב בעלי התפקידים בו היו מאנשיו של קונקלינג. בדוח של ג'יי נכתב שבית המכס של ניו יורק היה מאויש יתר על המידה במינויים פוליטיים, כך שכחמישית מהעובדים בו היו מיותרים.
הייז הוציא צו נשיאותי שאסר על מחזיקי משרות פדרליות להדרש למתן תרומות למערכות בחירות או לקיחת חלק כל שהוא בפעילות פוליטית מפלגתית. צ'סטר ארתור, הגובה של נמל ניו יורק, והכפופים אליו, אלונזו קורנל וג'ורג' שירפ, כולם תומכיו של קונקלינג, סירבו לציית לצו הנשיאותי. שרמן הסכים עם הייז שעל השלושה להתפטר, אך הוא הבהיר במכתב ששלח לארתור שאין לו כל טינה אישית נגדו. בספטמבר 1877 דרש הייז את התפטרותם של השלושה והם סירבו לעשות כן. הוא הגיש לסנאט את מועמדויותיהם של מחליפים עבורם, אך ועדת המסחר של הסנאט, שקונקלינג ישב בראשה, הצביע פה אחד נגד המינויים.
במהלך פגרת הקונגרס ביולי 1878, פיטר הייז בסופו של דבר את ארתור ואת קורנל (תקופת כהונתו של שירפ כבר פקעה) ומינה במקומם מחליפים. כאשר שב הקונגרס מהפגרה, לחץ שרמן על עמיתיו לשעבר בסנאט לאשר את המינויים של הנשיא, וכך נעשה לאחר דיון ממושך. ג'יי ורפורמטורים אחרים מתחו על שרמן ביקורת בשנה שלאחר מכן כאשר הוא נסע לניו יורק כדי לנאום לטובת מערכת הבחירות של קורנל כאשר זה התמודד על משרת מושל ניו יורק. שרמן השיב שהיה זה חשוב שהמפלגה הרפובליקנית תנצח בבחירות אלו, על אף חילוקי הדעות הפנימיים ביניהם. ידידותו עם ארתור הייתה קשורה, כפי שרמז הביוגרף של ארתור, תומאס ריבס, לרצונו לשמור על המנגנון הניו יורקי של קונקלינג כידידותי כלפיו, שכן הבחירות לנשיאות של 1880 הלכו והתקרבו.
בחירות 1880.
הייז הגביל את עצמו מראש לתקופת כהונה אחת כנשיא, ורבים ראו עצמם כמתאימים לקבל את מועמדות המפלגה הרפובליקנית לנשיאות בבחירות של 1880, כולל שרמן עצמו. הייז העדיף את שרמן כיורשו, אך הוא לא הצהיר על כך בפומבי ואף לא היה סבור ששרמן יצליח להיבחר. בין המועמדים הראשונים שהציגו את מועמדותם היו הנשיא לשעבר גרנט, הסנאטור ג'יימס בליין ממיין והסנאטור ג'ורג' אדמונדס מוורמונט. גרנט לא קידם באופן פעיל את מועמדותו, אך כניסתו להתמודדות המריצה את מתחריו, וכאשר התכנסה ועידת המפלגה בשיקגו ביוני 1880, נחלקו עד מהרה צירי המפלגה בין תומכי גרנט לבין מתנגדיו, כשבליין היה הבחירה הפופולרית ביותר של קבוצת מתנגדי גרנט. לאחר שהוצגו מועמדויותיהם של גרנט ובליין, הציג ג'יימס גרפילד את מועמדותו של שרמן בנאום רהוט, באומרו, "אתם שואלים אותי על ציוני הדרך שלו, ואני מפנה אתכם לעשרים וחמש שנים של פעילות חקיקה לאומית. אף לא חוק נדיב במיוחד היה מוכנס לספר החוקים שלנו ללא עזרתו האינטליגנטית ורבת העוצמה". נאום זה, בעוד שנישא מכל הלב, לא היה מלהיב באופן מיוחד. כפי שהסביר מאוחר יותר הסנאטור ג'ורג' פריסבי הואר, "לא היה שום דבר מעורר או רומנטי בחוכמת החיים הפשוטה של ג'ון שרמן".
לאחר שכמה אישים נוספים הציגו את מועמדותם, נערך סבב ההצבעה הראשון בו זכה גרנט ב-304 קולות, אחריו בליין עם 284 קולות ושרמן שלישי בהפרש גדול מהם עם 93 קולות. אף אחד מהמועמדים לא הצליח לזכות ב-379 הקולות שנדרשו כדי להיבחר. הנציגים שהצביעו בעד שרמן יכלו להעביר את תמיכתם הן לגרנט והן לבליין, אך הוא סירב לבקש זאת מהם במשך 28 סבבי הצבעה בתקווה שמחנה מתנגדי גרנט יסירו את תמיכתם בבליין ויעברו לתמוך בו. בסופו של יום ההצבעות הראשון, היה ברור שלא גרנט ולא בליין יצליחו להשיג רוב. היה נחוץ מועמד של פשרה. שרמן קיווה ששמו יעלה כמועמד הפשרה, אך ספירת הקולות שלו הגיעה ל-120, והוא אפילו לא זכה בתמיכתם של כל הנציגים מאוהיו. התמיכה המפוצלת של מדינת האם שלו הייתה ככל הנראה גורלית מבחינתו, שכן הנציגים של בליין, בחפשם אחר מועמד חליפי חדש, לא סברו ששרמן יהיה מועמד שיסחוף אחריו מצביעים. לאחר כמה ימי הצבעות, מצאו אנשיו של בליין את מועמד הפשרה שלהם, אך במקום להעביר את תמיכתם אל שרמן, הם בחרו בעמיתו מאוהיו, ג'יימס גרפילד. בסבב ההצבעה ה-36 נבחר גרפילד ברוב של 399 קולות, רוב מספיק כדי לזכות במועמדות המפלגה.
חבריו למפלגה של שרמן רחשו לו כבוד בשל האינטליגנציה שלו ועבודתו הקשה, אך תמיד היו ספקות בנוגע לפוטנציאל שלו כמועמד ברמה ארצית. כפי שתיאר אותו אחד הכותבים, שרמן היה "רזה כמו פס רכבת, גובהו מעל מטר שמונים, זקנו קצוץ, שיניו לא נאות וחיוכו קסום כאשר הוא צחק". נאומיו הפומביים של שרמן היו מדויקים ואינפורמטיביים, אך הם מעולם לא היו "מהסוג שעורר רגשות חמים לג'ון שרמן האדם". שלא כמו בליין או קונקלינג, שרמן "לא הקרין אישיות צבעונית ולא משיכה מגנטית". כינויו, "נטיף הקרח מאוהיו" (The Ohio Icicle), שניתן לו בצדק או שלא בצדק, מנע ממנו להגשים את שאיפותיו להיבחר לנשיאות.