במהלך מערכת צ'טנוגה בנובמבר 1863, שתה גרנט לכאורה לשוכרה יחד עם גנרלים אחרים ועם פקודיו לאחר שהשיגו גישה לבקבוקים של ויסקי ולבקבוק יין שנשלחו מאמו של גרנט. רולינס שמע על כך, וכמי שראה עצמו כמגינו של גרנט ככל שנגע הדבר לאלכוהול, הוא כתב לו מכתב ב-15 – 16 בנובמבר, מכתב שמעולם לא נשלח. במכתב הוא דרש מגרנט "לחדול מיד מצריכה עתידית של משקה חריף מכל סוג". דאגתו של רולינס הייתה משוללת כל יסוד. על פי הגנרל דייוויד האנטר, שהיה קרוב מאוד לגרנט במהלך אותם ימים, צרך גרנט שלוש כוסות משקה בלבד במשך אותו חודש נובמבר. ב-14 בנובמבר, הפסיק למעשה גרנט מסיבת שתייה שערך פקודו, קולונל קלארק לגו לידידיו בשעה ארבע לפנות בוקר. רולינס שמר את מכתבו זה שלא נשלח בין מסמכיו, שם הוא התגלה לימים על ידי ההיסטוריונים. מכתב זה היה אחד מהמסמכים הבודדים שיצרו את הרושם שגרנט שתה באופן שגרתי יתר על המידה.
משלחת דודג' והניסיון להחלים.
ב-1867 במהלך תקופת השיקום, התלווה רולינס למשלחת הליווי הצבאי שהתלוותה למשלחת החקר של גרנוויל מ. דודג' שבדקה נתיב מוצע למסילת הברזל יוניון פסיפיק. דודג' היה המהנדס הראשי של חברת יוניון פסיפיק שהייתה אחראית לסלילת הקו המסילה ממזרח למערב, בעוד שחברת סנטרל פסיפיק סללה את המסילה ממערב למזרח. רולינס התלווה לדודג' עד לסולט לייק סיטי, מתוך תקווה שהאוויר היבש של מישורי יוטה יסייעו לו להתרפא ממחלת השחפת ממנה סבל. בהמשך קרא דודג' לאחד ממחנות המשלחת בוויומינג על שמו של רולינס, שבהמשך הפך ליישוב שהתאגד כעיירה. לאחר ארבעת חודשי המסע עם דודג', שב רולינס לוושינגטון אך בסופו של דבר לא השתפר מצב בריאותו.
מזכיר המלחמה.
ב-1869, כאשר החל גרנט את כהונתו כנשיא, המליצו רופאיו של רולינס שהא ייסע לאריזונה, שם הם האמינו שאקלים המדבר היבש יאריך את חייו. כדי לקיים את ההמלצה הזו, שקל גרנט למנות את רולינס למפקד הצבאי של דרום-המערב. רולינס סירב וביקש להישאר לצדו של גרנט. גרנט נכנע ומינה את רולינס למזכיר המלחמה. במהלך חמשת חודשי כהונתו בתפקיד התעמת רולינס עם מזכיר המדינה המילטון פיש על שאלת ההכרה והתמיכה במהפיכה נגד השלטון הספרדי בקובה. רולינס ביקש להעניק סיוע צבאי ואחר ופיש התנגד לכך. השניים התחרו על תמיכתו של הנשיא גרנט ועל תמיכתם של שאר חברי הקבינט. בסופו של דבר תמך גרנט בעמדתו של פיש וארצות הברית לא התערבה בנעשה באי השכן. בסוגיית הטיפול במורמונים שהיו ממוקמים בעיקר בטריטוריית יוטה, שכנע רולינס את גרנט לאמץ גישה תוקפנית של הפסקת מנהג הפוליגמיה שלהם, כולל שימוש בכוח צבאי על פי הצורך. בריאותו של רולינס המשיכה להתדרדר. טרם מותו ב-6 בספטמבר 1869 הוא היה מרותק למיטתו. אחד מפעולותיו האחרונות כמזכיר המלחמה היה אישור בנייתו של גשר ברוקלין.
המחלוקת של שרמן.
במרץ 1869, כאשר החל גרנט את כהונתו כנשיא, הוא מינה את ידידו ועמיתו מתקופת מלחמת האזרחים, ויליאם שרמן לגנרל המפקד של צבא ארצות הברית. באותה עת היה הגנרל ג'ון סקופילד מזכיר המלחמה הזמני שהמשיך את כהונתו עוד מימי ממשל אנדרו ג'ונסון, הנשיא הקודם. בתחילה העניק גרנט לשרמן סמכויות פיקוד רחבות על צבא ארצות הברית, כולל פיקוד על ראשי המשרדים במחלקת המלחמה, וכך קיבל שרמן את הרושם שיחסיו עם גרנט במהלך כהונתו כנשיא יהיה זהים ליחסים הקרובים שהיו להם במהלך המלחמה. כאשר התמנה רולינס כמזכיר המלחמה, צעדיו הראשונים היו צמצום משמעותי של סמכויותיו של שרמן כלפי הצבא. רולינס ביקש מגרנט לתת לו את הסמכות כלפי ראשי המשרדים וגרנט נענה לבקשתו, ביודעו על מצב בריאותו הירוד של רולינס. שרמן מיהר אל הבית הלבן וביקש שהנשיא יבטל את ההוראות של רולינס שצמצמו את סמכויותיו. ביודעו את מצב בריאותו של רולינס אמר גרנט לשרמן שהוא לא ייעתר לבקשתו. תשובה זו הכעיסה את שרמן ולאחר מחלוקת ביניהם בסוגיות צבאיות, הוא קם ועזב את הפגישה באומרו "יום טוב לך אדוני הנשיא!". מערכת היחסים בין גרנט לבין שרמן הייתה קודם לכן ברמה כזאת שהם קראו איש לרעהו בשמותיהם הפרטיים. לאחר תקרית זו לא שבה ידידותם לאותה קרבה בה הייתה בתקופת המלחמה. יורשו של רולינס, ויליאם בלקנאפ, המשיך במגמה זו וצמצם עוד יותר את סמכויותיו של שרמן ולקח ממנו את הסמכות למנות בעלי תפקידים.
המדיניות האנטי מורמונית.
ב-1869 שלח גרנט את רולינס לטריטוריית יוטה מתוך תקווה ששם תשתפר בריאותו וכן כדי לבדוק את מצב המורמונים שם. הייתה זו הפעם השנייה בה הגיע רולינס ליוטה, לאחר ששנתיים קודם לכן הגיע שם עם דודג'. בפגישתו עם המורמונים ביוטה היה רולינס קריר מאוד כלפיהם, כולל כלפי מנהיגם, בריגהם יאנג, שעמו הוא נפגש פעמיים ושהיה מלווה במשמר צבאי של המורמונים. בינו לבין עצמו תיעב רולינס את יאנג ואת הפוליגמיה שהייתה נהוגה בקרב המורמונים. כאשר שב רולינס לוושינגטון הוא שכנע את גרנט לנקוט במדיניות קשה כלפיהם. הוא שכנע אותו למנות את ג'ון שפר לתפקיד מושל הטריטוריה. שפר יישם מדיניות קפדנית שמטרתה הייתה למנוע מהמורמונים למרוד בארצות הברית. מבחינתו של גרנט הייתה טריטוריית יוטה בפוטנציאל למרוד על רקע סוגיית הפוליגמיה. הוא ביצע מעצרים של מורמונים רבים, כולל יאנג עצמו, מתוך אמונה שצעדים אלו ימנעו מהם להיפרד מארצות הברית ויגרמו להם לחדול ממנהג הפוליגמיה.
ההתקוממות בקובה.
ב-1868 החלה מלחמת עשר השנים כאשר המורדים בקובה ניסו למגר את השלטון הספרדי. אמריקאים רבים תמכו במרד והחלו למכור איגרות חוב לתמיכה בו. ב-1869 לא היה מוכן מזכיר המדינה בממשלו של גרנט המילטון פיש לתמוך במורדים הקובנים מהסיבה שארצות הברית יצאה זה עתה ממלחמת האזרחים. על כף המאזניים היו אז גם הדיונים על יישוב "תביעות אלמבמה" שבבסיסם עמדה הטענה שבמהלך מלחמת האזרחים הכירה בריטניה בקונפדרציה. הכרה במורדים הקובנים עלולה הייתה לסכן את המשא ומתן בסוגיית אלבמה בין ארצות הברית ובין בריטניה. בכל אופן, רולינס תמך מאוד בהכרה במורדים הקובנים ואף דחף לפתיחה במלחמה נגד ספרד, אם יהיה צורך בכך. רולינס יצא אל העיתונות והכריז על הסיבות מדוע ארצות הברית צריכה לסייע למורדים הקובנים. רולינס עצמו רכש איגרות חוב לטובת הסיוע הצבאי לקובנים בסכום של 28,000 דולר. בקבינט של גרנט התנהלו עימותים בסוגיה זו. בכל אופן עלה בידו של פיש לשכנע את הנשיא גרנט שלא לתמוך בעמדתו של רולינס ולא להתערב בנעשה בקובה. באותה עת התדרדר מצב בריאותו של רולינס והוא היה מרותק כבר למיטתו.
אישור בנייתו של גשר ברוקלין.
אחד הצעדים האחרונים של רולינס כמזכיר המלחמה ואחד המורכבים שבהם, היה אישור בנייתו של גשר ברוקלין, גשר תלוי עשוי מפלדה שנבנה על האיסט ריבר בניו יורק ונועד לקשר בין הרבעים מנהטן וברוקלין. מחלוקת התגלעה כאשר שיקולי אינטרסים ימיים דרשו את הגבהתו של הגשר כדי לאפשר לספינות גדולות לעבור מתחתיו, בעוד שהחברה שבנתה את הגשר דרשה שמפתח הגשר יהיה נמוך. אף על פי שבאותה עת היה רולינס חולה מאוד, הוא הקדיש לסוגיה כמה ימים ובחן בקפדנות את תוכניות הבניה כדי ליישב את המחלוקת. חברת הבנייה הייתה מעוניינת שהגובה המרבי של מפתח הגשר יגיע ללא יותר מ-130 רגל (39.7 מטרים) ואילו חברות הספנות דרשו גובה מרבי של 140 רגל (42.7 מטרים). בפגישה עם נציגי שני הצדדים הגיע רולינס לפשרה של 135 מטרים (41.2 מטרים) מעל גובה פני האיסט ריבר. בניית הגשר החלה כמה חודשים לאחר מכן, אך מצבו הבריאותי של רולינס כבר לא אפשר לו לראות זאת. בניית גשר ברוקלין הושלמה ב-1883, הוא נחנך בחגיגות נרחבות וכיום הוא אחד הגשרים הפעילים הוותיקים ביותר בארצות הברית.
ישיבות הקבינט האחרונות ומותו.
בסוף אוגוסט 1869 החמירה מחלת השחפת של רולינס, ובעודו שוהה בביתו בדנברי, קונטיקט עם רעייתו וילדיו, הוא החל לסבול מדימומים. כאשר הוא נקרא לישיבות הקבינט בוושינגטון נותרה משפחתו בקונטיקט. כאשר הוא היה בניו יורק הוא סבל שוב מדימומים, אך המשיך במסעו לבירה. בהמשך דרכו הוא דימם שוב, אך הוא הצליח להגיע לישיבת הקבינט וישב במקומו הקבוע. הנשיא גרנט ומזכיר המדינה פיש הופתעו לראותו. ביום המחרת קיים רולינס פגישה ארוכה עם הנשיא בבית הלבן שבסופה נפרדו שני הידידים והנשיא גרנט יצא מוושינגטון לסרטוגה ספרינגס, שם הוא הצטרף לרעייתו ג'וליה. רולינס נותר לבדו בוושינגטון ללא רעייתו או משפחתו, אך ידיד אחר שלו מתקופת המלחמה, אלי פרקר, אינדיאני אמריקאי, דאג לו. ביום המחרת, יום ראשון, ה-5 בספטמבר, נמסרה לגרנט הודעה על התדרדרות נוספת במצבו של רולינס והוא שב לוושינגטון כשהוא נחוש לראות את ידידו לפני מותו, אך נסיעתו התעכבה. שרמן ומזכיר הפנים ג'ייקוב דולסון קוקס, שהו ליד מיטתו של רולינס בהמתנה לגרנט. כאשר שאל רולינס מתי צפוי הנשיא להגיע, רכן אליו שרמן בעדינות ואמר לו, "בערך בעוד עשר דקות". רולינס התעקש ושאל את רופאו ויליארד בליס מתי יגיע גרנט לראותו.
ג'ון רולינס נפטר למחרת היום, יום שני, 6 בספטמבר 1869 בשעה 16:12. הנשיא גרנט הגיע שעה לאחר מכן. ההיסטוריון ויליאם מקפילי ציין בנוגע לאיחורו של גרנט "שאף אחד לא יכול היה להוות תחליף לג'ון רולינס. כעת בשנה הראשונה לנשיאותו, נגזל רולינס מגרנט והוא אף לא היה במקום כדי למחות על גזל זה". רולינס נטמן בתחילה בבית הקברות של הקונגרס ובהמשך הועברו עצמותיו לבית הקברות הלאומי ארלינגטון. הוא הניח אחריו את אשתו השנייה מרי הרלברט ואת שני ילדיו. לאחר פטירתו החליפו שרמן בתפקידו באופן זמני ולאחר מכן מונה במקומו ויליאם בלקנאפ כמינוי של קבע.
הנצחתו והערכת פועלו.