ב-7 בנובמבר 1861 חצו גרנט וחייליו את הנהר מיסיסיפי ותקפו חיילי קונפדרציה במיזורי, ללא פקודה. הם כבשו את המחנה, אולם תגבורת אילצה אותם לסגת. למרות זאת, נסך הקרב ביטחון בחיילי גרנט. לאחר מכן ביקש גרנט ממפקדו, הנרי האלק (לינקולן פיטר את פרימונט) רשות לפגוע בפורט הנרי שבטנסי, כדי לפתוח את הנהר טנסי לתנועה של האיחוד. האלק הסכים בתנאי שהמתקפה תהיה בגיבוי של הצי, וחייליו של גרנט לכדו את פורט הנרי ב-6 בפברואר 1862.
לינקולן קרא להתקדמות בכל החזיתות, ולכן פקד גרנט לתקוף את פורט דונלסון, הפעם ללא אישור. ב-15 בפברואר, לחם גרנט עם 25,000 חייליו מול 12,000 חיילי קונפדרציה. חיילי הקונפדרציה ניצחו ואילצו את חייליו לסגת. גרנט החליט לאגף אותם משמאל, וגרם להם לסגת, ולאחר מכן להיכנע ללא תנאים. לינקולן קידם את גרנט לדרגת מייג'ור גנרל של המתנדבים, והעיתונים הצפוניים התייחסו אליו כאל גיבור. כמשחק מילים על ראשי התיבות שלו, החלו לכנות אותו "כניעה ללא תנאים" גרנט ("Unconditional Surrender Grant").
שילה ולאחר מכן.
על הגדה המערבית של נהר טנסי, חנה צבאו של גרנט, שמנה כעת 45,000 חיילים. בקורינת', מיסיסיפי חנה צבא קונפדרציה בגודל דומה, בפיקודם של אלברט סידני ג'ונסטון ופ.ג.ט. בורגארד. הדרום תקף ב-6 באפריל 1862, והכה בחמש מחלקות מצבאו של גרנט, לא רחוק מכנסיית שילה, מקום ההתכנסות של הצבא. המחלקות לא היו מוכנות לקרב והופתעו, מה שהוביל לנסיגה. מחלקה אחת נלקחה בשבי בסוף היום, אולם צבאו של גרנט הצליח להחזיק מעמד. התשישות, הבלבול וחוסר התגבורת בצד הקונפדרציה הוביל לעיכוב. גרנט, שקיבל תגבורת של 18,000 חיילים מדון קרלוס ביואל ולואיס וולאס, הוביל מתקפת נגד עם שחר. הצפוניים הכריחו את המורדים לסגת אל קורינת'.
לאחר קרב שילה, העיתונים בצפון ביקרו את גרנט על מספר הקורבנות הרב ועל "שכרותו", לכאורה, במהלך הקרב. שילה היה הקרב הקטלני ביותר בתולדות ארצות הברית עד אז, כש-23,800 חיילים נהרגו. האלק הגיע לאזור ב-9 באפריל והעביר את גרנט מתפקידו, מתוך רצון לכבוש את קורינת'. גרנט שקל להתפטר, אולם בריגדיר גנרל ויליאם שרמן, אחד ממפקדי המחלקות שלו, שכנע אותו להישאר. לינקולן ביטל את הביקורת על גרנט, וטען שלא יוכל לוותר עליו. האלק החזיר את גרנט לתפקיד המפקד ב-11 ביולי. ב-19 בספטמבר, ניצח צבאו של גרנט את הקונפדרציה בקרב יוקה, והגן על קורינת' בהצלחה, כשהאויב סופג אבדות קשות. ב-25 באוקטובר, תפס גרנט פיקוד על מחוז נהר טנסי. בנובמבר, לאחר הצהרת האמנציפציה הראשונית של לינקולן, פקד גרנט על היחידות שלו לשלב עבדים נמלטים במאמץ המלחמתי, ולספק להם ביגוד, מקלט ושכר בעבור שירותיהם.
מערכת ויקסבורג.
העובדה שהקונפדרציה החזיקה בוויקסבורג חסמה את שליטת צבא האיחוד על נהר המיסיסיפי. צבאו של גרנט החזיק במערב טנסי עם 40,000 חיילים. גרנט כעס כששמע שלינקולן התיר למייג'ור גנרל ג'ון מקלירננד לגייס צבא נפרד בעבור כיבוש העיר. האלק פקד על מקלירננד לבוא לממפיס, ולעבוד תחת גרנט. לאחר שצבא גרנט לכד את הולי ספרינגס, תכנן גרנט לתקוף את ויקסבורג מקדימה בעוד ששרמן יתקוף את המבצר מהעורף בנהר. אולם פשיטות של הקונפדרציה, ב-11 בדצמבר וב-20, שהובילו ללכידתה מחדש של הולי ספרינגס, פגעו בתקשורת בין החיילים ומנעו מגרנט ומשרמן לחבר את צבאותיהם. ב-29 בדצמבר, בלם צבא הדרום בפיקודו של ג'ון ק' פמברטון את ניסיונו של שרמן להיכנס לעיר. מקלירננד תפס פיקוד והוביל מערכה ללא גרנט, שהובילה ללכידת פורט הינדמן. באותה תקופה, הכניס גרנט עבדים אפרו-אמריקאים משוחררים לצבא האיחוד ושילם להם.
יחד עם אחריותו הצבאית בחודשים לאחר חזרתו לפיקוד, נאלץ לטפל בסחר הכותנה המוברחת במחוז. הוא האמין שהסחר פגע במאמץ המלחמתי וחיזק את הקונפדרציה, ובכך גרם להתמשכות המלחמה. ב-17 בדצמבר, פרסם את הצו לגירוש היהודים ממחוז טנסי, שגירש את "היהודים כמעמד" מהמחוז, בטענה שסוחרים יהודיים הפרו את תקנות הסחר. הייתה זאת הפקודה הרשמית היחידה בתולדות ארצות הברית שכוונה נגד היהודים. היסטוריונים מתווכחים בנוגע לסיבה שבגללה פרסם גרנט את הצו. המנהיגים היהודיים התלוננו בפני לינקולן והעיתונים הצפוניים ביקרו את גרנט. לינקולן דרש את ביטול הצו, שאותו ביטל גרנט כעבור שלושה שבועות. כשהתראיין לאחר המלחמה, טען גרנט שהמלחמה לא הייתה זמן להיות נחמד. במהלך כהונתו כנשיא, התפייס עם הקהילה היהודית, ומינה יהודים לתפקידים בממשלו.
ב-29 בינואר 1863, תפס גרנט פיקוד אישי על הצבא ובחודשי פברואר ומרץ ניסה לקדם את צבאו דרך גישה ימית אל קטע הנהר מדרום לוויקסבורג תוך התחמקות מסוללות התותחים ששלטו עליו. הניסיון לא צלח, אולם החיילים החלו להתנסות יותר בתנאים קשים. ב-16 באפריל 1863, ציווה על האדמירל דייוויד פורטר להפליג דרומה תחת אש כדי להיפגש עם חייליו שצעדו דרומה ממערב לנהר המיסיסיפי. גרנט ציווה על קרבות הסחה, ובלבל את פמברטון כך שצבאו הצליח לעבור אל מזרח נהר המיסיסיפי. גרנט המשיך מזרחה ולכד את ג'קסון, בירת מיסיסיפי. צבאו התקדם אל ויקסבורג, ואז ניצח את צבאו של פמברטון ב-16 במאי, והכריח את פמברטון לסגת אל ויקסבורג. לאחר שאנשיו של גרנט תקפו את ביצורי ויקסבורג פעמיים, וספגו אבדות קשות, הוחלט על מצור במשך שבעה שבועות. פמברטון נכנע לגרנט ב-4 ביולי 1863.
נפילת ויקסבורג הובילה לשליטה של האיחוד על נהר המיסיסיפי וחילקה את הקונפדרציה לשניים. באותו הזמן, היה ברור שגרנט התחבר עם הרפובליקנים הרדיקלים, שדרשו קו תקיף במלחמה ושחרור העבדים. אף על פי שההצלחה בוויקסבורג העלתה את המורל באיחוד, שוב קיבל גרנט ביקורת על החלטותיו ועל שכרותו, לכאורה. היריבות האישית בין מקלירננד לגרנט המשיכה לאחר מכן, עד שפיטר גרנט את מקלירננד לאחר שזה פרסם צו ללא אישור. כשהציע מזכיר המלחמה אדווין סטנטון להחזיר את גרנט מזרחה כדי לפקד על ארמיית הפוטומק, סירב גרנט, בטענה שהכיר את המערב טוב יותר ולא רצה לפגוע במפקדי החזית המזרחית.
צ'טנוגה וקידום.
לינקולן קידם את גרנט לדרגת מייג'ור גנרל ומינה אותו למפקד מחלקת מיסיסיפי ב-16 באוקטובר 1863, כולל צבאות אוהיו, טנסי וקמברלנד. לאחר קרב צ'יקמאוגה, נסוג צבא קמברלנד אל צ'טנוגה ונלכד. גרנט הגיע על סוסו לצ'טנוגה, ותוכניתו הייתה להעביר אספקה לעיר ולשבור את המצור. בנוסף, שלח לינקולן את מייג'ור גנרל ג'וזף הוקר, ושתי מחלקות מארמיית הפוטומאק לעזרה. כוחות האיחוד הצליחו למצוא נתיב אספקה. ב-23 בנובמבר 1863, ארגן גרנט שלושה צבאות לצורך מתקפה. כעבור יומיים, כוחותיו של הוקר כבשו את הר לוקאאוט. כשצבאו של שרמן לא הצליח לכבוש את מיסיונרי רידג' מצפון מזרח, ציווה גרנט על צבא קמברלנד להתקדם. הצבא לכד את מוצבי הקונפדרציה והוביל לנסיגת הכוחות. הקרב הוביל לשליטה צפונית על טנסי ופתח את ג'ורג'יה, ליבה של הקונפדרציה, לפלישה.
ב-2 במרץ 1864, קידם לינקולן את גרנט לדרגת לוטננט ג'נרל, כך שפיקד על כל צבאות האיחוד והיה כפוף רק לנשיא. גרנט מינה את שרמן למפקד מחלקת מיסיסיפי ונסע לוושינגטון כדי לתכנן אסטרטגיה עם לינקולן והגנרל ג'ורג' מיד. גרנט תכנן התקפה משולבת על צבאות המורדים כדי למנוע תגבורת. על שרמן הוטל לרדוף אחרי צבא טנסי, ואילו מיד היה צריך להוביל את ארמיית פוטומאק כדי לתקוף את צבאו של הגנרל רוברט אדוארד לי. גרנט תכנן עוד התקפות, ביודעו שמלחמת התשה תחסל את לי, שנאלץ להתמודד עם מחסור בכוח אדם.
גרנט רכב על גל אהדה, והיה ברור שניצחון בתחילת השנה יוביל למועמדותו לנשיאות. הוא היה מודע לכך, אולם סירב לכך; שדה הקרב המשיך להיות עקוב מדם.
מערכת אוברלנד וניצחון האיחוד.
לאחר כישלון שאר הצבאות מול לי, נאלץ גרנט להילחם לבד בסדרת קרבות עקובה מדם בשם מערכת אוברלנד. גרנט חצה את נהר רפידן ב-4 במאי 1864, ותקף את לי בקרב שנמשך שלושה ימים. במקום לסגת כמו קודמיו, דחק גרנט את צבאו של לי אל דרום מזרח המדינה וניסה לתקוע טריז בין לי וריצ'מונד. גרנט ניסה לפרוץ את קו ההגנה של לי, מה שהוביל לקרב עקוב מדם. ללא יכולת לפרוץ, שוב דחק גרנט את צבא הקונפדרציה אל דרום מזרח, ולחם מולם שוב במשך שלושה ימים. לקונפדרציה היה יתרון בהגנה, וגרנט ניסה לחסום את דרכם אל ריצ'מונד, אולם לי בלם את המתקפה. ביום השלישי ניסה גרנט לתקוף את השוחות בהן התחפרו אנשיו של לי וספג אבדות כבדות. בחודש לאחר חציית הרפידן, 52,788 חיילים נהרגו בקרבות, והעיתונות בצפון ביקרה את גרנט וכינתה אותו "הקצב". צבאו של לי ספג 32,907 אבדות, אולם הוא לא יכול היה להשיג תגבורת. גרנט התחרט על האבדות הכבדות שספג במהלך הקרבות. לאחר מכן הזיז גרנט את צבאו בחשאי אל דרום הנהר ג'יימס, חילץ יחידת צבא שבויה והתקדם אל פיטרסבורג, מסילת הרכבת המרכזית של ריצ'מונד.
לאחר חציית נהר ג'יימס, הגיעה ארמיית הפוטומאק אל פיטרסבורג. פ.ג.ט. בורגארד הגן על העיר, ולי העביר תגבורת. התוצאה הייתה מצור של תשעה חודשים. הצפון איבד את סבלנותו, אולם לי נאלץ להפנות משאבים אל המצור ולא יכול היה לתגבר את צבא טנסי. גרנט שלח יחידות לתקוף את ריצ'מונד ולהרחיק חיילים מארמיית הפוטומאק.