ב-1853 עבר שרמן לקליבלנד ופתח שם משרד עורכי דין יחד עם שני שותפים. עד מהרה שובשו תוכניותיו של שרמן להקמת משרד חדש על ידי העברתו ב-1854 של חוק קנזס נברסקה שהשפיע עליו, כמו מתנגדי עבדות צפוניים רבים, להיות מעורב יותר בפוליטיקה. חוק זה, פרי מוחו של הדמוקרט מאילינוי סטיבן דאגלס, אפשר את קיומה של העבדות בשתי הטריטוריות הללו והיה ביטול משתמע של פשרת מיזורי משנת 1820. מתוך כוונה ליצור זעזוע קל בלבד בדיון הלאומי על סוגיית העבדות באמצעות העברת ההחלטה למתיישבים המקומיים בטריטוריות, הצית החוק של דאגלס רגשות נגד העבדות בצפון כאשר התיר את הרחבתה של העבדות לטריטוריות, שבמשך שלושה עשורים לא הייתה נהוגה בהן העבדות. חודשיים לאחר שהתקבל החוק, הוצב שרמן כמועמד במחוז הבחירה ה-13 של אוהיו לקונגרס. הוועידה המקומית בחרה בשרמן על פני שני מועמדים אחרים כדי לייצג את מה שכונה אז "מפלגת האופוזיציה" , שבהמשך הפכה למפלגה הרפובליקנית. במפלגה החדשה, שהייתה מיזוג של אנשי "מפלגת הארץ החופשית" , ויגים, ודמוקרטים מתנגדי העבדות, היו אלמנטים רבים שהיו חלוקים בדעותיהם, ורבים בקרב אנשי המפלגה הקודמת סברו ששרמן שמרן מידי בשאלת העבדות. בכל אופן, הם תמכו במועמדתו כנגד חבר בית הנבחרים המכהן ויליאם ד. לינדזלי. באותה שנה הובסו הדמוקרטים בכל רחבי אוהיו ושרמן נבחר לאחר שזכה בקולותיהם של 2,823 מצביעים.
טריטוריית קנזס.
כאשר התכנס הקונגרס בדצמבר 1855, החברים שהתנגדו לנשיא הדמוקרטי פרנקלין פירס (רובם מהצפון) היוו את הרוב בבית הנבחרים, בעוד שהדמוקרטים החזיקו ברוב בסנאט. עם זאת, הרוב בבית הנבחרים לא היה מאוחד במלואו, והיו כמה חברים שדבקו במפלגה החדשה שהתנגדה לחוק נברסקה, ואחרים היו נאמנים למפלגה הנייטיביסטית האמריקאית החדשה (מפלגת שאינם יודעים דבר). מפלגת שאינם יודעים דבר הייתה גם היא מפוצלת, כשעל שורותיה נמנו כמה מהוויגים לשעבר וכמה מאנשי מפלגת הארץ החופשית לשעבר. כתוצאה מכך לא היה בית הנבחרים מסוגל לבחור לעצמו יושב ראש במשך חודשיים. כאשר הם הגיעו בסופו של דבר להסכמה על בחירתו של נתניאל בנקס ממסצ'וסטס, פנה הבית במהרה לעסוק בעניין קנזס. מניעת הרחבת העבדות לקנזס הייתה סוגיה שאיחדה את הרוב השביר שתמך בבנקס, והבית פתר אותה על ידי שליחת ועדה של שלושה חברים לחקור את המצב בטריטוריה. שרמן היה אחד החברים שמונו לוועדה זו.
שרמן שהה חודשיים בטריטוריית קנזס והיה המנסח הראשי של הדוח בהיקף של 1,188 עמודים שהוועדה הגישה כשהם שבו משם באפריל 1856. הדוח הסביר את מה שחברי הבית שהתנגדו לממשל חששו מפניו: שהעיקרון של שליטה מקומית עורער עם פלישתם של אנשי מיזורי תומכי העבדות אל קנזס והתכוונו להישאר שם ועשו שימוש באמצעים אלימים כדי לגרום לבחירת מועצה מחוקקת תומכת עבדות לטריטוריה. בית הנבחרים לא נקט בשום פעולה בעקבות הדוח, אך הוא הופץ באופן נרחב כמסמך למערכת הבחירות. ביולי אותה שנה העלה שרמן הצעה לתיקון לחוק הקצבות הצבא ולאסור שימוש בכוחות פדרליים כדי לאכוף את החוקים של טריטוריית קנזס, שכעת ראו בה רבים כגוף בלתי לגיטימי. התיקון לחוק עבר ברוב צר בבית הנבחרים, אך הסנאט לא אישר אותו. בכל אופן, על אף כישלון זה, ניסיונו של שרמן ופועלו בוועדה משכו אליו תשומת לב לא מועטה כחבר חדש בבית הנבחרים.
חוקת לקומפטון ורפורמה פיננסית.
ב-1856 נבחר שרמן לתקופת כהונה נוספת בבית הנבחרים, כאשר הביס את יריבו הדמוקרטי, הרמן ברומבק, בהפרש של 2,861 קולות. בבחירות לנשיאות שנערכו באותה שנה ניצח מועמד הרפובליקנים ג'ון פרימונט באוהיו, אך הובס על ידי מועמד הדמוקרטים, ג'יימס ביוקנן. כאשר התכנס הקונגרס בדצמבר 1857, איבדה הקואליציה שהתנגדה לחוק נברסקה, כעת המפלגה הרפובליקנית, את הרוב בבית הנבחרים, ושרמן מצא את עצמו בשורות המיעוט בבית. משבר הפרישה החמיר גם הוא עוד יותר באותה שנה. במרץ 1857 פרסם בית המשפט העליון של ארצות הברית את פסק דין דרד סקוט נגד סנדפורד, שקבע שלקונגרס אין שום סמכות למנוע את העבדות בטריטוריות, ושלשחורים, עבדים או חופשיים, אין זכות לקבל מעמד של אזרח ארצות הברית. בדצמבר אותה שנה, במערכת בחירות שהוחרמה על ידי תומכי היותה של קנזס מדינה ללא עבדות, אימצה הטריטוריה את חוקת לקומפטון שהתירה את העבדות, והגישה בקשה להתקבל לארצות הברית כמדינת עבדות. ביוקנן האיץ בקונגרס לקבל את ההחלטה והסנאט אישר את כניסתה של קנזס אל האיחוד. שרמן נאם נגד קבלת החוק בבית הנבחרים, תוך שהוא ציין את העדויות על זיוף הבחירות בקנזס. חלק מהדמוקרטים הצפוניים הצטרפו לגוש המאוחד של הרפובליקנים כדי להפיל את הצעת החוק. הקונגרס הסכים על צעד פשרה, שעל פיו קנזס תתקבל לאיחוד לאחר משאל עם נוסף על חוקת לקומפטון. ציבור הבוחרים במשאל העם בקנזס דחה את הנהגת העבדות וקנזס נותרה כטריטוריה, החלטה שמאוחר יותר שרמן קרא לה "נקודת המפנה במחלוקת על העבדות".
בתקופת כהונתו השנייה בקונגרס נשא שרמן בפעם הראשונה נאומים בנוגע למצבה הפיננסי של ארצות הברית, שנפגע בעקבות הפאניקה של 1857. כשהוא ציטט את הצורך לקצץ בהוצאות בלתי נחוצות לאור ההכנסות שפחתו, מתח שרמן ביקורת במיוחד על הסנאטורים הדרומיים על הוספת הקצבות לחוקים שהתקבלו בבית הנבחרים. נאומו משך תשומת לב והיה תחילת ההתמקדות של שרמן בנושאים הפיננסיים, שהמשיכה לכל אורך הקריירה הפוליטית הארוכה שלו.
ההתמודדות על תפקיד יושב הבית.
ב-1858 נבחר שרמן לתקופת כהונה שלישית בבית הנבחרים. לאחר התכנסות מיוחדת קצרה במרץ 1859 התפזר הקונגרס ושרמן ורעייתו יצאו לחופשה באירופה. בשובם לארצות הברית בדצמבר, היה המצב דומה לזה שהתרחש ארבע שנים קודם לכן: אף אחת מסיעות בית הנבחרים לא הצליחה להשיג רוב מוחלט. לרפובליקנים היו 109 מושבים, לדמוקרטים 101 מושבים, ולשילוב של מפלגת ההתנגדות ומפלגת שאינם יודעים דבר 27 מושבים. שוב, המתחים בנוגע לפרישה גברו כאשר היה הקונגרס בפגרה, הפעם על רקע הפשיטה של ג'ון בראון על הרפר'ס פֵרִי. ברור שתהליך בחירתו של יושב ראש בית הנבחרים היה אמור להיות רצוף באי הסכמות. הפעם נמנה שרמן על המועמדים המובילים לתפקיד, וקיבל את התוצאה השנייה בגודלה במספר המצביעים בסבב ההצבעה הראשון, בו אף אחד מהמועמדים לא זכה ברוב. תשומת הלב לבחירות ליושב ראש הבית הוסחה עקב הסערה על פרסומו של הספר נגד העבדות "המשבר המתקרב בדרום" שנכתב על ידי הינטור רואן הלפר והכתוב בו נתמך על ידי רבים מחברי הבית הרפובליקנים. הדרומיים האשימו את שרמן בתמיכתו בכתוב בספר, בעוד שהוא מחה שהוא רק תמך בו כאמצעי במערכת הבחירות ולא קרא אותו כלל. לאחר חודשיים של סבבי הצבעה, לא הושגה שום הכרעה. לאחר שניסיונותיהם להשיג רוב כשלו, הבין שרמן שלא יעלה בידו להיבחר והוא משך את מועמדותו. לאחר מכן העבירו הרפובליקנים את תמיכתם לויליאם פנינגטון, שנבחר בסבב ההצבעה ה-44.
פנינגטון הועיד את שרמן לכהן כיושב ראש ועדת המיסוי והתקצוב של בית הנבחרים, שם הוא העביר את רוב זמנו בחוקי ההקצבות, תוך שיתוף פעולה עם עמיתו ג'סטין סמית' מוריל בהעברת מה שנודע כ"מכסי מוריל". מכסי מוריל העלו את ההיטל על מוצרי ייבוא כדי לכסות את הגרעון שנוצר מירידת ההכנסות. לחוק הייתה גם השפעה על עידוד התעשיות המקומיות, שפנו אל הוויגים לשעבר במפלגה הרפובליקנית. שרמן דיבר בעד החוק, ובית הנבחרים אישר אותו ברוב של 105 תומכים מול 64 מתנגדים. ככל הנראה היה החוק אמור להידחות על ידי הסנאט, אך פרישתם של חברי הסנאט ממדינות הדרום ערב פרוץ מלחמת האזרחים אפשר את העברתו בסנאט ובפברואר 1861 חתם עליו הנשיא ביוקנן. באופן דומה תמך שרמן בחוק שאישר את קבלתה של קנזס לאיחוד כמדינה חופשית מעבדות.
מועמדותו של שרמן לבית הנבחרים הוצגה שוב ב-1860 והוא היה אז פעיל במערכת בחירות של אברהם לינקולן לנשיאות, ונשא נאומים בזכותו בכמה מדינות. שרמן הביס את יריבו למירוץ ברנבס ברנס ברוב של 2,864 קולות. הוא שב לוושינגטון למושב האחרון של הקונגרס הקודם. בפברואר 1861 כבר הגיבו שבע ממדינות הדרום על בחירתו של אברהם לינקולן לנשיאות בפרישה מהאיחוד. בתגובה, העביר הקונגרס תיקון לחוקה על פי הצעתו של תומאס קורווין מאוהיו. התיקון, שידוע כיום כתיקון קורווין, היה ניסיון להשאיר את מדינות העבדות באיחוד. על פי התיקון היה אמור להישמר הסטטוס קוו בסוגיית העבדות והייתה אמורה להישלל מהקונגרס כל סמכות להתערב בעתיד בנושא העבדות במדינות. שרמן הצביע בעד התיקון, שעבר בשני בתי הקונגרס ונשלח למדינות לאשרור. כמה מהמדינות אשררו את התיקון וב-1865 אושר התיקון ה-13 לחוקת ארצות הברית המנוגד לו בתוכנו ובמהותו.
סנאטור.