קולס שלח את עבדו הנאמן, ושותפו למסע הקודם לטריטריה הצפון-מערבית, ראלף קרופורד, עם עגלות ו-16 עבדים נוספים (בסך הכל 6 מבוגרים ו-11 ילדים) כחלוץ על "דרך העגלות הגדולה" צפונה אל פנסילבניה. על אף הלעג של רבים מבני משפחתו וידידיו, התיר קולס לעבדים לרכב לפניו, כשאף אחד מהם לא ידע על תוכניותיו לשחררם בבוא העת. קולס עצמו יצא לדרך בנפרד. הם נפגשו בבראונסוויל, פנסילבניה, שם הם עלו על צמד סירות שטוחות והחלו את מסעם בנתיבי הנהרות. הם שטו על נהר מנוגהילה צפונה לפיטסבורג, ואז מערבה על נהר אוהיו אל אילינוי. קולס בחר בנקודה ממערב לפיסטבורג, שבה הוא הודיע לעבדיו על שיחרורם המידי ועל תוכניתו להעניק אדמות לכל אחד מראשי המשפחות מביניהם. הוא תיאר את האירוע באוטוביוגרפיה שהוא כתב 25 שנים לאחר מכן. עשורים לאחר מכן אירוע השחרור על הנהר היה לנושאו של ציור קיר בקומה הראשונה שבאולם הדרומי של הקפיטול של מדינת אילינוי.
קולס ועבדיו המשוחררים הגיע לאדוארדסוויל בראשית מאי 1819, וקולס החל את שירותו כרשם הקרקעות. הוא גם השלים את תהליך שחרור העבדים לאחר שרכש קרקע והעניק לכל אחד מראשי המשפחות של העבדים המשוחררים חלקת אדמה של 160 אקרים (650 דונם). קולס גם סיפק עבודה ותמיכה ממושכת לעבדיו המשוחררים.
מושל אילינוי.
ב-1822 התמודד קולס בבחירות למשרת מושל אילינוי. להפתעתו הרבה הוא ניצח בבחירות בהפרש קטן מאוד לאחר שהביס את נשיא בית המשפט העליון של אילינוי, ג'וזף פיליפס (בעל ברית של השופט ג'סי תומאס ותומך עבדות בולט בזכות עצמו, שבסופו של דבר שב לקנטקי), שופט בית המשפט העליון של אילינוי תומאס בראון (שהיה המועמד הסופי של סיעתו של ניניאן אדוארדס) ומפקד המיליציה המדינתית ג'יימס ב. מור. ביום הבחירות עזב קולס את אילינוי מתוך מחשבה שהוא הפסיד, ואת החדשות על ניצחונו הוא קיבל כאשר היה בווירג'יניה לצורך החלמה מדלקת המרה. בהתאם לכך הוא סידר את חשבונות משרד הקרקעות שהיה בניהולו בוושינגטון די. סי. ושב לאילינוי. הנשיא לשעבר מדיסון שלח לו חבילה בה היה פדומטר, עם פתק בו נכתב, "כשאתה מעומד להיות בעל כוונות להליכה בדרך ישרה, ועם צעדים מדודים, אני מאחל לך שתקבל את הפריט המצורף כסוג של כיוון שאני סמוך ובטוח שתבחר, וכאות להערכה שחשתי כלפיך במשך זמן רב".
נאום ההשבעה של קולס כלל קריאה ברורה לסיום העבדות באילינוי וביטול החוקים נגד השחורים, בנוסף לקריאה לביצוע עבודות ציבוריות, במיוחד תעלה שתקשר את הימות הגדולות, וסיוע לחקלאות ולחינוך. העבדות הייתה סוגיה חשובה באותה תקופה, שכן חוקת אילינוי הראשונה התירה עבדות רק בבריכות אידוי המלח ורק עד 1825. סיעת תומכי העבדות קיוותה לבטל את הסעיף הזה בחוקה ולהפוך את אילינוי למדינות עבדות כמו מיזורי. קריאתו האמיצה של קולס להפסקת העבדות הקשיחה את נחישותם והובילה למאמצי חקיקה חדורי מרירות שהחלו עם פרשת שאו-הריסון, שנגעה לשאלה אם מועמד תומך העבדות, שקיבל תמיכה מציבור הבוחרים ושהגיע ממיזורי, יכהן בבית הנבחרים המדינתי, או יריבו מתנגד העבדות. קולס הוביל את ההתנגדות להצעת החוק לאישור קיום משאל עם על קיום ועידה חוקתית נוספת, בהבינו שהיה זה ניסיון בלתי הוגן להפיכת העבדות לנוהג בעל מעמד חוקי יותר במדינה. לאחר שהחוק עבר, תרם קולס את כל משכורתו כמושל, 4,000 דולר, למערכה נגד משאל העם, והוביל ועדה של אזרחים מתנגדי העבדות, מנהיגים דתיים, וחברי בית הנבחרים המדינתי, שתרמו 1,000 דולר נוספים. הוא ובעלי בריתו פרסמו אז שפע של טיעוני שווא שהופצו על ידי תומכי העבדות. המאבק הפוליטי שנמשך 18 חודשים כלל שימוש בוועדות שפעלו בכל מחוז ובנואמים נודדים.
ב-2 באוגוסט 1824 דחה ציבור הבוחרים של אילינוי את ההצעה לקיום משאל עם בעד העבדות. באותה עת נבחר נציג אילינוי בבית הנבחרים של ארצות הברית, דניאל פופ קוק, שהיה מתנגד העבדות. על כל פנים, בסוף השנה סירבו המחוקקים תומכי העבדות לאשר את המינוי של קולס למזכיר המדינה של ידידו מתנגד העבדות מוריס בירבק. יתר על כן, סגן המושל אדולפוס האברד ניסה לבצע מחטף על משרת המושל מידי קולס בעת נסיעתו לווירג'יניה בסוף 1825, וגרם למבוכה נוספת, אף על פי שהאברד נוצח בבחירות למשרת המושל בשנה שלאחר מכן על ידי ניניאן אדוארדס. חוקת אילינוי הגדירה, כמו וירג'יניה, הגבלת כהונה שעל פיה לא יכלו מושלי המדינה להיבחר ליותר מכהונה רצופה אחת. לבסוף, הוגשה תביעה משפטית נגד קולס על ידי מתנגדים פוליטיים שלו במחוז מדיסון על כך שלא שילם את מס העבדים על עבדיו המשוחררים שנים קודם לכן, נמשכה כמה שנים, כולל פלפולים משפטיים מצדו של השופט תומך העבדות סמואל מק'רוברטס, עד אשר בית המשפט העליון של אילינוי פסק שהתשלום היה בלתי נחוץ. בנאום הפרידה שלו בתום כהונתו כמושל בדצמבר 1826 הזכיר קולס למחוקקי אילינוי את נאומיו הקודמים שבהם הוא האיץ בהם לבטל את העבדות ואת שרידיה, במיוחד מורשתה, במדינה החדשה, וכן את קריאותיו למימון כריית התעלה לימות הגדולות.
לאחר תום כהונתו כמושל, שב קולס לזמן קצר לווירג'יניה, שם אמו נפטרה באביב אותה שנה. לאחר מכן הוא שב לחוותו באדוארדסוויל. הוא התמקד בפעילות חקלאית ועסקית, ובמקביל המשיך במסעותיו לווירג'יניה ולפילדלפיה לביקורים אצל משפחתו וידידיו, וכדי למצוא לעצמו בת זוג. ידידו, דניאל פופ קוק, נוצח ב-1826 על ידי יריבו תומך העבדות, וחברי בית הנבחרים המדינתי בחרו ביושב ראש הבית, תומך העבדות ג'ון מקלין, לכהן בשאריות תקופות כהונה בבסנאט של ארצות הברית ב-1824 וב-1829 (ציבור הבוחרים בחר בסופו של דבר באליאס קיין ובג'ון מקרקן רובינסון לאייש מושבים אלו בסנאט). ב-1831 התמודד קולס בפעם האחרונה על משרה ציבורית. כמועמד לבית הנבחרים של ארצות הברית, הוא התמודד נגד שמונה מועמדים, כולל תומכי העבדות, הדמוקרטים ג'וזף דאנקן (בעל בריתו של מזכיר האוצר ויליאם קרופורד) וסידני בריס (איש סיעתו של אנדרו ג'קסון במפלגה הרפובליקנית), והגיע למקום השלישי במירוץ. במשך כמה שנים הוא היה מחוץ לאורות הזרקורים בזירה הפוליטית, וסירב להזדהות עם אף אחת מהמפלגות. תחת זאת הוא קידם את סדר היום שלו מתקופת כהונתו כמושל ומתח ביקורת על קו המדיניות של הנשיא ג'קסון. אף על פי כן, קולס חש מתוסכל מתבוסתו הפוליטית, ושב למזרח. על כל פנים, ב-1835 אישרו מחוקקי אילינוי לקולס למכור איגרות חוב למימון מיזם התעלה שלו, אך מאחר שהם סירבו לאשר ערבות מדינה לאיגרות החוב, מכירתן התנהלה בעצלתיים.
שובו לווירג'יניה.
מתוך דאגה למצבו המשפחתי כרווק, ועל רקע מפלגתיות היתר באילינוי, החליט קולס לעזוב את המדינה זמן קצר לאחר הפסדו בבחירות. הוא ערך מסע נוסף לווירג'יניה, שבו הוא היה מעורב בוויכוח בנושא העבדות לאחר מרד נט טרנר. לאחר הוצאתו להורג של נט טרנר, כתב קולס לתומאס ג'פרסון רנדולף, ודחף לתהליכים של אמנציפציה והתיישבות כדי למנוע אסונות נוספים, בהביעו את דעתו שהעבדות הגבילה את התפתחותה הכלכלית של וירג'יניה. בסוף אותה שנה, כאשר עשה בביקור אצל ג'יימס ודולי מדיסון באחוזת מונטפלייר, התוודה מדיסון באוזני קולס על רצונו לשחרר את עבדיו וביקש לשמוע ממנו על התנסותו כאשר הוא ניסה למצוא את הדרך הנכונה להגשים את רצונו זה ועדיין לדאוג לפרנסתה של רעייתו לאחר מותו. בכל אופן, מדיסון נפטר ב-1836 מבלי ששחרר את עבדיו, שאותם הוריש לרעייתו דולי.
שנותיו האחרונות בפילדלפיה.
ב-1832 עבר קולס לפילדלפיה, זאת בשל שביעות רצונו מחייה החברתיים והאינטלקטואליים הפעילים, וכן בשל העדר העבדות בה. ב-28 בנובמבר 1833, בגיל 46, הוא נשא לאישה את אשת החברה הבולטת סאלי לוגאן רוברטס. לזוג נולדו שלושה ילדים: מרי קולס, אדוארד קולס הבן, ורוברטס קולס. סאלי קולס ירשה ירושה מכובדת עם מותו של אביה, אך רכוש זה, ורוב הונו של קולס, אבדו ב. יותר מכך, אחוזת משפחתו המחודשת, אניסקורתי, עלתה באש ב-1839, ואחיו הגדול אייזק בקושי שרד את האסונות הללו במשך אותן שנתיים. המינוי האחרון של קולס למשרה ציבורית היה ב-1841, כאשר הוא שימש כחבר בוועדה שחקרה את הבנק של ארצות הברית, שבסופו של דבר הובילה להתפטרותו של ידידו ניקולאס בידל. קולס שאף ללא הצלחה לקבל מינויים פוליטיים מחבריו לספסל הלימודים מווירג'יניה שהיו לפקידי ממשל פדרליים רמי דרג, כמו ג'ון טיילר ווינפילד סקוט. ועדיין, שכר הדירה מנכסים להשקעה הספיק כדי לפרנס את משפחתו שהלכה וגדלה. קולס ומשפחתו הצעירה נסעו לעיתים קרובות לבקר את משפחתו המורחבת ואת נכסיהם בווירג'יניה ובוושינגטון, וכן באילינוי ומאוחר יותר בניו ג'רזי. ב-1839 הוא נבחר כחבר בחברה הפילוסופית האמריקאית.
על כל פנים, הקריירה הפוליטית של קולס לא התחדשה מעולם, זאת בשל אי שביעות רצונו מהמערך המפלגתי החדש. אף על פי כן, הוא שמח מאוד כאשר אברהם לינקולן, שאותו הוא זכר כעורך דין צעיר באילינוי, נבחר כנשיא ארצות הברית. קולס נפגש עם הנשיא הנבחר לפגישה קצרה בדרכו של זה האחרון לוושינגטון.