לאחר שאביו מת ב-1808, ירש קולס 12 עבדים ומטע בשטח של 782 אקרים (3,165 דונם) על גדת נהר רוקפיש שבמחוז נלסון, שהיה משועבד למשכנתה. לאחר שעזבונו של אביו הוסדר סופית, חשף קולס בחג המולד אותה שנה את תוכניותיו לשחרור העבדים בפני בני משפחתו, לתדהמתם הרבה. כאשר הוא התמודד עם האתגרים שהציבו בפניו ההתנגדות של משפחתו וחוקי וירג'יניה (שמאז 1806 דרשו מעבדים משוחררים לעזוב את המדינה תוך שנה, וגם הטילו מגבלות על עבדים שכבר היו משוחררים קודם לכן), ויתר קולס על תוכניותו הקודמת לשחרר את עבדיו בווירג'יניה. בקיץ 1809 הוא יצא לקנטקי כדי לבדוק חלקת אדמה של דודו טרוויס טאקר, אך שב לביתו ללא תוכניות למעבר אל המדינה החדשה, שהתירה עבדות בתחומיה.
בדצמבר אותה שנה העמיד קולס את אחוזתו למכירה, זאת על אף קריסת שוק הנדל"ן על רקע חוק האמברגו של 1807, והחל לתכנן את מעברו אל הטריטוריה הצפון-מערבית, שם לכל הפחות העבדות בוטלה מבחינה טכנית כבר ב-1787. בכל אופן, במשך שנים הוא לא קיבל הצעות רציניות, וכך הוא המשיך להפעיל את האחוזה באמצעות משגיח. קולס דחה הצעות להחליף את עבדיו תמורת רכוש אחר, אך כיבד את בקשות משפחתו ושכניו לשמור את תוכניותיו בסוד מפני העבדים.
משפחתו.
משפחת קולס הייתה אחת מהמשפחות הראשונות בווירג'יניה. רב-סבו, וולטר קולס, היה פקיד מכס באירלנד שהיגר למקום שהיה לאחר מכן לריצ'מונד, וצבר את הונו במסחר. סבו, ג'ון קולס, היה אחד ממגישי העצומה שקראה להכרתה של ריצ'מונד כעיר חדשה, והמשיך לפתח את עסקי המשפחה ואת הקשרים החברתיים באמצעות נישואים לבתו הצעירה של הסוחר הקווייקרי אייזק וינסטון. אביו של אדוארד קולס, ג'ון, או ג'ון השני, הפך את אחוזת אניסקורתי מתחנת ציד לחווה משגשגת, והמשיך את עסקי המשפחה ואת הצלחתה החברתית.
סבו של אדוארד קולס מצד אמו נולד בברמודה והיה קרוב משפחה של השופט סנט ג'ורג' טאקר מווירג'יניה. אבותיו של קולס מצד אמו היו בין "המתיישבים הראשונים והמכובדים ביותר בג'יימסטאון".
אחיו הגדול של אדוארד קולס, אייזק א. קולס, שימש כמזכיר הפרטי הן של תומאס ג'פרסון והן של ג'יימס מדיסון בתקופות הנשיאות שלהם. אחוזת מונטיצ'לו של ג'פרסון הייתה גם היא במחוז אלבמארל. ג'יימס מונרו היה בעליה של אחוזת אש לון היילנד בעברו השני של הר גרין במשך 24 שנים, עד שנאלץ ב-1825 למכור אותה בשל קשיים פיננסיים, והציע לקולס הצעיר את השימוש בספרייתו, אף על פי שהקשרים עם משפחתו היו יותר רחוקים, שכן מונרו חילק את זמנו בין אחוזה זו לבין אחוזת אוק היל שבמחוז לאודון.
אייזק הצליח לרשת את אניסקורתי, בכפוף לבעלות של אמו עליה לכל ימי חייה עד למותה ב-1826. אחיו וולטר משך את חלקו בירושה קודם לכן וניהל את אחוזת וודוויל במשך שנים עד למות אביו. ג'ון קולס השלישי בנה מעון שנקרא אסטוטוויל בעשותו שימוש בחלקו בירושה, וטאקר קולס בנה את אחוזת טלווד בחלקת האדמה שהוא ירש. אחותם רבקה הייתה לאשתו השנייה של בעל המטעים מקרוליינה הדרומית ריצ'רד סינגלטון, ולהם נולדו חמישה ילדים. אחותה, אליזבת (בטסי), לא נישאה מעולם. מרי קולס נישאה לרוברט קרטר ועברה לאחוזת רדלנדס הסמוכה שבבעלותו. אחותם אמילי נישאה לעורך הדין מריצ'מונד ג'ון רתרפורד, שבבעלותו הייתה אחוזת טאקהאו במחוז גוצ'לנד, ולימים היה מושל וירג'יניה בפועל בשנים 1841–1842. בנם, ג'ון קולס רתרפורד, היה עד לתבוסה במלחמת האזרחים, ונכדו, ויליאם ארצ'ר רתרפורד גודווין, היה כומר אפיסקופלי וסייע להקים את ויליאמסבורג הקולוניאלית. אחותם קלי (שרה), נישאה לאנדרו סטיבנסון, ששימש כיושב ראש בית הנבחרים של ארצות הברית וכשגריר ארצות הברית בממלכה המאוחדת.
שירותו בבית הלבן.
חודשים ספורים לאחר השבעתו כנשיא ארצות הברית, הזמין ג'יימס מדיסון את קולס להתמנות כמזכירו האישי. אחיו אייזק שימש בתפקיד זה תחת הנשיא הקודם תומאס ג'פרסון, וכן ביצע משימות שליחות, במיוחד מול צרפת בתקופה שהובילה למלחמת 1812. עם זאת, אייזק קולס, שבאופן בלתי הולם הגשים כנראה את החלומות שלו מהקריירה הצבאית המוקדמת שלו, הכה את חבר בית הנבחרים של ארצות הברית רוג'ר נלסון ממרילנד, ולאחר דיווח ביקורתי מאוד של הקונגרס על התקרית, הוא אולץ להגיש את התפטרותו ב-29 בדצמבר 1809. שכנו של אדוארד קולס, ג'יימס מונרו, שבהמשך היה למזכיר המדינה, שיכנע אותו לקבל את תפקיד המזכיר, וקולס שירת בתפקיד מינואר 1810 עד מרץ 1815, על אף הפוגות שנבעו ממצב בריאותו.
תקופת כהונתו של קולס כמזכירו של הנשיא עיכבה את תוכניותיו לשחרר את עבדיו. עם זאת, קולס פיתח יחסים טובים עם הנשיא מדיסון, שאיתו הוא דיבר לעיתים קרובות בגילוי לב מלא, והעריץ אותו הערצה מתמשכת. בעת ששימש כמזכיר הנשיא, יזם קולס התכתבות פרטית עם תומאס ג'פרסון על סוגיית העבדות. קולס צבר ניסיון פוליטי כעוזרו של מדיסון, שימש כשליחו הראשי אל הקונגרס, וניהל את רוב צעדי הפטרונות הפוליטית שנגעה ל-162 עובדי הרשות המבצעת. בין שאר תפקידיו, העתיק קולס בכתב ידו את התכתובות הרשמיות של הנשיא עבור הארכיון הלאומי.
ב-1811 פגש קולס את ג'ון אדמס במהלך סיור במדינות הצפון-מזרחית. יחד עם בנג'מין ראש הוא פעל להפיג את המתחים בין אדמס לג'פרסון. קולס גם העביר זמן ממושך בפילדלפיה לצורך קבלת טיפול רפואי מדר' פיליפ סינג פיזיק, בין השאר, והחל ידידות ארוכת ימים עם ניקולאס בידל, שהיה אישיות שנויה במחלוקת כבנקאי והיה מתנגד העבדות. בפברואר 1815, עם תום מלחמת 1812, התפטר קולס מתפקידו כמזכיר הנשיא בשל בריאותו הרופפת.
לאחר שהחלים ביוני אותה שנה, יצאו קולס והעבד המולאטי שלו ששימש כנהג כרכרתו, ראלף קרופורד בן ה-40, לסיור בטריטוריה הצפון-מערבית למטרת חיפוש אדמות שבהם יוכל קולס לרכוש ולבנות בהן את ביתו ולהציע קרקעות לעבדים שתכנן לשחרר. הוא כתב לנשיא מדיסון ולקרובי משפחתו והביע את חוסר שביעות רצונו ממחירי הקרקעות הגבוהים באוהיו, ולאחר מכן תיאר את התנסותו עם מתיישבים, סוכני נדל"ן ואנשי עסקים לא ישרים כאשר הוא נסע מערבה יותר לעבר ומה שהיה מאוחר יותר . ב רכש קולס מעט קרקעות להשקעה, לפני שיצא לבסוף לסנט לואיס על סירה במורד נהר המיסיסיפי אל ניו אורלינס ומשם הפליג חזרה לוירג'יניה.
תוכניתו של קולס לשיחרור עבדיו התעכבה שוב בשל שליחות דיפלומטית לרוסיה ב-1816–1817 לבקשתו של הנשיא מדיסון, כדי לפתור תקרית דיפלומטית שנגעה למעצרו של הקונסול הרוסי בפילדלפיה בשל אונס משרתת. לאחר שהשלים בהצלחה את שליחותו בסנקט פטרבורג, סייר קולס בבריסל, בפריז ובאנגליה. בעת שהיה באנגליה הוא נפגש עם השגריר ג'ון קווינסי אדמס ועם הרפורמטור החברתי מוריס בירקברק. התלהבותו של קולס בנוגע לאילינוי גרמה לבירקברק לרכוש שם אדמה, שבה הוא התיישב והקים יישוב. בשובו לארצות הברית כתב קולס מסמך בו הוא השווה את העבדות עם הצמיתות ברוסיה, כך שאם היה מניע נסתר לשליחותו הדיפלומטית של קולס כדי להניא אותו מתוכניתו לשחרור העבדים, הוא נכשל. יותר מכך, קולס כתב על השוחד רחב הממדים ועל הנוהגים העסקיים הבלתי אתיים בהם נתקל ברוסיה, וזכר אותם זמן רב.
התכתבותו עם ג'פרסון.
ב-1814 כתב קולס מכתב לשכנו במחוז אלבמארל תומאס ג'פרסון, ובו הוא ביקש מהנשיא לשעבר להוביל שוב מערכה לאמנציפציה ולפעול בפומבי למען סיום העבדות בווירג'יניה. תשובתו של ג'פרסון הייתה למסמך היחיד במחקר על יחסו הטרוד והמורכב של ג'פרסון עם מוסד העבדות. בהיותו בן 71 וכמי שבאופן כללי כבר פרש מהפוליטיקה, ובשל העובדה שחוקי וירג'יניה לא התירו שיחרור עבדים, דחה ג'פרסון את בקשתו של קולס, והציע לידידו הצעיר להישאר בווירג'יניה כדי לסייע בטווח הארוך לביטול העבדות. אכזבתו של קולס הובעה באופן ברור במכתב התשובה שלו לג'פרסון.
המעבר לאילינוי.
בסתיו 1817 מכר קולס את אחוזתו לאחיו הבכור וולטר, לאחר שדחה את בקשתו של ג'יימס מונרו להמשיך לשמש כמזכירו הפרטי של הנשיא החדש. תחת זאת הוא יצא למסעו השני לטריטוריה הצפון-מערבית. הוא רכש אדמה ב"קרקע האמריקאית" , אזור פורה במיוחד של אגן המיסיסיפי שבדרום אילינוי. הוא השתתף בוועידת החוקה של אילינוי בקסקסאיה לאחר שאינדיאנה הייתה למדינה בארצות הברית. קולס פעל יחד עם ג'ון מייסון פק הבפטיסט, פיטר קארטוווייט המתודיסט, ג'יימס למון הקווייקרי והמוציא לאור הופר וורן בהתנגדות מוצלחת מול הסיעה שביקשה לאפשר את חוקיותה של העבדות בטריטוריה החדשה.
לאחר מכן שב קולס לווירג'יניה, ותכנן להציג את התנגדויותיו המוסריות העמוקות כלפי העבדות ובסופו של דבר שיחרר את העבדים שירש מאביו לאחר שעזב את וירג'יניה. בסוף מרץ 1819. לאחר שקיבל את התשלום האחרון מאחיו וולטר, היה קולס מוכן לעבור לטריטוריית אילינוי. הנשיא מונרו מינה אותו כרשם הקרקעות של הטריטוריה החדשה, כשמשרדו שכן באדוארדסוויל.