ג'ונסון ארגן את מפלגת הפועלים בבחירות של גרינוויל ב-1829. הוא נבחר לחבר המועצה העירונית. לאחר מרד נט טרנר ב-1831, העבירה ועידת המדינה חוקה חדשה, כולל אישור לשלול זכויות הצבעה מצבעוניים חופשיים. הוועידה גם דרשה רפורמה בשיעורי המס בנדל"ן ולממן את השיפורים בתשתיות של טנסי. החוקה הוגשה לאישור הציבור, וג'ונסון נאם לטובתה. הוא זכה לחשיפה לאומית. ב-4 בינואר 1834, בחרו בו חברי המועצה לתפקיד ראש עיריית גרינוויל.
ב-1835, החליט ג'ונסון לנסות להיבחר לבית הנבחרים של טנסי. הוא ניצח בבחירות עם שני שלישים מהקולות. לאחר מכן רכש את השפחה הראשונה שלו, דולי, בגיל ארבע עשרה. היו לה שלושה ילדים במהלך השנים. ג'ונסון התייחס לעבדיו באדיבות, אולם העובדה שבנה של דולי היה בהיר יותר ממנה הוביל לשמועות שהיה אביו. במהלך ימיו בגרינוויל, הצטרף למיליציה המקומית. הוא הגיע לדרגת קולונל.
בכהונתו הראשונה בבית המחוקקים, שהתכנס בנאשוויל, ג'ונסון לא תמך בהכרח בהצעותיה של המפלגה הדמוקרטית או בהצעותיה של המפלגה הוויגית החדשה, אף על פי שהעריץ את אנדרו ג'קסון, הנשיא ממדינת טנסי. המפלגות עדיין לא גיבשו את ערכיהן. המפלגה הוויגית התנגדה לג'קסון מתוך חשש מריכוז הכוח בידי הנשיא. ג'ונסון התנגד למעורבות ממשלתית שאינה מינימלית והתנגד לסיוע לארגוני מסילות הרכבת. לאחר שהובס בניסיונו להיבחר מחדש ב-1837, הוא לא הפסיד בעוד מרוץ במשך שלושים שנה. ב-1839, ניסה להיבחר כוויגי לתפקיד, אולם כשמועמד אחר השיג את המועמדות הוויגית, הוא נבחר כדמוקרט. מאותו רגע החל לתמוך במפלגה הדמוקרטית ובנה מנגנון פוליטי חזק. ג'ונסון תמך במפלגה, ונחשב לנואם מעולה בתקופתו.
ב-1840, נבחר להיות אלקטור מטעם טנסי והתפרסם אף יותר. אף על פי שהנשיא הדמוקרטי מרטין ואן ביורן הובס בידי הסנאטור לשעבר מאוהיו, ויליאם הנרי הריסון, הצליח ג'ונסון לשמור על מעמד הדמוקרטים בטנסי. הוא נבחר לסנאט של טנסי ב-1841 ושירת שם שנתיים. הוא הצליח מבחינה כספית, ומכר את העסק שלו כדי להתמקד בפוליטיקה. בנוסף רכש נדל"ן, כולל בית גדול וחווה שבה גרו אמו ואביו החורג. בנוסף היו לו שמונה או תשעה עבדים.
חבר קונגרס (1843-1853).
לאחר ששירת בשני בתי המועצה המחוקקת המקומית, ראה ג'ונסון את הבחירות לקונגרס כצעד הבא בקריירה שלו. הוא היה מעורב במספר מהלכים פוליטיים כדי להשיג את תמיכת הדמוקרטים, כולל העברת מנהל הדואר הוויגי של גרינוויל מתפקידו, וניצח לבסוף מועמד מתחרה בהפרש של 603 קולות בלבד. בוושינגטון, הצטרף לרוב הדמוקרטי בבית הנבחרים. ג'ונסון תמך בעניים, התנגד לביטול העבדות, תמך בהוצאה מוגבלת של הממשלה והתנגד למכסי מגן. אלייזה נשארה בגרינוויל, וג'ונסון העדיף להימנע ממפגשים חברתיים כדי ללמוד בספריית הקונגרס. אף על פי שדמוקרט אחר מטנסי, ג'יימס פולק, נבחר לנשיאות ב-1844, וג'ונסון תמך בו, לשני האנשים הייתה מערכת יחסים קשה, והנשיא פולק סירב לכמה מהמינויים הפוליטיים שג'ונסון הציע.
ג'ונסון האמין, כדמוקרטים דרומיים רבים, שהחוקה הגנה על הקניין הפרטי, כולל על העבדים, ואסרה על הממשלה ועל הרשויות המקומיות לבטל את העבדות. הוא נבחר מחדש ב-1845. בכהונתו השנייה, תמך בהחלטת ממשל פולק להילחם במלחמת ארצות הברית–מקסיקו, שכמה צפוניים ראו בה דרך להשיג שטח ולהרחיב את העבדות מערבה. הוא התנגד להצעת וילמוט, הצעה שנועדה לאסור על העבדות בשטחים החדשים. הוא הגיש חוק שהיה אמור להעניק 160 אייקרים לכל אדם שהיה מוכן להתיישב בשטחים החדשים. הנושא היה חשוב לג'ונסון בגלל ההתחלה הצנועה שלו.
בבחירות של 1848, הדמוקרטים היו מפולגים לגבי העבדות, ומתנגדי העבדות הקימו את מפלגת הארץ החופשית, כשהנשיא לשעבר ואן ביורן הוא מועמדם. ג'ונסון תמך במועמד הדמוקרטי, הסנאטור לשעבר ממישיגן, לואיס קאס. כשהמפלגה התפלגה, המועמד הוויגי, הגנרל זאכרי טיילור ניצח בקלות, וגם בטנסי. יחסיו של ג'ונסון עם פולק נותרו רעועים. הנשיא טען שג'ונסון היה עוין כלפיו כל כהונתו, שג'ונסון היה אדם נקמני ומושחת. הוא גם טען שג'ונסון לא הכריז על התנגדותו אליו כדי שיוכל להיבחר לבית הנבחרים.
ג'ונסון, בגלל העניין הציבורי הרב בבניית מסילות רכבת ובגלל הצורך בתעבורה טובה במחוזו, תמך בסיוע ממשלתי להקמת מסילת רכבת במזרח טנסי ובווירג'יניה.
במסע הבחירות הרביעי שלו, התמקד ג'ונסון בשלושה נושאים: עבדות, מכירת קרקעות ובחירות לרשות השופטת. הוא ניצח את יריבו באוגוסט 1849 בהפרש גדול. כשבית הנבחרים התכנס בדצמבר, המפלגה נותרה מפולגת בגלל העבדות, ולא הצליחה לבחור יושב ראש. ג'ונסון הציע חוק שמנע דרישת רוב מוחלט לבחירת יושב הראש, שפתר את התסבוכת.
לאחר שיושב הראש נבחר, הקונגרס עסק בחוקים, ונושא העבדות הפך לנושא המרכזי. הצפוניים רצו לצרף את קליפורניה, מדינה חופשית, אל האיחוד. הנרי קליי מקנטקי הגיש מספר החלטות בסנאט, פשרת 1850, כדי לצרף את קליפורניה ולהעביר חקיקה שתפייס את שני הצדדים. ג'ונסון תמך בכל ההצעות פרט לביטול העבדות בבירת המדינה. הוא לחץ להעביר תיקונים חוקתיים לצורך בחירת סנאטורים (שנבחרו אז בידי המועצות המחוקקות), בחירות ישירות לתפקיד הנשיא (ולא בידי אלקטורים) והגבלת כהונת השופטים לשתים עשרה שנים. כל החוקים לא עברו.
כמה דמוקרטים החליטו לבחור מועמד חלופי מול ג'ונסון שניסה להיבחר לכהונה חמישית. הוויגים החליטו לא לבחור מועמד משלהם. נטען שחוק מכירת הקרקעות של ג'ונסון רק יקל על ביטול העבדות, אולם הוא ניצח בבחירות בהפרש של 1,600 קולות. אף על פי שלא תמך במועמד הנשיאותי ב-1852, הסנאטור לשעבר מניו המפשייר פרנקלין פירס, ניהל מסע בחירות עבורו. פירס נבחר, אולם לא ניצח בטנסי. ב-1852, הצליח ג'ונסון להעביר את חוק מכירת הקרקעות בבית הנבחרים, אולם החוק לא עבר בסנאט. הוויגים השתלטו על המועצה המחוקקת בטנסי, וסידרו את המחוזות מחדש לטעמם, כך שסיכוייו של ג'ונסון להיבחר מחדש קטנו מאוד.
מושל טנסי (1853-1857).
ג'ונסון שקל לפרוש מפוליטיקה לאחר שהחליט לא לנסות להיבחר מחדש, אולם שינה את דעתו. חבריו החליטו לנסות להפוך אותו למושל המדינה. המפלגה הדמוקרטית תמכה בו פה אחד, אף על פי שכמה חברים לא היו שמחים מכך. הוויגים ניצחו בשתי מערכות הבחירות האחרונות ושלטו במועצה המחוקקת. המפלגה בחרה בגוסטבוס הנרי, אותו מועמד שהיה אחראי לחלוקה מחדש של המחוזות. שני האישים ערכו עימותים בכל טנסי במהלך מערכת הבחירות. ג'ונסון השיג 63,413 קולות לעומת 61,163 להנרי. ג'ונסון הצליח להשיג כמה קולות כשהבטיח שיתמוך במועמד הוויגי לקונגרס מטעם מחוזו.
למושל טנסי לא הייתה עוצמה רבה: ג'ונסון יכול היה להציע חקיקה אולם לא להטיל עליה וטו, ורוב המינויים מונו בידי המועצה המחוקקת הוויגית. למרות זאת, התפקיד אפשר לו להתפרסם. הוא הצליח להשיג כמה מינויים פוליטיים תמורת תמיכה בג'ון בל, הוויגי, כמועמד לסנאט. בנאומו הדו-שנתי הראשון, תמך ג'ונסון בפישוט מערכת המשפט של המדינה, ביטול בנק טנסי והקמת רשות למידות אחידות. ג'ונסון ביקר את מערכת החינוך של המדינה והציע מימון בעזרת מיסים. עוד רפורמות כללו הקמת ספרייה ציבורית ומערכת בתי הספר הציבוריים הראשונה במדינה.
אף על פי שהמפלגה הוויגית עמדה להתפרק, היא נותרה חזרה מטנסי, ומצב הדמוקרטים ב-1855 היה קשה. ג'ונסון הרגיש שהיה צריך להיבחר מחדש, במסע בחירות שהנושאים המרכזיים בו היו העבדות, איסור על אלכוהול, ועמדותיה הנייטיביסטיות של תנועת שאינם יודעים דבר. ג'ונסון תמך בעבדות והתנגד לנייטיביזם ולאיסור על אלכוהול. ג'ונסון ניצח את יריבו, שתמך בתנועת שאינם יודעים דבר, בהפרש קטן.
כשהבחירות של 1856 התקרבו, קיווה ג'ונסון להיבחר כמועמד. כמה ועידות מטנסי תמכו בו כמועמד מקומי. הוא טען שעדיף לאיחוד לשמור על עבדות באזורים מסוימים ונחשב למועמד פשרה. למרות זאת, הוא לא היה מועמד בולט, ולבסוף נבחר הסנאטור מפנסילבניה, ג'יימס ביוקנן. ג'ונסון הסכים לתמוך בביוקנן ובסגנו, ג'ון ברקינרידג', שנבחרו לבסוף.
ג'ונסון החליט לא לנסות להיבחר לכהונה שלישית כמושל, והחליט להיבחר לסנאט. ב-1857, כשחזר מוושינגטון, הרכבת שלו ירדה מהפסים, והוא נפצע בזרועו הימנית.
סנאטור.
תמיכה בחוק מכירת הקרקעות.
המנצחים בבחירות למועצה המחוקקת ב-1857, לאחר פגישתם באוקטובר, נאלצו לבחור בסנאטור. הוויגים רצו להשיג רוב ולמנוע מג'ונסון להיבחר כסנאטור הדמוקרטי. המושל דיבר רבות במהלך מסע הבחירות, והמפלגה שלו הצליחה לזכות בבחירות לתפקיד המושל וגם במועצה המחוקקת. בנאומו האחרון כמושל השפיע על בוחריו, והציע הצעות אהודות בקרב הדמוקרטים. כעבור יומיים, בחרה בו המועצה המחוקקת לסנאט. מתנגדיו טענו שהיה הדמגוג הכי גדול במדינה.
ג'ונסון היה אהוד בקרב החקלאים הקטנים והסוחרים העצמאיים שהיו הרוב בטנסי. הוא היה פחות אהוד בקרב בעלי המטעים ועורכי הדין ששלטו במפלגה, אולם הוא ידע לגייס מצביעים. לאחר מותו, נטען שהתייחס בשוויון לכולם. הוא תמיד היה לבוש היטב והיה מרשים, ובנוסף נאם נאומים רבים. הוא התנגד למנגנון המפלגתי והסתמך על חבריו, יועציו ומכריו.