עם נישואיהם וגם לאחר הולדת בתם הבכורה, עבדה רחל במשק בית-הספר של בית שאן, אולם לוי היה מובטל. לאחר תקופת אבטלה ארוכה, התפרץ ללשכת העבודה ועקר בה דלת. הוא נעצר על ידי המשטרה והוחזק במעצר 48 שעות, עד שהובא בפני שופט שגזר עליו 12 ימי מעצר, אותם ריצה בתא המאסר של משטרת בית שאן. לאחר מכן מצא עבודה באחד הקיבוצים, שם יזם שביתה של הפועלים, שהשיגה אספקה של מים קרים ונקיים לעובדים בשדה.
בשנת 1960 השיג עבודה קבועה כפועל בניין ובין השאר עבד בהקמת מלון הילטון תל אביב, מגדל שלום מאיר וקריה למחקר גרעיני – נגב. בהמשך ארגן קבוצת עובדים שהקימה מקלטים באזור בית שאן.
ב-1961 נרשם לוי כחבר בסניף המקומי של תנועת החרות בבית שאן.
בסוף 1963 כבר התמקצע בעבודתו כטפסן. הוריו ואחיו הצעירים (ביניהם מקסים לוי) עברו להתגורר בלוד, שם פסקו שנות האבטלה של אביו, שהחל לעבוד במפעל של התעשייה האווירית לישראל.
בשנת 1964 נבחר לאגודת פועלי הבניין מטעם מפא"י ורשימתו זכתה לרוב גדול, אולם לאחר מכן החל להיות פעיל בתנועת החרות ובסיעת תכלת לבן בהסתדרות. בבחירות למועצת בית שאן ב-1965 הוא נבחר למועצה מטעם רשימת גח"ל, שקיבלה מנדט אחד מתוך 11, ומונה לסגן ראש המועצה המקומית במסגרת קואליציה עם המפד"ל, ללא מפא"י. כשנה לאחר מכן, ב-1966, נבחר למרכז תנועת החרות. מאוחר יותר נבחר להנהלת סיעת תכלת לבן בהסתדרות. במסגרת תפקידו במועצת בית שאן, עמד החל משנת 1968 בראש ועדת ביטחון של המועצה.
חברות בכנסת ובממשלה.
בבחירות לכנסת ה-7 בשנת 1969, הוצב לוי במקום ה-24 ברשימת גח"ל (גוש חרות ליברלים). המפלגה זכתה ב-26 מנדטים ולוי נבחר לראשונה לכנסת, והפך לחבר הכנסת הצעיר ביותר. בינואר 1970 נשא את נאומו הראשון בכנסת, במסגרת הדיון על הודעת ראש הממשלה גולדה מאיר על מצוקתם של היהודים בארצות ערב, בו קרא לפעול לפינוים המוחלט מכל הארצות הללו. ביוני 1971 הכה קצין משטרה את לוי, בשעה שלוי ניסה למנוע פיזור הפגנה בשערי הכנסת.
אחרי המהפך בבחירות לכנסת התשיעית בשנת 1977 הפקיד בידיו ראש הממשלה מנחם בגין את תיק הקליטה. בבחירות להסתדרות, שהתקיימו ב-21 ביוני 1977, היה לוי מועמד לתפקיד מזכ"ל ההסתדרות מטעם סיעת הליכוד, שקיבלה 28% מן הקולות (לעומת 22% ב-1973).
החל מ-15 בינואר 1979 הפקיד בידיו ראש הממשלה גם את תיק הבינוי והשיכון, נוסף על תיק הקליטה. כשר השיכון התנגד לשיתוף הסוכנות היהודית בפרויקט שיקום השכונות, ונלחם על הדומיננטיות בפרויקט עם יגאל ידין, השר הממונה על תיאום פעילות משרדי הממשלה בנושא.
באפריל 1981 עמד לוי בראש סיעת הליכוד בבחירות לוועידה ה-14 של ההסתדרות. הסיעה קיבלה מעט פחות מ-27% מכלל הקולות.
אחרי הבחירות לכנסת העשירית בשנת 1981, סירב לוי לקבל שוב את תיק השיכון, מאחר שקיווה לקידום למשרד יוקרתי יותר, אולם הוא התרצה רק אחרי שבגין העניק לו את התואר סגן ראש הממשלה.
בישיבת ממשלה מיוחדת שהתכנסה ב-16 בספטמבר 1982 לאחר רצח נשיא לבנון בשיר ג'ומאייל, בה מסר שר הביטחון אריאל שרון "שיחידת פלנגות גדולה נכנסה למחנה סברה", מחה השר לוי נגד כניסת צה"ל לביירות. הוא טען כי ישיבת הצבא בעיר תביא ללחץ כבד על ישראל והזהיר מפני מה שנודע לאחר מכן כטבח סברה ושתילה: "אנו יכולים להיראות לא אמינים. כאשר אני שומע שהפלנגות כבר נכנסות לשכונה מסוימת, ואני יודע מהי משמעות הנקם אצלם, איזו שחיטה, אז איש לא יאמין שנכנסו לעשות שם סדר והאשמה תהיה בנו. לכן אני חושב שאנו כאן עלולים להיכנס למצב שבו נואשם, והטיעון שלנו לא יעמוד על רגליו". אזהרתו זו נותרה ללא תגובה מצד איש מחברי הממשלה.
לוי היה סמל לבני עדות המזרח החפצים בשותפות מלאה בממסד, ומוחים כנגד נורמות של קיפוח שהשתרשו. הוא הצליח ללכד סביבו תמיכה גדולה במרוץ הפוליטי אך לא די כדי שיתמנה לראש תנועת הליכוד לאחר פרישת מנחם בגין ב-1983. יצחק שמיר ניצח בהתמודדות מולו במרכז הליכוד.
הוא כיהן כסגן ראש הממשלה ושר הבינוי והשיכון בכל ממשלות ישראל בין השנים 1979–1990. בהצבעה בממשלת האחדות הלאומית ב-1985 על הנסיגה מלבנון היה השר היחיד מהליכוד שהצביע בעד הנסיגה, החלטה שעברה על חודו של קול בממשלה.
לאחר התרגיל המסריח בשנת 1990, מונה דוד לוי לשר החוץ בממשלת שמיר. במהלך כהונתו חודשו הקשרים עם רוב מדינות אפריקה ועם מדינות מזרח אירופה. הסיבה העיקרית לתהליך זה הייתה נפילת מסך הברזל.
על רקע החלטת שמיר לעמוד בראש משלחת ישראל לוועידת מדריד באוקטובר 1991 החליט דוד לוי שלא להשתתף בוועידה. באותן שנים נחשב לנץ פוליטי ונמנה, יחד עם אריאל שרון ויצחק מודעי, על החישוקאים בליכוד, שהתנגדו לוויתורים בשטחים.
בפברואר 1992 כונס מרכז הליכוד כדי לבחור את המועמד מטעמו לראשות הממשלה, לוי התמודד מול שמיר והפסיד. את כעסו הביע לאחר מכן ב"נאום הקופים" המפורסם שלו בו הוא טען, כי הוא מקופח בגלל מוצאו. בין היתר ביטא לוי את הרגשתו במילים: .
אחרי שהליכוד נחל מפלה בבחירות לכנסת השלוש עשרה בשנת 1992 התמודד לוי בבחירות הפנימיות לראשות הליכוד, שלראשונה היו פתוחות לכל חברי הליכוד. בבחירות שנערכו ב-1993 התמודד מול בנימין נתניהו, בני בגין ומשה קצב. נתניהו ניצח ואחריו לוי, בגין וקצב. במהלך ההתמודדות התפרסם סיפור הקלטת הלוהטת בו טען נתניהו ש"אדם אחד בליכוד, מוקף בחבורה של פושעים" ניסה לסחוט אותו באמצעות קלטת וידאו בה הוא נראה בוגד באשתו. הרמיזה כלפי דוד לוי ואנשיו כאחראים לפרשה יצרה קרע עמוק בין שני האישים.
פעילות במסגרת גשר.
דוד לוי פרש מהליכוד ביוני 1995 והקים את תנועת גשר. לקראת הבחירות לכנסת הארבע עשרה בשנת 1996 שב והתאחד עם הליכוד. בליל הבחירות נראה היה כי בנימין נתניהו נחל מפלה, ברגע קשה זה עלה לוי עם נתניהו לדוכן הנואמים, ואחז בידו במפגן של תמיכה. מאוחר יותר התברר כי נתניהו ניצח ולוי התמנה לשר חוץ בממשלתו. לוי אף פעל למען הכנסת אריאל שרון לממשלת נתניהו על ידי יצירת "תיק תשתיות מורחב". עם הזמן נוצרו בקיעים ביחסים בין לוי לנתניהו, שהסתיימו בקרע מוחלט. לוי פרש מהממשלה ב-6 בינואר 1998 ברעש גדול לאחר שטען שתקציב המדינה אינו דואג לשכבות החלשות ושנתניהו לא משלב אותו מספיק במהלכים המדיניים.
ב-4 בינואר 1998 ערך לוי מסיבת עיתונאים שבה הודיע על התפטרותו בשל מה שהיה בעיניו כישלונה המוחלט של הממשלה לדאוג לשכבות החלשות. "איפה האחריות? איפה הרגישות?", זעק. וסיכם את תחושתו במילים: "נשבר לי. נקודה".
לוי חבר למפלגת העבודה לקראת הבחירות לכנסת החמש עשרה בשנת 1999, והאיחוד בין מפלגת מימד, מפלגת העבודה ותנועתו יצר את רשימת ישראל אחת שרצה בראשות אהוד ברק. לאחר ניצחונו של ברק בבחירות קיבל לוי את תפקיד שר החוץ בפעם השלישית בחייו. הוא תמך בנסיגה החד צדדית מרצועת הביטחון בדרום לבנון, אך הסתכסך עם ברק בשל הפשרות המדיניות שהציע לפלסטינים. הוא התפטר מהממשלה ב-4 באוגוסט 2000, ולקראת הבחירות המיוחדות לראשות הממשלה בשנת 2001 הביע תמיכה במועמדותו של אריאל שרון. שרון מצידו לא מינה את לוי לשר בממשלה אחרי זכייתו. בהמשך כהונתה של ממשלת שרון, כיהן לוי כשר בלי תיק למשך כארבעה חודשים (8 באפריל
עד 30 ביולי 2002).
החזרה לליכוד ומפלגת גשר.
לקראת הבחירות לכנסת ה-16, פרש דוד לוי מראשות המפלגה ועבר לליכוד בצעד שגרם לחילוקי דעות בקרב חברי המפלגה. באספה שהתקיימה על ידי חברי המפלגה שנותרו בה, נבחרה אסתי שירז, שכיהנה אז כראש מטה ההסברה במפלגה, לעמוד בראש גשר במקום דוד לוי וגשר הגישה רשימה לוועדת הבחירות המרכזית, לצורך התמודדות לכנסת ה-16. דוד לוי הגיב בעתירה לפסול את הרשימה ובקשתו נתקבלה על ידי בית המשפט. דוד לוי נבחר לכהן בכנסת ה-16 ובתום מאבק משפטי שארך מספר שנים, החליט בית המשפט ב-2007 לפרק את גשר והמפלגה חדלה מלהתקיים.
לאחר שהכריז שרון על תוכנית ההתנתקות היה לוי חבר בקבוצת המורדים שניסתה להכשילה, צעד שמתנגדיו טענו שקשור לכעסו על שרון בשל העובדה ששוב מידר אותו מלשמש בתפקיד בכיר מטעם הסיעה. עם זאת ההתנגדות לתוכנית תאמה את העמדות המדיניות בהן נקט משחר פעילותו הפוליטית. פעילותו בכנסת בקדנציה זו התאפיינה בפעילות פרלמנטרית מועטה. לקראת הבחירות לכנסת השבע עשרה כשל בהשגת מקום ריאלי ברשימת הליכוד בכנסת, ובכך בא הקץ על קרוב ל-37 שנים של חברות בכנסת.
עם ההכרזה על הבחירות לכנסת השמונה עשרה בחר לוי לא להתמודד על מקום ברשימת הליכוד, והוא הוצב במקום האחרון הסמלי ברשימתה לכנסת.
לאחר הפרישה מהכנסת.
במערכת הבחירות לנשיאות ישראל ב-2014 הוזכר שמו של דוד לוי כמועמד אפשרי מטעם הליכוד לתפקיד הנשיא, לאור הדיווחים בתקשורת על חוסר תמיכתו של ראש הממשלה בנימין נתניהו במועמד ראובן ריבלין ממפלגתו. לוי התייחס לאפשרות ואמר כי ירוץ לנשיאות "רק בהסכמה רחבה", אך חמישה ימים אחר כך הודיע כי לא יתמודד לתפקיד.
ב-26 בדצמבר 2016 נשא לוי נאום באירוע במרכז מורשת מנחם בגין. במהלך הנאום, שוחח לוי עם שר האוצר משה כחלון שנכח באירוע והפציר בו שישוחח עם ראש ממשלת ישראל בנימין נתניהו ויבקש ממנו לחדול מהסנקציות שהפעיל נגד המדינות החברות במועצת הביטחון של האו"ם, בתגובה להחלטה 2334.
חיים אישיים.
לוי התמיד בקשריו לעיר בה התחיל את הקריירה - בית שאן. גם כשהיה שר עסוק חזר לעיתים קרובות לביתו בעיר.