כל הפרשנים צפו שארמסטרונג ינצח בקלות במרוץ. אולריך חזר מפציעה ארוכה ולא הרשים לפני המרוץ. בשלב ההררי הראשון ארמסטרונג ניסה ליישם את הטקטיקה הרגילה שלו, אך הפעם לא הצליח לשבור את יריביו וסיים רק שלישי בשלב. באחת הירידות בשלב התשיעי רכבו ארמסטרונג ובלוקי זה לצד זה במהירות גבוהה בעיקול בדרך. הצמיג בגלגל האחורי של בלוקי התפוצץ והוא הוטח על הכביש ונפצע קשה. ארמסטרונג הצליח ברגע האחרון להימנע מהתנגשות עם בלוקי, ירד לשדה חרוש בשולי הכביש, אך הצליח להתעשת ולחזור לכביש ולמרוץ. בשלב ה-15 במצב שבו במרוצים הקודמים ארמסטרונג היה כבר עם פער גדול על יריביו, היה לו פער של 15 שניות בלבד מאולריך ו-18 שניות מוינוקורוב. ארמסטרונג הצליח לנצח בשלב זה שהסתיים בפסגה בפירנאים אף על פי שנפל מאופניו במהלך השלב. מכאן ועד הסיום הוא הצליח לשמור על היתרון הקטן שלו וסיים לפני אולריך ווינוקורוב.
הטור של 2004.
לאחר התצוגה הלא משכנעת ב-2003 ציפו הפרשנים כי ארמסטרונג יתקשה להשיג ניצחון שישי ברציפות. גם הפעם טפח ארמסטרונג על פניהם והפגין עליונות על כל מתחריו, כשהוא מנצח בחמישה קטעים, ומוביל בחלקו האחרון של המרוץ בצורה משכנעת ביותר. לראשונה בהיסטוריה זכה רוכב אחד בשישה ניצחונות רצופים בטור דה פראנס. שני הגיע אנדראס קלודן ושלישי איוואן באסו.
הטור של 2005.
באפריל 2005 הכריז ארמסטרונג כי הטור של 2005 יהיה האחרון בקריירה שלו וכי לאחריו יפרוש מרכיבת אופניים מקצועית. ארמסטרונג, שקבוצתו החליפה בראשית השנה מאמן ועברה מ"שירות הדואר של ארצות הברית" ל"ערוץ דיסקברי", המעיט במרוצי הכנה לטור דה פראנס אף יותר מבשנים קודמות וזאת, למרות הצהרותיו המוקדמות על כך שייטול חלק במרוצים הקלאסיים של האביב.
מתחריו של ארמסטרונג בטור זה היו אמורים להיות בעיקר אולריך ועמיתיו לקבוצת טי-מובייל (יורשת "טלקום"): אנדראס קלודן ואלכסנדר וינוקורוב. שלושתם כבר עלו על הפודיום בפריז (דירוג בין שלושת המובילים בסיום הטור), וכן איוואן באסו מקבוצת סי.אס.סי. השאפתנית ואיבן מאיו הספרדי.
כבר בפתיחת הטור אותת ארמסטרונג על כוונותיו, כאשר במרוץ הראשון נגד השעון הצליח לצבור פער של למעלה מדקה מאולריך, ואף חלף על–פניו לקראת סוף המרוץ. גם במרוץ הקבוצתי נגד השעון ניצחה קבוצת דיסקברי. שני ניצחונות אלו אפשרו לארמסטרונג לפתוח פער של דקה וחצי עד שלוש דקות וחצי על-פני יריביו העיקריים כבר בפתיחת המרוץ.
עם תחילת הקטעים ההרריים התברר שקבוצתו של ארמסטרונג, שבשנים עברו הייתה זו שדחפה לקצב מהיר בעליות בהרים ולהכנה ליצירת פער עבור ארמסטרונג, לא הגיעה לרמתן של הקבוצות שליוו את ארמסטרונג בטורים הקודמים. במספר מקרים הצליחה קבוצת טי-מובייל לבודד את ארמסטרונג והוא נשאר ללא תמיכה קבוצתית.
ארמסטרונג התמקד בתגובות להתקפות (ניסיונות בריחה מהדבוקה) של אולריך ובאסו בלבד והתעלם מההתקפות של קלודן ושל וינוקורוב שאף זכה בשלב הררי לאחר בריחה. למרות ניסיונות התקיפה של אולריך ובאסו שהיו רבים יותר מבשנים קודמות, לא נקלע ארמסטרונג, בשום שלב משלבי ההרים, לבעיה אמיתית ואף הגיב בהתקפות נגד שאפשרו לו פתיחת פערים קטנים משני מתחריו העיקריים תוך כדי הפגנת שליטה מלאה בכל סיטואציה שנוצרה תוך כדי המרוץ. עם זאת, לא הצליח ארמסטרונג לפרוץ לבדו, כדרכו בעבר, באף אחד משלבי ההרים. בשלבי ההרים הראשונים הרשים במיוחד אלחנדרו ולוורדה, הספרדי הצעיר אשר סיים שלישי בוואלטה אספניה של 2003, כאשר נצמד לארמסטרונג ולבאסו ובסיום השלב העשירי אף הצליח לנצח את ארמסטרונג.
מספר גורמים באו לעזרתם של ארמסטרונג וקבוצתו. דייוויד זבריסקי, מנצח השלב הראשון מסי.אס.סי, קבוצתו של באסו, נפל כמה מאות מטרים לפני קו הסיום במרוץ הקבוצתי, ויש הטוענים כי בכך גרם לסי.אס.סי לאבד את הניצחון בשלב לקבוצתו של ארמסטרונג. קבוצת טי-מובייל סבלה משתי תאונות אימונים תמוהות. בשתיהן נפגע קלות יאן אולריך, והאחרונה אף הובילה לפרישתו של אנדראס קלודן. טי-מובייל, כרגיל, סבלה גם מסכסוכים פנימיים בניגוד ללכידות הקבוצתית שהפגינה דיסקברי, שהייתה ממוקדת כרגיל בארמסטרונג ובמטרותיו. בנוסף, ולוורדה, שניצחונו המרשים על ארמסטרונג בשלב העשירי הוביל את זה להכריז עליו כ"עתידה של הרכיבה על אופניים", נאלץ לפרוש אף הוא אחרי השלב ה-13 בגלל פציעה. לראשונה זה מספר שנים, איבדה קבוצתו של ארמסטרונג רוכב במהלך הטור. היה זה מנואל בלטרן שנפצע באחד משלבי ההרים הראשונים וחסרונו פגע בתפקוד הקבוצה במיוחד בשלבי ההרים. כמו כן, השכיל יוהאן ברויינל, מנהלה הספורטיבי של קבוצת דיסקברי, להפוך את חולשתה היחסית של קבוצתו ליתרון, על ידי שינוי הטקטיקה ושליחת רוכבים לבריחות, דבר אשר הוביל לניצחונות של ג'ורג' הינקאפי ופאולו סבולדלי בשני קטעים הרריים.
אחרי פרישתו של ולוורדה, נותרו למעשה רק אולריך ובאסו כיריבים אמיתיים. התקפותיו של איבן באסו, שלא הסתפק כבשנת 2004 במקום השני, לא היו מסוגלות להכניע את ארמסטרונג והביאו לאיבוד זמן של אולריך בהרים. גם מתקפותיו של אולריך בפירנאים כשלו ובשלב מאוחר יותר במרוץ כוונו למעשה לצמצום הפער בינו ובין המטפס הדני המוכשר מיכאל רסמוסן שדורג עד השלב ה-19 במקום השלישי. בשלבי הסיום, במרוץ נגד השעון, זכה ארמסטרונג בניצחונו האישי היחיד בשלב בטור של 2005, תוך שהוא גובר על אולריך. בסיום המרוץ ב-24 ביולי בפריז הוכרז ארמסטרונג כמנצח בעוד שבאסו הצליח לשמור על המקום השני בדרוג הכללי ואולריך הצליח להשיג את המקום השלישי.
פרישה וחזרה לרכיבה.
ב 24 ביולי 2005, ביום סיום הטור, הודיע ארמסטרונג כי הוא פורש וברצונו להשקיע יותר זמן במשפחתו ובקרן ארמסטרונג למלחמה בסרטן. במהלך פרישה זו השתתף במרתון ניו יורק והקים (ביחד עם ספורטאים נוספים כמוחמד עלי, אנדרי אגאסי ואלונזו מורנינג) קרן צדקה למעוטי יכולת.
ב-9 בספטמבר 2008, הכריז ארמסטרונג כי הוא חוזר להתחרות בסבב המקצועני ומטרתו המוצהרת היא זכייה בטור דה פראנס של 2009
"לאחר ששוחחתי עם ילדיי, עם משפחתי ועם חבריי הקרובים, החלטתי לחזור לרכיבה מקצועית על מנת לעורר מודעות עולמית לנטל הסרטן הגלובלי." אמר ארמסטרונג בריאיון לאתר שלו.
עוד דווח כי ארמסטרונג ימסור את תוצאות בדיקות הסמים שלו והן יפורסמו באינטרנט. וכי לא יקבל משכורת או בונוסים עבור תוצאות. ארמסטרונג הצטרף לקבוצת אסטנה בה היה חתום כבר הרוכב הספרדי, אלברטו קונטדור שניצח בטור דה פראנס של 2007. הימצאותם של שניים מהרוכבים הבכירים ביותר בדבוקה העולמית בקבוצה אחת יצרה ציפיות אצל אוהדי הענף למאבק פנים קבוצתי.
בינואר 2009 השתתף ארמסטרונג בטור דאון אנדר באוסטרליה וסיים במקום ה-29. היה זה המרוץ המקצועני הראשון בו השתתף מאז שנת 2005. בפברואר הוא השתתף במרוץ השני שלו, הטור של קליפורניה, וסיים במקום השביעי.
במרץ 2009, במהלך מרוץ בקסטיליה ולאון שבספרד, שבר ארמסטרונג את עצם הבריח בתאונה ועבר ניתוח, והשתתפותו בג'ירו ד'איטליה, עליה הצהיר כבר בסוף 2008, הוטלה בספק. אף על פי כן, הוא חזר במהירות להתאמן, והודיע למארגני הג'ירו כי הוא יהיה כשיר לפתיחת המרוץ. כהכנה לג'ירו התחרה ארמסטרונג, יחד עם חברו לקבוצה לוי ליפהיימר, בטור של גילה במסגרת קבוצה שמומנה על ידי חנות האופניים שלו, וסיים במקום השני. בג'ירו הציג ארמסטרונג יכולת טובה, יחסית לרוכב שאך חזר מפציעה והחסיר ימי אימון ומרוצים רבים, וסיים במקום ה-12.
בשלבים הראשונים של הטור דה פראנס הציג ארמסטרונג כושר מצוין. בקטע השלישי, שהתנהל בדרום צרפת, ניצלה קבוצת "HTC קולומביה" את משטר הרוחות באזור ואת יכולתם הגבוהה של רוכביה ויצרה פיצול בדבוקה. חלק מקבוצת אסטנה, כולל ארמסטרונג, הצטרף לבורחים ואף סייע בהגדלת הפער וזאת אף על פי שחבר קבוצתם, אלברטו קונטדור, המועמד שנחשב בתחילת המרוץ כבעל הסיכוי הרב ביותר לנצח במרוץ, נשאר בחלקה האחורי של הדבוקה ואיבד בסוף הקטע 41 שניות לארמסטרונג שעבר למקום השלישי בדירוג הכללי. אירוע זה הביא את המתח הפנימי בקבוצת אסטנה לשיא חדש וניכר היה כי מנהלי הקבוצה ורוב הרוכבים בה פועלים בעדיפות ראשונה לטובת ארמסטרונג. בקטע הרביעי, שהיה שלב של מרוץ קבוצתי נגד השעון, ניצחה קבוצתו של ארמסטרונג והוא העפיל למקום השני, אך הודות לפער של 0.22 שניות נותרה חולצת המוביל בידיו של פביאן קנצ'לארה.
בקטע השביעי, שהסתיים בפסגה באנדורה, התהפך הגלגל. קונטדור תקף בסיום את כל יריביו, השיג פער של 21 שניות על ארמסטרונג וזה נדחק למקום השלישי בדרוג הכללי בפיגור של 2 שניות אחרי קונטדור. בקטע ה-15 שהתקיים באלפים, פיגר ארמסטרונג אחרי קונטדור (שניצח בקטע) ושאר הרוכבים הבכירים ונראה היה כי יקשה עליו מאוד לנצח במרוץ כולו. ארמסטרונג לא הצטיין בקטע ה-18, שהיה מרוץ אישי נגד השעון, וסיים במקום ה-16, אך הצליח בכל זאת לעלות למקום השלישי בדרוג הכללי כשהוא מפגר אחרי קונטדור ואנדי שלק. עד לסיום בפריז הצליח לשמור על מקומו וסיים שלישי בפיגור של 5:24 מחברו לקבוצת אסטנה שניצח, אלברטו קונטדור.
עם שובו של אלכסנדר וינוקורוב לקבוצת אסטנה, אחרי עונש השעיה, הודיע ארמסטונג כי יחזור לטור בשנת 2010, בראשות קבוצה חדשה שהוא מקים, קבוצת רדיושק. יחד עם ארמסטרונג, עזבו מאסטנה לרדיושק גם יוהאן ברויינל המנהל הספורטיבי ורוב הרוכבים החזקים שהביאו עמם ארמסטרונג וברויינל לאסטנה, כולל פופוביץ', קלודן, ליפהיימר וזובלדיה.