שירותו הצבאי.
את שירותו הצבאי עשה אילון בחיל הים. עם גיוסו לצה"ל באוגוסט 1963 התנדב לשייטת 13, לאחר שהוריו חתמו על הסכמתם בשל היותו בן יחיד, והשלים את הכשרת מסלול הלוחם. במלחמת ששת הימים לחם בזירת ים סוף, ולאחר המלחמה יצא לקורס קצינים בבה"ד 1 שבסיומו חזר לשייטת. בשנת 1969 השתתף בפשיטה על האי גרין, ונפצע קשה. על חלקו בפשיטה זכה בעיטור הגבורה.
בתיאור המעשה נכתב:
על פעולותיו בקרב עוטר בשנת 1973 בעיטור הגבורה על ידי שר הביטחון משה דיין.
זמן קצר לאחר פציעתו הצטרף למבצע אסקורט במצרים.
ב-1971 עבר קורס חובלים, הוסמך לתפקיד קצין משמרת בסטי"ל ובהמשך שובץ כמפקד פלגת דבורים בזירת ים סוף (מפל"ג), בבסיס ראס סודר. במלחמת יום הכיפורים היה בלימודים בבית הספר לפיקוד ימי וביומה השני של המלחמה נשלח לזירת ים סוף לפקד בפועל על פלגה 915. בלילה שבין 8 ל-9 באוקטובר פיקד על כוח של שתי ספינות דבור שהטביעו ספינת משמר המצרית מסוג "דה-קסטרו". בלילה השמיני של הקרבות פיקד על כוח של 7 דבורים בתקיפת מעגן ראס-ע'ריב, תקיפה שהסתיימה בהטבעת 19 כלי שיט מצריים ללא נפגעים לכוחות צה"ל. ב-1974 חזר לשייטת 13 ופיקד על פלגת ההדרכה ועל פלגת הכלים התת-מימיים של היחידה. לאחר תקופת לימודים, פיקד על ספינת הטילים אח"י אילת.
מפקד שייטת 13.
ב־1979 מונה למפקד שייטת 13. מתוך אמונה כי על היחידה לקחת חלק בלחימה של זמנה, הוביל אותה אילון לפעולות רבות והפך אותה ליחידת פשיטה מובילה גם בתחום לוחמת הקומנדו וחיל הרגלים. בין השינויים המבניים ביחידה היו הקמת פלגת "הפושטים", המתמחה בביצוע משימות חי"ר ביבשה המערבות הגעה מן הים. כמו כן החליט אילון כי היוצאים לקצונה יבצעו קורס חובלים מקוצר או קורס קציני חי"ר, במקום קורס קציני אג"ם שהיה נהוג עד אז.
תחת פיקודו זכתה השייטת בצל"ש הרמטכ"ל על ביצוע 22 פעולות התקפיות יזומות נגד המחבלים בגזרת לבנון, ובהן גם "מבצע מתח גבוה", בו פשטו לוחמי הקומנדו הימי, תחת פיקוד אילון, באפריל 1980 על בסיס מחבלים בלבנון ובו מחבלים שעמדו לבצע פיגוע מיקוח בישראל, והרגו כעשרים מהם.
מפקד בסיסי חיל הים.
לאחר תפקיד זה יצא ללימודים בבסיס הצי האמריקני בניופורט שברוד איילנד, אך הוזעק חזרה לישראל על מנת להשתתף בהנחתת הכוחות בחוף נהר האוואלי עם תחילת מלחמת לבנון הראשונה. ביולי 1982 מונה למפקד בסיס אשדוד וב-1984 למפקד פלגת ספינות טילים. ב-1985 מונה למפקד בסיס חיפה ובהמשך שימש כראש מספן ים וכסגן מפקד חיל הים. בתפקיד זה השתתף בין היתר במבצע הצגת תכלית. בראשית 1989, בהתמודדות על הפיקוד על חיל הים, הועדף מיכה רם על פניו, ואילון יצא ללימודי תואר שני באוניברסיטת הרווארד.
מפקד חיל הים.
עם סיום הלימודים, בשנת 1992, מונה למפקד חיל הים, והועלה לדרגת אלוף.
כמפקד חיל הים האמין אילון, בהתאם לתפיסתו כמפקד השייטת, כי על מפקדי חיל הים ובעיקר מפקדי הקומנדו הימי לעבור לצבא היבשה ולבצע שם תפקידי פיקוד מבצעיים.
בין הבולטים בקצינים שביצעו את המעבר באותה עת היו יואב גלנט, שעם סיום תפקידו כמפקד פלגת הלוחמים בשייטת הפך להיות מפקד חטיבת מנשה באוגדת איו"ש;ארז צוקרמן שעליו הוטל להקים את יחידת אגוז בפיקוד הצפון ורם רוטברג שמונה למפקד יחידת דובדבן.
בתקופתו כמפקד חיל הים פעל אילון לקליטת הצוללות מסדרת דולפין אותן ראה כעתיד חיל הים, כמו כן נקלטו בחיל ספינות הטילים מדגם סער 5. במהלך תפקיד זה, קבע אילון את המושג כהגדרת הייעוד של חיל הים. בשנת 1995 מסר את תפקידו לאלכס טל ופרש מצה"ל.
שירות הביטחון הכללי.
בראשית 1996, בעקבות רצח רבין, עבר אילון לתפקיד ראש השב"כ כדי לשקם את הארגון, שעדיין לא התאושש מהמחדל באבטחה ומשורת פרשיות שנקשרו אליו בשנות השמונים. אילון היה הראשון שהתמנה לתפקיד זה ששמו הותר לפרסום. עם היכנסו לתפקיד, פקדה את ישראל שורת פיגועי התאבדות בתל אביב, בירושלים ובאשקלון. השב"כ, המוכה מרצח רבין, נאלץ להתמודד עם הפיגועים הללו. ראש הממשלה דאז, שמעון פרס, החליט על הקמת המטה ללוחמה בטרור, ובראשו הועמד אילון, במקביל לתפקידו כראש השב"כ. אילון פעל לשקם את הדימוי הציבורי של השב"כ ולהחזיר את הביטחון העצמי לארגון. הוא שירת תחת שלושה ראשי ממשלה - שמעון פרס, בנימין נתניהו ואהוד ברק, ופרש באפריל 2000. הוחלף בידי אבי דיכטר, שבמועמדותו תמך, ושצמח מתוך השב"כ - דבר שבו אילון רואה הישג לעצמו.
באזרחות.
עד כניסתו לכנסת כיהן כיושב ראש הדירקטוריון של חברת נטפים (2001–2005).
פעילותו הציבורית.
אחרי פרוץ האינתיפאדה.
חודשים ספורים אחרי פרישתו של אילון מראשות השב"כ פרצה האינתיפאדה השנייה.
על רקע התפישה הרווחת בציבור הישראלי כאילו "ברק נתן לערפאת את הכל, ואילו ערפאת גמל לו במלחמה", היה אילון אחד הקולות הבודדים שהציג בפומבי תמונה שונה: לטענתו לאהוד ברק חלק גדול בכישלון ועידת קמפ דייוויד. אילון טען שערפאת איבד את האמון בברק בגלל זניחת המשא ומתן עם הפלסטינים לטובת המשא ומתן עם סוריה ובגלל הפרת הבטחות שונות של ברק לערפאת, הפרות שהעמידו את ערפאת במבוכה מול אנשיו. על פי השקפתו, ועידת קמפ דייוויד עצמה נידונה מראש לכישלון, ברק הגיע אליה לא מוכן ו"פשוט הרצה את דבריו לצד השני".
לדעת אילון, האינתיפאדה לא תוכננה על ידי ערפאת, אלא הייתה תוצאה של תסכול רב-שנים של הציבור הפלסטיני כתוצאה מאכזבה מפירות הסכם אוסלו, תסכול ואכזבה שרוב הציבור הישראלי לא היה ער לה: מהתרבות המחסומים ומההשפלות בהם, מהמשך הרחבת ההתנחלויות ומשחיתות הרשות הפלסטינית. ביקור אריאל שרון בהר הבית היה הניצוץ שהבעיר את השטח, התפרצות שלטענתו הייתה צפויה. על פי פרשנותו של אילון, אף על פי שערפאת לא תכנן את ההתפרצות, אחרי התפרצותה הוא היה חייב לאמץ את האלימות, ולהוביל את האינתיפאדה, כדי לשמר את מנהיגותו.
אילון גם הדגיש כי למרות ההצלחות של השב"כ וצה"ל בסיכול הפיגועים, לפעולות שנעשות לשם כך יש גם מחיר שמתבטא בהעמקת האיבה של הפלסטינים ובהרחבת המאגר הפוטנציאלי של מבצעי הפיגועים הבאים. לכן פעולות הסיכול לבדן, ואפילו הכנעת הטרור הן רק פתרון זמני, שאינו פותר את השאלה איך ישראל תוכל להיות לאורך זמן גם מדינה יהודית וגם מדינה דמוקרטית.
הוא דרש להגדיר מטרות וקווים אדומים שייגזרו מהדרך בה ישראל רוצה לראות את עצמה בעוד 40 שנה. כך הוא קרא לנסיגה מיש"ע ולפינוי ההתנחלויות - רצוי תוך כדי הסכם, אבל אפילו באופן חד-צדדי, כך שתוכל לקום מדינה פלסטינית בת-קיימא, שאת קיומה הוא רואה כחיוני להישרדות מדינת ישראל כמדינה עם רוב יהודי ואופי דמוקרטי. את הקווים האדומים הוא ציין כאי חזרת פלסטינים למדינת ישראל במסגרת הסדר מדיני, והיעדר איום ביטחוני מצד פלסטין על ישראל.
עמדותיו וניתוחיו אלה עוררו בקרב רבים בשמאל תקווה שאילון יכנס לפוליטיקה וינהיג את השמאל. אבל באותה תקופה אילון טען כי עקב המבנה של המערכת הפוליטית הישראלית היא אינה יכולה לתת פתרונות ארוכי טווח לבעיות כבדות, ולכן לדעתו הוא יוכל להשפיע מבחוץ יותר מאשר מבפנים, על ידי שינוי דעת הקהל. לדוגמה נתן את תנועת "ארבע אמהות" שפעלה למען נסיגה מדרום לבנון.
המפקד הלאומי.
בשנת 2002 החל אילון לגבש עם ד"ר סרי נוסייבה יוזמת שלום שהביאה להצהרת עקרונות כללית ביותר להסכם בין ישראל לפלסטינים, המבוסס על שתי מדינות לשני העמים על בסיס גבולות 1967 עם חילופי שטחים, שירושלים היא בירת שתיהן, תוך ויתור על זכות השיבה של הפלסטינים לישראל (הם יורשו לחזור רק למדינה הפלסטינית) ופירוז המדינה הפלסטינית.
במקביל הקימו אילון ונוסייבה תנועות ציבוריות לקידום היוזמה ולהחתמה המונית של אנשי שני העמים על תמיכתם בה. התנועה שאותה הקים אילון בצד הישראלי כונתה "המפקד הלאומי", וזו שהקים נוסייבה בצד הפלסטיני בשם "הקמפיין העממי לשלום ולדמוקרטיה". התנועה שאילון הקים נועדה להשפיע על הפוליטיקה מבחוץ, ועל פי הראיון שנתן דב וייסגלס למוסף "הארץ", ליוזמת אילון-נוסייבה, יחד עם יוזמת ז'נבה ותנועת הסרבנות, היה חלק בהחלטת אריאל שרון על תוכנית ההתנתקות.
אחרי גיבוש המסמך החל אילון לקיים חוגי בית והופעות פומביות על מנת להסביר את עקרונות היוזמה, ולגייס חותמים ומתנדבים. היוזמה הושקה רשמית ב־25 ביוני 2003, והחל מבצע ההחתמה הפומבי, שבו גויסו עד אפריל 2005 כ־250,000 ישראלים וכ־160,000 פלסטינים.
הידברות עם המתנחלים.
למרות חילוקי הדעות שהיו לאילון עם המתנחלים ורצונו לפנות את ההתנחלויות, הוא ארגן מספר מפגשים והשתתף בכנסים שמטרתם הייתה להידבר עם המתנחלים וראשי מועצת יש"ע ובכך להקטין את החיכוך והקרע בעם.
אילון לא חשש להעביר ביקורת קשה על ארגוני השמאל והתנכרותם כלפי המתנחלים, אף בנאום מרכזי שנשא בעצרת של "מטה הרוב" בעד תוכנית ההתנתקות (ב־15 במאי 2004). תוך כדי שהוא טען שבניגוד ליומרות המארגנים רוב העם לא מיוצג בעצרת, הוא ניסה להסביר מדוע:
פעילות מפלגתית.
חרף הצהרותיו כי הוא לא רואה את עצמו נכנס לפעילות מפלגתית, שקל אילון בסוף שנת 2004 להצטרף למרוץ על ראשות מפלגת העבודה. הוא הצהיר שהוא נכנס לפוליטיקה לא כדי להיות עוד חבר הכנסת, אלא כדי להיות ראש ממשלה. למרות זאת הוא הצטרף למפלגת העבודה ולא התמודד מיד על ראשותה, אלא ביקש "ללמוד" את המערכת לפני שינסה להוביל. עם כניסתו לחיים המפלגתיים, פרש מראשות ארגון "המפקד הלאומי".