כוכבי התגייס לצה"ל באוגוסט 1982, התנדב לצנחנים, ושובץ בגדוד 890. עבר מסלול הכשרה כלוחם. לאחר מכן עבר קורס מ"כים חי"ר וקורס קציני חי"ר, אותם סיים כחניך מצטיין. לאחר סיום הקורס מונה למפקד מחלקת מסלול של גדוד 890. בהמשך שימש כמפקד מחלקה רובאית. לאחר מכן שימש כקצין המבצעים הגדודי. בהמשך מונה למפקד פלוגת מסלול. לאחר מכן שימש כמפקד הפלוגה המסייעת בגדוד 890. בהמשך מונה למפקד פלנ"ט צנחנים בין השנים 1988–1989. לאחר לימודי תואר ראשון בפילוסופיה באוניברסיטה העברית ולימודים בפו"ם, מונה לקצין אג"ם של חטיבת הצנחנים.
בשנת 1993 הועלה לדרגת סא"ל ומונה למפקד גדוד 101, ושימש בתפקיד עד שנת 1994. בשנת 1995 מונה למפקד בא"ח צנחנים, ושירת בתפקיד עד שנת 1997. לאחר מכן שירת כסגן מפקד חטיבת הצנחנים בין השנים 1997–1998. לאחר השלמת תואר שני במינהל ציבורי באוניברסיטת הרווארד בתוכנית משותפת לקרן וקסנר ולבית הספר לממשל על שם קנדי, הועלה בשנת 1998 לדרגת אל"ם ומונה למפקד החטיבה המזרחית ביחידת הקישור ללבנון, בתקופת ארז גרשטיין, ושימש בתפקיד עד שנת 1999. בתקופת תפקידו נהרגו מפקד סיירת הצנחנים, איתן בלחסן ומפקד היק"ל, גרשטיין. בשנת 1999 מונה למפקד עוצבת חצי האש, ושימש בתפקיד עד שנת 2001.
מח"ט הצנחנים.
בשנת 2001 מונה למפקד חטיבת הצנחנים, תפקיד בו כיהן עד שנת 2003. יחד עם קבוצת מפקדים נוספים מיחידות השדה, ובהם, משה תמיר, יאיר גולן, גל הירש ונעם תיבון, היה מהדוחפים לפעול כנגד מקורות הטרור הפלסטיני באינתיפאדה השנייה, בקסבות ובמחנות הפליטים, למרות היותם מרחבים אורבניים צפופים ומסובכים ללחימה, ולמרות היסוסי הפיקוד הבכיר של צה"ל. הוא הוביל את החטיבה בהצלחה במבצע השתלטות על מחנה הפליטים בלאטה בשכם בפברואר 2002. במהלך המבצע חדרו חיילי החטיבה למחנה הפליטים במתקפה סימולטנית רב-כיוונית, ונעו בתוך המחנה באמצעות פריצת קירות, וכך הצליחו להשתלט על המחנה ולפגוע במחבלים רבים כמעט ללא נפגעים, לחימה זו נוהלה לפי שיטה שהגה ופיתח בעצמו. בהמשך השיטה הועתקה על ידי צבאות אחרים ואומצה גם על ידי צבא ארצות הברית במלחמת עיראק ובמלחמת אפגניסטן.
לאחר מכן הוביל את החטיבה במבצע חומת מגן ובמבצעים נוספים ברחבי יהודה ושומרון כנגד תשתיות הטרור הפלסטיני, ובהם, כיבוש בית לחם והטלת מצור על כנסיית המולד, בה התבצרו חמישים מבוקשים חמושים שהחזיקו כ-200 בני ערובה וניהלו קרבות ירי מול צה"ל. המצור נמשך 39 ימים וסוקר על ידי התקשורת הבין־לאומית.
כמפקד החטיבה הוביל תוכנית סדורה למיגור תופעת התעללות של לוחמים ותיקים בצעירים. המודל שהכתיב התפשט לכלל החטיבות הסדירות. בנוסף הקים בצנחנים מסלול לוחמים עבור "נערי רפול".
תפקידי תא"ל.
בשנת 2003 הועלה לדרגת תא"ל ומונה למפקד עוצבת האש, ושימש בתפקיד עד נובמבר 2004. ב-30 בנובמבר 2004 מונה למפקד אוגדת עזה, והוביל את האוגדה במבצעים כנגד שיגור הקאסמים וכנגד תשתיות הטרור הפלסטיני ברצועת עזה, ובהם, מבצע "צעד מזרחי" ומבצע גשמי קיץ. במהלך שירותו כמפקד האוגדה התרחשו שני אירועים משמעותיים; תוכנית ההתנתקות בספטמבר 2005 וחטיפת גלעד שליט ביוני 2006. את תפקידו סיים ב-6 באוגוסט 2006. בסיום תפקידו עמד לצאת ללימודים במכללה לביטחון בלונדון, אך נסיעתו בוטלה מחשש למעצר על ידי שלטונות בריטניה בחשד למעורבות בפשעי מלחמה במהלך שירותו באוגדת עזה. במקום זאת נסע לארצות הברית ולמד לתואר שני נוסף ביחסים בינלאומיים באוניברסיטת ג'ונס הופקינס. בשנת 2007 מונה לראש חטיבת המבצעים באמ"ץ, תפקיד בו כיהן עד ינואר 2010, במהלך התפקיד השתתף בתכנון מבצע עופרת יצוקה. לאחר מכן שימש כפרויקטור באגף התכנון.
תפקידי אלוף.
ב-22 בנובמבר 2010 הועלה לדרגת אלוף ומונה לראש אמ"ן. במהלך נאום שנשא בכנס הרצליה בפברואר 2012, חשף כי "בידי אויבינו מצויים 200 אלף טילים המסוגלים לפגוע בישראל", והעריך כי ברשות איראן די אורניום מועשר לייצורן של 4 פצצות גרעין. בנאום שנשא שנה לאחר מכן אמר כי בידם מספיק חומרים לייצור של בין חמש לשש פצצות. במהלך תפקידו החלו אירועי האביב הערבי, בנוסף התרחשו מבצע עמוד ענן, מבצע חשיפה מלאה, מבצע שובו אחים ומבצע צוק איתן. האגף בראשותו, בשיתוף זרוע היבשה, פיתח תפיסה חדשה של לוחמה מבוססת מודיעין (לוחמ"מ), על פי התפיסה, מועבר מידע טקטי לטובת פעילות בשטח, עד למפקדי הפלוגות והמחלקות, באמצעות מערכות צבא יבשה דיגיטלי (צי"ד), והמידע מוזרם אליהם גם תוך כדי הלחימה עצמה, וזאת כהפקת לקחים ממלחמת לבנון השנייה, בה מידע מודיעיני נשמר ברמות הבכירות ולא הועבר לפעמים לידיעת הכוחות בשטח, מחשש מופרז מדליפת מידע והגנה על מקורות. כמו כן פיתח האגף שיטות איסוף ומחקר משודרגות, תוך הוספת כוח אדם ליחידת הסייבר ההתקפי השייכת לאמ"ן, שהוקמה לצד יחידות חדשות נוספות באגף. בנוסף הרחיב בשנת 2012 את מערך המבצעים המיוחדים, ממחלקה בראשותו של אל"ם לחטיבה בפיקודו של תא"ל. הוא סיים את תפקידו ב-22 בספטמבר 2014.
על תפקודו של כוכבי כראש אמ"ן נמתחה ביקורת בדוח מבקר המדינה בעניין מבצע צוק איתן שפורסם בפברואר 2017, שם נמצא כי כוכבי (יחד עם שר הביטחון משה יעלון, הרמטכ"ל בני גנץ וראש השב"כ יורם כהן) לא פעל מבעוד מועד להבאת נושא איום מנהרות התקיפה מעזה לדיון בקבינט המדיני-ביטחוני. עוד נמצא כי כוכבי, אף שנרשמו לזכותו הישגים הקשורים בשיפור שיתוף הפעולה בין אמ"ן והשב"כ, לא חתר כמצופה להכללת נושא איום המנהרות בצי"ח הלאומי, ואף הגדיר את תחומי האחריות ביחס לנושא זה בצורה שמנעה מעורבות אפקטיבית של חטיבת המחקר של אמ"ן בטיפול בנושא.
ב-2 בנובמבר 2014 מונה למפקד פיקוד הצפון. במהלך תפקידו הלך ונבנה המכשול למול חזבאללה בגבול עם לבנון, במקביל כוחות הפיקוד ניהלו פעילות עיקשת לסיכול תשתיות טרור משטח סוריה, לצד קידום פרויקט שכנות טובה בגבול הסורי. את תפקידו סיים ב-19 במרץ 2017. ב-11 במאי 2017 מונה לסגן הרמטכ"ל, בתפקיד זה שירת עד 13 בדצמבר 2018.
ראש המטה הכללי.
ב-26 באוקטובר 2018 המליץ שר הביטחון, אביגדור ליברמן, למנותו לרמטכ"ל ה-22 של צה"ל, בהסכמתו של ראש הממשלה, בנימין נתניהו. ב-25 בנובמבר אישרה הממשלה את מינויו. ב-15 בינואר 2019 הועלה לדרגת רב-אלוף והחל את שירותו כרמטכ"ל.
עם כניסתו לתפקיד התווה מדיניות לחיזוק הקצה המבצעי של יחידות צה"ל ולשיפור קטלניותו, ואף הנחה להגדיל באופן משמעותי את הצטיידות המסגרות הגדודיות באמצעי לחימה נוספים, בהם אמצעי אופטיקה, טילי נ"ט, מערכות נשק צלפים ורחפנים.
בשנתו הראשונה בתפקיד החל בשינויים ארגוניים לחיזוק התווך המבצעי הרב-ממדי והתאמת צה"ל למאפייני הלחימה העתידיים. השינויים המרכזיים שביצע בשנתו הראשונה בתחום הם: הקמת מנהלת מטרות מטכ"לית, הקמת חטיבת שילו"ח והקמת יחידת רפאים.
בנוסף, קידם מסמך תפיסתי, המתאר כיצד נדרש צה"ל להיערך על מנת לשמר ולחזק את היתרון היחסי שלו מול אתגרי העתיד. על פי מסמך זה עוצבה התוכנית הרב-שנתית 'תנופה' לשנים 2020–2024. במהלך חציון א' של שנת 2019 גיבש את שלב עיצוב התר"ש, לקראת אישור התוכנית על ידי הדרג המדיני. חלק מתוכנית מומש בשנת 2020.
במהלך כהונתו נמשכו העימותים בגבול ישראל–רצועת עזה, בחודשים מרץ 2019 ומאי 2019 פרצו ימי קרב שהתבטאו בירי רקטות ופצמ"רים לעבר ישראל, ובתקיפות של חיל האוויר ברחבי רצועת עזה. במהלך ימי הקרב בתחילת מאי 2019 שכונו "גן סגור", נהרגו 25 פלסטינים, בהם כ-20 מחבלים, וכן בוצע סיכול ממוקד של אחראי העברת הכספים של ארגון הטרור חמאס. במהלך ההסלמה שיגרו ארגוני הטרור בעזה כ-600 רקטות אל עבר ישראל. בהסלמה זו נהרגו ארבעה אזרחים ישראלים.
במקביל נמשכה גם הפעילות בסכסוך האיראני-ישראלי שבנוסף לתקיפות של צה"ל בסוריה כללה גם, לפי מקורות זרים, תקיפת בסיסי טילים איראניים בעיראק ותקיפת מתקן לדיוק טילים בביירות. באוגוסט 2019 סוכל פיגוע במתווה רחפני נפץ של כוח קודס האיראני בסוריה. בימים שלאחר מכן נערך צה"ל לתגובת חזבאללה, שלא איחרה לבוא. ב-1 בספטמבר 2019, ביצע חזבאללה ירי נ"ט לעבר אמבולנס צבאי ולעבר עמדה במוצב "אביבים". צה"ל הגיב בירי 100 פגזי ארטילריה ובתקיפות של חיל האוויר.
ב-12 בנובמבר 2019 פתח צה"ל במבצע חגורה שחורה, שהחל בסיכול ממוקד של הטרוריסט בהאא אבו אל-עטא, והמשיך במספר ימים של חילופי אש עם הג'יהאד האסלאמי, במהלכם הפלסטינים שיגרו כ-450 רקטות לעבר ישראל. בתגובה ביצע צה"ל סדרת תקיפות אוויריות, על יעדי טרור של הג'יהאד האסלאמי וסיכל חוליות שיגור של רקטות. בתקיפות אלו נהרגו כ-40 פלסטינים, בהם כ-26 מחבלים מהג'יהאד האסלאמי.
ב-20 בנובמבר 2019 ביצע צה"ל תקיפה נרחבת בסוריה כנגד מטרות של כוח קודס ושל צבא סוריה, זאת בתגובה לירי 4 רקטות שבוצע יום קודם לכן לעבר רמת הגולן.
במאי 2021 פיקד על צה"ל במבצע שומר החומות כנגד החמאס והג'יהאד האסלאמי ברצועת עזה. המבצע נוהל ברובו בתקיפות אוויריות של חיל האוויר הישראלי והגנת העורף ממטחים כבדים של רקטות באמצעות כיפת ברזל. במבצע נהרגו בישראל חייל ו-11 אזרחים ונגרם נזק רב לרכוש. ברצועת עזה נגרם נזק כבד: למעלה מ-100 קילומטר של מנהרות לחימה ברצועת עזה הופצצו, 9 בניינים רבי-קומות ששימשו גם כמטות ומפקדות של חמאס הוחרבו ואלפי תשתיות טרור הושמדו. בתקיפות צה"ל נהרגו למעלה מ-225 מחבלים.
במאי 2021, החליט שר הביטחון, בני גנץ, להאריך את כהונתו לשנה רביעית. לאחר חודש ההחלטה קיבלה את אישורה של הממשלה.