באנדי נכנס לחיים הציבוריים בשנת 1961, כאשר מונה על ידי ג'ון קנדי לשמש כיועץ לביטחון לאומי. באנדי שימש כעמוד תווך מרכזי בקביעת מדיניות החוץ והביטחון של ממשל קנדי. הוא היה מעורב לעומק במשבר הטילים בקובה, הפלישה למפרץ החזירים ובתחילת מלחמת וייטנאם, אשר בה הוא תמך נחרצות. בשנת 1966 עזב את הממשל על מנת לשמש כנשיא קרן פורד. לאחר סיום כהונתו כנשיא הקרן בשנת 1979, חזר באנדי לאקדמיה כפרופסור להיסטוריה באוניברסיטת ניו יורק.