במלחמת העולם השנייה שירת קונלי בצי ארצות הברית, בתחילה כעוזרו של ג'יימס פורסטל, ולאחר מכן כחבר בצוות התכנון של הפלישה לצפון אפריקה בפיקודו של הגנרל דווייט אייזנהאואר. לאחר מכן הוא הועבר אל זירת האוקיינוס השקט, שם הוא שירת בהצטיינות. הוא שירת כמנהל מערך המטוסים על סיפון נושאת המטוסים "אסקס" (USS Essex) ועוטר בכוכב הארד על גבורתו. הוא הועבר לספינה אחרת מסדרת נושאות המטוסים אסקס, "בנינגטון" (USS Bennington), שם הוא עוטר בלגיון ההצטיינות. הוא גם לקח חלק במערכה באיי גילברט, במערכה באיי מרשל, במערכה על איי ריוקיו ובמערכה בפיליפינים. ב-1946 הוא שוחרר בדרגת לוטננט קומנדר .