Connolly arbitrò nella National League dal 1898 al 1900, dopo di che arbitrò per altri 31 anni nella American League dal 1901 al 1931. In oltre mezzo secolo come arbitro e supervisore, impose gli alti standard per cui gli arbitri del circuito divennero noti e solidificando la reputazione di integrità degli umpire nelle major league. Fu eletto nella Hall of Fame nel 1953, uno dei primi due arbitri a ricevere tale onore (Bill Klem della NL fu l'altro). Connolly e Klem sono gli unici due umpire della storia ad arbitrare per cinque diversi decenni. Nella sua carriera arbitrò un record di otto World Series: 1903, 1908 (le gare pari), 1910, 1911, 1913, 1916, 1920 e 1924. Fu anche l'arbitro del perfect game di Addie Joss il 2 ottobre 1908.