På Blackrock utmerket han seg i sport, kaptein for cricketlaget og spilte out-half i . Han fikk også en inter-provinsiell cap. Han spilte fly-half for Blackrocks, tidligere elevers rugbylag, mens han var prefekt der. To av hans samtidige ble også biskoper, John Joseph McCarthy og Eugene Joseph Butler. To av Kellys brødre, Jim og Patrick, ble også utdannet ved Blackrock, og begge ble prester.