Han ble ordinert til prest den 3. juni 1944. Etter ordinasjonen mottok Kelly sin doktorgrad i kirkerett ved Catholic University of America. Han ver deretter kapellan, og underviste ved La Salle Academy i Providence. Han var også kapellan ved i Warwick i Rhode Island og som spiritual ved i Warwick Neck. I 1947 ble Kelly utnevnt til ektebåndsforsvarer i bispedømmet Providence.