Kelly nació en Detroit, Míchigan, hijo de Margaret Elizabeth (de soltera Murphy) y Robert Corby Kelly, Sr., un contable. Su padre fue receptor de la Estrella de Bronce por su servicio durante la Batalla del Bulge en la Segunda Guerra Mundial. Kelly es de ascendencia irlandesa. Su abuelo Daniel Murphy era de Lisnashershane, cerca de Cork. Su tatara-tío abuelo fue el Padre William Corby, capellán de la Brigada irlandesa en Gettysburg y posteriormente presidente de la Universidad de Notre Dame. Kelly obtuvo una mandolina en el Día de San Patricio de 1964 por su madre y le considera la influencia más grande en su vida artística. Como estudiante, Kelly escribió cuatro musicales producidos en teatros de Detroit: "Lysistrata" (de Aristófanes), "The World from My Window" (basado en un libro de poemas para niños), un proyecto basado en "Los viajes de Gulliver" (en la tierra de caballos) y "Home for Silent Clowns", un espectáculo de mimo con canciones. Kelly se graduó cum laude en la Universidad de Detroit, y también estudió con Marcel Marceau y Mira Rostova.